Định giá Amazon Bedrock

Ví dụ định giá

• AI21 labs

  Nhà phát triển ứng dụng thực hiện các lệnh gọi API sau tới Amazon Bedrock: yêu cầu tới mô hình Jurrasic-2 Mid của AI21 để tóm tắt đầu vào gồm 10000 token văn bản đầu vào thành đầu ra gồm 2000 token.
  

  Tổng chi phí phát sinh = 10000 token/1000 * 0,0125 USD + 2000 token/1000 * 0,0125 USD = 0,15 USD
  

• Amazon

  Định giá theo nhu cầu

  Nhà phát triển ứng dụng thực hiện các lệnh gọi API sau tới Amazon Bedrock mỗi giờ: yêu cầu tới mô hình Amazon Titan Text Lite để tóm tắt đầu vào gồm 2.000 token văn bản đầu vào thành đầu ra gồm 1.000 token.

  Tổng chi phí phát sinh hàng giờ = 2.000 token/1.000 * 0,0003 USD + 1.000 token/1.000 * 0,0004 USD = 0,001 USD.

  Nhà phát triển ứng dụng thực hiện các lệnh gọi API sau tới Amazon Bedrock: yêu cầu tới mô hình cơ sở của Trình tạo hình ảnh Amazon Titan để tạo 1000 hình ảnh cỡ 1024 x 1024 với chất lượng tiêu chuẩn.

  Tổng chi phí phát sinh = 1.000 hình ảnh * 0,01 USD trên mỗi hình ảnh = 10 USD

  Giá tùy chỉnh (tinh chỉnh và đào tạo trước liên tục)

  Nhà phát triển ứng dụng tùy chỉnh mô hình Trình tạo hình ảnh Amazon Titan bằng 1000 cặp hình ảnh – văn bản. Sau khi đào tạo, nhà phát triển sử dụng thông lượng được cung cấp của mô hình tùy chỉnh trong 1 giờ để đánh giá hiệu năng của mô hình. Mô hình đã tinh chỉnh được lưu trữ trong 1 tháng. Sau khi đánh giá, nhà phát triển sử dụng thông lượng được cung cấp (kỳ hạn cam kết 1 tháng) để lưu trữ mô hình tùy chỉnh.

  Chi phí hàng tháng phát sinh cho hoạt động tinh chỉnh = đào tạo tinh chỉnh (0,005 USD * 500 * 64), trong đó 0,005 USD là giá mỗi hình ảnh nhìn thấy, 500 là số bước và 64 là kích cỡ loạt + lưu trữ mô hình tùy chỉnh mỗi tháng (1,95 USD) + 1 giờ suy luận mô hình tùy chỉnh (21 USD) = 160 USD + 1,95 USD + 21 = 182,95 USD
  

  Giá của thông lượng được cung cấp

  Nhà phát triển ứng dụng mua hai đơn vị mô hình Amazon Titan Text Express với cam kết 1 tháng cho trường hợp sử dụng tóm tắt văn bản của họ.

  Tổng chi phí phát sinh hàng tháng = 2 đơn vị mô hình * 18,40 USD/giờ * 24 giờ * 31 ngày = 27.379,20 USD

  Nhà phát triển ứng dụng mua một đơn vị mô hình của mô hình Trình tạo hình ảnh Amazon Titan cơ sở với cam kết 1 tháng.

  Tổng chi phí phát sinh = 1 đơn vị mô hình * 16,2 USD * 24 giờ * 31 ngày = 12.052,8 USD

• Anthropic

  Định giá theo nhu cầu

  Nhà phát triển ứng dụng thực hiện các lệnh gọi API sau tới Amazon Bedrock trong Khu vực Miền Tây Hoa Kỳ (Oregon): yêu cầu tới mô hình Claude của Anthropic để tóm tắt đầu vào gồm 11.000 token văn bản đầu vào thành đầu ra gồm 4.000 token.

  Tổng chi phí phát sinh = 11.000 token/1000 * 0,008 USD + 4.000 token/1000 * 0,024 USD = 0,088 USD + 0,096 USD = 0,184 USD
  

  Giá của thông lượng được cung cấp

  Nhà phát triển ứng dụng mua một đơn vị mô hình Claude Instant của Anthropic trong Khu vực Miền Tây Hoa Kỳ (Oregon):
  

  Tổng chi phí phát sinh hàng tháng = 1 đơn vị mô hình * 39,6 USD * 24 giờ * 31 ngày = 29.462,4 USD

• Cohere

  Định giá theo nhu cầu

  Nhà phát triển ứng dụng thực hiện các lệnh gọi API sau tới Amazon Bedrock: yêu cầu tới mô hình Command của Cohere để tóm tắt đầu vào gồm 6.000 token văn bản đầu vào thành đầu ra gồm 2.000 token.

  Tổng chi phí phát sinh = 6.000 token/1.000 * 0,0015 USD + 2.000 token/1.000 * 0,0020 USD = 0,013 USD

  Nhà phát triển ứng dụng thực hiện các lệnh gọi API sau tới Amazon Bedrock: yêu cầu tới mô hình Command – Light của Cohere để tóm tắt đầu vào gồm 6.000 token văn bản đầu vào thành đầu ra gồm 2.000 token.

  Tổng chi phí phát sinh = 6.000 token/1000 * 0,0003 USD + 2.000 token/1000 * 0,0006 USD = 0,003 USD

  Nhà phát triển ứng dụng thực hiện các lệnh gọi API sau tới Amazon Bedrock: yêu cầu tới mô hình Embed tiếng Anh hoặc đa ngôn ngữ của Cohere để tạo ra các phần nhúng cho 10000 token đầu vào.

  Tổng chi phí phát sinh = 10000 token/1000 * 0,0001 USD = 0,001 USD

  Giá tùy chỉnh (tinh chỉnh)

  Nhà phát triển ứng dụng tùy chỉnh mô hình Command của Cohere bằng 1000 token dữ liệu. Sau khi đào tạo, hãy sử dụng thông lượng được cung cấp của mô hình tùy chỉnh trong 1 giờ để đánh giá hiệu năng của mô hình. Mô hình đã tinh chỉnh được lưu trữ trong 1 tháng. Sau khi đánh giá, nhà phát triển sử dụng thông lượng được cung cấp (cam kết 1 tháng) để lưu trữ mô hình tùy chỉnh.

  Chi phí phát sinh hàng tháng cho hoạt động tinh chỉnh = đào tạo tinh chỉnh (0,004 USD * 1000) + lưu trữ mô hình tùy chỉnh mỗi tháng (1,95 USD) + 1 giờ suy luận mô hình tùy chỉnh (49,5 USD) = 55,45 USD
  

  Chi phí phát sinh hàng tháng cho thông lượng được cung cấp (cam kết 1 tháng) của mô hình tùy chỉnh = 39,6 USD

  Giá của thông lượng được cung cấp
  

  Nhà phát triển ứng dụng mua một đơn vị mô hình Command của Cohere với cam kết 1 tháng cho trường hợp sử dụng tóm tắt văn bản của họ.

  Tổng chi phí phát sinh hàng tháng = 1 đơn vị mô hình * 39,6 USD * 24 giờ * 31 ngày = 29.462,4 USD

• Meta Llama

  Định giá theo nhu cầu

  Nhà phát triển ứng dụng thực hiện các lệnh gọi API sau tới Amazon Bedrock: yêu cầu tới mô hình Llama 2 Chat (13B) của Meta để tóm tắt đầu vào gồm 2.000 token văn bản đầu vào thành đầu ra gồm 500 token.

  Tổng chi phí phát sinh = 2.000 token/1000 * 0,00075 USD + 500 token/1000 * 0,001 USD = 0,002 USD

  Giá tùy chỉnh (tinh chỉnh)

  Nhà phát triển ứng dụng tùy chỉnh mô hình Llama 2 Pre-trained (70B) bằng 1000 token dữ liệu. Sau khi đào tạo, hãy sử dụng thông lượng được cung cấp của mô hình tùy chỉnh trong 1 giờ để đánh giá hiệu năng của mô hình. Mô hình đã tinh chỉnh được lưu trữ trong 1 tháng. Sau khi đánh giá, nhà phát triển sử dụng thông lượng được cung cấp (cam kết 1 tháng) để lưu trữ mô hình tùy chỉnh.

  Chi phí phát sinh hàng tháng cho hoạt động tinh chỉnh = đào tạo tinh chỉnh (0,00799 USD * 1000) + lưu trữ mô hình tùy chỉnh mỗi tháng (1,95 USD) + 1 giờ suy luận mô hình tùy chỉnh (23,5 USD) = 33,44 USD

  Chi phí phát sinh hàng tháng cho thông lượng được cung cấp (cam kết 1 tháng) của mô hình tùy chỉnh = 21,18 USD

  Giá của thông lượng được cung cấp

  Nhà phát triển ứng dụng mua một đơn vị mô hình Llama 2 của Meta với cam kết 1 tháng cho trường hợp sử dụng tóm tắt văn bản của họ.

  Tổng chi phí phát sinh hàng tháng = 1 đơn vị mô hình * 21,18 USD * 24 giờ * 31 ngày = 15.757,92 USD

• Mistral AI

  Định giá theo nhu cầu

  Nhà phát triển ứng dụng thực hiện các lệnh gọi API sau tới Amazon Bedrock mỗi giờ: yêu cầu tới mô hình Mistral 7B để tóm tắt đầu vào gồm 2.000 token văn bản đầu vào thành đầu ra gồm 1000 token.

  Tổng chi phí phát sinh hàng giờ = 2000 token/1000 * 0,00015 USD + 1000 token/1.000 * 0,0002 USD = 0,0005 USD

  Nhà phát triển ứng dụng thực hiện các lệnh gọi API sau tới Amazon Bedrock mỗi giờ: yêu cầu tới mô hình Mixtral 8x7B để tóm tắt đầu vào gồm 2000 token văn bản đầu vào thành đầu ra gồm 1000 token.

  Tổng chi phí phát sinh hàng giờ = 2000 token/1000 * 0,00045 USD + 1000 token/1000 * 0,0007 USD = 0,0016 USD

  Nhà phát triển ứng dụng thực hiện các lệnh gọi API sau tới Amazon Bedrock mỗi giờ: yêu cầu tới mô hình Mistral Large để tóm tắt dữ liệu đầu vào gồm 2000 token văn bản đầu vào thành đầu ra gồm 1000 token. 

  Tổng chi phí phát sinh hàng giờ = 2000 token/1000 * 0,008 USD + 1000 token/1.000 * 0,024 USD = 0,04 USD
  
  

• Stability AI

  Định giá theo nhu cầu

  Nhà phát triển ứng dụng thực hiện các lệnh gọi API sau tới Amazon Bedrock: yêu cầu tới mô hình SDXL để tạo hình ảnh cỡ 512 x 512 với kích thước bước là 70 (chất lượng cao).

  Tổng chi phí phát sinh = 1 hình ảnh * 0,036 USD mỗi hình ảnh = 0,036 USD

  Nhà phát triển ứng dụng thực hiện các lệnh gọi API sau tới Amazon Bedrock: yêu cầu tới mô hình SDXL 1.0 để tạo hình ảnh cỡ 1024 x 1024 với kích thước bước là 70 (chất lượng cao).

  Tổng chi phí phát sinh = 1 hình ảnh * 0,08 USD mỗi hình ảnh = 0,08 USD

  Giá của thông lượng được cung cấp

  Nhà phát triển ứng dụng mua một đơn vị mô hình của SDXL 1.0 với cam kết 1 tháng.

  Tổng chi phí phát sinh = 1 * 49,86 USD * 24 giờ * 31 ngày = 37.095,84 USD

• Đánh giá mô hình

  Ví dụ về đánh giá mô hình 1:

  Định giá theo nhu cầu
  Nhà phát triển ứng dụng gửi tập dữ liệu dành cho đánh giá mô hình do con người thực hiện bằng Anthropic Claude 2.1 và Anthropic Claude Instant tại Khu vực AWS Miền Đông Hoa Kỳ (Bắc Virginia).

  Tập dữ liệu này chứa 50 câu lệnh và nhà phát triển yêu cầu một nhân viên đánh giá mỗi tập hợp phản hồi-câu lệnh (có thể cấu hình trong quá trình tạo công việc đánh giá dưới dạng thông số “nhân viên trên mỗi câu lệnh”).
  
  Sẽ có 50 tác vụ trong công việc đánh giá này (một tác vụ cho mỗi bộ phản hồi-câu lệnh cho mỗi nhân viên). 50 câu lệnh kết hợp với 5000 token đầu vào và các phản hồi liên quan kết hợp với 15.000 token cho Anthropic Claude Instant và 20000 token cho Anthropic Claude 2.1.
  
  Các khoản phí sau đây phát sinh cho công việc đánh giá mô hình này:

  Mục	Số lượng token đầu vào	Giá cho mỗi 1.000 token đầu vào	Chi phí đầu vào	Số lượng token đầu ra	Giá cho mỗi 1.000 token đầu ra	Chi phí đầu ra	Số tác vụ của con người	Giá cho mỗi tác vụ của con người	Chi phí tác vụ của con người	Tổng
  Suy luận Claude Instant	5.000	0,0008 USD	0,004 USD	15000	0,0024 USD	0,036 USD				0,04 USD
  Claude 2.1 Inference	5000	0,008 USD	0,04 USD	20000	0,024 USD	0,48 USD				0,52 USD
  Tác vụ do con người thực hiện							50	0,21 USD	10,50 USD	10,50 USD
  Tổng										11,06 USD

  Ví dụ về đánh giá mô hình 2:

  Định giá theo nhu cầu
  Nhà phát triển ứng dụng gửi tập dữ liệu dành cho đánh giá mô hình do con người thực hiện bằng Anthropic Claude 2.1 và Anthropic Claude Instant tại Khu vực AWS Miền Đông Hoa Kỳ (Bắc Virginia).
  
  Tập dữ liệu này chứa 50 câu lệnh và nhà phát triển yêu cầu hai nhân viên đánh giá mỗi tập hợp phản hồi-câu lệnh (có thể cấu hình trong quá trình tạo công việc đánh giá dưới dạng thông số “nhân viên trên mỗi câu lệnh”). Sẽ có 100 tác vụ trong công việc đánh giá này (1 tác vụ cho mỗi bộ phản hồi-câu lệnh cho mỗi nhân viên: 2 nhân viên x 50 tập hợp phản hồi câu lệnh = 100 tác vụ của con người).
  
  50 câu lệnh kết hợp với 5000 token đầu vào và các phản hồi liên quan kết hợp với 15000 token cho Anthropic Claude Instant và 20000 token cho Anthropic Claude 2.1.
  
  Các khoản phí sau đây phát sinh cho công việc đánh giá mô hình này:
  

  Mục	Số lượng token đầu vào	Giá cho mỗi 1.000 token đầu vào	Chi phí đầu vào	Số lượng token đầu ra	Giá cho mỗi 1.000 token đầu ra	Chi phí đầu ra	Số tác vụ của con người	Giá cho mỗi tác vụ của con người	Chi phí tác vụ của con người	Tổng
  Suy luận Claude Instant	5.000	0.0008 USD	0,0040 USD	15.000	0,0024 USD	0,036 USD				0,04 USD
  Claude 2.1 Inference	5000	0,008 USD	0,0400 USD	20000	0,024 USD	0,48 USD				0,52 USD
  Tác vụ do con người thực hiện							100	0,21 USD	21,00 USD	21,00 USD
  Tổng										21,56 USD

• Quy tắc bảo vệ của Amazon Bedrock

  Ví dụ 1: Chatbot hỗ trợ khách hàng
  Một nhà phát triển ứng dụng tạo một chatbot hỗ trợ khách hàng và sử dụng các bộ lọc nội dung để chặn nội dung gây hại và các chủ đề bị từ chối nhằm lọc các truy vấn và phản hồi không mong muốn.
  
  Chatbot phục vụ 1000 truy vấn của người dùng mỗi giờ. Mỗi truy vấn người dùng có độ dài đầu vào trung bình là 200 ký tự và nhận được phản hồi FM gồm 1500 ký tự.
  
  Mỗi truy vấn của người dùng gồm 200 ký tự tương ứng với 1 đơn vị văn bản.
  
  Mỗi phản hồi FM gồm 1.500 ký tự tương ứng với 2 đơn vị văn bản.
  
  Đơn vị văn bản được xử lý mỗi giờ = (1 + 2) * 1000 truy vấn = 3000 đơn vị văn bản
  
  Tổng chi phí phát sinh mỗi giờ cho bộ lọc nội dung và chủ đề bị từ chối = 3000 * (0,75 USD + 1 USD) / 1000 = 5,25 USD

   

  Ví dụ 2: Tóm tắt bản ghi trung tâm cuộc gọi
  Một nhà phát triển ứng dụng tạo một ứng dụng để tóm tắt bản ghi cuộc trò chuyện giữa người dùng và nhân viên hỗ trợ. Ứng dụng đó sử dụng bộ lọc thông tin nhạy cảm để biên tập thông tin nhận dạng cá nhân (PII) trong các bản tóm tắt được tạo cho 10000 cuộc hội thoại.
  
  Mỗi bản tóm tắt được tạo có trung bình 3.500 ký tự tương ứng với 4 đơn vị văn bản.
  
  Tổng chi phí phát sinh để tóm tắt 10000 cuộc hội thoại = 10000 * 4 * (0,1 USD / 1000) = 4 USD

  Mục	Số lượng token đầu vào	Giá cho mỗi 1.000 token đầu vào	Chi phí đầu vào	Số lượng token đầu ra	Giá cho mỗi 1.000 token đầu ra	Chi phí đầu ra	Số tác vụ của con người	Giá cho mỗi tác vụ của con người	Chi phí tác vụ của con người	Tổng
  Suy luận Claude Instant	5.000	0,0008 USD	0,004 USD	15000	0,0024 USD	0,036 USD				0,04 USD
  Claude 2.1 Inference	5000	0,008 USD	0,04 USD	20000	0,024 USD	0,48 USD				0,52 USD
  Tác vụ do con người thực hiện							100	0,21 USD	21,00 USD	21,00 USD
  Tổng										21,56 USD

• Nhập mô hình tùy chỉnh

  Ví dụ định giá: Nhà phát triển ứng dụng nhập mô hình tùy chỉnh thuộc loại Llama 3.1 có kích cỡ thông số 8B với độ dài chuỗi 128K ở khu vực us-east-1 và xóa mô hình sau 1 tháng. Hoạt động này yêu cầu 2 Đơn vị mô hình tùy chỉnh. Vì vậy, mức giá mỗi phút sẽ là 0,1570 USD vì cần có 2 Đơn vị mô hình tùy chỉnh. Chi phí lưu trữ mô hình cho 2 Đơn vị mô hình tùy chỉnh sẽ là 3,90 USD mỗi tháng.

  Việc nhập mô hình không phát sinh khoản phí nào. Lệnh gọi thành công đầu tiên diễn ra vào lúc 8:03 sáng và việc đo lường sẽ bắt đầu vào thời điểm này. Các khoàng thời gian đo lường 5 phút là từ 8:03 sáng - 8:07 sáng; 8:07 sáng - 8:11 sáng, v.v. Nếu có ít nhất một lệnh gọi trong bất kỳ khoảng thời gian 5 phút nào, khoảng thời gian đó sẽ được coi là hoạt động để tính phí. Nếu không có lệnh gọi từ 8:07 sáng đến 8:11 sáng, việc đo lường sẽ dừng lại vào lúc 8:11 sáng. Trong trường hợp này, hóa đơn sẽ được tính như sau: 0,1570 USD * 5 phút * 3 khoảng thời gian năm phút = 2,355 USD.