Bậc miễn phí trong Amazon SageMaker

Amazon SageMaker miễn phí dùng thử. Khi tham gia Bậc miễn phí của AWS, bạn có thể bắt đầu sử dụng Amazon SageMaker miễn phí. Bậc miễn phí của bạn bắt đầu từ tháng đầu tiên khi bạn tạo tài nguyên SageMaker đầu tiên. Chi tiết về bậc miễn phí cho Amazon SageMaker có trong bảng bên dưới.

Khả năng của Amazon SageMaker Sử dụng Bậc miễn phí mỗi tháng trong 2 tháng đầu tiên
Sổ tay Studio và các phiên bản sổ tay 250 giờ phiên bản ml.t3.medium trên sổ tay Studio HOẶC 250 giờ phiên bản ml.t2 medium hoặc phiên bản ml.t3.medium trên các phiên bản sổ tay
RStudio trên SageMaker 250 giờ phiên bản ml.t3.medium trên ứng dụng RSession VÀ phiên bản ml.t3.medium miễn phí cho ứng dụng RStudioServerPro
Trình sắp xếp dữ liệu 25 giờ phiên bản ml.m5.4xlarge
Cửa hàng tính năng 10 triệu đơn vị ghi, 10 triệu đơn vị đọc, 25 GB dung lượng lưu trữ (kho trực tuyến tiêu chuẩn)
Đào tạo 50 giờ phiên bản m4.xlarge hoặc m5.xlarge
Amazon SageMaker với TensorBoard 300 giờ của phiên bản ml.r5.large
Suy luận theo thời gian thực 125 giờ phiên bản m4.xlarge hoặc m5.xlarge
Suy luận phi máy chủ 150.000 giây thời gian suy luận theo nhu cầu
Canvas 160 giờ/tháng cho thời gian phiên
HyperPod 50 giờ của phiên bản m5.xlarge
Công cụ tính giá AWS

Công cụ tính giá AWS

Tính toán chi phí của kiến trúc và Amazon SageMaker chỉ với một ước tính duy nhất.

Tạo ước tính tùy chỉnh của bạn ngay bây giờ »

Tính giá theo nhu cầu

  • Studio Classic

  • Phiên bản Classic của Studio Amazon SageMaker
    Phiên bản Classic của Studio cung cấp sổ tay Jupyter một bước trong trải nghiệm IDE (Môi trường phát triển tích hợp) cũ của chúng tôi. Các tài nguyên điện toán cơ bản đều hoàn toàn linh hoạt và bạn có thể dễ dàng chia sẻ sổ tay với người khác để quá trình cộng tác diễn ra suôn sẻ. Bạn phải trả phí cho loại phiên bản bạn chọn, dựa trên thời lượng sử dụng.

  • JupyterLab

  • JupyterLab trong Amazon SageMaker
    Khởi chạy JupyterLab được quản lý đầy đủ sau vài giây. Sử dụng môi trường phát triển tương tác dựa trên web mới nhất cho sổ tay, mã và dữ liệu. Bạn phải trả phí cho loại phiên bản bạn chọn, dựa trên thời lượng sử dụng.

  • Trình soạn mã

  • Trình soạn mã trong Amazon SageMaker
    Trình soạn mã, dựa trên Code-OSS (Visual Studio Code – Mã nguồn mở), cho phép bạn ghi, kiểm tra, gỡ lỗi, chạy phân tích và mã ML của bạn. Trình soạn mã được tích hợp hoàn toàn với SageMaker Studio và hỗ trợ các tiện ích mở rộng IDE có sẵn trong sổ đăng ký mở rộng Open VSX.

  • RStudio

  • RStudio
    RStudio cung cấp các tài nguyên điện toán đám mây theo nhu cầu để đẩy nhanh tốc độ phát triển mô hình và nâng cao năng suất. Bạn sẽ bị tính phí cho các loại phiên bản bạn chọn để chạy ứng dụng RStudio Session và ứng dụng RStudio Server Pro.

    Ứng dụng RStudioServerPro

  • Phiên bản sổ tay

  • Phiên bản sổ tay
    Phiên bản sổ tay là phiên bản điện toán chạy ứng dụng sổ tay Jupyter. Bạn phải trả phí cho loại phiên bản bạn chọn, dựa trên thời lượng sử dụng.

  • Xử lý

  • Xử lý Amazon SageMaker
    Tính năng Xử lý Amazon SageMaker cho phép bạn dễ dàng chạy khối lượng công việc tiền xử lý, xử lý hậu kỳ và đánh giá mô hình của mình trên cơ sở hạ tầng được quản lý đầy đủ. Bạn phải trả phí cho loại phiên bản bạn chọn, dựa trên thời lượng sử dụng.

  • TensorBoard

  • Amazon SageMaker với TensorBoard
    Amazon SageMaker với TensorBoard cung cấp trải nghiệm TensorBoard được lưu trữ để trực quan hóa và gỡ các lỗi hội tụ mô hình cho các công việc đào tạo Amazon SageMaker.

  • Trình sắp xếp dữ liệu

  • Trình sắp xếp dữ liệu Amazon SageMaker

    Trình sắp xếp dữ liệu Amazon SageMaker giảm thời gian tổng hợp và chuẩn bị dữ liệu cho mô hình máy học từ vài tuần xuống còn vài phút. Bạn trả tiền cho thời gian được dùng để dọn dẹp, khám phá và trực quan hóa dữ liệu. Khách hàng chạy các phiên bản SageMaker Data Wrangler phải tuân theo mức giá bên dưới.* Khách hàng chạy SageMaker Data Wrangler trên các phiên bản không gian làm việc SageMaker Canvas phải tuân theo mức giá của SageMaker Canvas. Hãy truy cập trang định giá SageMaker Canvas để biết thêm chi tiết.

    Tác vụ của Trình sắp xếp dữ liệu Amazon SageMaker

    Tác vụ của Trình sắp xếp dữ liệu Amazon SageMaker được tạo khi luồng dữ liệu được xuất từ Trình sắp xếp dữ liệu SageMaker. Với các tác vụ của Trình sắp xếp dữ liệu SageMaker, bạn có thể tự động hóa quy trình công việc chuẩn bị dữ liệu của mình. Các tác vụ của Trình sắp xếp dữ liệu SageMaker giúp bạn áp dụng lại quy trình công việc chuẩn bị dữ liệu của mình trên các bộ dữ liệu mới để giúp bạn tiết kiệm thời gian và tính phí theo giây.

  • Kho tính năng

  • Kho tính năng Amazon SageMaker
    Cửa hàng tính năng của Amazon SageMaker là một kho lưu trữ trung tâm để tải nhập, lưu trữ và cung cấp các tính năng cho máy học. Bạn bị tính phí ghi, đọc và lưu trữ dữ liệu nhóm đặc trưng trong Cửa hàng tính năng của SageMaker với mức giá khác nhau cho kho trực tuyến tiêu chuẩn và kho trực tuyến trong bộ nhớ.

     Đối với kho trực tuyến tiêu chuẩn, kho lưu trữ dữ liệu được tính phí theo GB mỗi tháng. Đối với thông lượng, bạn có thể chọn giữa chế độ dung lượng theo nhu cầu hoặc được cung cấp. Đối với chế độ theo nhu cầu, lần ghi được tính theo đơn vị yêu cầu ghi trên mỗi KB và lần đọc được tính theo đơn vị yêu cầu đọc trên 4 KB. Đối với chế độ dung lượng được cung cấp, bạn chỉ định dung lượng đọc và ghi mà bạn dự kiến ứng dụng của mình cần tới. Cửa hàng tính năng của SageMaker tính phí một WCU cho mỗi lần ghi mỗi giây (tối đa 1 KB) và một RCU cho mỗi lần đọc mỗi giây (tối đa 4 KB). Bạn sẽ phải trả phí cho công suất thông lượng (đọc và ghi) bạn cung cấp cho các nhóm đặc trưng của mình, ngay cả khi bạn không sử dụng hết dung lượng được cung cấp.

    Đối với kho trực tuyến trong bộ nhớ, lần ghi được tính phí dưới dạng đơn vị yêu cầu ghi trên mỗi KB với tối thiểu 1 đơn vị cho mỗi lần ghi, lần đọc được tính phí dưới dạng đơn vị yêu cầu đọc trên mỗi KB với tối thiểu 1 đơn vị mỗi lần đọc và kho lưu trữ dữ liệu được tính theo GB mỗi giờ. Có một khoản phí lưu trữ dữ liệu tối thiểu ở mức 5 GiB (5,37 GB) mỗi giờ dối với cửa hàng trực tuyến trong bộ nhớ.

  • Đào tạo

  • Đào tạo Amazon SageMaker
    Amazon SageMaker khiến việc đào tạo mô hình máy học (ML) trở nên dễ dàng bằng cách cung cấp tất cả mọi thứ bạn cần để đào tạo, điều chỉnh và gỡ lỗi mô hình. Bạn phải trả phí sử dụng loại phiên bản mà bạn chọn. Khi bạn sử dụng Trình gỡ lỗi Amazon SageMaker để gỡ lỗi các vấn đề và giám sát tài nguyên trong quá trình đào tạo, bạn có thể sử dụng các quy tắc tích hợp sẵn để gỡ lỗi các tác vụ đào tạo hoặc viết các quy tắc tùy chỉnh của riêng bạn. Bạn không phải trả phí khi sử dụng các quy tắc tích hợp sẵn để gỡ lỗi các tác vụ đào tạo của bạn. Với các quy tắc tùy chỉnh, bạn phải trả phí cho loại phiên bản bạn chọn, dựa trên thời lượng sử dụng.

  • MLflow

  • Amazon SageMaker với MLflow
    Amazon SageMaker với MLflow cho phép khách hàng chỉ phải trả tiền theo mức sử dụng. Khách hàng trả tiền cho Máy chủ theo dõi MLflow dựa trên chi phí điện toán và lưu trữ.

    Khách hàng sẽ trả tiền cho điện toán dựa trên kích cỡ của Máy chủ theo dõi và số giờ Máy chủ này đã chạy. Ngoài ra, khách hàng sẽ trả tiền cho bất kỳ siêu dữ liệu nào được lưu trữ trên Máy chủ theo dõi MLflow.

  • Suy luận theo thời gian thực

  • Lưu trữ Amazon SageMaker: Suy luận theo thời gian thực
    Amazon SageMaker cung cấp suy luận theo thời gian thực cho các trường hợp sử dụng cần dự đoán thời gian thực của bạn. Bạn phải trả phí sử dụng loại phiên bản mà bạn chọn. Khi bạn sử dụng Trình giám sát mô hình Amazon SageMaker để duy trì các mô hình có độ chính xác cao cung cấp suy luận theo thời gian thực, bạn có thể sử dụng các quy tắc tích hợp sẵn để giám sát các mô hình hoặc viết các quy tắc tùy chỉnh của riêng bạn. Đối với các quy tắc tích hợp sẵn, bạn có tới 30 giờ giám sát miễn phí. Các khoản phí bổ sung sẽ dựa trên thời lượng sử dụng. Bạn bị tính phí riêng khi sử dụng các quy tắc tùy chỉnh của riêng mình.

  • Suy luận không đồng bộ

  • Tính năng Suy luận không đồng bộ của Amazon SageMaker:
    Suy luận không đồng bộ của Amazon SageMaker là một lựa chọn suy luận gần với thời gian thực xếp thứ tự các yêu cầu đến và xử lý chúng một cách không đồng bộ. Hãy sử dụng lựa chọn này khi bạn cần xử lý trọng tải lớn, trong đó dữ liệu đến hoặc việc chạy các mô hình có thời gian xử lý suy luận lâu và không yêu cầu độ trễ tính bằng mili giây. Bạn bị tính phí cho loại phiên bản mà bạn chọn.

  • Chuyển đổi hàng loạt

  • Chuyển đổi Hàng loạt cho Amazon SageMaker
    Với Chuyển đổi Hàng loạt cho Amazon SageMaker, bạn không cần phải chia nhỏ tập dữ liệu thành nhiều phần hoặc quản lý các điểm cuối thời gian thực. Chuyển đổi Hàng loạt SageMaker cho phép bạn chạy dự đoán trên bộ dữ liệu hàng loạt lớn hoặc nhỏ. Bạn phải trả phí cho loại phiên bản bạn chọn, dựa trên thời lượng sử dụng.

  • Serverless Inference

  • Amazon SageMaker Serverless Inference
    Suy luận phi máy chủ của Amazon SageMaker hỗ trợ bạn triển khai các mô hình máy học cho việc suy luận mà không cần cấu hình hay quản lý cơ sở hạ tầng cơ bản. Bạn có thể sử dụng Suy luận phi máy chủ theo nhu cầu hoặc thêm Tính đồng thời được cung cấp vào điểm cuối cho hiệu suất có thể dự báo.

    Với Suy luận phi máy chủ theo nhu cầu, bạn chỉ thanh toán chi phí năng lực điện toán được sử dụng để xử lý các yêu cầu suy luận, tính theo mili giây, cũng như lượng dữ liệu được xử lý. Chi phí điện toán phụ thuộc vào cấu hình bộ nhớ bạn chọn.

    Tính đồng thời được cung cấp

    Ngoài ra, bạn cũng có thể bật Tính đồng thời được cung cấp cho điểm cuối phi máy chủ của mình. Tính đồng thời được cung cấp cho phép bạn triển khai các mô hình trên điểm cuối phi máy chủ với hiệu suất có thể dự đoán và khả năng điều chỉnh quy mô cao thông qua việc duy trì sức nóng cho điểm cuối bằng số lượng yêu cầu đồng thời được chỉ định và thời gian xác định. Với Suy luận phi máy chủ theo nhu cầu, khi bật Tính đồng thời được cung cấp, bạn chỉ thanh toán chi phí năng lực điện toán được sử dụng để xử lý các yêu cầu suy luận, tính theo mili giây, cũng như lượng dữ liệu được xử lý. Bạn cũng thanh toán cho mức sử dụng Tính đồng thời được cung cấp, dựa trên bộ nhớ được cấu hình, thời gian được cung cấp và số lượng tính đồng thời được bật.

  • JumpStart

  • Amazon SageMaker JumpStart
    Amazon SageMaker JumpStart giúp bạn nhanh chóng và dễ dàng bắt đầu với máy học bằng quyền truy cập chỉ với một cú nhấp chuột vào các bộ sưu tập mô hình phổ biến (còn được gọi là “mô hình do cộng đồng đóng góp”). Jumpstart cũng cung cấp các giải pháp toàn diện giải quyết những trường hợp sử dụng ML phổ biến có thể được tùy chỉnh theo nhu cầu của bạn. Bạn sẽ không phải trả phụ phí để sử dụng các mô hình hoặc giải pháp của JumpStart. Bạn sẽ bị tính phí cho số giờ phiên bản Đào tạo và suy luận cơ bản được sử dụng tương tự như khi bạn tạo chúng theo cách thủ công.

  • Trình phân tích

  • Trình phân tích của Amazon SageMaker thu thập dữ liệu cấp hệ thống để trực quan hóa các biểu đồ theo dõi CPU và GPU có độ phân giải cao. Công cụ này được thiết kế để giúp các nhà khoa học dữ liệu và kỹ sư xác định các điểm gây trở ngại cho hiệu năng liên quan đến phần cứng trong các mô hình học sâu của họ, qua đó tiết kiệm thời gian và chi phí đào tạo toàn diện. Hiện tại, Trình phân tích SageMaker chỉ hỗ trợ phân tích các tác vụ đào tạo sử dụng các loại phiên bản điện toán đào tạo ml.g4dn.12xlarge, ml.p3dn.24xlarge và ml.p4d.24xlarge.

    Các khu vực: Miền Đông Hoa Kỳ (Ohio), Miền Đông Hoa Kỳ (Bắc Virginia), Miền Tây Hoa Kỳ (Oregon), Châu Âu (Frankfurt), Châu Âu (Ireland) và Israel (Tel Aviv).

    Trình phân tích của Amazon SageMaker hiện đang ở dạng xem trước và được cung cấp miễn phí cho khách hàng ở các khu vực được hỗ trợ. 

  • HyperPod

  • HyperPod trong Amazon SageMaker
    HyperPod trong Amazon SageMaker được thiết kế riêng cho mục đích đẩy nhanh tốc độ phát triển mô hình nền tảng (FM). Để tăng khả năng phục hồi cho đào tạo FM, HyperPod liên tục theo dõi tình trạng cụm, sửa chữa và thay thế các nút bị lỗi ngay lập tức, đồng thời lưu các điểm kiểm tra thường xuyên để tự động tiếp tục đào tạo mà không bị mất tiến trình. HyperPod trong SageMaker được định cấu hình sẵn với các thư viện đào tạo phân tán SageMaker, cho phép bạn cải thiện hiệu quả đào tạo FM trong khi sử dụng toàn bộ cơ sở hạ tầng mạng và tài nguyên điện toán của cụm

    Lưu ý: Giá của SageMaker HyperPod không bao gồm phí cho các dịch vụ được kết nối với cụm HyperPod, chẳng hạn như Amazon EKS, Amazon FSx dành cho Lustre và Amazon Simple Storage Service (Amazon S3).

  • Tối ưu hóa suy luận

  • Bộ công cụ tối ưu hóa suy luận giúp bạn dễ dàng triển khai các kỹ thuật tối ưu hóa suy luận mới nhất để đạt được chỉ số hiệu suất chi phí tiên tiến (SOTA) trên Amazon SageMaker, đồng thời tiết kiệm nhiều tháng thời gian cho nhà phát triển. Bạn có thể chọn từ menu các kỹ thuật tối ưu hóa phổ biến do SageMaker cung cấp và chạy các tác vụ tối ưu hóa trước thời hạn, định chuẩn mô hình cho các chỉ số hiệu suất và độ chính xác, sau đó triển khai mô hình được tối ưu hóa đến điểm cuối SageMaker để suy luận.

Chi tiết về phiên bản

Chi tiết sản phẩm phiên bản Amazon SageMaker P5

Kích cỡ phiên bản vCPU Dung lượng bộ nhớ của phiên bản (TiB) Model GPU GPU Tổng dung lượng bộ nhớ GPU (GB) Dung lượng bộ nhớ mỗi GPU (GB) Băng thông mạng (Gbps) GPUDirect RDMA GPU ngang hàng Dung lượng lưu trữ của phiên bản (TB) Băng thông EBS (Gbps)
ml.p5.48xlarge 192 2 NVIDIA H100 8 640 HBM3 80 3200 EFAv2   Có NVSwitch 900 GB/giây   8x3,84 SSD NVMe 80

Chi tiết sản phẩm phiên bản Amazon SageMaker P4d

Kích cỡ phiên bản vCPU Dung lượng bộ nhớ của phiên bản (GiB) Model GPU GPU Tổng dung lượng bộ nhớ GPU (GB) Dung lượng bộ nhớ mỗi GPU (GB) Băng thông mạng (Gbps) GPUDirect RDMA GPU ngang hàng Lưu trữ phiên bản (GB) Băng thông EBS (Gbps)
ml.p4d.24xlarge 96 1152 NVIDIA A100 8 320 HBM 2 40 ENA VÀ EFA 400 Có NVSwitch 600 GB/giây SSD NVMe 8 x 1000 19
ml.p4de.24xlarge 96 1152 NVIDIA A100 8 640 HNM2e 80 ENA và EFA 400 Có NVSwitch 600 GB/giây 8X1000 SSD NVMe 19

Chi tiết sản phẩm phiên bản Amazon SageMaker P3

Kích cỡ phiên bản vCPU Dung lượng bộ nhớ của phiên bản (GiB) Model GPU GPU Tổng dung lượng bộ nhớ GPU (GB) Dung lượng bộ nhớ mỗi GPU (GB) Băng thông mạng (Gbps) GPU ngang hàng Lưu trữ phiên bản (GB) Băng thông EBS (Gbps)
ml.p3.2xlarge 8 61 NVIDIA V100 1 16 16 Lên đến 10 Không áp dụng Chỉ EBS 1,5
ml.p3.8xlarge 32 244 NVIDIA V100 4 64 16 10 NVLink Chỉ EBS 7
ml.p3.16xlarge 64 488 NVIDIA V100 8 128 16 25 NVLink Chỉ EBS 14
ml.p3dn.24xlarge 96 768 NVIDIA V100 8 256 32 100 NVLink 2 x 900 SSD NVMe 19

Chi tiết sản phẩm phiên bản Amazon SageMaker P2

Kích cỡ phiên bản vCPU Dung lượng bộ nhớ của phiên bản (GiB) Model GPU GPU Tổng dung lượng bộ nhớ GPU (GB) Dung lượng bộ nhớ mỗi GPU (GB) Băng thông mạng (Gbps) Băng thông EBS (Gbps)
ml.p2.xlarge 4 61 NVIDIA K80 1 12 12 Lên đến 10 Cao
ml.p2.8xlarge 32 488 NVIDIA K80 8 96 12 10 10
ml.p2.16xlarge 64 732 NVIDIA K80 16 192 12 25 20

Chi tiết sản phẩm phiên bản Amazon SageMaker G4

Kích cỡ phiên bản vCPU Dung lượng bộ nhớ của phiên bản (GiB) Model GPU GPU Tổng dung lượng bộ nhớ GPU (GB) Dung lượng bộ nhớ mỗi GPU (GB) Băng thông mạng (Gbps) Lưu trữ phiên bản (GB) Băng thông EBS (Gbps)
ml.g4dn.xlarge 4 16 NVIDIA T4 1 16 16 Lên đến 25 SSD NVMe 1 x 125 Lên đến 3,5
ml.g4dn.2xlarge 8 32 NVIDIA T4 1 16 16 Lên đến 25 SSD NVMe 1 x 125 Lên đến 3,5
ml.g4dn.4xlarge 16 64 NVIDIA T4 1 16 16 Lên đến 25 SSD NVMe 1 x 125 4,75
ml.g4dn.8xlarge 32 128 NVIDIA T4 1 16 16 50 SSD NVMe 1 x 900 9,5
ml.g4dn.16xlarge 64 256 NVIDIA T4 1 16 16 50 SSD NVMe 1 x 900 9,5
ml.g4dn.12xlarge 48 192 NVIDIA T4 4 64 16 50 SSD NVMe 1 x 900 9,5

Chi tiết sản phẩm phiên bản Amazon SageMaker G5

Kích cỡ phiên bản vCPU Dung lượng bộ nhớ của phiên bản (GiB) Model GPU GPU Tổng dung lượng bộ nhớ GPU (GB) Dung lượng bộ nhớ mỗi GPU (GB) Băng thông mạng (Gbps) Băng thông EBS (Gbps) Lưu trữ phiên bản (GB)
ml.g5n.xlarge 4 16 NVIDIA A10G 1 24 24 Lên đến 10 Lên đến 3,5 1x250
ml.g5.2xlarge 8 32 NVIDIA A10G 1 24 24 Lên đến 10 Lên đến 3,5 1x450
ml.g5.4xlarge 16 64 NVIDIA A10G 1 24 24 Lên đến 25 8 1x600
ml.g5.8xlarge 32 128 NVIDIA A10G 1 24 24 25 16 1x900
ml.g5.16xlarge 64 256 NVIDIA A10G 1 24 24 25 16 1x1900
ml.g5.12xlarge 48 192 NVIDIA A10G 4 96 24 40 16 1x3800
ml.g5.24xlarge 96 384 NVIDIA A10G 4 96 24 50 19 1x3800
ml.g5.48xlarge 192 768 NVIDIA A10G 8 192 24 100 19 2x3800

Chi tiết sản phẩm phiên bản Amazon SageMaker Trn1

Kích cỡ phiên bản vCPU Bộ nhớ (GiB) Bộ tăng tốc Trainium Tổng dung lượng bộ nhớ của bộ tăng tốc (GB) Dung lượng bộ nhớ mỗi bộ tăng tốc (GB) Dung lượng lưu trữ của phiên bản (GB) Băng thông mạng (Gbps) Băng thông EBS (Gbps)
ml.trn1.2xlarge 8 32 1 32 32 1 x 500 SSD NVMe Lên đến 12,5 Lên đến 20
ml.trn1.32xlarge 128 512 16 512 32 4 x 2000 SSD NVMe 800 80

Chi tiết sản phẩm phiên bản Amazon SageMaker Inf1

Kích cỡ phiên bản vCPU Bộ nhớ (GiB) Bộ tăng tốc Inferentia Tổng dung lượng bộ nhớ của bộ tăng tốc (GB) Dung lượng bộ nhớ mỗi bộ tăng tốc (GB) Dung lượng lưu trữ của phiên bản  Khả năng liên kết giữa các bộ tăng tốc Băng thông mạng (Gbps) Băng thông EBS (Gbps)
ml.inf1.xlarge 4 8 1 8 8 Chỉ EBS Không áp dụng Lên tới 25 Lên đến 4,75
ml.inf1.2xlarge 8 16 1 8 8 Chỉ EBS Không áp dụng Lên tới 25 Lên đến 4,75
ml.inf1.6xlarge 24 48 4 32 8 Chỉ EBS Có 25 4,75
ml.inf1.24xlarge 96 192 16 128 8 Chỉ EBS có 100 19

Chi tiết sản phẩm phiên bản Amazon SageMaker Inf2

Kích cỡ phiên bản vCPU Bộ nhớ (GiB) Bộ tăng tốc Inferentia Tổng dung lượng bộ nhớ của bộ tăng tốc (GB) Dung lượng bộ nhớ mỗi bộ tăng tốc (GB) Dung lượng lưu trữ của phiên bản  Khả năng liên kết giữa các bộ tăng tốc Băng thông mạng (Gbps) Băng thông EBS (Gbps)
ml.inf2.xlarge 4 16 1 32 32 Chỉ EBS Không áp dụng Lên đến 25 Lên đến 10
ml.inf2.8xlarge 32 128 1 32 32 Chỉ EBS Không áp dụng Lên đến 25 10
ml.inf2.24xlarge 96 384 6 196 32 Chỉ EBS Có 50 30
ml.inf2.48xlarge 192 768 12 384 32 Chỉ EBS Có 100 60

Studio Amazon SageMaker

Studio Amazon SageMaker là một giao diện chạy trên web duy nhất cho toàn bộ quá trình phát triển ML, cung cấp lựa chọn các môi trường phát triển tích hợp (IDE) được quản lý đầy đủ và các công cụ được thiết kế riêng. Bạn có thể truy cập Studio SageMaker miễn phí. Bạn chỉ bị tính phí khi sử dụng khả năng điện toán và lưu trữ cơ bản cho các IDE và công cụ ML khác nhau trong Studio SageMaker.

Bạn có thể sử dụng nhiều dịch vụ từ Studio SageMaker, SDK AWS dành cho Python (Boto3) hoặc Giao diện dòng lệnh AWS (AWS CLI), bao gồm các dịch vụ sau:

  • IDE trên Studio SageMaker thực hiện toàn bộ quá trình phát triển ML với một loạt IDE được quản lý toàn phần, bao gồm JupyterLab, Trình soạn mã dựa trên Code-OSS (Visual Studio Code – Nguồn mở) và RStudio
  • Quy trình của SageMaker để tự động hóa và quản lý quy trình công việc ML
  • SageMaker Autopilot để tự động tạo các mô hình ML với khả năng hiển thị đầy đủ
  • SageMaker Experiments để tổ chức và theo dõi các phiên bản và tác vụ đào tạo của bạn
  • SageMaker Debugger để khắc phục các hiện tượng bất thường trong quá trình đào tạo
  • SageMaker Model Monitor để duy trì mô hình chất lượng cao
  • SageMaker Clarify để giải thích rõ hơn về các mô hình ML của bạn và phát hiện sai lệch
  • SageMaker JumpStart để dễ dàng triển khai các giải pháp ML cho nhiều trường hợp sử dụng. Phí có thể phát sinh từ các dịch vụ AWS khác mà bạn dùng trong giải pháp cho các lệnh gọi API cơ bản mà Amazon SageMaker thực hiện thay mặt bạn.
  • SageMaker Inference Recommender để được đề xuất cấu hình điểm cuối phù hợp

Bạn chỉ cần trả phí cho các tài nguyên điện toán và lưu trữ cơ bản trong phạm vi SageMaker hoặc các dịch vụ AWS khác, dựa trên mức sử dụng của bạn.

Để sử dụng Amazon Q bậc miễn phí dành cho nhà phát triển, hãy làm theo hướng dẫn tại đây. Để sử dụng Amazon Q chuyên nghiệp dành cho nhà phát triển, bạn phải đăng ký Amazon Q Developer. Xem giá của Amazon Q Developer tại đây.

Đánh giá mô hình nền tảng

SageMaker Clarify hỗ trợ đánh giá mô hình nền tảng với cả hai phương pháp đánh giá tự động và phương pháp đánh giá của con người. Mỗi phương pháp sẽ có giá cả khác nhau. Nếu bạn đang đánh giá một mô hình nền tảng từ Amazon SageMaker JumpStart chưa được triển khai vào tài khoản của bạn, SageMaker sẽ tạm thời triển khai mô hình JumpStart trên phiên bản SageMaker trong suốt thời gian suy luận. Phiên bản cụ thể sẽ tuân thủ đề xuất phiên bản do JumpStart cung cấp cho mô hình đó.

Đánh giá tự động:
Đánh giá mô hình nền tảng chạy dưới dạng công việc xử lý SageMaker. Công việc đánh giá sẽ gọi SageMaker Inference. Khách hàng bị tính phí cho việc suy luận và cho công việc đánh giá. Khách hàng chỉ bị tính phí trong thời gian thực hiện công việc đánh giá. Chi phí của công việc đánh giá sẽ là tổng chi phí mỗi giờ của phiên bản đánh giá và tổng chi phí mỗi giờ của phiên bản lưu trữ.

Đánh giá của con người:
Khi bạn sử dụng tính năng đánh giá của con người tức bạn sử dụng lực lượng lao động của riêng mình, bạn sẽ bị tính phí cho ba mục: 1) phiên bản SageMaker được sử dụng để suy luận, 2) phiên bản được sử dụng để chạy Công việc xử lý SageMaker lưu trữ đánh giá của con người và 3) phí 0,21 USD cho mỗi nhiệm vụ đánh giá của con người đã hoàn thành. Tác vụ của con người được định nghĩa là việc một nhân viên con người gửi bản đánh giá về một lời nhắc duy nhất và các phản hồi suy luận liên quan trong giao diện người dùng đánh giá của con người. Giá cả là như nhau bất kể bạn có 1 hay 2 mô hình trong công việc đánh giá của mình hay bạn sử dụng suy luận của riêng mình và giá cả cũng như nhau bất kể bạn đưa vào bao nhiêu tham số đánh giá và phương pháp xếp hạng. Giá 0,21 USD cho mỗi tác vụ là như nhau cho tất cả các khu vực AWS. Không có phí riêng cho lực lượng lao động, vì lực lượng lao động do chính bạn cung cấp.

Đánh giá do AWS quản lý:
Đối với đánh giá chuyên gia do AWS quản lý, giá cả được tùy chỉnh cho nhu cầu đánh giá của bạn trong một tương tác riêng tư trong khi làm việc với nhóm đánh giá chuyên gia AWS.

Phòng thực hành studio Amazon SageMaker

Bạn có thể xây dựng và đào tạo các mô hình ML bằng cách sử dụng Phòng thực hành studio Amazon SageMaker miễn phí. Phòng thực hành studio SageMaker cung cấp cho các nhà phát triển, học giả và các nhà khoa học dữ liệu một môi trường phát triển không cấu hình để tìm hiểu và thử nghiệm công nghệ ML mà không mất thêm phí.

Amazon SageMaker Canvas

Amazon SageMaker Canvas mở rộng khả năng tiếp cận ML bằng cách cho phép các nhà phân tích kinh doanh tạo ra các dự đoán ML chính xác bằng thao tác trỏ và nhấp trên giao diện trực quan – không cần kinh nghiệm về ML hay lập trình.

Gắn nhãn dữ liệu với Amazon SageMaker

Tính năng Gắn nhãn dữ liệu với Amazon SageMaker cung cấp hai dịch vụ gắn nhãn dữ liệu, Amazon SageMaker Ground Truth Plus và Amazon SageMaker Ground Truth. Bạn có thể tìm hiểu thêm về Gắn nhãn dữ liệu với Amazon SageMaker, một dịch vụ gắn nhãn dữ liệu được quản lý đầy đủ giúp dễ dàng xây dựng các bộ dữ liệu đào tạo có độ chính xác cao cho ML.

Kiểm thử sớm Amazon SageMaker

SageMaker giúp bạn chạy kiểm thử sớm để đánh giá mô hình ML mới trước khi phát hành chính thức bằng cách kiểm thử hiệu suất của mô hình đó so với mô hình hiện được triển khai. Ngoài phí sử dụng cho các phiên bản ML và bộ nhớ ML được cung cấp để lưu trữ mô hình mờ, kiểm thử sớm SageMaker được tiến hành miễn phí. Giá cho các phiên bản ML và kích thước bộ nhớ ML giống như tùy chọn suy luận theo thời gian thực được nêu trong bảng giá trước đó. Dữ liệu được xử lý trong và ngoài giai đoạn triển khai sớm sẽ được miễn phí.

Amazon SageMaker Edge

Tìm hiểu thêm về giá của Amazon SageMaker Edge để tối ưu hóa, chạy và theo dõi các mô hình ML trên các nhóm thiết bị biên. 

Amazon SageMaker Savings Plans

Gói tiết kiệm cho Amazon SageMaker giúp bạn giảm đến 64% chi phí. Gói này tự động áp dụng cho mức sử dụng phiên bản SageMaker ML đủ điều kiện, bao gồm sổ tay Studio SageMaker, phiên bản sổ tay của SageMaker, Xử lý trong SageMaker, SageMaker Data Wrangler, SageMaker Training, SageMaker Real-Time Inference, SageMaker Batch Transform bất kể bộ phiên bản, quy mô hoặc Khu vực. Ví dụ: bạn có thể thay đổi từ phiên bản CPU ml.c5.xlarge chạy tại Miền Đông Hoa Kỳ (Ohio) sang phiên bản a ml.Inf1 tại Miền Tây Hoa Kỳ (Oregon) cho các khối lượng công việc suy luận và vẫn sẽ tiếp tục tự động thanh toán theo giá của Gói tiết kiệm. 

Tìm hiểu thêm »

Tổng chi phí sở hữu (TCO) với Amazon SageMaker

Amazon SageMaker giúp tổng chi phí sở hữu (TCO) thấp hơn ít nhất 54% trong thời gian ba năm so với những giải pháp tự quản lý dựa trên đám mây khác. Tìm hiểu thêm với hoạt động phân tích TCO đầy đủ cho Amazon SageMaker.

Ví dụ về định giá

  • Là một nhà khoa học dữ liệu, bạn dành 20 ngày sử dụng JupyterLab để thử nghiệm nhanh trên sổ tay, mã và dữ liệu trong 6 giờ mỗi ngày trên phiên bản ml.g4dn.xlarge. Bạn tạo, rồi chạy một không gian JupyterLab để truy cập IDE JupyterLab. Chỉ tính phí tài nguyên điện toán cho phiên bản được sử dụng khi không gian JupyterLab đang chạy. Phí lưu trữ cho không gian JupyterLab được cộng dồn cho đến khi bị xóa.

    Điện toán

    Phiên bản Thời lượng Số ngày Tổng thời lượng Chi phí mỗi giờ Tổng
    ml.g4dn.xlarge 6 giờ 20 6 * 20 = 120 giờ 0,7364 USD 88,368 USD

    Dung lượng lưu trữ

    Bạn sẽ sử dụng dung lượng lưu trữ SSD đa dụng trong 480 giờ (24 giờ * 20 ngày). Trong Khu vực tính phí 0,1125 USD/GB-tháng:
    0,112 USD mỗi GB-tháng * 5 GB * 480 / (24 giờ/ngày * 30 ngày/tháng) = 0,373 USD

  • Là một kỹ sư ML, bạn dành 20 ngày sử dụng Trình soạn mã để chỉnh sửa mã sản xuất ML, thực thi và gỡ lỗi trong 6 giờ/ngày trên phiên bản ml.g4dn.xlarge. Bạn tạo, rồi chạy không gian Trình soạn mã để truy cập IDE Trình soạn mã. Chỉ tính phí tài nguyên điện toán cho phiên bản được sử dụng khi không gian Trình soạn mã đang chạy. Phí lưu trữ cho không gian Trình soạn mã được cộng dồn cho đến khi bị xóa.

    Điện toán

    Phiên bản Thời lượng Số ngày Tổng thời lượng Chi phí mỗi giờ Tổng
    ml.g4dn.xlarge 6 giờ 20 6 * 20 = 120 giờ 0,7364 USD 88,368 USD

    Dung lượng lưu trữ

    Bạn sẽ sử dụng dung lượng lưu trữ SSD đa dụng trong 480 giờ (24 giờ * 20 ngày). Trong Khu vực tính phí 0,1125 USD/GB-tháng:
    0,112 USD mỗi GB-tháng * 5 GB * 480 / (24 giờ/ngày * 30 ngày/tháng) = 0,373 USD

  • Một nhà khoa học dữ liệu sẽ thực hiện chuỗi hành động sau đây khi sử dụng sổ tay trong Phiên bản Classic của Studio Amazon SageMaker.

    1. Mở sổ tay 1 trong nhân TensorFlow trên phiên bản ml.c5.xlarge, sau đó làm việc trên sổ tay này trong 1 giờ.
    2. Mở sổ tay 2 trên phiên bản ml.c5.xlarge. Sổ này sẽ tự động mở trong cùng một phiên bản ml.c5.xlarge đang chạy sổ ghi chép 1. 
    3. Làm việc trên sổ ghi chép 1 và sổ ghi chép 2 đồng thời trong 1 giờ.
    4. Nhà khoa học dữ liệu sẽ bị tính phí cho tổng 2 giờ sử dụng phiên bản ml.c5.xlarge. Đối với giờ bị trùng mà nhà khoa học dữ liệu làm việc đồng thời trên cả sổ tay 1 và sổ tay 2, mỗi ứng dụng nhân sẽ được tính thành 0,5 giờ và nhà khoa học dữ liệu sẽ bị tính phí cho 1 giờ sử dụng.
    Ứng dụng nhân Phiên bản sổ ghi chép Số giờ Chi phí mỗi giờ Tổng
    TensorFlow ml.c5.xlarge 1 0,204 USD 0,204 USD
    TensorFlow ml.c5.xlarge 0,5 0,204 USD 0,102 USD
    Khoa học dữ liệu ml.c5.xlarge 0,5 0,204 USD 0,102 USD
            0,408 USD

  • Một nhà khoa học dữ liệu thực hiện chuỗi hành động dưới đây trong khi sử dụng RStudio:

    1. Khởi chạy RSession 1 trên một phiên bản ml.c5.xlarge, sau đó làm việc trên sổ ghi chép này trong 1 giờ.
    2. Khởi chạy RSession 2 trên một phiên bản ml.c5.xlarge. RSession 2 sẽ tự động mở trong cùng một phiên bản ml.c5.xlarge đang chạy RSession 1.
    3. Đồng thời làm việc trên RSesssion 1 và RSession 2 trong 1 giờ.
    4. Nhà khoa học dữ liệu sẽ bị tính phí cho tổng số hai (2) giờ sử dụng ml.c5.xlarge. Đối với số giờ trùng mà nhà khoa học đồng thời làm việc trên RSession 1 và RSession 2, mỗi lần ứng dụng RSession sẽ được đo lường thành 0,5 giờ, như vậy, nhà khoa học đó sẽ bị tính phí cho 1 giờ sử dụng.

    Trong khi đó, RServer đang chạy 24/7 bất kể có RSession nào đang chạy hay không. Nếu quản trị viên chọn “Small” (Nhỏ) (ml.t3.medium), vậy thì không mất phí. Nếu quản trị viên chọn “Medium” (Trung bình) (ml.c5.4xlarge) hoặc “Large” (Lớn) (ml.c5.9xlarge), vậy thì phí được tính theo giờ dựa trên việc bật RStudio cho Miền SageMaker.

    Ứng dụng RSession Phiên bản RSession Số giờ Chi phí mỗi giờ Tổng
    Base R ml.c5.xlarge 1 0,204 USD 0,204 USD
    Base R ml.c5.xlarge 0,5 0,204 USD 0,102 USD
    Base R ml.c5.xlarge 0,5 0,204 USD 0,102 USD
            0,408 USD

  • Xử lý trong Amazon SageMaker chỉ tính phí cho các phiên bản bạn sử dụng trong khi các tác vụ của bạn đang chạy. Khi bạn cung cấp dữ liệu đầu vào để xử lý trong Amazon S3, Amazon SageMaker tải dữ liệu từ Amazon S3 về bộ lưu trữ tệp cục bộ khi bắt đầu tác vụ xử lý.

    Nhà phân tích dữ liệu chạy một tác vụ xử lý để xử lý trước và xác thực dữ liệu trên hai phiên bản ml.m5.4xlarge trong thời gian tác vụ là 10 phút. Cô ấy tải lên bộ dữ liệu 100 GB trong S3 làm đầu vào cho tác vụ xử lý và dữ liệu đầu ra (có kích thước tương đương) được lưu trữ trở lại trong S3.

    Số giờ  Phiên bản xử lý Chi phí mỗi giờ Tổng
    1 * 2 * 0,167 = 0,334 ml.m5.4xlarge 0,922 USD 0,308 USD
    Dung lượng lưu trữ đa dụng (SSD) (GB) Chi phí mỗi giờ Tổng
    100 GB * 2 = 200 0,14 USD 0,0032 USD

    Tổng phụ của tác vụ Amazon SageMaker Processing = 0,308 USD.
    Tổng phụ của 200 GB dung lượng lưu trữ SSD đa dụng = 0,0032 USD.
    Tổng chi phí trong ví dụ này là 0,3112 USD.

  • Từ bảng, bạn sử dụng Amazon SageMaker Data Wrangler tổng cộng 18 giờ trong 3 ngày để chuẩn bị dữ liệu của mình. Ngoài ra, bạn tạo tác vụ của Trình sắp xếp dữ liệu SageMaker để chuẩn bị dữ liệu cập nhật hàng tuần. Mỗi tác vụ kéo dài 40 phút và tác vụ chạy hàng tuần trong một tháng.

    Tổng chi phí hàng tháng để sử dụng Data Wrangler = 16,596 USD + 2,461 USD = 19,097 USD

    Ứng dụng Phiên bản SageMaker Studio Số ngày Thời lượng Tổng thời lượng Chi phí mỗi giờ  Tổng phụ chi phí
    SageMaker Data Wrangler ml.m5.4xlarge 3 6 giờ 18 giờ 0,922 USD 16,596 USD
    Tác vụ SageMaker Data Wrangler ml.m5.4xlarge - 40 phút 2,67 giờ 0,922 USD 2,461 USD

    Là một nhà khoa học dữ liệu, bạn dành ba ngày sử dụng Amazon SageMaker Data Wrangler để dọn dẹp, khám phá và hiển thị trực quan dữ liệu của mình trong 6 giờ mỗi ngày. Để thực hiện quy trình chuẩn bị dữ liệu, bạn bắt đầu một tác vụ của Trình sắp xếp dữ liệu SageMaker được lên lịch chạy hàng tuần.

    Bảng dưới đây tóm tắt tổng mức sử dụng của bạn trong tháng và các khoản phí liên quan để sử dụng Amazon SageMaker Data Wrangler.

  • ++ Tất cả các đơn vị đọc lẻ được làm tròn thành số nguyên tiếp theo

    Lưu trữ dữ liệu
    Tổng dữ liệu lưu trữ = 31,5 GB
    Phí lưu trữ dữ liệu hàng tháng = 31,5 GB * 0,45 USD = 14,175 USD

    Tổng phí hàng tháng cho Cửa hàng tính năng của Amazon SageMaker = 56,875 USD + 3,185 USD + 14,175 USD = 74,235 USD

    Ngày trong tháng Tổng số lần ghi Tổng số đơn vị ghi Tổng số lần đọc Tổng số đơn vị đọc
    Ngày 1 đến 10 100.000 lần ghi 
    (10.000 lần ghì * 10 ngày)    		 2.500.000 
    (100.000 * 25KB )    		 100.000 
    (10.000 * 10 ngày)    		 Trên 700.000 
    (100.000 * 25/4 KB )
             
    Ngày 11 200.000 lần ghi 5.000.000 
    (200.000 * 25KB )    		 200.000 lần đọc 1.400.000++ 
    (200.000* 25/4KB)
             
    Ngày 12 đến 30 1.520.000 lần ghi 
    (80.000 * 19 ngày)    		 38.000.000 
    (1.520.000 * 25KB )    		 1.520.000 lần ghi
    (80.000 * 19 ngày)    		 10,640,000++
    (1.520.000* 25/4KB)
             
    Tổng số đơn vị tính phí   45.500.000 đơn vị ghi   12.740.000 đơn vị đọc
    Phí ghi và đọc hàng tháng   56,875 USD 
    (45,5 triệu đơn vị ghi * 1,25 USD cho mỗi triệu lần ghi)    		   3,185 USD 
    (12,74 triệu đơn vị đọc * 0,25 USD cho mỗi triệu lần đọc)

    Bạn có một ứng dụng web thực hiện đọc và ghi 25 KB mỗi ngày trên Cửa hàng tính năng của Amazon SageMaker. Trong 10 ngày đầu tiên của tháng, bạn nhận được ít lưu lượng truy cập vào ứng dụng của mình, với 10.000 lần ghi và 10.000 lần đọc mỗi ngày trên SageMaker Feature Store. Tuy nhiên, vào ngày 11 của tháng, ứng dụng của bạn thu hút được sự chú ý trên phương tiện truyền thông xã hội và lưu lượng truy cập ứng dụng tăng vọt lên 200.000 lần đọc và 200.000 lần ghi trong ngày đó. Sau đó, ứng dụng ổn định ở mức lưu lượng thường xuyên hơn, với trung bình 80.000 lần đọc và 80.000 lần ghi mỗi ngày cho đến cuối tháng.

    Bảng dưới đây tóm tắt tổng mức sử dụng của bạn trong tháng và các khoản phí liên quan để sử dụng Cửa hàng tính năng của Amazon SageMaker.

  • Tổng chi phí cho đào tạo và gỡ lỗi trong ví dụ này là 2,38 USD. Các phiên bản điện toán và các ổ đĩa lưu trữ cho mục đích chung được sử dụng bởi các quy tắc tích hợp sẵn của Trình gỡ lỗi của Amazon SageMaker sẽ không phát sinh thêm phí.

      Dung lượng lưu trữ đa dụng (SSD) cho quá trình đào tạo (GB)  Dung lượng lưu trữ đa dụng (SSD) cho những quy tắc được tích hợp trong Debugger (GB) Dung lượng lưu trữ đa dụng (SSD) cho những quy tắc tùy chỉnh trong trình gỡ lỗi (GB) Phí cho mỗi GB-tháng Tổng phụ
    Dung lượng đã sử dụng 3 2 1    
    Chi phí 0 USD Không có phụ phí cho các ổ đĩa lưu trữ quy tắc tích hợp 0 USD 0,10 USD 0 USD

     

    Số giờ Phiên bản đào tạo Phiên bản gỡ lỗi Chi phí mỗi giờ  Tổng phụ
    4 * 0,5 = 2,00 ml.m4.4xlarge không áp dụng 0,96 USD 1,92 USD
    4 * 0,5 * 2 = 4 không áp dụng Không có phụ phí cho các phiên bản quy tắc tích hợp 0 USD 0 USD
    4 * 0.5 = 2 ml.m5.xlarge không áp dụng 0,23 USD 0,46 USD
            -------
            2,38 USD

    Một nhà khoa học dữ liệu đã dành một tuần nghiên cứu mô hình xây dựng ý tưởng mới. Cô ấy đào tạo mô hình 4 lần trên một ml.m4.4xlarge trong 30 phút cho mỗi lần đào tạo với Trình gỡ lỗi Amazon SageMaker được kích hoạt bằng cách sử dụng 2 quy tắc tích hợp và 1 quy tắc tùy chỉnh mà cô ấy đã viết. Đối với quy tắc tùy chỉnh, cô ấy đã chỉ định phiên bản ml.m5.xlarge. Cô ấy đào tạo bằng cách sử dụng 3 GB dữ liệu đào tạo trong Amazon S3 và đẩy tệp đầu ra mô hình 1 GB vào Amazon S3. SageMaker tạo các ổ đĩa SSD mục đích chung (gp2) cho mỗi phiên bản đào tạo. SageMaker cũng tạo các ổ đĩa SSD mục đích chung (gp2) cho mỗi quy tắc được chỉ định. Trong ví dụ này, tổng cộng 4 ổ đĩa SSD mục đích chung (gp2) sẽ được tạo. Trình gỡ lỗi của SageMaker phát sinh 1 GB dữ liệu gỡ lỗi vào vùng lưu trữ Amazon S3 của khách hàng.

  • Bạn có hai nhóm các nhà khoa học dữ liệu. Một nhóm có 10 nhà khoa học dữ liệu và nhóm còn lại có 40 nhà khoa học dữ liệu. Để đáp ứng nhu cầu của hai nhóm này, bạn chọn bật hai Máy chủ theo dõi MLflow khác nhau: một Nhỏ và một Trung bình. Mỗi nhóm đang tiến hành các thử nghiệm máy học (ML) và cần ghi lại các chỉ số, thông số và tạo tác từ các lần đào tạo của mình. Họ muốn sử dụng Máy chủ theo dõi MLflow trong 160 giờ mỗi tháng. Giả sử mỗi nhóm Khoa học dữ liệu lưu trữ 1 GB siêu dữ liệu để theo dõi các lần chạy trong các thử nghiệm. Hóa đơn cuối tháng sẽ được tính như sau:  

    Phí điện toán cho Phiên bản nhỏ: 160 * 0,60 USD = 96 USD
    Phí điện toán cho Phiên bản trung bình: 160 * 1,40 USD = 166,4 USD
    Phí lưu trữ cho cả hai nhóm: 2 * 1 * 0,10 = 0,20 USD

    Tổng cộng = 262,60 USD

  • Tổng phụ của chi phí đào tạo, lưu trữ và giám sát = 305,827 USD. Tổng phụ của 3.100 MB dữ liệu được xử lý nhận về và 310MB dữ liệu được xử lý truyền đi cho quá trình lưu trữ mỗi tháng = 0,054 USD. Tổng chi phí trong ví dụ này là 305,881 USD mỗi tháng.

    Lưu ý: đối với các quy tắc tích hợp sẵn với phiên bản ml.m5.xlarge, bạn có tổng tối đa 30 giờ giám sát miễn phí trên tất cả các điểm cuối mỗi tháng.

     

    Dữ liệu vào mỗi tháng - lưu trữ Dữ liệu truyền đi mỗi tháng - lưu trữ Chi phí trên mỗi GB vào hoặc ra Tổng
    100 MB * 31 = 3.100 MB   0,016 USD 0.0496 USD
      10 MB * 31 = 310 MB 0,016 USD 0,00496 USD
    Số giờ mỗi tháng Phiên bản lưu trữ Phiên bản Giám sát mô hình  Chi phí mỗi giờ Tổng
    24 * 31 * 2 = 1488 ml.c5.xlarge   0,204 USD 303,522 USD
    31*0,08 = 2,5   ml.m5.4xlarge 0,922 USD 2,305 USD

    Khi đó, mô hình trong ví dụ 5 được triển khai để tạo thành hai (2) phiên bản ml.c5.xlarge nhằm lưu trữ ổn định nhiều AZ. Amazon SageMaker Model Monitor được kích hoạt với một (1) phiên bản ml.m5.4xlarge và các tác vụ giám sát được lên lịch một lần mỗi ngày. Mỗi tác vụ giám sát mất 5 phút để hoàn thành. Mô hình này nhận 100 MB dữ liệu mỗi ngày và kết quả bằng 1/10 kích thước dữ liệu đầu vào.

  • Tổng phụ của Suy luận không đồng bộ của SageMaker = 15,81 USD + 0,56 USD + 2 * 0,0048 = 16,38 USD. Tổng chi phí cho Suy luận không đồng bộ trong ví dụ này sẽ là 16,38 USD mỗi tháng. 

    Dữ liệu vào mỗi tháng  Dữ liệu ra mỗi tháng Chi phí trên mỗi GB vào hoặc ra Tổng
    10 KB * 1.024 * 31 = 310 MB 10 KB * 1.024 * 31 = 310 MB 0,02 USD 0,0048
      10 KB * 1.024 * 31 = 310 MB 0,02 USD 0,0048
    Dung lượng lưu trữ đa dụng (SSD) (GB) Phí cho mỗi Gb-tháng Tổng
    4 0,14 USD 0,56 USD
    Số giờ mỗi tháng Phiên bản lưu trữ Chi phí mỗi giờ Tổng
    2,5 * 31 * 1 = 77,5 ml.c5.xlarge 0,20 USD 15,81 USD

    Tính năng Suy luận không đồng bộ của Amazon SageMaker tính phí cho các phiên bản được điểm cuối của bạn sử dụng. Khi không thực sự cần xử lý yêu cầu, bạn có thể cấu hình cho tính năng tự động thay đổi quy mô để thay đổi số lượng phiên bản về không nhằm tiết kiệm chi phí. Đối với trọng tải đầu vào trong Amazon S3, bạn không phải trả phí cho việc đọc dữ liệu đầu vào từ Amazon S3 cũng như ghi dữ liệu đầu ra đến S3 trong cùng Khu vực.

    Mô hình trong ví dụ 5 được sử dụng để chạy điểm cuối Suy luận không đồng bộ của SageMaker. Điểm cuối được cấu hình để chạy trên 1 phiên bản ml.c5.xlarge và giảm số lượng phiên bản về không khi không thực sự cần xử lý các yêu cầu. Phiên bản ml.c5.xlarge tại điểm cuối có ổ đĩa đa dụng (SSD) dung lượng 4 GB đi kèm. Trong ví dụ này, điểm cuối duy trì 1 phiên bản trong 2 giờ mỗi ngày và có 30 phút thời gian nguội đi, sau đó, trong suốt thời gian còn lại của ngày hôm đó, điểm cuối giảm số lượng phiên bản về không. Do đó, bạn bị tính phí cho 2,5 giờ sử dụng mỗi ngày. 

    Điểm cuối xử lý 1.024 yêu cầu mỗi ngày. Kích thước của mỗi nội dung yêu cầu/phản hồi lệnh gọi là 10 KB và mỗi yêu cầu suy luận trong Amazon S3 có trọng tải là 100 MB. Đầu ra suy luận có kích thước bằng 1/10 dữ liệu đầu vào được dự trữ trong Amazon S3 ở cùng Khu vực. Trong ví dụ này, phí xử lý dữ liệu áp dụng cho nội dung yêu cầu và phản hồi, không áp dụng cho dữ liệu được truyền đến/từ Amazon S3. 

  • Tổng chi phí suy luận trong ví dụ này sẽ là 2,88 USD.

    Số giờ  Phiên bản máy chủ lưu trữ Chi phí mỗi giờ Tổng
    3 * 0,25 * 4 = 3 giờ ml.m4.4xlarge 0,96 USD 2,88 USD

    Mô hình ở ví dụ 5 được dùng để chạy Chuyển đổi hàng loạt của Amazon SageMaker. Nhà khoa học dữ liệu chạy bốn tác vụ Amazon SageMaker Batch Transform riêng biệt trên 3 ml.m4.4xlarge trong 15 phút vào mỗi lần chạy tác vụ. Cô tải tập dữ liệu đánh giá có kích thước 1 GB lên S3 trong mỗi lần chạy và suy luận bằng 1/10 kích thước dữ liệu đầu vào, được lưu trữ trở lại trên S3.

  • Phí xử lý dữ liệu hàng tháng 

    Xử lý dữ liệu (GB) Chi phí trên mỗi GB vào hoặc ra Phí xử lý dữ liệu hàng tháng
    10 GB 0,016 USD 0,16 USD

    Tổng phụ của phí thời gian Suy luận phi máy chủ SageMaker theo nhu cầu = 40 USD. Tổng phụ của phí xử lý 10 GB dữ liệu = 0,16 USD. Tổng chi phí trong ví dụ này là 40,16 USD.

    Phí điện toán hàng tháng

    Số lượng yêu cầu Thời lượng của mỗi yêu cầu Tổng thời gian suy luận (giây) Chi phí mỗi giây Phí thời gian suy luận hàng tháng
    10 triệu 100 mili giây 1 triệu 0,00004 USD 40 USD

    Với Suy luận phi máy chủ theo nhu cầu, bạn chỉ thanh toán chi phí năng lực điện toán được sử dụng để xử lý các yêu cầu suy luận, tính theo mili giây, cũng như lượng dữ liệu được xử lý. Chi phí điện toán phụ thuộc vào cấu hình bộ nhớ bạn chọn.

    Nếu bạn dành 2 GB bộ nhớ cho điểm cuối, đã thực thi điểm cuối đó 10 triệu lần trong một tháng và mỗi lần mất 100 mili giây, đồng thời xử lý tổng cộng 10 GB dữ liệu vào/ra thì chi phí của bạn sẽ như sau:

  • Giả sử bạn đang chạy một dịch vụ chat-bot cho một công ty xử lý tiền lương. Bạn dự kiến số lượng yêu cầu của khách hàng tăng đột biến vào cuối tháng 3, trước thời hạn nộp thuế. Tuy nhiên, trong thời gian còn lại của tháng, lưu lượng truy cập dự kiến sẽ thấp. Vì vậy, bạn triển khai một điểm cuối phi máy chủ với bộ nhớ 2GB và thêm Đồng thời được cung cấp là 100 trong 5 ngày cuối cùng của tháng trong 9 giờ sáng - 5 giờ chiều (8 giờ), trong đó điểm cuối của bạn xử lý 10 triệu yêu cầu và 10GB dữ liệu vào/ra tổng cộng. Trong thời gian còn lại của tháng, chat-bot chạy trên Suy luận phi máy chủ theo nhu cầu và xử lý 3 triệu yêu cầu và 3GB dữ liệu vào/ra. Giả sử thời lượng của mỗi yêu cầu là 100ms.

    Phí Tính đồng thời được cung cấp (PC)
    Giá PC là 0,000010 USD/ giây
    Thời lượng sử dụng PC (giây) = 5 ngày* 100 PC* 8 giờ* 3600 giây = 14.400.000 giây
    Phí sử dụng PC = 14.400.000 giây* 0,000010 USD/ giây = 144 USD.

    Phí thời lượng suy luận đối với lưu lượng được cung cấp bởi Đồng thời được cung cấp
    Giá thời gian suy luận là 0,000023 USD/giây
    Tổng thời lượng suy luận cho PC (giây) = 10M* (100ms) /1000 = 1M giây.
    Phí thời lượng suy luận cho PC = 1.000.000 giây* 0,000023 USD/giây = 23 USD

    Phí thời gian suy luận theo nhu cầu
    Giá điện toán hàng tháng là 0,00004 USD mỗi giây, đồng thời bậc miễn phí cung cấp 150.000 giây.
    Tổng số tính toán (giây) = (3) M * (100ms) /1000 = 0,3M giây.
    Tổng điện toán – Điện toán bậc miễn phí = Điện toán phải thanh toán hàng tháng tính bằng giây
    0,3M giây – 150k giây = 150k giây
    Phí điện toán hàng tháng = 150.000 *0,00004 USD = 6 USD

    Xử lý dữ liệu
    Chi phí/GB dữ liệu được xử lý vào/ra = 0,016 USD
    Tổng GB được xử lý = 10+3 = 13
    Tổng chi phí = 0,016 USD* 13 = 0,208 USD

    Tổng phí cho tháng 3
    Tổng phí = Phí đồng thời được cung cấp + Thời lượng suy luận cho phí Đồng thời được cung cấp + Thời gian suy luận cho tính toán theo nhu cầu + Phí xử lý dữ liệu
    = 144 USD + 23 USD + 6 USD + 0,208 USD = 173,2 USD

  • Khách hàng sử dụng JumpStart để triển khai một mô hình BERT Base Uncased đã được đào tạo trước nhằm phân loại ý kiến đánh giá của khách hàng là tích cực hay tiêu cực.

    Khách hàng triển khai mô hình thành hai (2) phiên bản ml.c5.xlarge nhằm lưu trữ ổn định nhiều AZ. Mô hình này nhận 100 MB dữ liệu mỗi ngày và kết quả bằng 1/10 kích thước dữ liệu đầu vào.

    Số giờ mỗi tháng Phiên bản lưu trữ Chi phí mỗi giờ Tổng
    24 * 31 * 2 = 1488 ml.c5.xlarge 0,204 USD 303,55 USD
     
    Dữ liệu vào mỗi tháng - Lưu trữ Dữ liệu truyền đi mỗi tháng - Lưu trữ Chi phí trên mỗi GB vào hoặc ra

    		 Tổng
    100 MB * 31 = 3.100 MB   0,02 USD 0,06 USD
      10 MB * 31 = 310 MB 0,02 USD 0,01 USD
     

    Tổng phụ của chi phí đào tạo, lưu trữ và giám sát = 305,827 USD. Tổng phụ của 3.100 MB dữ liệu được xử lý nhận về và 310 MB dữ liệu được xử lý truyền đi cho quá trình Lưu trữ mỗi tháng = 0,06 USD. Tổng chi phí trong ví dụ này là 305,887 USD mỗi tháng.

  • Giả sử bạn muốn cung cấp một cụm 4 ml.g5.24xlarge trong 1 tháng (30 ngày) với thêm 100 GB dung lượng lưu trữ cho mỗi phiên bản để hỗ trợ việc phát triển mô hình. Tổng phí cho cụm và dung lượng lưu trữ bổ sung trong ví dụ này là 29.374,40 USD.

    Điện toán

    Phiên bản Thời lượng Phiên bản Chi phí mỗi giờ Tổng phụ
    ml.g5.24xlarge 30 ngày * 24 giờ = 720 giờ 4 10,18 USD 29.318,40 USD

    Dung lượng lưu trữ

    Dung lượng lưu trữ đa dụng (SSD) Thời lượng Phiên bản Phí cho mỗi GB-tháng Tổng phụ
    100 GB 30 ngày * 24 giờ = 720 giờ 4 0,14 USD 56.00 USD

  • Đánh giá mô hình nền tảng với SageMaker Clarify chỉ tính phí cho các phiên bản được sử dụng trong khi các công việc đánh giá tự động của bạn đang chạy. Khi bạn chọn một tác vụ đánh giá tự động và tập dữ liệu, SageMaker sẽ tải tập dữ liệu câu lệnh từ Amazon S3 vào phiên bản đánh giá SageMaker.

    Trong ví dụ sau đây, một kỹ sư ML chạy đánh giá mô hình Llama2 7B ở Miền Đông Hoa Kỳ (Bắc Virginia) về độ chính xác của tác vụ tóm tắt. Loại phiên bản được đề xuất để suy luận cho Llama 2 7B là ml.g5.2xlarge. Phiên bản tối thiểu được đề xuất cho đánh giá là ml.m5.2xlarge. Trong ví dụ này, công việc chạy trong 45 phút (tùy thuộc vào kích thước của tập dữ liệu). Trong ví dụ này, chi phí sẽ là 1,48 USD cho công việc đánh giá và kết quả chi tiết.

    Số giờ công việc xử lý (ví dụ)

    Khu vực

    Loại phiên bản

    Phiên bản

    Chi phí mỗi giờ

    Chi phí

    0,45

    US-east-1

    Lưu trữ LLM

    ml.g5.2xlarge

    1,52 USD

    1,14 USD

    0,45

    US-east-1

    đánh giá

    ml.m5.2xlarge

    0,46 USD

    0,35 USD

    Tổng

    		        

    1,48 USD

    Trong ví dụ tiếp theo, cùng một kỹ sư ở Virginia chạy một công việc đánh giá khác về độ chính xác của tác vụ tóm tắt, nhưng sử dụng phiên bản tùy chỉnh của Llama 2 7B được triển khai vào tài khoản của họ và đang chạy. Trong trường hợp này, vì mô hình đã được triển khai vào tài khoản của họ nên chi phí gia tăng duy nhất sẽ dành cho phiên bản đánh giá.

    Số giờ công việc xử lý

    Khu vực

    Loại phiên bản

    Phiên bản

    Chi phí mỗi giờ

    Chi phí

    0,45

    US-east-1

    đánh giá

    ml.m5.2xlarge

    0,46 USD

    0,35 USD

    Tổng

    		        

    0,35 USD

  • Trong ví dụ sau đây, một kỹ sư máy học ở Miền Đông Hoa Kỳ (Bắc Virginia) chạy đánh giá của con người về Llama-2-7B để tóm tắt độ chính xác của tác vụ và sử dụng lực lượng lao động tư nhân của họ để đánh giá. Loại phiên bản được đề xuất cho Llama-2-7B là ml.g5.2xlarge. Phiên bản tối thiểu được đề xuất cho Công việc xử lý đánh giá của con người là ml.t3.medium. Suy luận về Llama-2-7B chạy trong 45 phút (phụ thuộc vào kích thước tập dữ liệu). Tập dữ liệu chứa 50 lời nhắc và nhà phát triển yêu cầu 2 nhân viên đánh giá mỗi tập hợp phản hồi câu lệnh (có thể định cấu hình trong quá trình tạo công việc đánh giá dưới dạng tham số “nhân viên trên mỗi câu lệnh”). Sẽ có 100 tác vụ trong công việc đánh giá này (1 tác vụ cho mỗi cặp phản hồi câu lệnh cho mỗi nhân viên: 2 nhân viên x 50 tập hợp phản hồi câu lệnh = 100 tác vụ của con người). Lực lượng lao động con người mất một ngày (24 giờ) để hoàn thành tất cả 100 nhiệm vụ đánh giá của con người trong công việc đánh giá (phụ thuộc vào số lượng và trình độ kỹ năng của nhân viên, và độ dài/độ phức tạp của câu lệnh và phản hồi suy luận).

    Số giờ điện toán

    Tác vụ của con người

    Khu vực

    Loại phiên bản

    Phiên bản

    Chi phí mỗi giờ

    Chi phí cho mỗi tác vụ của con người

    Tổng chi phí

    0,45

    		  

    Miền Đông Hoa Kỳ (Bắc Virginia)

    Lưu trữ LLM

    ml.g5.2xlarge

    1,52 USD

    		  

    1,14 USD

    24

    		  

    Miền Đông Hoa Kỳ (Bắc Virginia)

    Công việc xử lý

    ml.t3.medium

    0,05 USD

    		  

    1,20 USD
     

    100

    Bất kỳ

    		      

    0,21 USD

    21,00 USD

    Tổng

    		            

    23,34 USD

    Trong ví dụ tiếp theo, cùng một kỹ sư ở Miền Đông Hoa Kỳ (Bắc Virginia) chạy cùng một công việc đánh giá nhưng sử dụng Llama-2-7B đã được triển khai vào tài khoản của họ và đang chạy. Trong trường hợp này, chi phí gia tăng duy nhất sẽ là cho công việc xử lý đánh giá và các tác vụ của con người.

    Số giờ điện toán

    Tác vụ của con người

    Khu vực

    Loại phiên bản

    Phiên bản

    Chi phí mỗi giờ

    Chi phí cho mỗi tác vụ của con người

    Tổng chi phí

    24

    		  

    Miền Đông Hoa Kỳ (Bắc Virginia)

    Công việc xử lý

    ml.t3.medium

    0,05 USD

    		  

    1,20 USD
     

    100

    Bất kỳ

    		      

    0,21 USD

    21,00 USD

    Tổng

    		            

    22,20 USD