Câu hỏi thường gặp về Amazon Bedrock

Thông tin chung

Amazon Bedrock là một dịch vụ được quản lý toàn phần cung cấp sự lựa chọn các mô hình nền tảng (FM) hàng đầu trong ngành cùng với một loạt khả năng mà bạn cần để xây dựng các ứng dụng AI tạo sinh, đơn giản hóa việc phát triển với bảo mật, quyền riêng tư và AI có trách nhiệm. Với các chức năng toàn diện của Amazon Bedrock, bạn có thể thử nghiệm với nhiều FM hàng đầu, tùy chỉnh chúng một cách riêng tư với dữ liệu của bạn bằng các kỹ thuật như tinh chỉnh và tạo tăng cường truy xuất (RAG) cũng như tạo các tác tử được quản lý giúp thực hiện các tác vụ kinh doanh phức tạp – từ đặt vé du lịch và xử lý yêu cầu thanh toán bảo hiểm cho đến tạo chiến dịch quảng cáo và quản lý hàng tồn kho – tất cả đều không cần viết mã. Vì Amazon Bedrock là dịch vụ phi máy chủ, bạn không cần phải quản lý bất kỳ cơ sở hạ tầng nào, bạn cũng có thể tích hợp và triển khai một cách bảo mật các chức năng AI tạo sinh vào ứng dụng của mình bằng các dịch vụ AWS mà bạn đã quen thuộc.

Khách hàng của Amazon Bedrock có thể chọn giữa một số FM tiên tiến nhất hiện nay. Bao gồm các mô hình ngôn ngữ và phần nhúng từ:

  • AI21 Labs: Jurassic – 2 Ultra, Jurassic – 2 Mid
  • Anthropic: Claude 3 Opus, Claude 3 Sonnet, Claude 3 Haiku
  • Cohere: Command R, Command R+, Embed
  • Meta: Llama 3 8B, Llama 3 70B
  • Mistral AI: Mistral 8X7B Instruct, Mistral 7B Instruct, Mistral Large, Mistral Small
  • Stability AI: Stable Diffusion XL 1.0
  • Amazon Titan: Amazon Titan Text Premier, Amazon Titan Text Express, Amazon Titan Text Lite, Phần nhúng văn bản Amazon Titan, Phần nhúng văn bản Amazon Titan V2, Phần nhúng đa phương thức Amazon Titan, Trình tạo hình ảnh Amazon Titan

Có năm lý do cho thấy bạn nên sử dụng Amazon Bedrock để xây dựng các ứng dụng AI tạo sinh.

  • Lựa chọn các FM hàng đầu: Amazon Bedrock cung cấp trải nghiệm dễ sử dụng dành cho nhà phát triển để làm việc với một loạt các FM hiệu suất cao từ Amazon và các công ty AI hàng đầu như AI21 Labs, Anthropic, Cohere, Meta, Mistral AI và Stability AI. Bạn có thể nhanh chóng thử nghiệm với nhiều FM khác nhau được cung cấp và sử dụng một API duy nhất để suy luận, bất kể mô hình bạn chọn. Nhờ đó, bạn có thể linh hoạt sử dụng FM từ các nhà cung cấp khác nhau và cập nhật với các phiên bản mô hình mới nhất mà chỉ cần thay đổi mã ở mức ít nhất.
  • Dễ dàng tùy chỉnh mô hình bằng dữ liệu của bạn: Tùy chỉnh riêng FM bằng dữ liệu của bạn thông qua giao diện trực quan mà không cần viết bất kỳ mã nào. Chỉ cần chọn tập dữ liệu đào tạo và xác thực được lưu trữ trong Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3) và điều chỉnh các siêu tham số (nếu cần) để đạt được hiệu suất mô hình tốt nhất có thể.
  • Các tác tử được quản lý hoàn toàn có thể gọi API một cách linh hoạt để thực hiện các tác vụ: Xây dựng các tác tử thực hiện tác vụ kinh doanh phức tạp – từ đặt chỗ du lịch và xử lý yêu cầu bảo hiểm đến tạo chiến dịch quảng cáo, chuẩn bị hồ sơ thuế và quản lý hàng tồn kho – bằng cách gọi linh hoạt các hệ thống và API của công ty bạn. Các tác tử được quản lý đầy đủ cho Amazon Bedrock mở rộng khả năng suy luận của FM để phân tích các tác vụ, tạo và thực hiện kế hoạch điều phối.
  • Khả năng hỗ trợ gốc cho RAG để mở rộng sức mạnh của FM bằng dữ liệu độc quyền: Với Cơ sở kiến thức của Amazon Bedrock, bạn có thể kết nối FM một cách an toàn với nguồn dữ liệu để tăng cường truy xuất – từ bên trong dịch vụ được quản lý – mở rộng các khả năng vốn đã mạnh mẽ của FM và giúp FM hiểu rõ hơn về lĩnh vực cũng như tổ chức cụ thể của bạn.
  • Chứng nhận tuân thủ và bảo mật dữ liệu: Amazon Bedrock cung cấp một số tính năng để hỗ trợ các yêu cầu về bảo mật và quyền riêng tư. Amazon Bedrock nằm trong phạm vi đáp ứng các tiêu chuẩn tuân thủ chung như Kiểm soát dịch vụ và tổ chức (SOC), Tổ chức tiêu chuẩn hóa quốc tế (ISO), Đạo luật về trách nhiệm giải trình và cung cấp thông tin bảo hiểm y tế (HIPAA) đủ điều kiện và khách hàng có thể sử dụng Amazon Bedrock tuân thủ Quy định bảo vệ dữ liệu chung (GDPR). Amazon Bedrock đạt được chứng nhận Đảm bảo độ tin cậy bảo mật và rủi ro (STAR) Cấp 2 của CSA, xác nhận việc sử dụng các phương pháp tốt nhất và khả năng bảo mật của các dịch vụ đám mây AWS. Amazon Bedrock không sử dụng nội dung của bạn để cải thiện các mô hình cơ sở và không chia sẻ chúng với bất kỳ nhà cung cấp mô hình nào. Dữ liệu của bạn trong Amazon Bedrock luôn được mã hóa khi đang được truyền và khi đang lưu trữ. Ngoài ra, bạn có thể mã hóa dữ liệu bằng khóa của riêng mình, nếu muốn. Bạn có thể sử dụng AWS PrivateLink với Amazon Bedrock để thiết lập kết nối riêng giữa FM và Đám mây riêng ảo của Amazon (Amazon VPC) mà không làm lộ lưu lượng truy cập của bạn lên Internet.

Với trải nghiệm phi máy chủ của Amazon Bedrock, bạn có thể nhanh chóng bắt đầu. Điều hướng đến Amazon Bedrock trong Bảng điều khiển quản lý AWS và dùng thử các FM trong môi trường thử nghiệm. Bạn cũng có thể tạo một tác tử và kiểm thử trong bảng điều khiển. Khi đã xác định được trường hợp sử dụng, bạn có thể dễ dàng tích hợp FM vào ứng dụng của mình bằng các công cụ AWS mà không cần phải quản lý bất kỳ cơ sở hạ tầng nào.
Liên kết tới Khóa học bắt đầu sử dụng Amazon Bedrock
Liên kết tới Hướng dẫn sử dụng Amazon Bedrock

Amazon Bedrock làm việc với AWS Lambda để gọi các hành động, Amazon S3 để lưu trữ dữ liệu đào tạo và xác thực, và Amazon CloudWatch để theo dõi chỉ số.

Bạn có thể bắt đầu với các trường hợp sử dụng một cách nhanh chóng:

  • Tạo các phần nội dung gốc mới, chẳng hạn như truyện ngắn, tiểu luận, bài đăng trên mạng xã hội và bản sao trang web.
  • Tìm kiếm, tìm và tổng hợp thông tin để trả lời các câu hỏi từ một kho dữ liệu lớn.
  • Tạo hình ảnh thực tế và nghệ thuật của các chủ đề, môi trường và cảnh khác nhau từ lời nhắc ngôn ngữ.
  • Giúp khách hàng tìm thấy những nội dung họ đang tìm kiếm bằng các gợi ý sản phẩm phù hợp và theo ngữ cảnh hơn so với việc so khớp từ.
  • Nhận bản tóm tắt của nội dung văn bản như bài viết, bài đăng trên blog, sách và tài liệu để nắm được ý chính mà không cần phải đọc toàn bộ nội dung.
  • Đề xuất các sản phẩm phù hợp với sở thích của người mua và các giao dịch mua hàng trước đây

Khám phá thêm các trường hợp sử dụng AI tạo sinh.

Amazon Bedrock cung cấp môi trường thử nghiệm cho phép bạn thử nghiệm với các FM khác nhau bằng giao diện trò chuyện đàm thoại. Bạn có thể cung cấp câu lệnh và sử dụng giao diện web bên trong bảng điều khiển để cung cấp câu lệnh và sử dụng các mô hình được đào tạo trước để tạo văn bản hoặc hình ảnh hoặc tùy chọn khác là sử dụng mô hình tinh chỉnh đã được điều chỉnh cho phù hợp với trường hợp sử dụng của bạn.

Để biết danh sách các Khu vực AWS có cung cấp Amazon Bedrock, hãy xem các điểm cuối và hạn mức của Amazon Bedrock trong Hướng dẫn tham khảo Amazon Bedrock.

Bạn có thể dễ dàng tinh chỉnh FM trên Amazon Bedrock bằng cách sử dụng dữ liệu được gắn thẻ hoặc bằng cách sử dụng tính năng đào tạo trước liên tục để tùy chỉnh mô hình bằng dữ liệu chưa được gắn thẻ. Để bắt đầu, hãy cung cấp tập dữ liệu đào tạo và xác thực, cấu hình siêu tham số (giai đoạn, kích thước lô, tốc độ học, các bước khởi động) và gửi tác vụ. Trong vòng vài giờ, mô hình tinh chỉnh có thể được truy cập bằng cùng một API (InvokeModel).

Có, bạn có thể đào tạo một số mô hình có sẵn công khai và nhập chúng vào Amazon Bedrock bằng tính năng Nhập mô hình tùy chỉnh. Hiện tại, tính năng này chỉ hỗ trợ các kiến trúc Llama 2/3, Mistral và Flan. Để biết thêm thông tin, vui lòng tham khảo tài liệu.

Đại lý

Tác tử của Amazon Bedrock là các chức năng được quản lý toàn phần giúp nhà phát triển dễ dàng tạo các ứng dụng dựa trên AI tạo sinh mà có thể hoàn thành các tác vụ phức tạp cho nhiều trường hợp sử dụng và cung cấp câu trả lời cập nhật dựa trên các nguồn kiến thức độc quyền. Chỉ với vài bước ngắn, Tác tử của Amazon Bedrock sẽ tự động phân tích các tác vụ và tạo kế hoạch điều phối mà không cần bất kỳ thao tác viết mã thủ công nào. Tác tử kết nối một cách bảo mật với dữ liệu công ty thông qua API, tự động chuyển đổi dữ liệu sang định dạng có thể đọc được bằng máy và tăng cường yêu cầu với thông tin liên quan để tạo phản hồi chính xác nhất. Sau đó, các tác tử có thể tự động gọi API để thực hiện yêu cầu của người dùng. Ví dụ: một công ty sản xuất có thể muốn phát triển một ứng dụng AI tạo sinh cho phép tự động theo dõi mức hàng tồn kho, dữ liệu bán hàng, thông tin chuỗi cung ứng và có thể đề xuất các điểm và số lượng sắp xếp lại tối ưu để đạt hiệu quả tối đa. Là chức năng được quản lý toàn phần, Tác tử của Amazon Bedrock loại bỏ việc quản lý tích hợp hệ thống và cung cấp cơ sở hạ tầng không tạo ra giá trị khác biệt, cho phép các nhà phát triển sử dụng AI tạo sinh đến mức tối đa trong toàn bộ tổ chức.

Bạn có thể kết nối FM một cách bảo mật với các nguồn dữ liệu của công ty bằng Tác tử của Amazon Bedrock. Với cơ sở kiến thức, bạn có thể sử dụng các tác tử để cung cấp cho FM trong Amazon Bedrock quyền truy cập vào dữ liệu bổ sung giúp mô hình tạo ra các phản hồi phù hợp, cụ thể theo ngữ cảnh và chính xác hơn mà không cần liên tục đào tạo lại FM. Dựa trên thông tin đầu vào của người dùng, các tác tử xác định cơ sở kiến thức thích hợp, truy xuất thông tin liên quan và thêm thông tin vào lời nhắc đầu vào, từ đó cung cấp cho mô hình thêm thông tin ngữ cảnh để hoàn thiện.

Các tác tử của Amazon Bedrock có thể giúp bạn tăng năng suất, cải thiện trải nghiệm dịch vụ khách hàng và tự động hóa quy trình làm việc (chẳng hạn như xử lý yêu cầu bồi thường bảo hiểm).

Nhờ các tác tử, nhà phát triển cung cấp khả năng hỗ trợ liền mạch trong quy trình giám sát, mã hóa, quyền người dùng, lập phiên bản và quản lý gọi API mà không cần viết mã tùy chỉnh. Các tác tử của Amazon Bedrock tự động hóa quy trình tạo câu lệnh và điều phối các tác vụ do người dùng yêu cầu. Các nhà phát triển có thể sử dụng mẫu nhắc do tác tử tạo làm cơ sở để tinh chỉnh hơn nữa nhằm nâng cao trải nghiệm người dùng. Họ có thể cập nhật đầu vào của người dùng, kế hoạch điều phối và phản hồi của FM. Với quyền truy cập vào mẫu nhắc, các nhà phát triển có quyền kiểm soát tốt hơn đối với việc điều phối tác tử.

Với các tác tử được quản lý toàn phần, bạn không phải lo lắng về việc cung cấp hoặc quản lý cơ sở hạ tầng và có thể đưa các ứng dụng vào sản xuất nhanh hơn.

Bảo mật

Mọi nội dung của khách hàng mà Amazon Bedrock xử lý đều được mã hóa và lưu trữ ở trang thái lưu trữ trong Khu vực AWS nơi bạn đang dùng Amazon Bedrock.

Không. Thông tin đầu vào của người dùng và đầu ra mô hình không được chia sẻ với bất kỳ nhà cung cấp mô hình nào.

Amazon Bedrock cung cấp một số tính năng để hỗ trợ các yêu cầu về bảo mật và quyền riêng tư. Amazon Bedrock nằm trong phạm vi đáp ứng các tiêu chuẩn tuân thủ chung như FedRAMP Trung bình, Kiểm soát dịch vụ và tổ chức (SOC), Tổ chức tiêu chuẩn hóa quốc tế (ISO), hội đủ điều kiện của Đạo luật về trách nhiệm giải trình và cung cấp thông tin bảo hiểm y tế (HIPAA) và khách hàng có thể sử dụng Bedrock tuân thủ Quy định bảo vệ dữ liệu chung (GDPR). Amazon Bedrock được bao gồm trong phạm vi báo cáo SOC 1, 2, 3, cho phép khách hàng nắm được thông tin chuyên sâu về các biện pháp kiểm soát bảo mật của chúng tôi. Chúng tôi chứng minh sự tuân thủ thông qua những cuộc kiểm tra sâu rộng của bên thứ ba về các biện pháp kiểm soát AWS của chúng tôi. Amazon Bedrock là một trong những dịch vụ của AWS đáp ứng Tuân thủ ISO đối với các tiêu chuẩn ISO 9001, ISO 27001, ISO 27017, ISO 27018, ISO 27701, ISO 22301 và ISO 20000. Amazon Bedrock đạt được chứng nhận Đảm bảo độ tin cậy bảo mật và rủi ro (STAR) Cấp 2 của CSA, xác nhận việc sử dụng các phương pháp tốt nhất và khả năng bảo mật của các dịch vụ đám mây AWS. Amazon Bedrock không sử dụng nội dung của bạn để cải thiện các mô hình cơ sở và không chia sẻ chúng với bất kỳ nhà cung cấp mô hình nào. Bạn có thể sử dụng AWS PrivateLink để thiết lập kết nối riêng từ VPC của Amazon đến Amazon Bedrock mà dữ liệu của bạn không cần phải tiếp xúc với lưu lượng truy cập Internet.

 

Không, AWS và các nhà cung cấp mô hình bên thứ ba sẽ không sử dụng bất kỳ dữ liệu đầu vào hoặc đầu ra nào từ Amazon Bedrock để đào tạo Amazon Titan hoặc bất kỳ mô hình của bên thứ ba nào.

SDK

Amazon Bedrock hỗ trợ SDK cho các dịch vụ thực thi. Các SDK iOS và Android, cũng như Java, JS, Python, CLI, .Net, Ruby, PHP, Go và C++ hỗ trợ cả đầu vào bằng văn bản và giọng nói.

Tất cả SDK đều hỗ trợ truyền phát.

Thanh toán và hỗ trợ

Vui lòng tham khảo trang định giá Amazon Bedrock để biết thông tin về giá hiện tại.

Tùy thuộc vào hợp đồng Hỗ trợ AWS của bạn, Amazon Bedrock nằm trong phạm vi hỗ trợ của các gói Hỗ trợ nhà phát triển, Hỗ trợ kinh doanh và Hỗ trợ dành cho doanh nghiệp.

Bạn có thể sử dụng chỉ số CloudWatch để theo dõi mã thông báo đầu vào và đầu ra.

Tùy chỉnh

Với Amazon Bedrock, bạn có thể tùy chỉnh các FM một cách riêng tư, giữ quyền kiểm soát cách dữ liệu được sử dụng và mã hóa. Amazon Bedrock tạo một bản sao riêng biệt của FM cơ sở và đào tạo bản sao riêng tư này của mô hình. Dữ liệu của bạn bao gồm câu lệnh, thông tin được sử dụng để bổ sung cho câu lệnh và phản hồi FM. Các FM tùy chỉnh vẫn còn trong Khu vực nơi lệnh gọi API được xử lý.

Khi bạn tinh chỉnh mô hình, dữ liệu của bạn tuyệt đối không bị tiết lộ trên internet công cộng, tuyệt đối không rời khỏi mạng AWS, được chuyển an toàn qua VPC của bạn và được mã hóa khi đang truyền và khi lưu trữ. Amazon Bedrock còn thực thi các biện pháp kiểm soát truy cập AWS giống như bạn có với bất kỳ dịch vụ nào khác của chúng tôi.

Chúng tôi đã triển khai tính năng đào tạo trước liên tục cho các mô hình Văn bản nhanh của Amazon Titan và Amazon Titan trên Amazon Bedrock. Đào tạo trước liên tục cho phép bạn tiếp tục đào tạo trước trên mô hình cơ sở Amazon Titan bằng cách sử dụng một lượng lớn dữ liệu chưa được dán nhãn. Loại đào tạo này sẽ điều chỉnh mô hình từ một tập miền chung sang một tập miền cụ thể hơn như y tế, luật, tài chính, v.v. trong khi vẫn bảo toàn hầu hết các tính năng của mô hình cơ sở Amazon Titan. 

Các doanh nghiệp có thể muốn xây dựng mô hình cho các tác vụ trong một miền cụ thể. Các mô hình cơ sở có thể không được đào tạo về biệt ngữ kỹ thuật được sử dụng trong miền cụ thể đó. Do đó, việc tinh chỉnh trực tiếp mô hình cơ sở yêu cầu một lượng lớn hồ sơ đào tạo được dán nhãn và thời gian đào tạo lâu để đạt được kết quả chính xác. Để giảm bớt gánh nặng này, thay vào đó, khách hàng có thể cung cấp một lượng lớn dữ liệu không được dán nhãn cho tác vụ đào tạo trước liên tục. Tác vụ này sẽ điều chỉnh mô hình cơ sở Amazon Titan cho miền mới. Sau đó, khách hàng có thể tinh chỉnh mô hình tùy chỉnh mới được đào tạo trước cho các tác vụ hạ nguồn thông qua hồ sơ đào tạo được dán nhãn với số lượng ít hơn đáng kể và với thời gian đào tạo ngắn hơn. 

Tính năng đào tạo trước liên tục và tinh chỉnh trong Amazon Bedrock có các yêu cầu rất giống nhau. Vì lý do này, chúng tôi đang chọn tạo các API hợp nhất hỗ trợ cả đào tạo trước liên tục và tinh chỉnh. Việc hợp nhất các API làm giảm thời gian học hỏi và sẽ giúp khách hàng sử dụng các tính năng tiêu chuẩn như Amazon EventBridge để theo dõi các tác vụ chạy trong thời gian dài, tích hợp Amazon S3 để tìm nạp dữ liệu đào tạo, thẻ tài nguyên và mã hóa mô hình. 

Đào tạo trước liên tục giúp bạn điều chỉnh các mô hình Amazon Titan với dữ liệu cụ thể trong miền của mình trong khi vẫn duy trì chức năng cơ bản của các mô hình Amazon Titan. Để tạo tác vụ đào tạo trước liên tục, hãy điều hướng đến Bảng điều khiển Amazon Bedrock và nhấp vào “Mô hình tùy chỉnh”. Bạn sẽ điều hướng đến trang mô hình tùy chỉnh có hai tab: Mô hình và tác vụ Đào tạo. Cả hai thẻ đều cung cấp menu thả xuống “Tùy chỉnh mô hình” ở bên phải. Chọn “Đào tạo trước liên tục” từ menu thả xuống để đi đến “Tạo tác vụ đào tạo trước liên tục”. Bạn sẽ cung cấp mô hình nguồn, tên, mã hóa mô hình, dữ liệu đầu vào, siêu thông số và dữ liệu đầu ra. Ngoài ra, bạn có thể cung cấp thẻ cùng với thông tin chi tiết về vai trò Quản lý danh tính và truy cập trong AWS (IAM) và chính sách tài nguyên cho tác vụ.

Amazon Titan

Dành riêng cho Amazon Bedrock, dòng mô hình Amazon Titan kết hợp 25 năm kinh nghiệm của Amazon trong việc đổi mới với AI và máy học trong toàn bộ hoạt động kinh doanh. Các FM Amazon Titan cung cấp cho khách hàng nhiều lựa chọn mô hình hình ảnh, đa phương thức và mô hình văn bản hiệu năng cao thông qua API được quản lý toàn phần. Các mô hình Amazon Titan được tạo ra bởi AWS và được đào tạo trước trên các tập dữ liệu lớn, giúp chúng trở thành các mô hình đa dụng mạnh mẽ, được xây dựng để hỗ trợ nhiều trường hợp sử dụng khác nhau, đồng thời hỗ trợ việc sử dụng AI có trách nhiệm. Sử dụng các mô hình này ở thiết lập sẵn có hoặc tùy chỉnh riêng theo dữ liệu của riêng bạn. Tìm hiểu thêm về Amazon Titan.

Để tìm hiểu thêm về dữ liệu được xử lý để phát triển và đào tạo FM Amazon Titan, hãy truy cập trang Quyền riêng tư và đào tạo mô hình Amazon Titan.

Tạo sinh tăng cường truy xuất (RAG)

Các định dạng dữ liệu được hỗ trợ bao gồm tệp .pdf, .txt, .md, .html, .doc và .docx, .csv, .xls và .xlsx. Các tệp phải được tải lên Amazon S3. Trỏ đến vị trí dữ liệu trong Amazon S3 và Cơ sở kiến thức của Amazon Bedrock sẽ đảm nhận toàn bộ quy trình tải nhập vào cơ sở dữ liệu véc-tơ của bạn.

Cơ sở kiến thức của Amazon Bedrock cung cấp ba tùy chọn để phân đoạn văn bản trước khi chuyển đổi văn bản thành phần nhúng. 

1.  Tùy chọn mặc định: Cơ sở kiến thức của Amazon Bedrock tự động chia nhỏ tài liệu của bạn thành các đoạn chứa 200 mã thông báo nhằm đảm bảo rằng câu không bị ngắt quãng ở giữa. Nếu một tài liệu chứa ít hơn 200 mã thông báo, thì tài liệu đó sẽ không bị chia nhỏ thêm nữa. Tình trạng trùng lặp 20% mã thông báo được duy trì giữa hai đoạn liên tiếp.

2.  Phân đoạn kích thước cố định: Trong tùy chọn này, bạn có thể chỉ định số lượng mã thông báo tối đa cho mỗi đoạn và tỷ lệ phần trăm trùng lặp giữa các đoạn đối với Cơ sở kiến thức của Amazon Bedrock để tài liệu của bạn được tự động chia thành các đoạn nhằm đảm bảo rằng câu không bị ngắt quãng ở giữa. 

3.  Tạo một tùy chọn phần nhúng cho mỗi tài liệu: Amazon Bedrock tạo một phần nhúng cho mỗi tài liệu. Tùy chọn này phù hợp nếu bạn đã xử lý trước các tài liệu của mình bằng cách chia chúng thành những tệp riêng biệt và không muốn Amazon Bedrock phân đoạn thêm tài liệu của bạn.

Hiện tại, Cơ sở kiến thức của Amazon Bedrock sử dụng phiên bản mới nhất của mô hình Phần nhúng văn bản Amazon Titan hiện có sẵn trong Amazon Bedrock. Mô hình Phần nhúng văn bản Titan V2 hỗ trợ 8.000 mã thông báo và hơn 100 ngôn ngữ, đồng thời tạo phần nhúng có kích cỡ linh hoạt 256, 512 và 1.024. 

Cơ sở kiến thức của Amazon Bedrock đảm nhận toàn bộ quy trình tải nhập để chuyển đổi tài liệu của bạn thành các phần nhúng (véc-tơ) và lưu trữ phần nhúng trong cơ sở dữ liệu véc-tơ chuyên biệt.  Cơ sở kiến thức của Amazon Bedrock hỗ trợ các cơ sở dữ liệu phổ biến để lưu trữ véc-tơ, bao gồm công cụ véc-tơ dành cho Amazon OpenSearch phi máy chủ, Pinecone, Đám mây Redis Enterprise, Amazon Aurora (sắp ra mắt) và MongoDB (sắp ra mắt). Nếu bạn không có cơ sở dữ liệu véc-tơ hiện có, Amazon Bedrock sẽ tạo một kho véc-tơ OpenSearch phi máy chủ cho bạn.

Tùy thuộc vào trường hợp sử dụng, bạn có thể sử dụng Amazon EventBridge để tạo quy trình đồng bộ hóa định kỳ hoặc theo sự kiện giữa Amazon S3 và Cơ sở kiến thức của Amazon Bedrock.

Đánh giá model

Đánh giá mô hình trên Amazon Bedrock cho phép bạn đánh giá, so sánh và chọn FM tốt nhất cho trường hợp sử dụng của bạn chỉ trong vài bước ngắn gọn. Amazon Bedrock cung cấp lựa chọn bao gồm đánh giá tự động và đánh giá của con người. Bạn có thể sử dụng tính năng đánh giá tự động với các chỉ số được định sẵn như độ chính xác, độ chắc chắn và độ độc hại. Bạn có thể sử dụng quy trình đánh giá của con người cho các chỉ số chủ quan hoặc tùy chỉnh như mức độ thân thiện, phong cách và sự phù hợp với tiếng nói thương hiệu. Đối với đánh giá của con người, bạn có thể sử dụng nhân viên nội bộ của mình hoặc nhóm do AWS quản lý làm người đánh giá. Đánh giá mô hình trên Amazon Bedrock cung cấp tập dữ liệu tích hợp sẵn được tuyển chọn hoặc bạn có thể sử dụng tập dữ liệu riêng.

Bạn có thể đánh giá nhiều chỉ số được xác định trước như độ chính xác, độ chắc chắn và độ độc hại bằng cách sử dụng đánh giá tự động. Bạn cũng có thể sử dụng quy trình đánh giá của con người cho các chỉ số chủ quan hoặc tùy chỉnh, chẳng hạn như độ thân thiện, mức độ liên quan, phong cách và độ phù hợp với tiếng nói thương hiệu.

Đánh giá tự động cho phép bạn nhanh chóng thu hẹp danh sách các FM có sẵn theo các tiêu chí tiêu chuẩn (chẳng hạn như độ chính xác, độ độc hại và độ chắc chắn). Đánh giá của con người thường được sử dụng để đánh giá các tiêu chí chủ quan hoặc nhiều sắc thái hơn, đòi hỏi sự phán đoán của con người và những tiêu chí mà đánh giá tự động có thể không hỗ trợ (chẳng hạn như tiếng nói thương hiệu, dụng ý sáng tạo, độ thân thiện).

Bạn có thể nhanh chóng đánh giá các mô hình Amazon Bedrock về các chỉ số như độ chính xác, độ chắc chắn và độ độc hại bằng cách sử dụng các tập dữ liệu tích hợp được tuyển chọn hoặc bằng cách sử dụng các tập dữ liệu câu lệnh của riêng bạn. Sau khi tập dữ liệu câu lệnh của bạn được gửi đến các mô hình Amazon Bedrock để suy luận, các phản hồi của mô hình được chấm điểm bằng các thuật toán đánh giá cho từng tham số. Công cụ backend tổng hợp điểm số cho mỗi phản hồi câu lệnh riêng lẻ thành điểm số ngắn gọn và trình bày chúng thông qua các báo cáo trực quan dễ hiểu.

Amazon Bedrock cho phép bạn thiết lập quy trình đánh giá của con người trong một vài bước ngắn gọn và sử dụng nhân viên nội bộ của bạn hoặc sử dụng đội ngũ chuyên gia do AWS quản lý để đánh giá các mô hình. Thông qua giao diện trực quan của Amazon Bedrock, con người có thể đánh giá và đưa ra ý kiến về phản hồi của mô hình bằng cách nhấp vào biểu tượng ngón tay cái giơ lên hoặc xuống, xếp hạng theo thang điểm từ 1 đến 5, chọn ra phản hồi tốt nhất trong nhiều phản hồi hoặc xếp hạng câu lệnh. Ví dụ: một thành viên trong nhóm có thể được xem cách hai mô hình phản hồi với cùng một câu lệnh, sau đó thành viên được yêu cầu chọn mô hình hiển thị đầu ra chính xác hơn, phù hợp hoặc phong cách hơn. Bạn có thể chỉ định các tiêu chí đánh giá quan trọng đối với bạn bằng cách tùy chỉnh các hướng dẫn và nút để xuất hiện trên giao diện người dùng đánh giá cho đội ngũ của bạn. Bạn cũng có thể cung cấp hướng dẫn chi tiết bằng các ví dụ và mục tiêu chung của việc đánh giá mô hình để người dùng có thể sắp xếp việc đánh giá cho phù hợp. Phương pháp này rất hữu ích khi đánh giá các tiêu chí chủ quan đòi hỏi sự phán đoán của con người hoặc chuyên môn trong lĩnh vực có nhiều sắc thái hơn và không thể dễ dàng đánh giá bằng các đánh giá tự động.

AI có trách nhiệm

Quy tắc bảo vệ của Amazon Bedrock giúp bạn thực hiện các biện pháp bảo vệ cho các ứng dụng AI tạo sinh dựa trên các trường hợp sử dụng và chính sách sử dụng AI có trách nhiệm của mình. Quy tắc bảo vệ giúp kiểm soát tương tác giữa người dùng và FM bằng cách lọc nội dung không mong muốn và có hại và sẽ sớm chỉnh sửa thông tin nhận dạng cá nhân (PII), tăng cường an toàn nội dung và quyền riêng tư trong các ứng dụng AI tạo sinh. Bạn có thể tạo nhiều quy tắc bảo vệ với các cấu hình khác nhau được tùy chỉnh cho từng trường hợp sử dụng cụ thể. Ngoài ra, nhờ quy tắc bảo vệ, bạn có thể liên tục theo dõi và phân tích đầu vào của người dùng và các phản hồi FM có khả năng vi phạm chính sách do khách hàng xác định.

Quy tắc bảo vệ giúp bạn xác định một tập hợp chính sách để giúp bảo vệ các ứng dụng AI tạo sinh của bạn. Bạn có thể cấu hình các chính sách sau trong quy tắc bảo vệ.

  • Chủ đề bị từ chối: giúp bạn xác định một tập hợp chủ đề không mong muốn trong bối cảnh ứng dụng của mình. Ví dụ: bạn có thể thiết kế một trợ lý ngân hàng trực tuyến để hạn chế cung cấp tư vấn đầu tư.
  • Bộ lọc nội dung: giúp bạn cấu hình ngưỡng để lọc nội dung có hại trên các danh mục thù ghét, lăng mạ, tình dục và bạo lực.
  • Bộ lọc từ ngữ: giúp bạn xác định một tập hợp từ ngữ cần chặn trong dữ liệu đầu vào của người dùng và phản hồi do FM tạo ra.
  • Biên tập PII: giúp bạn lựa chọn một tập hợp PII có thể được biên tập trong các phản hồi do FM tạo ra. Dựa trên trường hợp sử dụng, Quy tắc bảo vệ cũng có thể giúp bạn chặn đầu vào của người dùng nếu có chứa PII.
  • Kiểm tra nền tảng theo ngữ cảnh: giúp phát hiện và lọc ảo giác nếu các phản hồi không có cơ sở (ví dụ: thông tin mới hoặc không chính xác về mặt thực tế) trong thông tin nguồn và không liên quan đến truy vấn hoặc hướng dẫn của người dùng.

Bạn có thể sử dụng quy tắc bảo vệ với tất cả các mô hình ngôn ngữ lớn (LLM) có sẵn trên Amazon Bedrock. Quy tắc bảo vệ cũng có thể được sử dụng với các FM được tinh chỉnh cũng như các Tác tử dành cho Amazon Bedrock.

Có năm chính sách quy tắc bảo vệ, mỗi chính sách với các biện pháp bảo vệ khác nhau có thể dùng ngay

  • Bộ lọc nội dung – Bộ lọc nội dung có 6 danh mục sẵn có (thù ghét, lăng mạ, khiêu dâm, bạo lực, hành vi sai trái (bao gồm cả hoạt động tội phạm) và tấn công bằng câu lệnh (bẻ khóa và tiêm câu lệnh)). Mỗi danh mục có thể có các ngưỡng tùy chỉnh hơn nữa về độ mạnh của bộ lọc – thấp/trung bình/cao.
  • Chủ đề bị từ chối – Đây là những chủ đề tùy chỉnh mà khách hàng có thể xác định bằng cách sử dụng mô tả bằng ngôn ngữ tự nhiên đơn giản
  • Bộ lọc thông tin nhạy cảm – Những bộ lọc này đi kèm với hơn 30 PII có sẵn. Bạn có thể tùy chỉnh thêm bằng cách thêm thông tin nhạy cảm độc quyền của khách hàng.
  • Bộ lọc từ – Bộ lọc từ đi kèm với bộ lọc tục tĩu có sẵn và có thể được tùy chỉnh thêm với các từ tùy chỉnh.
  • Kiểm tra nền tảng theo ngữ cảnh – Có thể giúp phát hiện ảo giác cho RAG, tóm tắt và các ứng dụng hội thoại, trong đó thông tin nguồn có thể được sử dụng làm tham chiếu để xác thực phản hồi của mô hình.

Mô hình nền tảng có các biện pháp bảo vệ gốc và đây là các biện pháp bảo vệ mặc định được liên kết với mỗi mô hình. Các biện pháp bảo vệ gốc này KHÔNG phải là một phần của Quy tắc bảo vệ của Amazon Bedrock. Quy tắc bảo vệ của Amazon Bedrock là một lớp bổ sung gồm các biện pháp bảo vệ tùy chỉnh và không bắt buộc, có thể được khách hàng áp dụng dựa trên yêu cầu của ứng dụng và chính sách AI có trách nhiệm của họ.


Là một phần của Quy tắc bảo vệ của Amazon Bedrock, tính năng phát hiện số an sinh xã hội và số điện thoại nằm trong hơn 30 PII có sẵn. Danh sách đầy đủ ở đây.

Có một khoản chi phí riêng khi sử dụng Quy tắc bảo vệ của Amazon Bedrock. Mức phí có thể được áp dụng cho cả đầu vào và đầu ra. Định giá ở cuối trang ở đây.

Có, API Quy tắc bảo vệ của Amazon Bedrock giúp khách hàng chạy kiểm thử tự động. Bạn có thể sẽ muốn sử dụng “trình tạo trường hợp kiểm thử” trước khi triển khai quy tắc bảo vệ trong sản xuất. Chưa có trình tạo trường hợp kiểm thử gốc. Để giám sát liên tục lưu lượng sản xuất, quy tắc bảo vệ giúp cung cấp bản ghi chi tiết về tất cả các vi phạm cho từng đầu vào và đầu ra, để khách hàng có thể giám sát chi tiết từng đầu vào đi vào và đi ra khỏi ứng dụng AI tạo sinh của họ. Các bản ghi này có thể được lưu trữ trong CloudWatch hoặc S3 và có thể được sử dụng để tạo bảng điều khiển tùy chỉnh dựa trên yêu cầu của khách hàng.