Tại sao nên sử dụng Trainium?
Chip AWS Trainium là dòng chip AI được AWS thiết kế chuyên để đào tạo và suy luận AI nhằm tăng cường hiệu suất, tiết giảm chi phí.
Chip AWS Trainium thế hệ đầu tiên hỗ trợ các phiên bản Trn1 của Amazon Elastic Compute Cloud (Amazon EC2), trong đó tiết kiệm tới 50% chi phí đào tạo so với các phiên bản Amazon EC2 tương đương. Nhiều khách hàng gồm Databricks, Ricoh, NinjaTech AI và Arcee AI đang nhận ra ưu thế về hiệu suất và chi phí từ các phiên bản Trn1.
Chip AWS Trainium2 tăng tới 4 lần hiệu suất so với Trainium thế hệ đầu tiên. Phiên bản Amazon EC2 Trn2 sử dụng Trainium2 được xây dựng chuyên cho AI tạo sinh và là phiên bản EC2 mạnh nhất để đào tạo cũng như triển khai mô hình với hàng trăm tỷ đến hàng nghìn tỷ tham số. Phiên bản Trn2 giúp tăng 30-40% hiệu quả về giá so với phiên bản EC2 P5e và P5en sử dụng GPU của thế hệ hiện tại. Phiên bản Trn2 có 16 chip Trainium2 liên kết với nhau bằng NeuronLink, công nghệ kết nối chip-to-chip độc quyền của chúng tôi. Bạn có thể sử dụng phiên bản Trn2 để đào tạo và triển khai các mô hình đòi hỏi khắt khe nhất gồm các mô hình ngôn ngữ lớn (LLM), mô hình đa phương thức và bộ chuyển đổi khuếch tán để xây dựng một tập hợp các ứng dụng AI tạo sinh đa dạng thế hệ mới. Trn2 UltraServers là dịch vụ EC2 hoàn toàn mới (cho phép xem trước) phù hợp với các mô hình lớn nhất đòi hỏi nhiều bộ nhớ và băng thông bộ nhớ hơn so với khả năng của những phiên bản EC2 độc lập. Thiết kế UltraServer khai phá quyền năng mới nhờ sử dụng NeuronLink để kết nối 64 chip Trainium2 khắp bốn phiên bản Trn2 thành một nút. Đối với suy luận, UltraServers giúp mang đến thời gian phản hồi đầu ngành để tạo ra trải nghiệm thời gian thực tốt nhất. Còn với đào tạo, UltraServers thúc đẩy tốc độ và hiệu quả đào tạo mô hình nhờ phương thức giao tiếp tập thể nhanh hơn, hỗ trợ tính song song của mô hình so với các phiên bản độc lập.
Bạn có thể bắt đầu đào tạo và triển khai mô hình trên các phiên bản Trn2 và Trn1 với sự hỗ trợ chuyên biệt cho các nền tảng máy học (ML) phổ biến như PyTorch và JAX.