Почему стоит использовать Trainium?
Чипы AWS Trainium – это семейство чипов искусственного интеллекта, специально разработанных AWS для обучения ИИ и получения логических выводов для обеспечения высокой производительности при одновременном снижении затрат.
Чип AWS Trainium первого поколения поддерживает инстансы Amazon Elastic Compute Cloud (Amazon EC2) Trn1, стоимость обучения которых на 50 % ниже, чем у сопоставимых инстансов Amazon EC2. Многие клиенты, включая Databricks, Ricoh, NinjaTech AI и Arcee AI, осознают преимущества инстансов Trn1 в производительности и стоимости.
Чип AWS Trainium2 обеспечивает в 4 раза большую производительность по сравнению с Trainium первого поколения. Инстансы Amazon EC2 Trn2 на базе Trainium2 специально созданы для генеративного искусственного интеллекта. Это самые мощные инстансы EC2 для обучения и развертывания моделей с параметрами от сотен миллиардов до триллионов. Инстансы Trn2 предлагают на 30–40 % лучшую производительность по сравнению с текущим поколением инстансов EC2 P5e и P5en на базе графических процессоров. Инстансы Trn2 оснащены 16 чипами Trainium2, соединенными с NeuronLink, нашим запатентованным межчиповым соединением. Инстансы Trn2 можно использовать для обучения и развертывания самых требовательных моделей, включая большие языковые модели (LLM), мультимодальные модели и диффузионные трансформеры, для создания широкого набора приложений генеративного искусственного интеллекта нового поколения. Trn2 UltraServers, совершенно новое предложение EC2 (доступно в предварительной версии), идеально подходит для самых крупных моделей, которым требуется больше памяти и ее пропускной способности, чем могут обеспечить отдельные инстансы EC2. В конструкции UltraServer используется NeuronLink для соединения 64 чипов Trainium2 в четырех инстансах Trn2 в один узел, что открывает новые возможности. Для задач получения логических выводов инстансы UltraServers обеспечивают ведущее в отрасли время отклика и создание наилучших условий работы в режиме реального времени. Для задач обучения инстансы UltraServers повышают скорость и эффективность обучения модели благодаря более быстрой коллективной коммуникации для обеспечения параллелизма моделей по сравнению с отдельными инстансами.
Вы можете начать обучение и развертывание моделей на инстансах Trn2 и Trn1 со встроенной поддержкой популярных платформ машинного обучения, таких как PyTorch и JAX.