Инстансы Amazon EC2 P4

Высокая производительность для машинного обучения и приложений высокопроизводительных вычислений в облаке

Каковы преимущества инстансов Amazon EC2 P4?

Инстансы Amazon Elastic Compute Cloud (Amazon EC2) P4d обеспечивают высокую производительность приложений машинного обучения и высокопроизводительных вычислений в облаке. Инстансы P4d оснащены графическими процессорами NVIDIA A100 Tensor Core и обеспечивают лучшее в отрасли сетевое подключение с высокой пропускной способностью и малой задержкой. Эти инстансы поддерживают сеть инстансов со скоростью 400 Гбит/с. Инстансы P4d позволяют снизить затраты на обучение моделей МО до 60 %, включая повышение производительности моделей глубокого обучения в среднем в 2,5 раза по сравнению с инстансами P3 и P3dn предыдущего поколения.

Инстансы P4d развертываются в гипермасштабируемых кластерах под названием Amazon EC2 UltraClusters, которые включают высокопроизводительные вычисления, сети и хранилище в облаке. Каждый EC2 UltraCluster – один из самых мощных суперкомпьютеров в мире, помогающий выполнять самое сложное многоузловое машинное обучение и распределенные рабочие нагрузки для высокопроизводительных вычислений. Можно легко масштабировать графические процессоры NVIDIA A100 в EC2 UltraClusters от нескольких до тысяч в зависимости от потребностей вашего проекта в области машинного обучения или высокопроизводительных вычислений.

Исследователи, специалисты по обработке данных и разработчики могут использовать инстансы P4d для обучения моделей МО таким сценариям использования, как обработка естественного языка, обнаружение и классификация объектов, а также механизмы рекомендаций. Они также могут использовать его для запуска приложений высокопроизводительных вычислений, таких как открытие фармацевтических препаратов, сейсмический анализ и финансовое моделирование. В отличие от локальных систем, вы можете получить доступ к практически неограниченным вычислительным ресурсам и емкости хранилища, масштабировать инфраструктуру в соответствии с потребностями бизнеса и за считаные минуты запустить многоузловое задание по машинному обучению или создать тесно связанное распределенное приложение высокопроизводительных вычислений без каких-либо затрат на настройку или обслуживание.

Объявление о новых инстансах Amazon EC2 P4d

Преимущества

Благодаря графическим процессорам NVIDIA A100 Tensor Core последнего поколения каждый инстанс P4d обеспечивает в среднем в 2,5 раза лучшую производительность глубокого обучения по сравнению с инстансами P3 предыдущего поколения. Кластеры EC2 UltraClusters инстансов P4d помогают обычным разработчикам, специалистам по обработке данных и исследователям выполнять самые сложные рабочие нагрузки машинного обучения и высокопроизводительных вычислений, предоставляя доступ к производительности класса суперкомпьютера без предварительных затрат и долгосрочных обязательств. Сокращение времени обучения на инстансах P4d повышает производительность, помогая разработчикам сосредоточиться на своей основной задаче – внедрении самообучающегося ИИ в бизнес-приложения.

Разработчики могут легко масштабироваться до тысяч графических процессоров с помощью кластеров EC2 UltraClusters инстансов P4d. Высокопроизводительная сеть с малой задержкой и поддержкой сети инстансов 400 Гбит/с, Интерфейс эластичной матрицы (EFA) и технология GPUDirect RDMA помогают быстро обучать модели машинного обучения с использованием методов масштабирования или распределения. EFA использует NVIDIA Collective Communications Library (NCCL) для масштабирования до тысяч графических процессоров, а технология GPUDirect RDMA обеспечивает обмен данными графических процессоров между инстансами P4d с низкой задержкой.

Инстансы P4d дают возможность снизить затраты на обучение моделей машинного обучения на 60 % по сравнению с инстансами P3. Кроме того, инстансы P4d можно приобрести в виде спотовых инстансов. Спотовые инстансы задействуют неиспользуемые ресурсы инстансов EC2 и позволяют значительно снизить стоимость использования EC2, получив экономию до 90 % по сравнению с ценами на инстансы по требованию. Снижение стоимости на обучение моделей машинного обучения с использованием инстансов P4d дает возможность перераспределить расходы на внедрение в бизнес-приложения дополнительных интеллектуальных данных машинного обучения.

Глубокое обучение AWS AMI (DLAMI) и контейнеры Amazon Deep Learning упрощают развертывание сред P4d для глубокого обучения за считанные минуты, поскольку они содержат необходимые библиотеки и инструменты платформ глубокого обучения. Кроме того, к этим образам можно легко добавлять собственные библиотеки и инструменты. Инстансы P4d поддерживают популярные платформы машинного обучения, такие как TensorFlow, PyTorch и MXNet. Кроме того, инстансы P4d поддерживаются основными сервисами AWS для машинного обучения, управления и оркестрации, такими как Amazon SageMaker, Эластичный сервис Amazon Kubernetes (Amazon EKS), Amazon Elastic Container Service (Amazon ECS), Пакет AWS и AWS ParallelCluster.

Возможности

Графические процессоры NVIDIA A100 Tensor Core обеспечивают беспрецедентное масштабируемое ускорение машинного обучения и высокопроизводительных вычислений. Ядра NVIDIA A100 Tensor Core третьего поколения ускоряют выполнение любых прецизионных рабочих нагрузок, ускоряя получение аналитических данных и вывод продукта на рынок. Каждый графический процессор A100 обеспечивает большую вычислительную производительность – более чем в 2,5 раза – по сравнению с графическим процессором V100 предыдущего поколения и оснащен высокопроизводительной памятью графического процессора: 40 ГБ типа HBM2 (в инстансах P4d) и 80 ГБ типа HBM2e (в инстансах P4de). Больший объем памяти графического процессора особенно выгоден для тех рабочих нагрузок, которые связаны с обучением работе с большими наборами высокоточных данных. Графические процессоры NVIDIA A100 используют пропускную способность взаимодействия между графическими процессорами NVSwitch, поэтому каждый графический процессор может связываться с любым другим графическим процессором в том же инстансе при той же двунаправленной пропускной способности 600 ГБ/с с односкачковой задержкой.

Инстансы P4d обеспечивают сетевое подключение со скоростью 400 Гбит/с, что помогает клиентам лучше масштабировать распределенные рабочие нагрузки, такие как обучение работы с несколькими узлами, с помощью сети с высокой пропускной способностью между инстансами P4d, а также между инстансами P4d и сервисами хранилищ, такими как Amazon Simple Storage Service (Amazon S3) и FSx для Lustre. EFA – это пользовательский сетевой интерфейс, разработанный AWS для масштабирования приложений машинного обучения и высокопроизводительных вычислений на тысячах графических процессоров. Для большего снижения задержек интерфейс EFA сочетается с NVIDIA GPUDirect RDMA, обеспечивая обмен данными между серверами графических процессоров с низкой задержкой в обход ОС.

Получите доступ к хранилищу с высокой пропускной способностью и низкой задержкой в петабайтах с помощью FSx для Lustre или практически неограниченному экономичному хранилищу Amazon S3 со скоростью 400 Гбит/с. Для рабочих нагрузок, которым требуется быстрый доступ к большим наборам данных, каждый инстанс P4d также включает твердотельный накопитель на основе NVMe емкостью 8 ТБ с пропускной способностью чтения 16 Гбит/с.

Инстансы P4d основаны на сервисе AWS Nitro System, который предлагает широкий выбор структурных блоков и позволяет использовать выделенное оборудование и программное обеспечение для выполнения многих традиционных задач виртуализации, что повышает производительность, доступность и безопасность при одновременном сокращении издержек, связанных с виртуализацией.

Отзывы клиентов

Здесь представлены несколько примеров того, как наши клиенты и партнеры достигли бизнес-целей с помощью инстансов Amazon EC2 P4.

  • Toyota Research Institute (TRI)

    Исследовательский институт Toyota Research Institute (TRI), основанный в 2015 году, занимается разработкой автоматизированного вождения, робототехники и других технологий усиления человеческого потенциала для компании Toyota.

    В TRI мы работаем над созданием будущего, в котором каждый сможет свободно передвигаться. Инстансы P3 предыдущего поколения помогли нам сократить время обучения моделей машинного обучения с нескольких дней до нескольких часов, и мы с нетерпением ждем возможности применять инстансы P4d, поскольку дополнительная память графического процессора и более эффективные плавающие форматы позволят нашей команде машинного обучения еще быстрее обучать более сложные модели.

    Майк Гаррисон, технический руководитель отдела по разработке инфраструктуры, TRI
  • TRI-AD

    В TRI-AD мы работаем на д созданием будущего, в котором каждый сможет свободно передвигаться и исследовать окрестности, уделяя особое внимание снижению травматизма и дорожно-транспортных происшествий с помощью адаптивного вождения и «умного города». Благодаря использованию инстансов Amazon EC2 P4d мы смогли сократить время обучения распознаванию объектов на 40 % по сравнению с инстансами с графическим процессором предыдущего поколения, не внося изменений в существующие коды.

    Джунья Инада, директор по автоматизированному вождению (распознаванию), TRI-AD
  • TRI-AD

    Благодаря использованию инстансов Amazon EC2 P4d мы смогли мгновенно снизить затраты на обучение по сравнению с инстансами с графическим процессором предыдущего поколения. Это позволило увеличить количество команд, работающих над обучением моделей. Благодаря усовершенствованиям в сети P4d мы смогли осуществить эффективное масштабирование до десятков инстансов. Это обеспечило нам значительную гибкость при проведении быстрой оптимизации, повторном обучении и развертывании моделей в тестовых автомобилях или средах моделирования для дальнейшего тестирования.

    Джек Ян, старший директор по разработке инфраструктуры, TRI-AD
  • GE Healthcare

    Компания GE Healthcare является ведущим разработчиком инноваций в области медицинских технологий и цифровых решений. GE Healthcare позволяет медицинским специалистам принимать более быстрые и обоснованные решения с помощью интеллектуальных устройств, аналитики данных, приложений и услуг, поддерживаемых интеллектуальной платформой Edison.

    В GE Healthcare мы предоставляем медицинским специалистам инструменты, помогающие собирать данные, применять к ним искусственный интеллект и аналитику и получать аналитические данные, которые улучшают результаты лечения пациентов, повышают эффективность и устраняют ошибки. Наши устройства для обработки медицинских изображений генерируют огромные объемы данных, которые нуждаются в обработке специалистов по работе с данными. При использовании кластеров графических процессоров предыдущего поколения обучение сложных моделей искусственного интеллекта, таких как прогрессивные модели GAN, для моделирования и просмотра результатов занимало несколько дней. Использование новых инстансов P4d позволило сократить время обработки с нескольких дней до нескольких часов. Мы увидели, что скорость обучения моделей с различными размерами изображений возросла в два-три раза. При этом удалось добиться повышения производительности за счет увеличения объемов пакетной обработки и возрастания продуктивности за счет ускорения цикла разработки моделей.

    Карли Йодер, вице-президент и генеральный директор по работе с искусственным интеллектом, GM Healthcare
  • HEAVY.AI

    Компания HEAVY.AI является первопроходцем в области ускоренной аналитики. Платформа HEAVY.AI используется в бизнесе и государственных учреждениях для анализа данных за пределами распространенных аналитических инструментов.

    В HEAVY.AI мы работаем над созданием будущего, в котором анализ данных и аналитика будут объединены для разбивки и слияния хранилищ данных. Клиенты используют огромные объемы данных, включая местоположение и время, чтобы составить полное представление не только о событии, но и о месте и времени его происшествия, с помощью подробной визуализации пространственно-временных данных. Наши технологии позволяют рассматривать как крупный план, так и детали. Благодаря использованию инстансов Amazon EC2 P4d нам удалось значительно снизить затраты на развертывание нашей платформы по сравнению с инстансами с графическим процессором предыдущего поколения. Это позволило масштабировать большие наборы данных, экономя средства. Усовершенствования сети с процессорами A100 повысили эффективность масштабирования до миллиардов строк данных и позволили нашим клиентам получать аналитические данные еще быстрее.

    Рэй Фальчионе, вице-президент по работе с государственным сектором США, HEAVY.AI
  • Zenotech Ltd.

    Компания Zenotech Ltd. переосмысливает онлайн-проектирование с помощью облаков HPC, предлагая модели лицензирования по запросу, а также преимущество исключительной производительности за счет использования графических процессоров.

    В Zenotech мы разрабатываем инструменты, позволяющие дизайнерам создавать более эффективные и экологически чистые продукты. Мы работаем в разных отраслях, и наши инструменты обеспечивают более глубокое понимание характеристик продукта за счет использования крупномасштабного моделирования. Использование инстансов AWS P4d позволяет нам выполнять моделирование в 3,5 раза быстрее по сравнению с графическими процессорами предыдущего поколения. Это ускорение значительно сокращает время на решение задач, позволяя нашим клиентам быстрее выводить проекты на рынок или осуществлять моделирование с более высокой точностью, чем это было возможно ранее.

    Джамиль Аппа, директор и сооснователь компании Zenotech
  • Aon

    Aon – ведущая международная компания, предоставляющая профессиональные услуги и предлагающая широкий спектр решений по управлению рисками, пенсионному обеспечению и здравоохранению. Aon PathWise – это масштабируемое решение для управления рисками высокопроизводительных вычислений на базе графического процессора, которое страховщики и перестраховщики, банки и пенсионные фонды могут использовать для решения основных современных задач, таких как тестирование стратегии хеджирования, нормативное и экономическое прогнозирование, а также составление бюджета. 

    В PathWise Solutions Group LLC наш продукт позволяет страховым компаниям, перестраховщикам и пенсионным фондам получить доступ к технологиям нового поколения для быстрого решения основных задач современного страхования, таких как машинное обучение, тестирование стратегий хеджирования, нормативная и финансовая отчетность, бизнес-планирование и экономическое прогнозирование, а также разработка новых продуктов и ценообразование. Благодаря использованию инстансов Amazon EC2 P4d мы смогли значительно повысить скорость вычислений в режиме одинарной и двойной точности по сравнению с инстансами с графическим процессором предыдущего поколения для самых ресурсоемких вычислений, что впервые позволяет клиентам выполнять новый диапазон вычислений и прогнозирования. Скорость очень важна, и благодаря новым инстансам от AWS мы по-прежнему предоставляем нашим клиентам значительную ценность и новейшие технологии.

    Ван Бич, глобальный руководитель отдела практических решений, группа стратегий и технологий Aon Pathwise
  • Rad AI

    Компания Rad AI, в которой работают специалисты по медицинской радиологии и искусственному интеллекту, создает продукты, позволяющие максимально повысить эффективность работы врачей-радиологов. Это конечном итоге сделает здравоохранение более доступным и улучшит результаты лечения пациентов. Ознакомиться с примером использования, чтобы узнать подробнее

    Мы в Rad AI стремимся расширить доступ к медицинской помощи и повысить ее качество для каждого. Уделяя особое внимание рабочему процессу обработки медицинских изображений, Rad AI позволяет врачам-радиологам экономить время, снижает эмоциональное выгорание и повышает точность. Мы используем искусственный интеллект для автоматизации рабочих процессов и оптимизации отчетности в области медицинской радиологии. Благодаря новым инстансам EC2 P4d мы ускорили получение выводов, а также получили возможность обучать модели в 2,4 раза быстрее и с большей точностью, чем на инстансах P3 предыдущего поколения. Это обеспечивает более быструю и точную диагностику и расширяет доступ к высококачественным радиологическим услугам, предоставляемым нашими клиентами по всей территории США.

    Доктор Гурсон, сооснователь компании Rad AI

Сведения о продукте

Размер инстанса Виртуальные ЦПУ Память инстанса (ГиБ) Графический процессор – A100 Память графического процессора Пропускная способность сети (Гбит/с) GPUDirect RDMA Одноранговая связь графических процессоров Хранилище инстансов (ГБ) Пропускная способность EBS (Гбит/с) Цена по требованию/час Инстанс, зарезервированный на 1 год, фактический почасовой тариф* Инстанс, зарезервированный на 3 года, фактический почасовой тариф*
p4d.24xlarge 96 1152 8 320 ГБ
HBM2
400 ENA и EFA Да NVSwitch 600 ГБ/с 8 × 1000 SSD на базе NVMe 19 32,77 USD 19,22 USD 11,57 USD
p4de.24xlarge (предварительная версия) 96 1152 8 640 ГБ
HBM2e
400 ENA и EFA Да NVSwitch 600 ГБ/с 8 × 1000 SSD на базе NVMe 19 40,96 USD 24,01 USD 14,46 USD
* Цены указаны для инстансов с Linux/Unix в регионе AWS Восток США (Северная Вирджиния) с округлением до цента. Полные сведения о ценах см. на странице цен на Amazon EC2.

Инстансы P4d доступны в регионах Восток США (Северная Вирджиния и Огайо), Запад США (Орегон), Азиатско-Тихоокеанский регион (Сеул и Токио) и Европа (Франкфурт и Ирландия). Инстансы P4de доступны в регионах Восток США (Северная Вирджиния) и Запад США (Орегон).

Клиенты могут приобретать P4d и P4de в качестве инстансов по требованию, зарезервированных, спотовых инстансов, выделенных хостов или в рамках экономичных планов.

Начало работы с инстансами P4d для машинного обучения

Amazon SageMaker – полностью управляемый сервис для создания, обучения и развертывания моделей машинного обучения. При использовании этого сервиса совместно с инстансами P4d клиенты могут просто выполнять масштабирование рабочих нагрузок на десятки, сотни и тысячи графических процессоров для быстрого обучения моделей в любом масштабе, не беспокоясь о настройке кластеров и конвейеров обработки данных.

Образы DLAMI предоставляют специалистам по машинному обучению и ученым инфраструктуру и инструменты, которые позволяют ускорить работу с глубоким обучением в облаке в любых масштабах. Контейнеры для глубокого обучения – это образы Docker, на которые предварительно установлены платформы глубокого обучения. Они позволяют упростить и ускорить процесс развертывания специальных сред для машинного обучения, избавляя от сложностей с их созданием и оптимизацией.

Если вы предпочитаете управлять собственными контейнерными рабочими нагрузками с помощью сервисов оркестрации контейнеров, вы можете развернуть инстансы P4d с помощью Amazon EKS или Amazon ECS.

Начало работы с инстансами P4d для высокопроизводительных вычислений

Инстансы P4d идеально подходят для инженерного моделирования, финансовых вычислений, сейсмического анализа, молекулярного моделирования, геномики, рендеринга и прочих рабочих нагрузок высокопроизводительных вычислений, требующих наличия графического процессора. Для работы HPC‑приложений часто требуется высокая производительность сети, хранилище с высокой скоростью чтения и записи, большая емкость памяти, огромные вычислительные мощности либо все эти ресурсы одновременно. Инстансы P4d поддерживают EFA, что позволяет HPC‑приложениям, использующим интерфейс передачи сообщений (MPI), масштабироваться до тысяч графических процессоров. Пакет AWS и AWS ParallelCluster помогают разработчикам высокопроизводительных вычислений быстро создавать и масштабировать распределенные приложения для высокопроизводительных вычислений.

Подробнее