Инстансы P3 в Amazon EC2 – самые быстрые инстансы для машинного обучения в облаке. Это отличный выбор для специалистов по работе с данными, исследователей и разработчиков, желающих ускорить приложения машинного обучения. Инстансы P3 в Amazon EC2 используют до восьми графических процессоров последнего поколения NVIDIA V100 с ядрами Tensor и обеспечивают производительность до 1 петафлопса в режиме смешанной точности. Это помогает значительно ускорить рабочие нагрузки, связанные с машинным обучением. Ускорение обучения моделей позволяет специалистам по работе с данными и инженерам машинного обучения быстрее выполнять итерации, обучать большее количество моделей и повышать точность.

Благодаря гибким ценовым планам на один из самых мощных облачных инстансов с графическим процессором клиенты получают максимально экономичное решение для машинного обучения. Как и остальные инстансы Amazon EC2, инстансы P3 доступны как инстансы по требованию, зарезервированные или спотовые инстансы. Спотовые инстансы задействуют неиспользуемые ресурсы инстансов EC2 и позволяют значительно снизить стоимость использования Amazon EC2, получив экономию до 70 % по сравнению с ценами на инстансы по требованию.

В отличие от локальных систем высокопроизводительные вычисления на инстансах P3 в Amazon EC2 обеспечивают практически неограниченную производительность для масштабирования инфраструктуры и возможность гибко настраивать ресурсы в зависимости от рабочих нагрузок. Сервис позволяет настраивать ресурсы в соответствии с требованиями приложения, при этом кластер для высокопроизводительных вычислений можно запустить в течение нескольких минут и оплачивать его работу только по факту использования.

Предварительно упакованные образы Docker можно использовать для быстрого развертывания сред глубокого обучения. Образы полностью протестированы и включают в себя библиотеки и инструменты, необходимые для платформы глубокого обучения (в настоящее время это TensorFlow и Apache MXNet). Для повышения уровня контроля в вопросах мониторинга, соответствия требованиям и обработки данных можно просто добавить собственные библиотеки и инструменты к тем, что уже установлены в образах. Кроме того, инстансы Amazon EC2 P3 эффективно работают с сервисом Amazon SageMaker, образуя мощную и интуитивно понятную комплексную платформу машинного обучения. Amazon SageMaker – полностью управляемая платформа машинного обучения, которая позволяет просто и быстро создавать, обучать и развертывать модели машинного обучения. Кроме того, инстансы P3 в Amazon EC2 можно использовать для развертывания образов Amazon Machine Image с AWS Deep Learning AMI с предустановленными популярными платформами глубокого обучения. Это позволяет быстрее начать работу с машинным обучением и ускоряет получение логических выводов.

Сервис Amazon SageMaker позволяет без труда создавать модели машинного обучения и готовить их к обучению. Он предоставляет все необходимое, чтобы быстро подключиться к данным для обучения, а также выбрать и оптимизировать наилучший алгоритм и платформу для разрабатываемого приложения. Amazon SageMaker предоставляет размещенные блокноты Jupyter, которые облегчают обзор и визуализацию данных для обучения, хранимых в Amazon S3.  Инстанс блокнота можно также использовать для создания кода, которые создает задания по обучению моделей, выполняет развертывание моделей в сервисе Amazon SageMaker, а также проводит тестирование или оценку моделей.

Приступить к обучению модели можно одним щелчком мыши в консоли или совершив один простой вызов API. В Amazon SageMaker уже установлены самые новые версии TensorFlow и Apache MXNet, а также реализована поддержка библиотеки CUDA9 для оптимальной производительности при работе с графическими процессорами NVIDIA. Кроме того, оптимизация гиперпараметров позволяет настроить модель автоматически путем интеллектуального анализа различных комбинаций параметров, благодаря чему модель быстро выдаст прогноз максимально возможной точности. Если есть потребности в увеличении масштаба, можно выполнить масштабирование на десятки инстансов для ускорения построения моделей.

После обучения модели можно одним щелчком мыши выполнить ее развертывание на автомасштабируемых инстансах Amazon EC2 в нескольких зонах доступности. При рабочем развертывании Amazon SageMaker от имени пользователя управляет вычислительной средой, выполняя проверку работоспособности, применяя исправления системы безопасности и обеспечивая выполнение других рутинных операций по обслуживанию. Дополнительно сервис предоставляет встроенные возможности мониторинга и ведения журналов средствами Amazon CloudWatch.

Инстансы P3dn.24xlarge в Amazon EC2 – это самые быстрые, самые мощные и самые крупные инстансы P3. Они обеспечивают пропускную способность сети до 100 Гбит/с, имеют 8 графических процессоров NVIDIA® V100 с ядрами Tensor с 32 ГиБ памяти у каждого, 96 специализированных виртуальных центральных процессоров Intel® Xeon® Scalable (Skylake) и локальное хранилище объемом 1,8 ТБ, состоящее из твердотельных накопителей на базе NVMe. Самая высокая пропускная способность сети, новые процессоры, удвоенный объем памяти графических процессоров и дополнительные виртуальные ЦП позволяют разработчикам значительно сократить время обучения моделей машинного обучения или запускать модели, требующие более высокопроизводительных вычислений, за счет горизонтального масштабирования своих заданий на несколько инстансов (например, на 16, 32 или 64 инстанса). Модели машинного обучения требуют большого количества данных для обучения. Инстансы P3dn.24xlarge обеспечивают повышенную пропускную способность сети, что ускоряет не только передачу данных между инстансами, но и доступ к большим объемам данных для обучения при подключении к Amazon S3 или файловым системам с общим доступом, таким как Amazon EFS.

Благодаря пропускной способности сети в 100 Гбит/с разработчики могут эффективно использовать большое количество инстансов P3dn.24xlarge для распределенного обучения, что позволяет значительно сократить время обучения моделей. 96 настроенных для работы с AWS виртуальных ЦПУ Intel Skylake с частотой 2,5 ГГц, поддерживающих набор инструкций AVX‑512, позволяют оптимизировать предварительную обработку данных. Кроме того, инстансы P3dn.24xlarge работают на базе системы AWS Nitro System, состоящей из выделенного оборудования и компактных гипервизоров, которые позволяют использовать на инстансах практически все вычислительные возможности и ресурсы памяти, обеспечиваемые оборудованием хостинга. Инстансы P3dn.24xlarge также поддерживают Elastic Fabric Adapter, позволяющий приложениям машинного обучения использовать библиотеку NVIDIA Collective Communications Library (NCCL) для масштабирования до тысяч графических процессоров.

Расширенные сетевые возможности на базе последней версии эластичного сетевого адаптера с совокупной пропускной способностью сети до 100 Гбит/с позволяют не только обмениваться данными между несколькими инстансами P3dn.24xlarge, но и обеспечивать высокоскоростной доступ к данным через Amazon S3 или файловые системы с общим доступом, такие как Amazon EFS. Высокоскоростной доступ к данным крайне важен для оптимизации использования графических процессоров и обеспечения максимальной производительности вычислительных инстансов.

Инстансы P3dn.24xlarge используют графические процессоры NVIDIA V100 с ядрами Tensor с 32 ГиБ памяти, которые позволяют гибко обучать более сложные и крупные модели машинного обучения, а также обрабатывать более крупные пакеты данных (например, изображения с разрешением 4K) в системах классификации изображений и обнаружения объектов.