Инстансы F1 в Amazon EC2
Более быстрая разработка и развертывание ускорителя ППВМ в облаке
Инстансы F1 в Amazon EC2 используют ППВМ для доставки настраиваемых аппаратных ускорений. Для инстансов F1 доступны все необходимые средства разработки, проверки на симуляторе, отладки и компиляции кода аппаратного ускорения, включая AMI ППВМ для разработчиков и поддержку разработки аппаратного уровня в облаке. К тому же, эти инстансы просто программировать. Использование инстансов F1 при развертывании аппаратного ускорения может быть полезно в случае многих приложений для решения сложных проблем в области науки, техники и бизнеса, требующих высокой пропускной способности, улучшенной сетевой конфигурации и мощных вычислительных ресурсов. Примерами целевых приложений, которые могут получить выгоду от ускорения инстанса F1, являются приложения в сфере геномики, поиска/анализа информации, обработки изображений и видео, сетевой безопасности, автоматизации электронного проектирования (EDA), сжатия изображений и файлов, а также анализа больших данных.
Инстансы F1 предлагают различные среды разработки и подойдут как для разработки низкоуровневого оборудования, так и для разработки программного обеспечения на C/C++ и openCL (доступно на нашей странице GitHub). После завершения разработки кода для FPGA его можно зарегистрировать как образ Amazon FPGA Image (AFI) и выполнить развертывание на инстансе F1 за несколько щелчков мышью. Образы AFI можно использовать неограниченное количество раз на всех инстансах F1. Плата за программные средства разработки при использовании FPGA Developer AMI не начисляется, при этом программирование ППВМ на инстансах F1 можно выполнять неограниченное количество раз без дополнительной платы.
Преимущества
МАСШТАБИРУЕМЫЕ ВЫСОКОЭФФЕКТИВНЫЕ ВЫЧИСЛЕНИЯ
В отличие от локальных систем, высокопроизводительные вычисления на инстансах F1 Amazon EC2 обеспечивают практически неограниченную мощность для масштабирования инфраструктуры и возможность гибко настраивать ресурсы в зависимости от рабочих нагрузок. Вы можете настраивать ресурсы в соответствии с требованиями приложения, запускать любое количество инстансов ППВМ за считаные минуты и оплачивать их работу только по факту использования.
100-КРАТНОЕ УСКОРЕНИЕ ВРЕМЕНИ ВЫЧИСЛЕНИЯ
Инстансы F1 в Amazon EC2 обеспечивают 100-кратное ускорение (если сравнивать с процессорами) для разнообразных приложений, ограниченных скоростью вычислений. Клиенты могут находить, тестировать и развертывать специальные ускорители в AWS Marketplace и с легкостью ускорять свои вычислительные конвейеры. Не нужно знать, как программировать ППВМ, поскольку продукты на базе F1, разрабатываемые партнерами по технологии F1, упаковываются как любое другое программное обеспечение для инстансов EC2.
ПРОСТОТА РАЗРАБОТКИ УСКОРЕНИЯ
Можно быстрее разрабатывать ППВМ благодаря современным облачным инструментам и потокам, которые позволяют сосредоточиться на логике ускорения. Разработчики могут приобрести практические навыки, изучая доступные в Интернете справочные материалы и анализируя многочисленные примеры в GitHub. Чтобы можно было упростить процесс отладки, для AWS были разработаны виртуальные инструменты отладки оборудования, такие как виртуальный JTAG, которые предоставляют знакомую среду разработки, позволяющую множеству разработчикам добиваться результатов, не завися от ограниченных локальных ресурсов.
Примеры использования
Изучение генома
Инстансы Amazon EC2 F1 идеально подходят для обработки больших объемов данных о геноме, возвращают результаты в кратчайшее время и обеспечивают высочайшую точность при низких расходах на один геном. ППВМ могут ускорить секвенирование нового поколения (NGS) до 30 раз по сравнению с последними инстансами AWS на основе ЦПУ.
Сетевая конфигурация и безопасность
Инстансы Amazon EC2 F1 позволяют эффективно обрабатывать сетевые пакеты с пропускной способностью линии, используя функцию виртуальной Ethernet. Благодаря этому ППВМ можно использовать для приложений глубокой проверки пакетов, высокопроизводительных балансировщиков нагрузки или других сетевых приложений, требующих обработки пакетов в режиме реального времени.
Обработка видео в режиме реального времени
Приложения для преобразования прямой видеотрансляции на основе инстансов F1 обеспечат более высокую производительность, чем вычислительные инстансы. Инстансы F1 идеально удовлетворяют требования подобных приложений, снижая расходы на вычисления без потери качества.
Поиск в больших данных и аналитика
Требования в отношении поддерживаемого объема данных, их разнообразия, скорости анализа и поиска в приложениях для обработки больших данных возросли до такой степени, что клиентам необходимо аппаратное ускорение для выполнения соответствующих задач. Клиенты могут использовать увеличенную производительность инстансов F1 для получения необходимых ресурсов при работе с большими данными и поиске в них.
Финансовая аналитика
Финансовые организации могут использовать инстансы F1 для более быстрого получения результатов при моделировании и анализе рисков, анализе транзакций для задач безопасности и в других рабочих процессах.
Возможности
Программируемая пользователем вентильная матрица (ППВМ)
ППВМ – это перепрограммируемые аппаратные устройства, которые могут реализовывать любую логическую функцию. Это делает ППВМ похожими на пользовательские микросхемы (специализированные интегральные микросхемы, или ASIC) и позволяет разработчикам создавать собственные процессоры/ускорители, которые обеспечивают оптимизированные вычисления для ускорения конкретной рабочей нагрузки. В отдельных случаях это обеспечивает значительное ускорение по сравнению с вычислительными решениями с фиксированной функцией, такими как ЦПУ и графические процессоры.
Пакет средств разработки
Для начала работы с инстансами F1 разработчику требуется создать аккаунт AWS и загрузить пакет средств разработки ППВМ AWS. Пакет доступен на сайте GitHub и включает всю документацию по F1, внутренние интерфейсы ППВМ и скрипты компилятора для создания образов Amazon FPGA Image (AFI). ППВМ AWS поддерживают множество сред разработки и подходят для разработчиков как аппаратного, так и программного обеспечения. HDK обеспечивает специализированную разработку аппаратного обеспечения, а программно-определяемая среда позволяет разрабатывать ускорения, используя код C/C ++/OpenCL, ничего не зная об оборудовании. Это позволяет быстро разрабатывать ППВМ для инстансов F1 EC2.
AMI ППВМ для разработчиков
AMI ППВМ для разработчиков включает Xilinx Vivado без дополнительной платы за программное обеспечение, а также готовую среду разработки со скриптами и инструментами для проверки ППВМ на симуляторе, сборки и регистрации AFI. AMI ППВМ для разработчиков также включает инструменты для отладки и компиляции кода. Можно выполнить развертывание AMI ППВМ для разработчиков на инстансе Amazon EC2 и быстро распределить достаточное количество ресурсов для разработки и тестирования ППВМ.
История клиента
Мы использовали инстансы F1 на основе ППВМ, чтобы значительно ускорить процесс секвенирования полного генома. В результате то, что раньше занимало у нас 20 часов вычислительного времени, теперь можно выполнить всего за 3 часа.
Д-р Торстен Хаферлах, профессор, директор Лаборатории исследования лейкемии в Мюнхене
Технологические партнеры
Bigstream представляет собой автоматизированную технологию ускорения для Apache Spark. Она содержит компилятор и среду выполнения, которые переносят задачи приложений Spark на инстансы Amazon F1 FPGA, не требуя никаких изменений кода. Пользователи заметят десятикратное увеличение производительности. Помимо операций с одним узлом, Bigstream поддерживает работу в кластерах инстансов F1. Bigstream бесплатно предоставляется в общедоступной предварительной версии в формате образа Amazon Machine Image (AMI) для инстансов Amazon Elastic Compute Cloud (EC2) F1 любых размеров.
Merlin™ Compiler позволяет применить полное ускорение FPGA к разрабатываемым приложениям, используя простую программную модель без углубления в тонкости аппаратных реализаций. Разработчики получат автоматизированный поток компиляции языков C/C++ с высоко оптимизированными акселераторами FPGA. Платформа обеспечит значительный прирост производительности, сохраняя эффективность, сравнимую с ручной оптимизацией.
Платформа Illumina DRAGEN Bio-IT выполняет точный и сверхбыстрый вторичный анализ данных по секвенированию генома. С ее помощью лаборатории любых размеров и направлений смогут получить больше пользы от геномных данных. Платформа DRAGEN использует инстансы Amazon EC2 F1 на основе FPGA для реализации алгоритмов геномного анализа с аппаратным ускорением, таких как преобразование BCL, сопоставление, выравнивание, сортировка, маркировка дубликатов и вызов вариаций гаплотипа. Вторичный анализ генома человека на платформе DRAGEN, развернутой на инстансах Amazon EC2 F1, занимает не более 20 минут, то есть в 30 раз быстрее, чем без ускорения. Dragen на базе AWS можно получить здесь или в центре секвенирования Illumina BaseSpace.
Пакет AML (InAccel ML с ускорением FPGA) предоставляет набор акселераторов для выполнения приложений машинного обучения на инстансах Amazon EC2 F1. Пакет InAccel ML с ускорением FPGA позволяет ускорять приложения, созданные на многих популярных платформах, включая Apache Spark, Scikit-learn и Keras. Он поставляется в формате полностью интегрированного AMI и применяется для ускорения классификации и кластеризации в алгоритмах глубокого обучения и машинного обучения. Инновационный контейнер Docker «Диспетчер ресурсов InAccel FPGA» поддерживает любые доступные ресурсы FPGA, позволяя разработчикам без проблем масштабировать контейнеризированные рабочие нагрузки на множество инстансов F1.
rENIAC представляет собой полностью управляемый акселератор Cassandra с высоким уровнем доступности, который поддерживает инстансы Amazon EC2 F1 и позволяет хранить много терабайтов данных горячего уровня, обеспечивая повышение производительности до 10 раз, повышение плотности хранения до 10 раз и снижение задержки до 15 раз по сравнению с работой в Cassandra без акселераторов. rENIAC применяет диски SSD для кэширования данных, ускорение на основе FPGA для чтения и записи многих терабайт данных с производительностью на уровне обработки в памяти. Также rENIAC полностью совместим с кластерами DataStax.
Ведущий поставщик продуктов для обработки и распространения видео, компания Socionext уже несколько десятилетий накапливает опыт создания аппаратных решений, который важен для разработки мощной и инновационной платформы виртуальных серверов на основе FPGA. В сотрудничестве с AWS компания Socionext предоставляет облачное решение кодирования видео с аппаратным ускорением на основе инстансов Amazon EC2 F1, которое предоставляет стабильные и качественные потоки видео со значительным снижением времени обработки и стоимости доставки.
Trend Micro предоставляет автоматизированное, гибкое и комплексное решение по защите для клиентов AWS на основе собственной платформы Trend Micro Cloud One. Ведущий технологический партнер, компания Trend Micro применяет инстансы Amazon EC2 F1, чтобы предоставить нашим общим клиентам возможность отслеживать сетевой трафик с максимальной эффективностью и производительностью вычислительных ресурсов. Клиенты могут быстро и эффективно развертывать в AWS широкие и масштабируемые решения для защиты на уровне сети.
«Используя инстансы Amazon EC2 F1, компания Valtix предоставляет для обнаружения угроз возможности шифрования и расшифровки SSL и углубленной проверки пакетов с высоким уровнем производительности и низкой задержкой», — сказал Виджей Чандлер, технический директор и соучредитель Valtix. «Благодаря этому Valtix имеет преимущество и предоставляет первый в мире полностью облачный сервис расширенной сетевой безопасности для защиты от атак, эксфильтрации и бокового перемещения угроз. Клиенты смогут быстро обнаруживать облачные приложения, развертывать автоматически масштабируемую платформу безопасности и защищать свои приложения».
Сведения о продукте
Название | ППВМ |
Виртуальные ЦПУ | Память инстанса (ГиБ) | SSD‑хранилище (ГБ) | Улучшенная сетевая конфигурация | Оптимизация для EBS | Цена по требованию за час* | Инстанс, зарезервированный на 1 год, фактический почасовой тариф* | Инстанс, зарезервированный на 3 года, почасовой тариф* |
---|---|---|---|---|---|---|---|---|---|
f1.2xlarge | 1 |
8 | 122 | 470 |
Да | Да | 1,65 USD | 1,06 USD | 0,76 USD |
f1.4xlarge | 2 | 16 | 244 |
940 |
Да | Да | 3,30 USD | 2,12 USD | 1,52 USD |
f1.16xlarge | 8 |
64 | 976 |
4 x 940 |
Да | Да | 13,20 USD | 8,50 USD | 6,10 USD |
* Цены указаны для Linux / Unix в регионе AWS «Восток США (Северная Вирджиния)» с округлением до цента. Цены за инстансы, зарезервированные на 1 и 3 года, указаны для вариантов оплаты «Частичная предоплата». Полные сведения о ценах см. на странице цен на Amazon EC2.
Публикации в блогах и статьи
Учебные пособия
Решения партнеров
Дополнительные ресурсы
Развертывание Illumina DRAGEN в облаке AWS с помощью нового пакета Quick Start
Начать работу с AWS
Регистрация аккаунта AWS
Обучение с помощью 10-минутных учебных пособий
Начните разработку с AWS
Попробуйте Amazon EC2 бесплатно.
На уровне бесплатного пользования AWS в течение одного года ежемесячно предоставляется 750 часов работы инстанса t2.micro с Linux или Windows. Чтобы не превысить уровень бесплатного пользования, используйте только микроинстансы EC2. Подробнее об уровне бесплатного пользования AWS >>