Создавайте комплексные конвейеры потоковой передачи одним щелчком мыши с помощью чертежей Управляемого сервиса Amazon для Apache Flink. Подробнее.
Введение
Преобразуйте и анализируйте потоковые данные в реальном времени с помощью Apache Flink
С помощью Управляемого сервиса Amazon для Apache Flink можно преобразовывать и анализировать потоковые данные в режиме реального времени, используя Apache Flink, платформу и механизм с открытым исходным кодом для обработки потоков данных. Управляемый сервис Amazon для Apache Flink упрощает создание рабочих нагрузок и управление ими, а также позволяет с еще большей легкостью интегрировать приложения в другие сервисы AWS.
Вы платите только за то, что используете в данном сервисе. Вам не нужно предоставлять ресурсы и совершать авансовые платежи. Оплата начисляется на почасовой основе, исходя из числа блоков обработки Kinesis (KPU), использованных при работе приложений. Один KPU включает в себя 1 вычислительный процессор vCPU и 4 ГБ памяти.
Расчет стоимости на Управляемый сервис Amazon для потоковых приложений Apache Flink
При оркестрации приложений Apache Flink взимается плата за дополнительную единицу KPU на каждое приложение. При использовании приложений также взимается плата за запущенное хранилище и за надежные резервные копии. Хранилище запущенного приложения используется для обработки данных с фиксацией состояния в Управляемом сервисе Amazon для Apache Flink и оплачивается с учетом количества ГБ в месяц. Создание постоянных резервных копий предоставляется в качестве дополнительной возможности и позволяет выполнять для приложений восстановление на момент времени. Данная возможность оплачивается по количеству гигабайтов в месяц.
В режиме потоковой передачи Управляемый сервис Amazon для Apache Flink автоматически масштабирует количество KPU, необходимых приложению обработки потоков данных, по мере изменения требований к памяти и вычислительной мощности. Вы можете обеспечить приложение необходимым количеством KPU.
Расчет стоимости на Управляемый сервис Amazon для Студии Apache Flink
В интерактивном режиме начисляется оплата за два дополнительных KPU на приложение в Студии. Один из KPU используется для координации приложения Apache Flink, другой – для бессерверной интерактивной среды разработки. Плата также будет взиматься за запуск хранилища приложений для возможностей обработки с фиксацией состояния. Оплата за хранилище запущенного приложения начисляется за количество ГБ в месяц.
При разработке в блокноте Studio вы не сможете создавать надежные резервные копии приложений. Тем не менее резервные копии возможно сделать при развертывании приложений в блокноте Студии, из интерактивного режима в потоковый.
Общие рекомендации по использованию KPU
Рекомендуем испытать приложение с рабочими нагрузками, чтобы получить точное представление о количестве KPU, необходимом для его работы. Количество используемых KPU может существенно меняться в зависимости от объема данных, скорости их поступления, сложности кода, интеграции и других факторов. Это особенно актуально при использовании среды выполнения Apache Flink в Управляемом сервисе Amazon для Apache Flink. Например, в ходе внутренних испытаний мы установили, что пропускная способность для простых приложений без фиксации состояния составляет сотни МБ в секунду на KPU, а пропускная способность сложных приложений с интенсивным применением алгоритмов машинного обучения (ML) – менее 1 МБ в секунду на KPU. Учитывая эти оговорки, ожидаемая пропускная способность перед тестированием приложения равняется 1 МБ в секунду на KPU.