Создавайте комплексные конвейеры потоковой передачи одним щелчком мыши с помощью чертежей Управляемого сервиса Amazon для Apache Flink. Подробнее.
Преобразуйте и анализируйте потоковые данные в реальном времени с помощью Apache Flink
С помощью Управляемого сервиса Amazon для Apache Flink можно преобразовывать и анализировать потоковые данные в режиме реального времени, используя Apache Flink, платформу и механизм с открытым исходным кодом для обработки потоков данных. Управляемый сервис Amazon для Apache Flink упрощает создание рабочих нагрузок и управление ими, а также позволяет с еще большей легкостью интегрировать приложения в другие сервисы AWS.
Вы платите только за то, что используете в данном сервисе. Вам не нужно предоставлять ресурсы и совершать авансовые платежи. Оплата начисляется на почасовой основе, исходя из числа блоков обработки Kinesis (KPU), использованных при работе приложений. Один KPU включает в себя 1 вычислительный процессор vCPU и 4 ГБ памяти.
При оркестрации приложений Apache Flink взимается плата за дополнительную единицу KPU на каждое приложение. При использовании приложений также взимается плата за запущенное хранилище и за надежные резервные копии. Хранилище запущенного приложения используется для обработки данных с фиксацией состояния в Управляемом сервисе Amazon для Apache Flink и оплачивается с учетом количества ГБ в месяц. Создание постоянных резервных копий предоставляется в качестве дополнительной возможности и позволяет выполнять для приложений восстановление на момент времени. Данная возможность оплачивается по количеству гигабайтов в месяц.
В режиме потоковой передачи Управляемый сервис Amazon для Apache Flink автоматически масштабирует количество KPU, необходимых приложению обработки потоков данных, по мере изменения требований к памяти и вычислительной мощности. Вы можете обеспечить приложение необходимым количеством KPU.
В интерактивном режиме начисляется оплата за два дополнительных KPU на приложение в Студии. Один из KPU используется для координации приложения Apache Flink, другой – для бессерверной интерактивной среды разработки. Плата также будет взиматься за запуск хранилища приложений для возможностей обработки с фиксацией состояния. Оплата за хранилище запущенного приложения начисляется за количество ГБ в месяц.
При разработке в блокноте Studio вы не сможете создавать надежные резервные копии приложений. Тем не менее резервные копии возможно сделать при развертывании приложений в блокноте Студии, из интерактивного режима в потоковый.
Рекомендуем испытать приложение с рабочими нагрузками, чтобы получить точное представление о количестве KPU, необходимом для его работы. Количество используемых KPU может существенно меняться в зависимости от объема данных, скорости их поступления, сложности кода, интеграции и других факторов. Это особенно актуально при использовании среды выполнения Apache Flink в Управляемом сервисе Amazon для Apache Flink. Например, в ходе внутренних испытаний мы установили, что пропускная способность для простых приложений без фиксации состояния составляет сотни МБ в секунду на KPU, а пропускная способность сложных приложений с интенсивным применением алгоритмов машинного обучения (ML) – менее 1 МБ в секунду на KPU. Учитывая эти оговорки, ожидаемая пропускная способность перед тестированием приложения равняется 1 МБ в секунду на KPU.
Вы используете Управляемый сервис Amazon для Студии Apache Flink, чтобы непрерывно фильтровать потоковые данные, захваченные Amazon Kinesis Data Streams, и сохранять только искомые записи. Вам нужно просматривать и визуализировать записи в режиме реального времени, а также легко писать запросы и программы на SQL и Python. Вам не нужно создавать надежные резервные копии состояний. Вы предоставляете 4 KPU для блокнота Студии исходя из пропускной способности входящего потока. Ваша ежемесячная плата за Управляемый сервис Amazon для Apache будет рассчитываться следующим образом:
Стоимость за месяц
Цена в регионе Восток США (Сев. Вирджиния) составляет 0,11 USD за час работы единицы KPU, используемой в работе приложения потоковой обработки. Это простое приложение использует для обработки входящего потока данных 4 KPU. За каждое приложение блокнота Студии (например, в интерактивном режиме) взимается плата за два дополнительных KPU. Стоимость KPU за месяц = 30 дней * 24 часа * ([4 KPU + 2 дополнительных KPU] * 0,11 USD в час) = 475,20 USD
Приложения Apache Flink используют 50 ГБ хранилища запущенного приложения на каждую единицу KPU. В регионе Восток США-1 это хранилище оплачивается по тарифу 0,10 USD за ГБ в месяц.
Стоимость хранилища запущенного приложения за месяц = 30 дней * 24 часа * 4 KPU * (50 ГБ * 0,10 USD/ГБ‑месяц) = 20,00 USD
Общая стоимость = 475,20 USD + 20,00 USD = 495,20 USD
Вы используете Управляемый сервис Amazon для Студии Apache Flink, чтобы создать скользящее окно на основе потоковых данных, захваченных темой в кластере Управляемой потоковой передачи Amazon для Apache Kafka (Amazon MSK). Вы используете блокнот Студии с 4 KPU по восемь часов в течение двух дней, чтобы разработать и протестировать запросы. После разработки приложение развертывается как потоковое с 12 KPU. По завершении процесса развертывания вы закрываете блокнот Студии. Потоковое приложение может использовать состояние приложения, и вы каждый день создаете надежные резервные копии состояния.
Цена в регионе Восток США (Сев. Вирджиния) составляет 0,11 USD за час работы единицы KPU, используемой в работе приложения потоковой обработки.
Стоимость за месяц
Разработка и тестирование запроса в Управляемом сервисе Amazon для Студии Apache Flink:
Стоимость KPU = 2 дня * 8 часов * (4 KPU + 2 дополнительных KPU для блокнота Студии) * 0,11 USD в час = 10,56 USD
Приложения Apache Flink используют 50 ГБ хранилища запущенного приложения на каждую единицу KPU. В регионе «Восток США-1» это хранилище оплачивается по тарифу 0,10 USD за ГБ-месяц.
Стоимость хранилища запущенного приложения = 2 дня * 8 часов * 4 KPU * (50 ГБ * 0,10 USD/ГБ‑месяц) = 0,44 USD
Разработка потокового приложения для непрерывной работы и резервного копирования.
Стоимость KPU = 28 дней * 24 часа * (2 KPU + 1 дополнительный KPU для потокового приложения) * 0,11 USD в час = 221,76 USD
Приложения Apache Flink используют 50 ГБ хранилища запущенного приложения на каждую единицу KPU. В регионе «Восток США-1» это хранилище оплачивается по тарифу 0,121 USD за ГБ-месяц.
Стоимость хранилища запущенного приложения = 28 дней * 24 часа * 2 KPU * (50 ГБ * 0,10 USD/ГБ‑месяц) = 9,33 USD
Стоимость надежного хранилища приложения = 28 * (1 МБ / резервная копия * 1 ГБ / 1000 МБ) * 0,023 USD/ГБ‑месяц = 0,01 USD (с округлением до цента)
Общая стоимость = 10,56 USD + 0,44 USD + 221,76 USD + 9,33 USD + 0,01 USD = 242,10 USD
В Управляемом сервисе Amazon для Apache Flink вы используете приложение для непрерывного преобразования и доставки данных журналов, собранных потоком Kinesis Data Stream и помещенных в Простой сервис хранения данных Amazon (Amazon S3). Данные журналов преобразуются с помощью нескольких операций, включая применение схемы к различным событиям журналов, разбиение данных по типам событий, их сортировку по временным отметкам и буферизацию в течение одного часа перед доставкой. В приложении может выполняться множество шагов преобразования, но ни один из них не требует интенсивного использования вычислительных ресурсов. Этот поток загружает данные со скоростью 2000 записей в секунду в течение 12 часов в сутки, а в оставшиеся 12 часов скорость возрастает до 8000 записей в секунду. Вы не создаете надежных резервных копий. Ежемесячная плата за Управляемый сервис Amazon для Apache Flink будет рассчитываться следующим образом:
Стоимость за месяц
Цена в регионе Восток США (Сев. Вирджиния) составляет 0,11 USD за час работы единицы KPU. Управляемый сервис Amazon для Apache Flink распределяет 50 ГБ хранилища запущенных приложений на один KPU и взимает 0,1 USD/ГБ в месяц.
Повышенная рабочая нагрузка. На протяжении 12 часов повышенной рабочей нагрузки Управляемый сервис Amazon для приложения Apache Flink обрабатывает 8000 записей в секунду и автоматически масштабируется до 8 KPU. После этого периода через 6 часов работы с пониженной пропускной способностью Управляемый сервис Amazon для приложения Apache Flink сокращает количество выделенных ресурсов. Приложение масштабируется до 8 KPU в совокупности 18 часов в сутки.
30 дней в месяц * 18 часов в сутки = 540 часов в месяц
Стоимость KPU за месяц = 540 часов в месяц * 8 KPU * 0,11 USD в час = 475,20 USD
Стоимость хранилища запущенного приложения за месяц = 540 часов в месяц * 8 KPU * 50 ГБ/KPU * 0,10 USD/ГБ‑месяц = 30,00 USD
Стоимость KPU и хранилища за месяц = 475,20 USD + 30,00 USD = 505,20 USD
Пониженная рабочая нагрузка. В течение периода пониженной рабочей нагрузки в оставшиеся шесть часов Управляемый сервис Amazon для приложения Apache Flink обрабатывает 2000 записей в секунду и автоматически масштабируется до 2 KPU.
30 дней в месяц * 6 часов в сутки = 180 часов в месяц
Стоимость KPU за месяц = 180 часов в месяц * 2 KPU * 0,11 USD в час = 39,60 USD
Стоимость хранилища запущенного приложения за месяц = 180 часов в месяц * 2 KPU * 50 ГБ * 0,10 USD/ГБ‑месяц = 2,50 USD
Стоимость KPU и хранилища за месяц = 39,60 USD + 2,50 USD = 42,10 USD
Каждое приложение Apache Flink использует по дополнительной единице KPU.
Стоимость за месяц = 30 х 24 х 1 KPU х 0,11 USD в час = 79,20 USD
Общая стоимость = 505,20 USD + 42,10 USD + 79,20 USD = 626,50 USD
Вы используете Управляемый сервис Amazon для Студии Apache Flink, чтобы создать скользящее окно на основе потоковых данных, захваченных темой в кластере Управляемой потоковой передачи Amazon для Apache Kafka (Amazon MSK). Для разработки и тестирования запросов вы используете блокнот Студии с 4 KPU, который вы запускаете в 10:30 первого дня месяца. После разработки, в 17:00 приложение развертывается как потоковое с 2 KPU. Через час, в 18:00, по завершении процесса развертывания вы закрываете блокнот Студии. Потоковое приложение может использовать состояние приложения, и вы каждый день создаете надежные резервные копии состояния.
Цена в регионе Восток США (Сев. Вирджиния) составляет 0,11 USD за час работы единицы KPU, используемой в работе приложения потоковой обработки.
Стоимость за месяц
Разработка и тестирование запроса, использующего Управляемый сервис Amazon для Студии Apache Flink:
Приложение Студии работает 450 минут в месяц (с 10:30 до 18:00 в первый день)
Стоимость KPU = 450 минут * (4 KPU + 2 дополнительных KPU для блокнота Студии) * 0,11 USD в час) = 4,95 USD
Приложения Apache Flink используют 50 ГБ хранилища для запущенных приложений на каждый KPU и дополнительно 50 ГБ для приложений блокнота Студии. В регионе Восток США-1 плата за данные приложения составляет 0,10 USD за ГБ в месяц.
Плата за хранение запущенных приложений = 450 минут * (4 KPU + 1 дополнительный KPU для блокнота Студии) * (50 ГБ * 0,10 USD за ГБ в месяц) = 0,26 USD
Разработка потокового приложения для непрерывной работы и резервного копирования.
Приложение для потоковой передачи работает 703 часа в месяц (с 17:00 первого дня)
Стоимость KPU = 703 часа * (2 KPU + 1 дополнительный KPU для потокового приложения) * 0,11 USD в час = 231,99 USD
Приложения Apache Flink используют 50 ГБ хранилища запущенного приложения на каждую единицу KPU. В регионе «Восток США-1» это хранилище оплачивается по тарифу 0,121 USD за ГБ-месяц.
Стоимость хранилища запущенного приложения = 703 часа * 2 KPU * (50 ГБ * 0,10 USD/ГБ‑месяц) = 9,76 USD
Стоимость надежного хранилища приложения = 703 часа * (1 МБ/резервная копия * 1 ГБ/1000 МБ) * 0,023 USD/ГБ‑месяц = 0,01 USD (с округлением до цента)
Общая стоимость = 4,95 USD + 0,26 USD + 231,99 USD + 9,76 USD + 0,01 USD = 246,97 USD