Начало работы с Управляемым сервисом Amazon для Apache Flink
В чем преимущества Управляемого сервиса для Apache Flink?
Управляемый сервис Amazon для Apache Flink позволяет преобразовывать и анализировать потоковые данные в реальном времени с помощью Apache Flink. Управляемый сервис Amazon для Apache Flink упрощает создание рабочих нагрузок Apache Flink и управление ими, а также позволяет с легкостью интегрировать приложения в другие сервисы AWS.
Разработка приложений потоковой передачи с помощью Apache Flink и Apache Beam
1
Шаг 1. Загрузка библиотек с открытым исходным кодом в выбранную среду IDE
Сначала можно загрузить библиотеки с открытым исходным кодом, включая SDK AWS, Apache Flink и соединители для сервисов AWS.
2
Шаг 2. Разработка образца приложения с использованием Apache Flink или Apache Beam
В коде приложения на Apache Flink используются потоки данных и операторы для работы с ними. Потоки данных приложения – это структуры данных, обрабатываемые его кодом. Данные непрерывно поступают из источников в потоки данных приложения. Для определения процедуры обработки потоков данных приложения используется один или несколько операторов потока.
3
Шаг 3. Загрузка кода в Управляемый сервис Amazon для Apache Flink
После сборки загрузите код в Управляемый сервис Amazon для Apache Flink. Сервис обеспечивает все необходимое для непрерывной работы приложений в режиме реального времени, включая автоматическое масштабирование в зависимости от объема и скорости поступления входных данных.
Интуитивно понятное использование Управляемого сервиса Amazon для Студии Apache Flink
1
Шаг 1. Создание Управляемого сервиса Amazon для приложения Студия Apache Flink
Начать с Управляемого сервиса Amazon для Apache Flink, Amazon MSK или консоли потоков данных Amazon Kinesis. Использовать пользовательские соединители для подключения к любому другому источнику данных.
2
Шаг 2. Напишите код на SQL, Python и Scala в бессерверном блокноте и разработайте приложения Apache Flink
Запустите отдельные параграфы кода в блокноте, просматривайте результаты в контексте и используйте встроенную визуализацию Apache Zeppelin для ускорения разработки. Вы также можете использовать в своем коде пользовательские функции.
3
Шаг 3. Разработайте и разверните код как Управляемый сервис Amazon для потокового приложения Apache Flink
Всего за несколько шагов разверните свой код как непрерывно работающее приложение для обработки потока. Развернутое приложение будет представлять собой Управляемый сервис Amazon для приложения Apache Flink, обеспеченное надежностью и автомасштабированием. Вы также сможете перед запуском кода менять источники, назначения, ведение журнала и уровни наблюдения.