Управляемый сервис Amazon для функций Apache Flink

Управляемый сервис Amazon для Apache Flink включает библиотеки с открытым исходным кодом, такие как Apache Flink, Apache Beam, Apache Zeppelin, AWS SDK и средства интеграции с сервисами AWS. Apache Flink — это платформа и ядро, предназначенные для создания высокодоступных и точных приложений потоковой передачи. Apache Beam – это унифицированная модель для определения приложений потоковой и пакетной обработки данных, работающих на нескольких механизмах времени выполнения. Пакеты SDK AWS помогают упростить написание кода для множества сервисов AWS, предоставляя доступ к интерфейсам API на любых языках программирования, а также включают библиотеки AWS, образцы кода и документацию. 

Управляемый сервис Amazon для Apache Flink поддерживает гибкие интерфейсы API для Flink на языках Java, Scala, Python и SQL, которые рассчитаны на различные примеры использования, включая обработку событий с фиксацией состояния, ETL-операции (извлечение, преобразование и загрузку) с потоковыми данными и аналитику в реальном времени. Благодаря встроенным операторам и аналитическим возможностям можно создать потоковое приложение Apache Flink за несколько часов, а не за месяцы, а благодаря расширяемым библиотекам можно выполнять обработку в реальном времени для разных случаев использования.

Можно настроить и интегрировать источник или целевое расположение данных, используя минимальное количество символов кода. Используйте библиотеки Управляемого сервиса Amazon для Apache Flink для интеграции со следующими сервисами AWS:  

• Amazon S3
• Amazon MSK
• Сервис Amazon OpenSearch
• Amazon DynamoDB
• Потоки данных Amazon Kinesis
• Данные Amazon Kinesis Firehose
• Amazon CloudWatch
• Реестр схем AWS Glue

Помимо возможностей интеграции с AWS, библиотеки Управляемого сервиса Amazon для Apache Flink включают более сорока соединителей от Apache Flink и возможность создания собственных средств интеграции. Добавив несколько строк кода, вы можете изменить поведение каждого средства интеграции с помощью расширенных функциональных возможностей. Вы также можете создавать собственные средства интеграции с помощью набора базовых типов Apache Flink, чтобы считывать и записывать данные в файлах, каталогах, сокетах или других источниках, доступных через Интернет.

С помощью Управляемого сервиса Amazon для Apache Flink можно создавать приложения, в которых обработанные записи влияют на результаты только один раз. Это называется строго однократной обработкой. Даже в случае нарушения в работе приложения (например, внутреннего технического обслуживания или инициированного пользователем обновления приложения) сервис обеспечивает обработку всех данных и отсутствие дубликатов.

Сервис сохраняет предыдущие и текущие вычисления или состояние в хранилище запущенного приложения. Сравнивайте текущие и прошлые результаты за любой период времени, а также быстро восстанавливайте их после нарушений в работе приложения. Состояние всегда шифруется и поэтапно сохраняется в хранилище запущенного приложения.

Создавайте и удаляйте надежные резервные копии приложений с помощью простого вызова API. Мгновенно восстанавливайте приложения из последней резервной копии после нарушения или возвращайтесь к его более ранней версии. 

Управляемый сервис Amazon для Apache Flink поддерживает алгоритмы машинного обучения (ML). Можно создавать приложения в реальном времени для классификации, кластеризации, оценки, рекомендаций по конструированию признаков, регрессий и статистики. 

Управляемый сервис Amazon для Apache Flink обладает совместимостью с реестром схем AWS Glue. Реестр схем помогает повысить качество данных и защититься от непредвиденных изменений с помощью проверок совместимости, которые контролируют развитие схем в Управляемом сервисе Amazon для рабочих нагрузок Apache Flink, подключенных к Apache Kafka, Управляемой потоковой передачи Amazon для Apache Kafka (Amazon MSK) или Потокам данных Amazon Kinesis в качестве источника или приемника.