Fonctionnalités du service géré Amazon pour Apache Flink

Le service géré Amazon pour Apache Flink comprend des bibliothèques open source telles qu'Apache Flink, Apache Beam, Apache Zeppelin, les kits AWS SDK et les intégrations de services AWS. Apache Flink est un cadre et un moteur permettant de créer des applications de streaming hautement disponibles et précises. Apache Beam est un modèle unifié permettant de définir des applications de traitement de données de streaming et par lot exécutées par plusieurs moteurs d'exécution. Les kits AWS SDK permettent de simplifier le codage pour beaucoup de services AWS en fournissant des API dans votre langage préféré. Ils incluent des bibliothèques, des exemples de code et de la documentation AWS. 

Le service géré Amazon pour Apache Flink prend en charge les API flexibles de Flink dans Java, Scala, Python et SQL dédiées à différents cas d'utilisation, notamment le traitement dynamique des événements, le streaming ETL (extraction, transformation et chargement) et l'analyse en temps réel. Grâce à des opérateurs et des capacités d'analyse prédéfinis, vous pouvez créer une application de streaming Apache Flink en quelques heures au lieu de plusieurs mois. Les bibliothèques sont extensibles, ce qui vous permet d'effectuer des traitements en temps réel pour divers cas d'utilisation.

Vous pouvez configurer et intégrer une source de données ou une destination avec un code minimal. Utilisez les bibliothèques du service géré Amazon pour Apache Flink afin d'intégrer les services AWS suivants :  

• Amazon S3
• Amazon MSK
• Amazon OpenSearch Service
• Amazon DynamoDB
• Amazon Kinesis Data Streams
• Amazon Kinesis Data Firehose
• Amazon CloudWatch
• AWS Glue Schema Registry

Outre les intégrations AWS, le service géré Amazon pour Apache Flink inclut plus de 40 connecteurs Apache Flink et permettent de créer des intégrations personnalisées. Avec quelques lignes de code supplémentaires, vous pouvez modifier le comportement de chaque intégration avec des fonctionnalités avancées. Vous pouvez également créer des intégrations personnalisées à l'aide d'un ensemble de types primitifs Apache Flink, afin de pouvoir lire et écrire à partir de fichiers, de répertoires, de sockets ou d'autres sources consultées sur internet.

En utilisant le service géré Amazon pour Apache Flink, vous pouvez créer des applications dans lesquelles les enregistrements traités n'affectent les résultats qu'une seule fois, un processus connu comme traitement unique. Même en cas de perturbation de l'application, telle que la maintenance du service interne ou la mise à jour d'une application lancée par l'utilisateur, le service s'assure que toutes les données sont traitées et qu'il n'y a pas de données en double.

Le service stocke les calculs précédents ou en cours, ou l'état, dans l'espace de stockage de l'application en cours d'exécution. Comparez les résultats anciens et ceux en temps réel sur n'importe quelle période, et la récupération de l'application après une panne est rapide. L'état est toujours chiffré et progressivement enregistré dans l'espace de stockage de l'application en cours d'exécution.

Créez et supprimez des sauvegardes d'applications durables via un simple appel d'API. Restaurez immédiatement vos applications à partir de la dernière sauvegarde après une interruption, ou à une version antérieure. 

Le service géré Amazon pour Apache Flink prend en charge les algorithmes du machine learning (ML). Vous pouvez créer des applications en temps réel pour la classification, la mise en cluster, l'évaluation, les recommandations d'ingénierie des fonctionnalités, les régressions et les statistiques. 

Le service géré Amazon pour Apache Flink est compatible avec le registre des schémas AWS Glue. Le registre des schémas vous aide à améliorer la qualité des données et à vous prémunir contre les changements inattendus grâce à des contrôles de compatibilité qui régissent l'évolution de vos schémas sur les charges du travail du service géré Amazon pour Apache Flink connectées à Apache Kafka, Amazon MSK ou Amazon Kinesis Data Streams, en tant que connecteur source ou puits.