Amazon EMR vous permet désormais d'exécuter plusieurs étapes en parallèle, d'annuler des étapes en cours et de l'intégrer à AWS Step Functions

Publié le: Nov 26, 2019

Désormais, Amazon EMR permet d'exécuter plusieurs étapes EMR simultanément, d'annuler les étapes en cours et prend en charge AWS Step Functions. L'exécution simultanée d'étapes vous permet d'exécuter des charges de travail plus avancées, d'augmenter l'utilisation des ressources du cluster et d'accélérer l'exécution de votre charge de travail. Le nombre d'étapes pouvant être exécutées simultanément est configurable et peut être défini lors du lancement d'un cluster et à tout moment après son démarrage. Avec la possibilité d'annuler des étapes en cours, vous contrôlez plus efficacement l'exécution des étapes, et vous pouvez forcer l'annulation des étapes. L'exécution en parallèle d'étapes est également prise en charge avec AWS Step Functions, ce qui vous permet de créer et de mettre à l'échelle des clusters et d'orchestrer l'exécution des étapes à l'aide des flux de travail Step Functions.

Les étapes vous permettent de soumettre des charges de travail à des applications EMR, telles qu'Apache Spark, Apache Hive, Apache YARN et Presto, sans qu'il soit nécessaire de se connecter directement à un cluster EMR. Des étapes peuvent être ajoutées à un cluster à l'aide de la console EMR et de l'API. Jusqu'à présent, les étapes étaient exécutées séquentiellement, chaque étape devant être terminée avant que l'étape suivante puisse commencer, et les étapes en cours d'exécution ne pouvaient pas être annulées.

Grâce à la possibilité d’exécuter des étapes en parallèle, il est désormais possible de créer des flux de travail plus avancés faisant appel à la logique conditionnelle et à la création de branches. Pour simplifier la création et la gestion de ces flux de travail, nous sommes heureux d’annoncer une nouvelle intégration avec AWS Step Functions. Step Functions prend désormais en charge les étapes EMR, ce qui permet d'orchestrer la création de cluster, de dimensionner les ressources des cluster par programme et de gérer l'exécution des étapes et les dépendances et de traiter les exceptions avec EMR.

L'exécution d'étapes en parallèle et l'annulation des étapes en cours sont prises en charge avec la version 5.28.0 d'EMR et sont disponibles dans les régions Asie-Pacifique (Hong Kong, Mumbai, Tokyo), UE (Francfort, Irlande, Stockholm), Moyen-Orient (Bahreïn), Amérique du Sud ( São Paulo), USA Est (Virginie du Nord), USA Ouest (Californie du Nord et Oregon), d'autres régions étant prévues dans les prochaines semaines.

Pour démarrer, consultez la documentation des étapes EMR et déployez votre premier flux de travail Step Functions en utilisant un exemple de projet en un clic.