Intégration d'AWS Step Functions au service Amazon EMR

Publié le: Nov 19, 2019

AWS Step Functions est maintenant intégré à Amazon EMR, ce qui accélère la création et facilite la surveillance des flux de travail de traitement du Big Data EMR.

AWS Step Functions vous permet de créer des flux de travail résilients à l'aide de services AWS tels qu'Amazon EMR, AWS Lambda et Amazon SageMaker. Amazon EMR est la plate-forme Big Data native cloud leader qui permet aux équipes de traiter de grandes quantités de données rapidement et à moindre coût. Grâce à Step Functions et Amazon EMR, vous pouvez orchestrer de gros flux de données tout en écrivant un minimum de code supplémentaire.  

Amazon EMR et AWS Step Functions vous permettent désormais de créer des flux de travail de traitement de données efficaces qui ordonnent les étapes Amazon EMR, gèrent les dépendances et exécutent le travail en parallèle. Vous pouvez effectuer une mise à l'échelle ascendante et descendante d'un cluster de manière proactive dans le cadre d'un flux de travail ETL, en adaptant la taille du cluster à la tâche en cours. Vous pouvez également améliorer la résilience de vos flux de travail de traitement de données en choisissant la façon dont les exceptions sont gérées, en réessayant les tâches ayant échoué et en alertant les utilisateurs en cas de défaillances.

L'intégration du service Amazon EMR avec le kit SDK AWS Step Functions Data Science vous permet de créer des flux de travail de sciences de données de bout en bout. L'intégration du service EMR est disponible dans toutes les régions où AWS Step Functions et Amazon EMR sont disponibles. Pour une liste complète des régions et des services proposés, voir le tableau des régions AWS.

Pour commencer, consultez la documentation et déployez un exemple de projet en un clic qui explique comment créer un flux de travail de traitement de données avec Amazon EMR, puis commencez à créer votre premier flux de travail de traitement de données.

Pour en savoir plus :