O AWS Step Functions introduz a integração de serviço com o Amazon EMR

Publicado: Nov 19, 2019

O AWS Step Functions agora está integrado com o Amazon EMR, tornando mais fácil a criação e o monitoramento de fluxos de trabalho de processamento de big data no EMR.

O AWS Step Functions lhe permite criar fluxos de trabalho resilientes usando serviços da AWS como Amazon EMR, Amazon SageMaker e AWS Lambda. O Amazon EMR é a plataforma de big data nativa da nuvem líder do setor, que permite que as equipes processem grandes quantidades de dados com rapidez, de forma econômica e em grande escala. Com o Step Functions e o Amazon EMR, você pode orquestrar fluxos de trabalho de big data ao gravar códigos adicionais mínimos.  

Com o Amazon EMR e o AWS Step Functions, agora você pode criar fluxos de trabalho de processamento de dados eficientes que solicitam etapas do Amazon EMR, gerenciam dependências e executam o trabalho em paralelo. Você pode dimensionar proativamente um cluster para cima e para baixo como parte de um fluxo de trabalho do ETL, dimensionando corretamente o cluster para a tarefa em questão. Você também pode aprimorar a resiliência de seus fluxos de trabalho de processamento de dados escolhendo como as exceções são tratadas, repetindo trabalhos que falharam e alertando usuários sobre a ocorrência de falhas.

Usando a integração do serviço do Amazon EMR com o SDK de ciência de dados do AWS Step Functions, você pode criar fluxos de trabalho completos de ciência de dados. A integração do serviço com o EMR está disponível em todas as regiões em que o AWS Step Functions e o Amazon EMR estão disponíveis. Para obter uma lista completa de regiões e ofertas de serviço, consulte Regiões da AWS.

Para começar, analise a documentação e implante um projeto amostral de um clique que demonstra como criar um fluxo de trabalho de processamento de dados com o Amazon EMR, em seguida comece a criar seu primeiro fluxo de trabalho de processamento de dados.

Para saber mais: