发布于: Nov 19, 2019
AWS Step Functions 现在已与 Amazon EMR 集成,从而支持更快地构建、更轻松地监控 EMR 大数据处理工作流程。
通过 AWS Step Functions,您可以使用 AWS 服务(例如 Amazon EMR、Amazon SageMaker 和 AWS Lambda)构建弹性工作流程。Amazon EMR 是业界领先的原生云大数据平台,允许团队快速处理海量数据,并且具有大规模成本效益。借助 Step Functions 和 Amazon EMR,您可以编排大数据工作流程,同时保证需要额外编写的代码最少。
借助 Amazon EMR 和 AWS Step Functions,您现在可以创建高效的数据处理工作流程,以对 Amazon EMR 步骤进行排序、管理依赖关系并且并行运行工作。您可以在 ETL 工作流程中主动向上和向下扩展集群,从而为手头需要完成的任务调整集群的大小。您还可以通过选择处理异常的方式、重试失败的作业并向用户发出故障提醒来提高数据处理工作流程的弹性。
通过将 Amazon EMR 服务与 AWS Step Functions Data Science 开发工具包结合使用,您可以构建端到端的数据科学工作流程。EMR 服务集成在提供 AWS Step Functions 和 Amazon EMR 的所有区域中均可用。有关区域和提供服务的完整列表,请参阅 AWS 区域。
要了解更多信息:
- 阅读 AWS 新闻博客文章
- 为 AWS Step Functions 与 Amazon EMR 的集成部署一键式示例项目
- 阅读 AWS Step Functions 开发人员指南中的使用 Step Functions 管理 Amazon EMR 作业