Amazon EMR 现在可以让您并行执行多个步骤、取消正在执行的步骤以及与 AWS Step Functions 集成

发布于: Nov 26, 2019

Amazon EMR 现在支持同时执行多个 EMR 步骤，让您能够取消正在执行的步骤。另外，它还支持 AWS Step Functions。并行执行步骤使您可以运行更多高级工作负载，提高集群资源利用率，并减少完成工作负载所需时间。一次允许执行的步骤数是可配置的，可以在启动集群时以及在集群启动后的任何时间进行设置。在能够取消正在执行的步骤的情况下，您现在可以更好地控制执行，包括能够强制取消步骤。AWS Step Functions 也支持并行执行步骤，从而允许您创建和扩展集群，并使用 Step Functions 工作流程来编排步骤执行。

Steps 允许您在无需直接连接到 EMR 集群的情况下，将工作负载提交给诸如 Apache Spark、Apache Hive、Apache YARN 和 Soon 之类的 EMR 应用程序。可以使用 EMR 控制台和 API 将步骤添加到集群中。到现在为止，步骤是按顺序执行的，每个步骤都需要先完成，然后才能开始下一个步骤，并且无法取消正在执行的步骤。

借助步骤并行执行功能，现在可以创建包含条件逻辑和分支的更高级的工作流程。为了简化这些工作流程的创建和管理，我们很高兴宣布与 AWS Step Functions 进行新的集成。Step Functions 现在支持 EMR 步骤，使您能够编排集群创建，以编程方式扩展集群资源以及使用 EMR 管理步骤执行、依赖关系和异常处理。

EMR 5.28.0 版支持并行执行步骤和取消正在执行的步骤，并在以下区域提供：且在亚太地区（香港、孟买、东京）、欧洲（法兰克福、爱尔兰、斯德哥尔摩）、中东（巴林）、南美（圣保罗）、美国东部（弗吉尼亚北部）、美国西部（加利福尼亚北部和俄勒冈）。未来几周还会在更多区域推出。

要开始使用，请查阅 EMR 步骤文档并使用一键式示例项目部署您的第一个 Step Functions 工作流程。

要了解更多信息：