发布于: Nov 18, 2022
适用于 Amazon EMR on Elastic Kubernetes Service (EKS) 的 ACK 控制器已逐渐发展为正式发布版本。使用适用于 EMR on EKS 的 ACK 控制器,您能以声明方式定义和管理 EMR on EKS 资源,例如虚拟集群和以 Kubernetes 自定义资源形式的作业运行。这样您就能使用“kubectl”等 Kubernetes 本机工具直接管理这些资源。
MR on EKS 是 EMR 的一个部署选项,您可以使用该选项在 EKS 集群上运行开源大数据框架。您可以在同一 Amazon EKS 集群上使用基于 Kubernetes 的应用程序整合分析工作负载,以提高资源利用率并简化基础设施管理和工具。ACK 是 Kubernetes 自定义资源定义 (CRD) 和自定义控制器的集合,它们协同工作来扩展 Kubernetes API 并代表您管理 AWS 资源。
适用于 EMR on EKS 的 ACK 控制器与当前 EMR 和 EKS 版本兼容。要开始使用,您可以按照此教程进行操作,在几分钟内运行 Spark 作业。您还可以在博客文章中了解更多信息,其中演示了如何使用 Argo Workflows 以通过适用于 EMR on EKS 的 ACK 控制器编排 Apache Spark 作业。