張貼日期: Nov 19, 2019

AWS Step Functions 現已與 Amazon EMR 整合,可更快建置和輕鬆監控 EMR 大數據處理工作流程。

透過 AWS Step Functions,您可以使用 Amazon EMR、Amazon SageMaker 和 AWS Lambda 等 AWS 服務建立彈性的工作流程。Amazon EMR 是業界領先的雲端原生大數據平台,可讓團隊快速、經濟高效地大規模處理大量資料。使用 Step Functions 和 Amazon EMR,您可以協調大數據工作流程,同時撰寫最少的其他程式碼。 

使用 Amazon EMR 和 AWS Step Functions,您現在可以建立高效的資料處理工作流程來訂購 Amazon EMR 步驟、管理相依性以及並行執行工作。在 ETL 工作流程中,您可以主動擴充和縮減叢集,從而根據手邊的任務調整叢集大小。您也可以透過選擇處理例外情況的方式、重試失敗的任務並提醒使用者出現故障,來改進資料處理工作流程的恢復能力。

透過搭配使用 Amazon EMR 服務整合和 AWS Step Functions Data Science SDK,您可以建置端對端資料科學工作流程。EMR 服務整合現可在提供 AWS Step Functions 和 Amazon EMR 的所有區域使用。如需區域和服務產品的完整清單,請參閱 AWS 區域

若要開始使用,請檢閱文件並部署一鍵範例專案,其可示範如何透過 Amazon EMR 建置資料處理工作流程,然後開始建置您的第一個資料處理工作流程。

進一步了解: