張貼日期: Apr 22, 2020
Amazon SageMaker 客戶在部署用於即時推論的機器學習模型時，現在可以選取 Inf1 執行個體。Amazon SageMaker 是全受管服務，可讓開發人員和資料科學家輕鬆快速地建立、訓練及部署任何規模的機器學習模型。使用 Amazon SageMaker 上的 Inf1 執行個體，客戶能夠執行大規模機器學習和深度學習推斷應用程式，例如影像識別、語音識別、自然語言處理、個人化、預測和詐騙偵測，這些應用程式具有高效能，且成本顯著降低。
Inf1 執行個體從頭開始建置，以支援機器學習推斷應用程式，並配備多達 16 種 AWS Inferentia 晶片，這些機器學習晶片由 AWS 設計和建置，可最佳化深度學習推斷的成本。Inferentia 晶片與最新的第二代定製 Intel® Xeon® 可擴展處理器和 100Gbps 網路相結合，可為 ML 推斷應用程式帶來高效能和業界最低成本。相較於 AWS GPU 執行個體，每個 Inf1 執行個體配備 1 至 16 個 AWS Inferentia 晶片，其效能最多可擴展至每秒 2000 Tera 運算次數 (TOPS)，並提供高達 3 倍的輸送量，且每次推斷成本降低高達 45%。Inf1 執行個體所用 AWS Inferentia 晶片上的大型片上記憶體支援將機器學習模型直接快取至晶片，從而無需在推斷期間存取外部記憶體資源，並實現低延遲和確保推斷輸送量。若要進一步了解 Inf1 執行個體，請瀏覽產品頁面。
Amazon SageMaker 中的 Inf1 執行個體現於美國維吉尼亞北部和奧勒岡 AWS 區域可用，提供四種尺寸：ml.inf1.xlarge、ml.inf1.2xlarge、ml.inf1.6xlarge 和 ml.inf1.24xlarge。使用 TensorFlow 和 MxNet 框架開發的機器學習模型可部署在 Amazon SageMaker 中的 Inf1 執行個體上，以便進行即時推斷。若要在 Amazon SageMaker 中使用 Inf1 執行個體，可以使用 Amazon SageMaker Neo 編譯經過訓練的模型，然後選取 Inf1 執行個體，以在 Amazon SageMaker 上部署編譯的模型。
請瀏覽 Amazon SageMaker 開發人員指南獲取詳細資訊，以及 Github 中的 Amazon SageMaker 範例，進一步了解有關如何在 Amazon SageMaker 的 Inf1 執行個體上部署機器學習模型的資訊。