張貼日期: May 24, 2018
您現在可以利用內建 Amazon SageMaker 演算法中的管道輸入模式,讓培訓工作加快 35%。透過管道輸入模式,您便可讓培訓工作直接將資料從 Amazon Simple Storage Service (Amazon S3) 串流到培訓執行個體的演算法容器中,以加快培訓工作啟動時間,並達到更高的輸送容量。舉例來說,標竿測試指出,78 GB 檔案上的開始時間縮短了至少 10 分鐘,而部分標竿測試甚至達到兩倍的速度。
當您使用最佳化 Protobuf recordIO 格式來處理培訓資料以將速度最佳化時,大部分的 Amazon SageMaker 演算法都能達到最佳效果。使用此格式,您便可在培訓支援的演算法時善用管道輸入模式。在推出管道輸入模式前,您所有的資料都是從 Amazon S3 載入到使用檔案輸入模式之培訓執行個體附加的 Amazon Elastic Block Store (Amazon EBS) 磁碟區,且必須透過磁碟空間存放您的最終模型成品和完整培訓資料組。若演算法需要多種 epoch,且培訓資料組的大小符合記憶體容量,但管道輸入模式比較適合使用大型資料組時,我們仍建議您選擇檔案輸入模式。