Inserito il: May 24, 2018
Ora puoi eseguire i tuoi processi di training con gli algoritmi preconfigurati di Amazon SageMaker fino al 35% più veloce con la modalità di input Pipe. Utilizzando la modalità di input Pipe, i tuoi processi di training trasmettono i dati direttamente da Amazon Simple Storage Service (Amazon S3) al contenitore dell'algoritmo sulle istanze di training, per fornire tempi di avvio più rapidi per i processi di training e una migliore velocità effettiva. Per esempio, i benchmark indicano tempi di avvio migliorati fino a 10 minuti su file da 78 GB, con throughput due volte più veloce in alcuni di essi.
La maggior parte degli algoritmi di Amazon SageMaker lavorano meglio quando utilizzi il formato ottimizzato protobuf recordIO per eseguire il training i dati per l'ottimizzazione della velocità. Utilizzare questo formato ti permette di approfittare della modalità di input Pipe quando viene eseguito il training degli algoritmi che la supportano. Prima della modalità di input Pipe, tutti i tuoi dati venivano caricati da Amazon S3 ai volumi di Amazon Elastic Block Store (EBS) allegati alle istanze di training utilizzando la modalità di input File, che richiedeva spazio su disco per archiviare i modelli finali e dataset di training completi.. La modalità di input File è ancora preferibile quando l'algoritmo richiede più epoche e il set di dati di training è abbastanza piccolo da stare in memoria, ma la modalità di input Pipe funziona meglio con dataset di grandi dimensioni.
La modalità di input Pipe è disponibile in Amazon SageMaker oggi nelle regioni AWS di Stati Uniti orientali (Virginia settentrionale), Stati Uniti orientali (Ohio), UE (Irlanda) e Stati Uniti occidentali (Oregon). Leggi la documentazione per ulteriori informazioni sulla modalità di input Pipe con gli algoritmi selezionati di Amazon SageMaker e leggi il post del blog per sapere come utilizzare la modalità di input Pipe e rivedere i benchmark sulla modalità di input File.