Amazon Robotics utilizza Amazon SageMaker e AWS Inferentia per abilitare le inferenze di ML su vasta scala

Amazon Robotics utilizza il proprio software e i propri macchinari per automatizzare il flusso dell'inventario nei centri logistici di Amazon. Esistono tre componenti fisici principali nel sistema dell'azienda: unità mobili di scaffalatura, robot e workstation dei dipendenti. I robot portano le unità di scaffalatura alle stazioni e i dipendenti eseguono l'inserimento nell'inventario (stoccaggio) o l'estrazione dall'inventario (prelievo). "I nostri flussi di lavoro di stoccaggio e prelievo esistenti a volte possono creare colli di bottiglia per la nostra elaborazione a valle", ha affermato Eli Gallaudet, responsabile software senior di Amazon Robotics. "Nel 2017 abbiamo avviato un'iniziativa per comprendere come semplificare tali flussi di lavoro".

Nel tentativo di ridurre il numero eccessivo di scansioni che richiedono molto tempo, Amazon Robotics ha creato l'Intent Detection System, un sistema di visione artificiale basato sull'apprendimento approfondito addestrato con milioni di esempi video delle azioni di stoccaggio. L'azienda ha voluto addestrare il sistema in modo da identificare automaticamente il punto in cui i dipendenti collocano gli elementi dell'inventario. Sapendo che questo richiederebbe l'elaborazione nel cloud per implementare modelli di apprendimento approfondito per i centri logistici di Amazon, Amazon Robotics si è rivolta ad AWS. Il team ha implementato i propri modelli in container Docker, ospitandoli con Amazon Elastic Container Service (Amazon ECS), un servizio di orchestrazione dei container completamente gestito.

Dopo che il team ha raccolto un numero sufficiente di esempi video delle azioni di stoccaggio, ha sperimentato con l'applicazione di architetture dei modelli al set di dati video annotati di grandi dimensioni. Dopo molte iterazioni, il team ha potuto iniziare a consentire ai modelli implementati di automatizzare il processo.

Nonostante Amazon Robotics potesse attingere a vaste risorse di calcolo in AWS, l'azienda doveva gestire ancora l'hosting autonomamente. Quando AWS ha annunciato il rilascio di Amazon SageMaker all'evento AWS re:Invent 2017, Amazon Robotics l'ha adottato rapidamente, evitando la necessità di creare da sé una soluzione di hosting costosa. Amazon Robotics è stata la prima azienda a implementare in Amazon SageMaker su vasta scala e rimane una delle più grandi implementazioni al gennaio 2021.

All'inizio, il team ha utilizzato principalmente Amazon SageMaker per l'hosting dei modelli. Amazon Robotics ha adattato il suo utilizzo del servizio in base alle necessità, utilizzando inizialmente un'architettura ibrida ed eseguendo alcuni algoritmi on-premise e alcuni nel cloud. "Abbiamo creato un set principale di funzionalità che ci hanno consentito di fornire l'Intent Detection System", afferma Tim Stallman, senior software manager (responsabile software senior) di Amazon Robotics. "Successivamente, quando le funzionalità di Amazon SageMaker sono arrivate online, abbiamo iniziato lentamente ad adottarle". Ad esempio, il team ha adottato Amazon SageMaker Experiments, una funzionalità che gli ha consentito di organizzare, tracciare, confrontare e valutare gli esperimenti di ML e le versioni dei modelli.

Amazon Robotics ha utilizzato anche la scalabilità automatica di Amazon SageMaker. "Amazon SageMaker non si limita a gestire gli host che utilizziamo per le inferenze", ha spiegato Gallaudet. "Aggiunge o rimuove automaticamente gli host in base alle esigenze per supportare il carico di lavoro". Poiché non ha la necessità di acquistare o gestire il suo parco istanze di oltre 500 GPU, l'azienda ha risparmiato circa il 50% dei costi delle inferenze.

Amazon Robotics ha avuto un successo notevole. L'azienda ha utilizzato Amazon SageMaker per ridurre il tempo trascorso sulla gestione e per bilanciare il rapporto degli scienziati rispetto ai tecnici di sviluppo del software. Amazon SageMaker ha consentito inoltre al sistema di eseguire il ridimensionamento orizzontale durante la sua implementazione nella rete dei centri logistici di Amazon e il team è certo che Amazon SageMaker possa gestire le esigenze dei suoi picchi di inferenza.

Questa soluzione è supportata da Amazon Elastic Compute Cloud (Amazon EC2), che offre una capacità di calcolo sicura e dimensionabile nel cloud e consente agli utenti di eseguire rapidamente la migrazione dei tipi di host non appena diventano disponibili nuovi tipi di host. Il team di Amazon Robotics è stato in grado di ridurre i costi di inferenza del 20% eseguendo la migrazione dalle istanze P2 di Amazon EC2 alle istanze G4 di Amazon EC2. Ora che utilizza AWS Inferentia, il team di Amazon Robotics è in grado di ridurre ulteriormente i costi di inferenza del 35% rispetto alle istanze G4 (oltre il 50% di riduzione rispetto alle istanze P2) e Inferentia ha fornito una velocità di trasmissione effettiva superiore del 20%, consentendo di scansionare più pacchetti al giorno senza richiedere più risorse. "Il nostro sistema utilizza più di 1000 host SageMaker nel 2022 e AWS Inferentia ci consente di servire il traffico in rapida crescita con una velocità di trasmissione effettiva superiore senza dover riaddestrare i nostri modelli di ML", afferma Pei Wang, software engineer di Amazon Robotics.

La soluzione supportata da Amazon SageMaker è cresciuta rapidamente dopo la prima implementazione iniziale. Il team di Amazon Robotics ha iniziato a implementare la soluzione su scala ridotta in un centro logistico in Wisconsin e l'ha estesa rapidamente ad altre decine. Mentre la soluzione cresceva, Amazon SageMaker eseguiva rapidamente e facilmente il dimensionamento. "Prevediamo di raddoppiare il nostro volume nel 2022", ha dichiarato Gallaudet.

Il team vede molte altre opportunità per sperimentare in AWS, inclusa l'esecuzione dei suoi modelli sull'edge utilizzando Gestore di bordo Amazon SageMaker, che esegue in modo efficiente la gestione e il monitoraggio di modelli di ML tra parchi istanze di dispositivi smart. Amazon Robotics prevede inoltre di creare modelli che possano automatizzare ulteriormente il tracciamento e consentire di automatizzare la valutazione dei danni ai pacchi.

Sperimentando con tecnologie all'avanguardia, Amazon Robotics continua ad aumentare l'efficienza nei centri logistici e a migliorare l'esperienza cliente di Amazon. "Molte delle tecniche che abbiamo appreso e delle esperienze che abbiamo avuto con l'Intent Detection System ci hanno consentito direttamente di passare rapidamente a questi progetti", ha affermato Stallman.