Perché Trainium?
AWS Trainium è il chip di machine learning (ML) che AWS ha creato appositamente per l'addestramento di deep learning (DL) di oltre 100 miliardi di modelli parametrici. Ogni istanza Trn1 di Amazon Elastic Compute Cloud (Amazon EC2) implementa fino a 16 acceleratori Trainium per fornire una soluzione a basso costo e ad alte prestazioni per l'addestramento di DL nel cloud. Sebbene l'uso del DL e dell'IA generativa stia accelerando, molti team di sviluppo sono vincolati dai budget fissi, limitando l'ambito e la frequenza dell'addestramento necessario per migliorare i modelli e le applicazioni. Le istanze Amazon EC2 Trn1 basate su Trainium risolvono questo problema offrendo un tempo di addestramento più rapido e al contempo un risparmio fino al 50% sui costi rispetto a istanze paragonabili di EC2. Trainium è stato ottimizzato per l'addestramento di modelli di elaborazione del linguaggio naturale, visione artificiale e raccomandazione utilizzati in un'ampia gamma di applicazioni, quali riepilogo di testo, generazione di codice, risposta a domande, generazione di immagini e video, raccomandazioni e rilevamento di frodi.
L'SDK di AWS Neuron aiuta gli sviluppatori a addestrare i modelli sugli acceleratori Trainium e a implementarli sugli acceleratori AWS Inferentia. Si integra in modo nativo con i framework più diffusi, come PyTorch e TensorFlow, permettendo di portare avanti l'addestramento sugli acceleratori Trainium utilizzando il codice e i flussi di lavoro esistenti.