Le istanze P5 forniscono fino a 8 GPU NVIDIA H100 con un totale di 640 GB di memoria GPU HBM3 per istanza. Le istanze P5e forniscono fino a 8 GPU NVIDIA H200 con un totale di 1128 GB di memoria GPU HBM3e per istanza. Entrambe le istanze supportano fino a 900 GB/s di interconnessione GPU NVSwitch (per un totale di 3,6 TB/s di larghezza di banda bisezionale in ogni istanza), in modo che ogni GPU possa comunicare con ogni altra GPU nella stessa istanza con latenza single-hop.

Le GPU H100 e H200 di NVIDIA dispongono di un nuovo motore di trasformatore che gestisce in modo intelligente e sceglie dinamicamente tra calcoli FP8 e 16 bit. Questa funzionalità consente di velocizzare l'addestramento DL sugli LLM rispetto alle GPU A100 della generazione precedente. Per i carichi di lavoro HPC, le GPU H100 e H200 di NVIDIA dispongono di nuove istruzioni DPX che accelerano ulteriormente gli algoritmi di programmazione dinamica rispetto alle GPU A100.

Le istanze P5 e P5e forniscono fino a 3.200 Gb/s di rete EFAv2. EFAv2 offre un miglioramento fino al 50% delle prestazioni delle comunicazioni collettive per carichi di lavoro di addestramento distribuiti. EFAv2 è inoltre accoppiato a NVIDIA GPUDirect RDMA per consentire la comunicazione da GPU a GPU a bassa latenza tra i server con bypass del sistema operativo.

Le istanze P5 e P5e supportano i file system Amazon FSx per Lustre consentendo di accedere ai dati con le centinaia di GB/s di throughput e i milioni di IOPS necessari per i carichi di lavoro DL e HPC su larga scala. Ogni istanza P5 o P5e supporta anche fino a 30 TB di archiviazione SSD NVMe locale per un accesso rapido a set di dati di grandi dimensioni. Inoltre, è possibile utilizzare uno spazio di archiviazione economico e virtualmente illimitato con Amazon Simple Storage Service (Amazon S3).

Le istanze P5 vengono implementate in UltraCluster EC2 di seconda generazione, che forniscono una struttura di rete che consente una maggiore scalabilità, un minor numero di hop di rete nel cluster e una latenza inferiore rispetto agli UltraCluster della generazione precedente. Le istanze P5 in UltraClusters possono scalare fino a 20.000 GPU H100 interconnesse con una rete nell'ordine dei petabit e fornire 20 exaflop di capacità di elaborazione aggregata.

Le istanze P5 e P5e possono essere implementate utilizzando AWS Deep Learning AMI (DLAMI) e i Container AWS per il Deep Learning. Sono disponibili tramite servizi gestiti come Amazon SageMaker, Amazon Elastic Kubernetes Service (Amazon EKS), Amazon Elastic Container Service (Amazon ECS), Batch AWS e altri ancora.

SageMaker è un servizio completamente gestito per la creazione, l'addestramento e l'implementazione di modelli di ML. Se utilizzato insieme alle istanze P5, consente di dimensionare più facilmente fino a decine, centinaia o migliaia di GPU per addestrare rapidamente un modello su qualsiasi scala senza preoccuparsi di configurare cluster e pipeline di dati.

DLAMI fornisce ai professionisti e agli esperti di ML l'infrastruttura e gli strumenti necessari per velocizzare i processi di deep learning nel cloud, su qualsiasi scala. I Container per il Deep Learning sono immagini Docker preinstallate con framework di DL, semplificano l'implementazione degli ambienti di ML personalizzati poiché consentono di saltare il complicato processo di creazione e ottimizzazione degli ambienti ex novo.

Se preferisci gestire i tuoi carichi di lavoro containerizzati tramite i servizi di orchestrazione dei container, puoi implementare le istanze P5 con Amazon EKS o Amazon ECS.