Tausende von Kunden haben Databricks in AWS implementiert und können mit MosaicML Basismodelle für eine Vielzahl von Anwendungsfällen vortrainieren, feinabstimmen und bereitstellen. AWS Trainium bietet uns den Umfang und die hohe Leistung, die wir zum Trainieren unserer Mosaic-MPT-Modelle benötigen, und das zu geringen Kosten. Während wir unsere Mosaic-MPT-Modelle der nächsten Generation trainieren, wird Trainium2 es ermöglichen, Modelle noch schneller zu erstellen. Damit können wir unseren Kunden eine beispiellose Skalierung und Leistung bieten, damit sie ihre eigenen generative-KI-Anwendungen schneller auf den Markt bringen können.

Mit 16 Knoten von Amazon-EC2-Trn1-Instances, die von AWS-Trainium-Chips angetrieben werden, haben wir stockmark-13b entwickelt und veröffentlicht, ein großes Sprachmodell mit 13 Milliarden Parametern, das von Grund auf auf einem japanischen Korpus mit 220 Milliarden Token trainiert wurde. Der Korpus enthält die neuesten Texte aus dem Bereich Business Domain bis September 2023. Das Modell erzielte im Vergleich zu anderen gleichwertigen Modellen den höchsten JSQuAD-Wert (0,813) beim JGLUE-Benchmark (Japanese General Language Understanding Evaluation). Es ist bei Hugging Face Hub erhältlich und kann mit der MIT-Lizenz kommerziell verwendet werden. Trn1-Instances haben uns geholfen, die Trainingskosten im Vergleich zu gleichwertigen GPU-Instances um 20 % zu senken.

Die Migration zu Trn1-Instances war ziemlich einfach. Wir konnten das Training unseres 13B-Parametermodells in nur 8 Tagen abschließen. Aufbauend auf diesem Erfolg freuen wir uns darauf, unser 70B-Parametermodell auf Trainium zu entwickeln und zu trainieren. Wir freuen uns über das Potenzial dieser Instances, unsere Modelle schneller und kostengünstiger zu trainieren.

Bei HeliXon entwickeln wir KI-Lösungen der nächsten Generation für proteinbasierte Therapeutika. Unser Ziel ist es, KI-Tools zu entwickeln, die es Wissenschaftlern ermöglichen, die Funktion und Interaktion von Proteinen zu entschlüsseln, große genomische Datensätze zur Zielidentifikation abzufragen und Therapeutika wie Antikörper und Zelltherapien zu entwickeln. Heute verwenden wir Trainingsbibliotheken wie FSDP, um das Modelltraining auf vielen GPU-basierten Servern zu parallelisieren, aber das Training eines einzelnen Modells dauert immer noch Wochen. Wir freuen uns, Amazon-EC2-Trn1-Instances mit der höchsten Netzwerkbandbreite (800 Gbit/s) zu nutzen, die in AWS verfügbar ist, um die Leistung unserer verteilten Trainingsaufträge zu verbessern und unsere Modelltrainingszeiten zu verkürzen und gleichzeitig unsere Trainingskosten zu senken.

Wir haben einen groß angelegten KI-Chatbot-Service auf den Amazon EC2 Inf1-Instances gestartet und unsere Inferenzlatenz um 97 % gegenüber vergleichbaren GPU-basierten Instances reduziert und gleichzeitig die Kosten gesenkt. Da wir maßgeschneiderte NLP-Modelle regelmäßig verfeinern, ist es auch wichtig, die Trainingszeiten und -kosten der Modelle zu reduzieren. Basierend auf unseren Erfahrungen mit der erfolgreichen Migration von Inferenz-Workloads auf Inf1-Instances und unserer ersten Arbeit mit EC2-Trn1-Instances auf AWS-Trainium-Basis gehen wir davon aus, dass Trn1-Instances einen zusätzlichen Mehrwert bieten werden, indem sie die durchgängige ML-Leistung und die Kosten verbessern.

Das Training großer autoregressiver Modelle, die auf Transformern basieren, ist ein wesentlicher Bestandteil unserer Arbeit. Die von AWS Trainium betriebenen Trn1-Instances wurden speziell für diese Workloads entwickelt und bieten nahezu unendliche Skalierbarkeit, schnelle Netzwerke zwischen Knoten und erweiterte Unterstützung für 16- und 8-Bit-Datentypen. Mit Trn1-Instances können wir große Modelle schneller und zu geringeren Kosten trainieren. Wir freuen uns besonders über die native Unterstützung der stochastischen BF16-Rundung in Trainium, die die Leistung erhöht, während die numerische Genauigkeit nicht von voller Präzision zu unterscheiden ist.

Bei Cactus Labs nutzen wir das Potenzial der KI. Die Forschung konzentriert sich auf die natürliche Sprachverarbeitung (NLP), Ranking und Empfehlung, Konversations-KI, große Sprachmodelle, Computer Vision, AR/VR und XAI. Im Einklang mit unserem Bestreben, ein schnelleres Training von Modellen für Machine Learning zu ermöglichen und unseren Forschern die Durchführung von mehr Experimenten bei gleichzeitiger Kontrolle der Infrastrukturkosten zu ermöglichen, waren wir hocherfreut, AWS Trainium zu evaluieren. Die sofort einsatzbereiten Funktionen von AWS Trainium wie XLA-Optimierung, paralleles Datentraining für mehrere Mitarbeiter und Graph-Caching sind für uns wirklich nützlich, um unsere Trainingszeiten zu verkürzen und uns zu helfen, mehr Experimente schneller und günstiger durchzuführen.

Wir verwenden große Sprachmodelle, um Humor zu integrieren und unseren Kunden mit unseren KI-Services ein relevanteres und kommunikativeres Erlebnis zu bieten. Dies erfordert, dass wir diese Modelle regelmäßig vorab trainieren und optimieren. Wir haben ein GPT-basiertes japanisches Modell auf der EC2-Trn1.32xlarge-Instance vortrainiert und dabei Tensor und Datenparallelität genutzt. Das Training wurde innerhalb von 28 Tagen abgeschlossen, was einer Kostenreduzierung von 33 % gegenüber unserer vorherigen GPU-basierten Infrastruktur entspricht. Da unsere Modelle immer komplexer werden, freuen wir uns auf Trn1n-Instances, die über die doppelte Netzwerkbandbreite von Trn1 verfügen, um das Training größerer Modelle zu beschleunigen.

Bei PyTorch beschleunigen wir die Einführung von Machine Learning vom Prototyping in der Forschung bis hin zur kundenbereiten Produktion. Wir haben intensiv mit dem AWS-Team zusammengearbeitet, um native PyTorch-Unterstützung für die neuen Amazon-EC2-Trn1-Instances mit AWS Trainium bereitzustellen, die speziell für das Training von Deep-Learning-Modellen entwickelt wurden. Entwickler, die PyTorch-Modelle erstellen, können mit minimalen Codeänderungen mit dem Training auf Trn1-Instances beginnen. Darüber hinaus haben wir mit der OpenXLA-Community zusammengearbeitet, um PyTorch-Distributed-Bibliotheken für eine einfache Modellmigration von GPU-basierten Instances zu Trn1-Instances zu aktivieren. Wir freuen uns über die Innovation, die Trn1-Instances der PyTorch-Community bieten, darunter effizientere Datentypen, dynamische Formen, benutzerdefinierte Operatoren, hardwareoptimierte stochastische Rundung und einen einsatzfreudigen Debug-Modus. All dies macht Trn1 gut geeignet für eine breite Akzeptanz durch PyTorch-Entwickler, und wir freuen uns auf zukünftige gemeinsame Beiträge zu PyTorch, um die Trainingsleistung weiter zu optimieren.

Hugging Face hat es sich zur Aufgabe gemacht, gute ML zu demokratisieren, um ML-Entwicklern auf der ganzen Welt zu helfen, reale Probleme zu lösen. Und der Schlüssel dazu ist, dass die neuesten und besten Modelle so schnell und effizient wie möglich auf den besten ML-Chips in der Cloud laufen. Wir freuen uns sehr über das Potenzial von Inferentia2, der neue Standard für den Einsatz generativer KI-Modelle in großem Maßstab zu werden. Mit Inf1 konnten wir die Kosten im Vergleich zu herkömmlichen GPU-basierten Instances um bis zu 70 % senken, und mit Inf2 haben wir eine bis zu 8-mal geringere Latenz für BERT-ähnliche Transformers im Vergleich zu Inferentia1 festgestellt. Mit Inferentia2 wird unsere Community in der Lage sein, diese Leistung problemlos auf LLMs mit mehr als 100 B Parametern zu skalieren, und auch auf die neuesten Diffusions- und Computer-Vision-Modelle.

Wir trainieren große Sprachmodelle (LLM), die multimodal (Text und Bild), mehrsprachig und gebietsübergreifend sind, für mehrere Aufgaben vorab trainiert sind und mehrere Einheiten umfassen (Produkte, Anfragen, Marken, Bewertungen usw.), um das Einkaufserlebnis der Kunden zu verbessern. Trn1-Instances bieten eine nachhaltigere Methode für das Training von LLMs, da sie im Vergleich zu anderen Lösungen für beschleunigtes Machine Learning die beste Leistung pro Watt bieten und uns eine hohe Leistung zu den niedrigsten Kosten bieten. Wir planen, den neuen konfigurierbaren FP8-Datentyp und die hardwarebeschleunigte stochastische Rundung zu erkunden, um unsere Trainingseffizienz und Entwicklungsgeschwindigkeit weiter zu steigern.