AI21 Labs beschleunigt die Einführung von Modellen der generativen KI mithilfe von Amazon SageMaker

AI21 wurde 2017 gegründet und bietet Unternehmen mit AI21-Studio-Zugriff auf seine firmeneigenen Sprachmodelle, mit denen über 30 000 Entwickler ihre eigenen Anwendungen der generativen KI entwickeln. Das Unternehmen bietet auch seinen KI-gestützten Schreib- und Leseassistenten Wordtune an, der Millionen von Benutzern weltweit hilft, geschriebene Sprache zu verarbeiten.

Im August 2021 veröffentlichte AI21 sein Jurassic-1-Sprachmodell in zwei Größen: Das Large-Modell ist schnell und kostengünstig mit 7,5 Milliarden Parametern, und das Jumbo-Modell bietet mit 178 Milliarden Parametern eine qualitativ hochwertigere Textausgabe zu höheren Kosten. Obwohl größere Modelle die höchste Qualität bieten, kann es teuer sein, sie in großem Maßstab zu betreiben, und sie sind weniger benutzerfreundlich zu bedienen. Um seinen Kunden dabei zu helfen, den Kompromiss zwischen Kosten und Qualität beim Betrieb im großen Maßstab zu optimieren, hat AI21 sein drittes Modell, Grande, mit 17 Milliarden Parametern mithilfe von Amazon SageMaker im Dezember 2022 vorab trainiert und veröffentlicht.

AI21 schloss das Projekt innerhalb von weniger als 2 Monaten nach Beginn des Projekts zügig ab und brauchte weniger als 20 Tage, um das Modell vorzutrainieren. Da es sich bei LLMs um riesige neuronale Netzwerke mit Milliarden von Parametern handelt, ist das Training ein herausforderndes und zeitaufwändiges Projekt, das enorme Datenverarbeitungsressourcen erfordert. Mit Amazon SageMaker erlebte AI21 einen einfacheren und effizienteren Modelltrainingsprozess, und das Unternehmen konnte die verteilten Trainingsaufträge auf beliebig vielen GPUs skalieren. „Die Lösungsarchitekten von AWS waren reaktionsschnell und interaktiv, und wir konnten Fehler beheben und das Projekt rechtzeitig fertigstellen“, sagt Dan Padnos, Vice President of Platform bei AI21.

Das Unternehmen hatte bereits Erfahrung mit AWS und entschied sich für Amazon SageMaker, da es kostengünstig, benutzerfreundlich und vollständig verwaltet ist. AI21 konnte auch weiterhin seinen bestehenden Trainings-Software-Stack verwenden und schnell einsatzbereit sein, was beim Aufbau des Geschäfts wichtig war. Um das Grande-Modell in weniger als 20 Tagen vorzutrainieren, musste AI21 256 A100-GPUs verwenden, die auf 32 Instances verteilt waren. Für groß angelegte Trainings war ein Tool erforderlich, das die Zuweisung der Knoten orchestrieren, die Protokollierung an einem zentralen Ort verfügbar machen und den manuellen Aufwand reduzieren konnte. „Wenn Sie einen dezentralen Trainingsauftrag dieser Größenordnung ausführen, können alle möglichen technischen Herausforderungen, die vielleicht trivial oder banal erscheinen, zu Kopfschmerzen führen“, sagt Padnos. „Amazon SageMaker verfügt über Funktionen, mit denen Sie diese Komplexität bewältigen und den Aufwand reduzieren können, den Ihr Team in die Details investieren muss.“ Amazon SageMaker verfügt beispielsweise über Funktionen wie Zustandsprüfungen und zentrale Protokollierung, die Unternehmen nutzen können, um die Effizienz zu steigern.

Mithilfe von Amazon SageMaker veröffentlichte AI21 das neue Modell zügig. Das Unternehmen schätzt, dass im Vergleich zu seinen früheren Trainingsmethoden mehrere Wochen Zeit eingespart werden konnten. „Da Amazon SageMaker sich automatisch um Knotenausfälle kümmert, Neustarts elegant durchführt und große verteilte Ausführungen orchestriert, kann sich das Team, das am Vortraining des Modells arbeitet, auf die Kernaufgaben konzentrieren“, so Padnos. „Anstatt sich mit technischen Herausforderungen zu befassen, können die Teammitglieder beurteilen, wie das Modell funktioniert und wie das Training voranschreitet.“

Der beschleunigte Zeitplan war wichtig, da die Funktionen des Grande-Modells die Bedürfnisse der meisten Kunden von AI21 besser erfüllen. Kunden mit Anwendungsfällen für Verbraucher, z. B. automatisches Verfassen von E-Mails, schätzten die Migration vom Jumbo-Modell zum Grande-Modell, da ihre Arbeit in großem Umfang Kosteneffizienz erfordert. Nur wenige Monate nach der Einführung des Grande-Modells entfielen rund zwei Drittel des Datenverkehrs des Unternehmens darauf. „Wir haben eine schnelle Akzeptanz festgestellt und sind mit dem Ergebnis sehr zufrieden“, sagt Padnos. „Unsere Erfahrung mit Amazon SageMaker war sehr positiv. Wir haben das erhoffte Ergebnis erreicht – pünktlich, budgettreu und ohne unerwartete Herausforderungen.“

Ein wichtiger Aspekt für Anwendungen generativer KI ist die geringe Inferenzlatenz, da das Benutzererlebnis reibungslos sein muss. Wenn Benutzer Inhalte mit einem Tool wie Wordtune verfassen, möchten sie, dass die KI als schnelle Referenz dient, ohne ihren Denkprozess zu verlangsamen. Mithilfe von Amazon SageMaker erreichte AI21 mit dem Grande-Modell eine niedrige Inferenzlatenz, um die Kundenanforderungen bestmöglich zu erfüllen, und reduzierte die Latenz für einen seiner großen Kunden auf ein Viertel. Dadurch können die Kunden von AI21 täglich Millionen von Benutzern nahezu in Echtzeit bedienen, ohne das Benutzererlebnis zu beeinträchtigen. „Einer unserer Großkunden verzeichnete eine deutliche Verbesserung der Kennzahlen zur Benutzerzufriedenheit, was auf die massive Reduzierung der Latenz bei der Migration vom Jumbo-Modell zum Grande-Modell zurückzuführen ist“, sagt Padnos.

Die Veröffentlichung des Grande-Modells hat sowohl für AI21 als auch für seine Kunden zum Wachstum beigetragen. „Nach der Veröffentlichung des Grande-Modells, das mit Amazon SageMaker trainiert wurde, haben wir einen Anstieg unseres Gesamtdatenverkehrs verzeichnet“, sagt Padnos. „Auch einzelne Kunden, die auf das Grande-Modell umgestiegen sind, haben ihren Datenverkehr erhöht.“

Das Grande-Modell (jetzt Mid genannt) ist in Amazon SageMaker JumpStart verfügbar, einem ML-Hub mit integrierten Algorithmen, Basismodellen und vorgefertigten ML-Lösungen, die Amazon-SageMaker-Benutzer mit wenigen Klicks bereitstellen können. Der Datenlebenszyklus ist zur Wahrung der Privatsphäre in der Benutzerumgebung enthalten, und ein Unternehmen kann das Sprachmodell auf seine Daten anwenden, ohne Code schreiben zu müssen oder einen Code-Playground zu benötigen. Die Basismodelle der nächsten Generation von AI21, Jurassic-2, sowie aufgabenspezifische Modelle sind auch in Amazon SageMaker JumpStart verfügbar.

AI21 ist begeistert von der zunehmenden Akzeptanz generativer KI auf der ganzen Welt in den kommenden Monaten und Jahren. Mithilfe der AWS-Services arbeitet das Unternehmen aktiv an LLMs, die sowohl schneller als auch genauer, zuverlässiger und kostengünstiger sein werden. „Wir haben ein wirklich gutes Verhältnis zum AWS-Team“, sagt Padnos. „Die Teammitglieder haben sich mit uns intensiv mit den technischen Details befasst und gemeinsam an herausfordernden Aufgaben gearbeitet. Während des gesamten Prozesses war das AWS-Team kreativ und war sich unserer Herausforderungen und Ziele bewusst.“

Weitere Informationen erhalten Sie unter https://thinkwithwp.com/sagemaker.