Adobes Weg zur Spitzenposition im Bereich generative KI mithilfe von AWS

Anstatt sich auf Open-Source-Modelle zu verlassen, hat Adobe beschlossen, die eigenen grundlegenden generativen KI-Modelle zu trainieren, die auf kreative Anwendungsfälle zugeschnitten sind. „Wir wollen die Kontrolle über die Qualität und die Funktionen behalten, die unsere Modelle haben müssen“, erklärt Costin. Ein wichtiges Unterscheidungsmerkmal war das Training der generativen Firefly-KI-Modelle mit lizenzierten Inhalten wie Adobe-Archivbildern und öffentlich zugänglichen Inhalten, deren Urheberrecht abgelaufen ist.

In nur neun Monaten brachte Adobe die Firefly-Familie generativer KI-Modelle auf den Markt. Diese Modelle wurden schnell in die wichtigsten kreativen Adobe-Softwareprodukte wie Photoshop, Illustrator, Substance 3D und Adobe Express integriert. „Die von Firefly unterstützte Funktion zum generativen Füllen in Photoshop ist inzwischen das am häufigsten genutzte Feature“, hebt Costin hervor. Dadurch, dass Adobe nicht alles von Grund auf selbst entwickelte, sondern sich auf AWS verließ, konnte das Unternehmen das KI-Training beschleunigen. So konnte man sich auf die eigenen Alleinstellungsmerkmale konzentrieren und musste nicht erst in aufwändiger Arbeit die entsprechenden Grundlagen schaffen.

Adobe hat in AWS eine KI-Autobahn errichtet, um eine KI-Trainingsplattform und Daten-Pipelines für die schnelle Iteration von Modellen zu erstellen. Dazu hat das Unternehmen seine Lösung mit Instances von Amazon Elastic Compute Cloud (Amazon EC2) P5 und P4d entwickelt, die mit NVIDIA-GPUs, Amazon Elastic Kubernetes Service (Amazon EKS), Amazon Elastic Block Store (Amazon EBS) und Amazon Elastic Fabric Adapter (EFA) betrieben werden. Außerdem nutzt Adobe Amazon Simple Storage Service (Amazon S3) als Data Lake und primäres Repository für die riesigen Datenmengen. Um einen schnellen Zugriff auf Daten zu ermöglichen und damit die GPU-Ressourcen niemals ungenutzt bleiben, greift Adobe auf den leistungsstarken Dateispeicher Amazon FSx Lustre zurück. Adobe überwacht und synchronisiert kontinuierlich Daten aus mehreren Quellen und stellt sicher, dass die eigenen Modelle mit den aktuellsten und relevantesten Informationen trainiert werden. Mit Firefly führt Adobe kontinuierliche Tests durch, um Fehlentwicklungen zu vermeiden, und bietet Mechanismen für Benutzerfeedback, um Probleme in Echtzeit zu beheben. So werden Transparenz und Verantwortlichkeit gefördert.

KI und Daten spielen zwar eine zentrale Rolle bei Adobes kreativen Bemühungen, doch das Unternehmen ist sich bewusst, dass echte Innovationen oft auf Menschen zurückgehen. Um die Lücke zwischen Machine Learning und menschlicher Kreativität zu schließen, hat Adobe ein bahnbrechendes Verfahren eingeführt, das als Reinforcement Learning with Human Feedback (RLHF) bekannt ist. Über RLHF sammelt Adobe unschätzbares Feedback von seinem riesigen Benutzerstamm und erfasst Vorlieben, Abneigungen, Downloads und andere Interaktionen aus seinen verschiedenen Anwendungen. Diese Fülle an von Menschen generierten Daten fließt dann wieder in den Trainingsprozess ein, sodass Adobes KI-Modelle lernen und sich anpassen können. Auf diese Weise kann das Unternehmen seine Fähigkeit, Assets zu generieren, die den Vorlieben und Wünschen der Kunden entsprechen, kontinuierlich verbessern. Das Ergebnis ist ein Kreislauf der kontinuierlichen Verbesserung, in dem menschliche Kreativität und Machine Learning Hand in Hand gehen und sich gegenseitig befruchten und optimieren. In dem Maße, in dem Adobes Modelle immer besser auf die Nuancen des menschlichen Geschmacks und der menschlichen Ästhetik abgestimmt sind, werden auch die von den Modellen generierten Assets immer überzeugender und fesselnder und sind besser auf die Bedürfnisse des vielfältigen Benutzerstamms zugeschnitten.

Als die Nachfrage stark anstieg, hat Adobe das Training innerhalb von sechs Monaten um das 20-Fache hochskaliert, unterstützt durch Amazon EC2 Reserved Instances. Man implementierte Techniken für verteiltes Training wie Pipeline-Parallelität, um Tensor-Kerne effizient nutzen zu können. Zusätzlich zum Training stellte Adobe die Firefly-Modelle für Inferenzen in AWS bereit und implementierte zustandslose Systeme in allen Regionen. Man optimierte die Leistung und die Kosten von Inferenzen und befasste sich näher mit Optionen wie AWS-Inferentia2-Chips. Adobe hat bewiesen, dass es Hardware schnell skalieren und anpassen kann, um ein optimales Preis-Leistungs-Verhältnis zu erzielen.