Bazaarvoice reduziert mithilfe von Amazon SageMaker Serverless Inference die Kosten für Machine-Learning-Inferenz um 82 %

Bazaarvoice hat seinen Hauptsitz in Austin, Texas, sowie Niederlassungen auf der ganzen Welt und nutzt ML, um die Inhaltsmoderation für Einzelhändler und Marken in Unternehmen zu automatisieren. Das Unternehmen sammelt, syndiziert und moderiert Bewertungen, soziale Inhalte, Fotos und Videos, mit denen Kunden ihre Produktseiten verbessern und den Umsatz steigern können. Bazaarvoice verwendet ML auch, um diese Inhalte mit semantischen Informationen zu erweitern, um Kunden dabei zu helfen, die Inhalte zu kategorisieren und Erkenntnisse zu gewinnen.

Bazaarvoice wollte seine Skalierbarkeit, Geschwindigkeit und Effizienz verbessern, sah sich jedoch mit seiner älteren und langsameren ML-Lösung vor Herausforderungen gestellt. Beispielsweise musste das Unternehmen jedes Mal, wenn es einen neuen Kunden an Bord holen oder neue Modelle schulen musste, mehrere Modelldateien manuell bearbeiten, hochladen und warten, bis das System die Änderung registriert hatte. Der Vorgang dauerte etwa 20 Minuten und war fehleranfällig. Darüber hinaus war die Architektur nicht darauf ausgelegt, die wachsende Größe des Unternehmens effizient zu unterstützen: Jeder Computer, der die fast 1 600 Modelle unterstützte, benötigte 1 TB RAM. „Die Kosten waren ziemlich hoch, und die monolithische Architektur konnte nicht automatisch skaliert werden, was eines unserer Hauptziele war“, sagt Lou Kratz, Principal Research Engineer bei Bazaarvoice. Agilität war auch entscheidend, um die wachsende Anzahl von Kunden von Bazaarvoice zu unterstützen und mit ML-Modellen zu experimentieren. „Wir wollten in der Lage sein, die Anzahl der in Produktion befindlichen Modelle um das 10-fache zu erhöhen, ohne an Speichergrenzen zu stoßen“, sagt Kratz.

Bazaarvoice erwog, eine eigene Serverless-Hosting-Lösung zu entwickeln, aber ein solches Projekt wäre teuer und arbeitsintensiv gewesen. Stattdessen entschied sich das Unternehmen für Amazon SageMaker Serverless Inference – eine speziell entwickelte Inferenzoption, die es Unternehmen einfach macht, ML-Modelle bereitzustellen und zu skalieren. Damit konnte es den betrieblichen Aufwand für seine Teams reduzieren. „Dieses Projekt war der Beginn der Vereinheitlichung unserer Modellbereitstellung“, sagt Edgar Trujillo, Senior ML Engineer bei Bazaarvoice. Das Unternehmen begann im Dezember 2021, Datenverkehr an sein neues System zu senden, und im Februar 2022 wickelte es den gesamten Produktionsverkehr ab.

Durch die Verwendung von Serverless Inference war es für Bazaarvoice einfach, ein Modell bereitzustellen und es auf einen dedizierten Endpunkt zu verschieben, falls das Modell einem hohen Datenverkehr ausgesetzt war. Infolgedessen hat das Unternehmen seinen Durchsatz verbessert und gleichzeitig die Kosten gesenkt. Das Unternehmen sparte 82 % seiner ML-Inferenzkosten ein, indem es alle Modelle von 12 000 Kunden nach Serverless Inference migrierte. Bazaarvoice analysiert und erweitert Millionen von Inhalten pro Monat, was zu zig Millionen monatlichen Aufrufen von SageMaker führt, was etwa 30 Inferenzaufrufen pro Sekunde entspricht. Die meisten seiner ML-Modelle werden jedoch nur alle paar Minuten von Kunden aufgerufen, sodass es für Bazaarvoice nicht sinnvoll ist, dedizierte Ressourcen zuzuweisen. „Wir brauchten die Flexibilität, um zwischen dedizierten Hosts für große, teure Modelle und kostengünstigen Optionen für weniger häufig genutzte Modelle zu wechseln“, sagt Kratz. Mithilfe von Serverless Inference kann das Unternehmen nahtlos hoch- oder herunterskalieren, um der Nachfrage gerecht zu werden, wodurch die Effizienz gesteigert und Kosten gespart werden. „Der große Gewinn für uns ist, dass wir keine Server verwalten oder für Rechenzeit bezahlen müssen, die wir nicht nutzen“, sagt Kratz. „Und wir können mit allen eingehenden Inhalten Schritt halten, sodass der Kunde sie zeitnah moderiert und erweitert sieht.“

Da Bazaarvoice Inhalte schneller bereitstellt, können seine Kunden diese Inhalte neuen Endnutzern viel früher anzeigen. Mit SageMaker dauert es nur 5 Minuten. „Das Senden neuer Kundendaten an ein vorhandenes Modell dauerte früher 15 bis 20 Minuten“, sagt Kratz. „Jetzt passiert es sofort.“ Und die Bereitstellung eines brandneuen Modells dauert nur 5 Minuten statt 20–30 Minuten. In AWS verzeichnete Bazaarvoice einen Anstieg des Durchsatzes bei der Modellbereitstellung. Das Unternehmen kann ein Modell erstellen, es ausliefern und in Serverless Inference ausführen, um dessen Leistung zu bewerten, bevor Inhalte an das Unternehmen gesendet werden, wodurch das Risiko der Verwendung von Live-Inhalten reduziert wird. Und eine erneute Bereitstellung ist nicht erforderlich, wenn es an der Zeit ist, Inhalte an das Modell zu senden, da das Modell bereits in SageMaker läuft. Stattdessen können neue Modelle bereitgestellt werden, sobald die Validierung abgeschlossen ist. „Der Einsatz von Amazon SageMaker hat unsere Möglichkeiten, zu experimentieren und neue Modelle schnell und kostengünstig in Produktion zu bringen, erheblich verbessert“, sagt Dave Anderson, Technical Fellow bei Bazaarvoice. „Wir haben die Flexibilität, unser Wertversprechen voranzutreiben, und das ist aufregend.“ Das Unternehmen hat seinen Datenwissenschaftlern geholfen, schneller voranzukommen und den Kunden einen Mehrwert zu bieten.

Wenn Bazaarvoice Inhalte in eines seiner ML-Modelle einspeist, gibt das Modell einen Zuversichtlichkeitswert aus und verwendet diesen, um über den Inhalt zu entscheiden. Bei der vorherigen Architektur des Unternehmens musste Bazaarvoice jedes Mal ein neues Modell ausliefern, wenn es die Entscheidungslogik ändern wollte. Bazaarvoice begann mit der Nutzung von Amazon Elastic Container Service (Amazon ECS) – einem vollständig verwalteten Container-Orchestrierungsservice, der es Unternehmen leicht macht, containerisierte Anwendungen bereitzustellen, zu verwalten und zu skalieren – um Entscheidungslogik außerhalb des ML-Modells abzuwickeln. „Die Trennung der Entscheidungslogik war von großem Vorteil, da das Content Operations Team jetzt die Ergebnisse abrufen und Entscheidungen praktisch sofort treffen kann“, sagt Kratz. „Sie müssen kein neues Modell ausliefern und warten, bis es bereitgestellt und aktualisiert wird.“

Bazaarvoice hat erhebliche Kosteneinsparungen erzielt und gleichzeitig das ML-Entwicklungserlebnis für sein Team verbessert und das Angebot für seine Kunden erweitert. Das Unternehmen plant, seinen Kunden noch mehr Vorteile zu bieten, indem es die SageMaker-Serverless-Inferences-API für den schnellen Zugriff verwendet. „ML wird in dieser Branche zum Standard – ohne ML kann man nicht konkurrieren“, sagt Kratz. „Durch den Einsatz von SageMaker Serverless Inference können wir ML effizient und in großem Maßstab durchführen und schnell viele Modelle zu angemessenen Kosten und mit geringem Betriebsaufwand herausbringen.“