AI21 Labs 使用 Amazon SageMaker 加速生成式 AI 模型採用

AI21 成立於 2017 年，並透過 AI21 Studio 讓企業存取 AI21 的專有語言模型，超過 30,000 名開發人員使用這些模型來建置自己的生成式 AI 應用程式。該公司還提供了採用 AI 技術的書寫和閱讀助理 Wordtune，幫助全球數千萬使用者透過書面語言進行互動。

2021 年 8 月，AI21 發布了兩種規模的 Jurassic-1 語言模型：速度快且經濟高效的 Large 模型具有 75 億個參數，而 Jumbo 模型則具有 1,780 億個參數，以較高的成本提供更高品質的文字輸出。雖然較大模型提供的品質最高，但大規模運行這類模型的成本可能非常昂貴，而且營運的靈活性欠佳。為了幫助客戶在大規模營運中最佳化成本與品質之間的權衡，AI21 使用 Amazon SageMaker 預先訓練了其第三款模型，即具有 170 億個參數的 Grande，並於 2022 年 12 月發布了這款模型。

AI21 在專案啟動後不到 2 個月內迅速完成了該專案，花在預先訓練模型上的時間不到 20 天。由於 LLM 是具有數十億個參數的巨大神經網路，因此訓練是一項具有挑戰性且非常耗時的專案，需要大量的運算資源。使用 Amazon SageMaker，AI21 體驗了更簡單、更有效率的模型訓練程序，並且還能根據需要在任意數量的 GPU 上擴展分散式訓練任務。「AWS 的解決方案架構師全程提供敏捷的回應和積極的互動，讓我們得以及時排解疑難並按時完成專案，」AI21 平台副總裁 Dan Padnos 表示。

該公司已經擁有使用 AWS 的經驗並選擇了 Amazon SageMaker，因為它具備經濟高效、易於使用且全受管的優勢。AI21 還可以繼續使用其現有的訓練軟體堆疊，快速上手並執行，這在公司建置業務期間非常重要。為了在 20 天不到的期限內完成 Grande 模型的預先訓練，AI21 需要使用分佈於 32 個執行個體的 256 個 A100 GPU。大規模培訓需要一種能夠協調節點分配工具，該工具可以在中央位置提供記錄功能，並減少人為監督。「當您執行這種規模的分散式訓練任務時，各種可能看似微不足道或司空見慣的技術挑戰都會讓您頭痛不已，」Padnos 說道，「Amazon SageMaker 提供的功能讓您可以管理這些複雜問題，並減少團隊需要在細節上投入的工作量。」 例如，Amazon SageMaker 具有運作狀態檢查和中央記錄等功能，公司可使用這些功能來提高效率。

使用 Amazon SageMaker，AI21 迅速發布了新模型。與之前的訓練方法相比，該公司估計可以節省數週的時間。「由於 Amazon SageMaker 會處理節點故障、有序地重新啟動，並協調大型分散式執行，因此負責預先訓練模型的團隊可以專注於核心任務，」Padnos 說道，「他們可以評估模型的效能以及訓練的進展情況，而不是忙於解決技術挑戰。」

加速時間表非常重要，因為 Grande 模型的功能更好地滿足了大部分 AI21 客戶的需求。擁有消費者使用案例 (例如自動化電子郵件起草) 的客戶高度重視從 Jumbo 模型到 Grande 模型的遷移，因為它們的規模很大，而需要較高的成本效率。在 Grande 模型推出僅幾個月後，它便佔據了公司流量的約三分之二。「我們看到該模型迅速得到採用，結果令人非常滿意，」Padnos 說道，「我們獲得了非常積極的 Amazon SageMaker 使用體驗。我們也如願以償，取得了希望的結果 — 按照預算及時交付，並且沒有遇到意外的挑戰。」

生成式 AI 應用程式的關鍵考量在於低推論延遲，因為使用者需要流暢的體驗。當使用者使用 Wordtune 這樣的工具起草內容時，他們希望在不會減慢思維過程的情況下，將 AI 產生的内容做為快速參考。使用 Amazon SageMaker，AI21 透過 Grande 模型實現了低推論延遲，以最佳方式滿足了客戶需求，並將其中一個大型用戶端的延遲降低了四倍。因此，AI21 的客戶每天都能在不會影響使用者體驗的條件下，近乎即時地為數百萬使用者提供服務。「我們的一個大規模用戶端在使用者滿意度指標方面取得顯著改善，這要歸功於從 Jumbo 模型遷移到 Grande 模型帶來的延遲大幅降低，」Padnos 表示。

Grande 模型的發布也促進了 AI21 和其客戶的業務增長。「在發布使用 Amazon SageMaker 訓練的 Grande 模型後，我們的整體流量呈現增長趨勢，」Padnos 說道，「遷移到 Grande 模型的個別用戶端的流量也實現了增長。」

Grande 模型 (現在稱為 Mid) 可在 Amazon SageMaker JumpStart 上使用，後者是一個機器學習中心，具有內建的演算法、基礎模型，以及預先建置的 ML 解決方案，Amazon SageMaker 使用者只需點按幾下即可部署。為了維護隱私，資料生命週期被「包藏」在使用者的環境中，組織無需編寫程式碼或使用程式碼遊樂場 (Playground)，即可將語言模型套用至其資料。在 Amazon SageMaker JumpStart 上，也可使用 AI21 的下一代基礎模型系列 Jurassic-2 以及用於特定任務的模型。

AI21 期盼未來幾個月和幾年內，生成式 AI 能夠在世界各地逐漸得到更多採用。使用 AWS 服務，該公司正在積極研究速度更快、更準確、更可靠且更具成本效益的 LLM。「我們與 AWS 團隊保持著良好的關係，」Padnos 說道，「團隊成員與我們一起深入探討了技術細節，並在頗具挑戰性的任務上進行合作。整個過程中，AWS 團隊創意十足，並對我們的挑戰和目標了如指掌。」

若要進一步瞭解相關資訊，請瀏覽 https://thinkwithwp.com/sagemaker。