AWS 宣布推出生成式 AI 新工具

【台北訊，2023 年 4 月 13 日】採用機器學習典範轉移協助業務發展已經存在了幾十年。隨著足夠的可擴充運算力的到位、海量資料的爆炸，以及機器學習技術的快速進步，各行各業的客戶開始對業務進行重塑。最近，像 ChatGPT 這樣的生成式 AI 應用引起了廣泛的關注，引發了諸多想像。我們正處在一個機器學習被大規模採用的令人興奮的轉捩點上，我們也相信生成式 AI 將會重塑大量客戶體驗和應用程式。

二十多年來，人工智慧和機器學習一直是亞馬遜關注的焦點。亞馬遜提供客戶的許多功能都是由機器學習驅動的，例如我們的電商推薦引擎、營運中心撿貨機器人的路徑選擇，以及我們的供應鏈、預測和產能規劃。Prime Air（亞馬遜無人機）和 Amazon Go（亞馬遜實體無人零售商店，消費者可以自選商品後直接離開，無需現場排隊結帳付款）中的電腦視覺技術都使用了深度學習。Alexa 每週回應客戶數十億次關於管理智慧家居、購物、資訊取得和娛樂的請求，這也得益於來自 30 多種不同的機器學習系統的支援。亞馬遜有數千名工程師專注於機器學習研究，這既是我們的寶貴資產，也是我們現在最關注的理念，和面向未來的實力之所在。

在 AWS，我們致力於不斷降低機器學習的使用門檻。我們已經幫助超過十萬家來自各行各業的不同規模的客戶使用機器學習進行創新。我們在人工智慧和機器學習堆疊的三個層級都擁有至深至廣的產品組合。長期以來，我們不斷投入、持續創新，為機器學習提供高效能、可擴充的基礎設施，和極具性價比的機器學習訓練和推論；我們研發了 Amazon SageMaker，所有開發人員能更便利地建構、訓練和部署模型；我們還推出了大量服務，使客戶透過簡單的 API 調用就可添加 AI 功能到應用程式中，如圖像識別、預測和智慧搜尋。得益於此，Intuit、湯森路透、AZ（AstraZeneca）、法拉利、德甲聯賽、3M 和 BMW 等客戶，以及全球數千家新創企業和政府機構正在透過機器學習進行數位轉型，帶動產業升級，重新定義機器學習的使命。我們同樣致力於推動生成式 AI 技術的普及：我們將這些技術從研究和實驗領域釋放出來，不只是少數新創和資金雄厚的大型科技公司，而是讓更多企業都能從中受益。因此，我今天非常興奮宣布數項創新，幫助我們的客戶更簡單、更容易地在業務中使用生成式 AI。

生成式 AI 是人工智慧的一種，能夠創造新內容和想法，包括對話、故事、圖像、影片和音樂。與所有人工智慧技術一樣，生成式 AI 的能力由機器學習模型提供。這些模型是基於大量資料進行預先訓練的大模型，通常被稱為基礎模型（Foundation Models）。機器學習的最新進展（特別是基於 transformer 的神經網路架構的發明）直接帶來這一種模型的爆發式增長，這種模型通常包含數十億個參數或變數。2019 年最大的預訓練模型是3.3億個參數。現在，最大的模型包含的參數超過 5 千億個，相當於幾年間增加了 1600 倍。如今的基礎模型，例如大型語言模型 GPT3.5 或 BLOOM，以及由 Stability AI 開發的文生圖模型 Stable Diffusion，可以執行跨多個領域的多種任務，例如撰寫部落格文章、生成圖像、解決數學問題、對話聊天、基於文檔回答問題等。基礎模型的規模和通用場景的性質使其不同於傳統的機器學習模型，後者通常僅執行特定的任務，例如分析文本觀點、分類圖像和預測趨勢等。

基礎模型包含大量參數，能夠學習複雜的概念，因此可以執行更多任務。透過基於互聯網規模的、各種形式和模式的海量資料進行預先訓練，基礎模型學會在各種語境中應用所習得的知識。儘管預訓練基礎模型所帶來的功能和可能性已足夠令人驚歎，而真正讓客戶為此興奮不已的是，這些通用模型也可以被客製化加工，執行專屬於其業務領域的特定功能，幫助業務建立差異化競爭優勢，與從零開始訓練模型相比，僅需使用一小部分資料和運算資源。客製化的基礎模型可以帶來獨特的顧客體驗，體現公司的觀點、風格和服務，適用於眾多消費者產業，如金融銀行、旅行和醫療等。例如，一家金融公司如果需要將所有相關交易自動生成每日報告以供內部流通，它可以使用包括既往報告在內的專有資料來客製化模型，以便基礎模型瞭解如何閱讀報告和使用哪些資料來生成日報。

基礎模型擁有巨大的潛力，但我們仍處在初級階段。ChatGPT 率先吸引了客戶對生成式 AI 的關注。對生成式 AI 展開研究的人很快意識到，多家公司已經在基礎模型上耕耘多年，可用的基礎模型也有很多，且各有各的優勢和特點。在過去的數年間，我們都經歷了技術的快速發展，機器學習的演進也是日新月異。我們期待未來會湧現全新的體系和架構，而基礎模型的多樣化會推動新一波的創新浪潮。此前所未聞的新應用體驗在今天已經成為現實。很多客戶都在詢問我們，如何快速利用現今以及未來可能出現的技術，如何快速使用基礎模型和生成式 AI 立刻為公司業務大幅提升生產效率和變革產品與服務。

客戶對我們提出了他們主要的需求。首先，他們需要能直接找到並存取高效能基礎模型，這些模型需要能夠給出最匹配業務場景的優秀回饋結果。其次，客戶希望無縫與應用程式整合，且無需管理大量基礎設施叢集，也不會增加過高的成本。最後，客戶希望能夠輕鬆上手，基於基礎模型，利用自己的資料（可多可少）建構差異化的應用程式。由於客戶進行客製化的資料是非常有價值的 IP，因此需要在處理過程中確保資料安全和隱私保護。同時，客戶還希望能控制資料的分享和使用。

聽取了客戶的意見，今天我們很高興宣布推出 Amazon Bedrock。這項新服務允許使用者透過 API 存取來自 AI21 Labs、Anthropic、Stability AI 和亞馬遜的基礎模型。Bedrock 是客戶使用基礎模型建構和擴充生成式 AI 應用程式的最簡單方法，為所有開發者降低使用門檻。在 Bedrock 上，用戶可以透過可擴充、可靠且安全的 AWS 託管服務，存取從文本到圖像的一系列強大的基礎模型，以及我們今天發布的 Amazon Titan 基礎模型。Amazon Titan 基礎模型目前包括了兩個全新的大語言模型。憑藉 Bedrock 所帶來的無伺服器體驗，客戶可以輕鬆找到適合自身業務的模型，快速上手，在確保資料安全和隱私保護的前提下，使用自有資料基於基礎模型進行客製化，並使用他們已經熟悉的 AWS 工具和能力，將客製化模型整合並部署到他們的應用程式中，同時無需管理任何基礎設施。比如，客戶可以將基礎模型與 Amazon SageMaker 機器學習功能整合，使用 Amazon SageMaker Experiments 測試不同模型和使用 Pipelines 大規模管理基礎模型等。

客戶也可使用 Bedrock 存取一些目前最領先的可用基礎模型。這將包括 AI21 Labs 開發 的 Jurassic-2 多語種大語言模型系列，能夠根據自然語言指令生成文本內容，目前支援西班牙語、法語、德語、葡萄牙語、義大利語和荷蘭語。還有 Anthropic 開發的大語言模型 Claude，它是基於 Anthropic 對於訓練誠實和負責任的 AI（responsible AI）系統的大量研究，能夠執行多種對話和文本處理任務。客戶還可以透過 Bedrock 輕鬆存取 Stability AI 開發的文生圖基礎模型 Stable Diffusion，這是文生圖領域目前最流行的模型，能夠生成獨特、寫實、高品質的圖像、藝術作品、商標和其它設計圖。

Bedrock 最重要的能力之一是極其容易客製化模型。客戶只需向 Bedrock 展示 Amazon S3 中的幾個標註好的資料範例，Bedrock 就可以針對特定任務微調模型，最少僅需 20 個範例即可，且無需標註大量資料。假設一位時裝零售產業的內容行銷經理，想為即將推出的手提包新品系列開發新穎且使用者導向的廣告創意。他向 Bedrock 提供了一些表現最佳的過往行銷廣告示例，以及新品的相關描述，Bedrock 將能自動為這些新品生成有效的社交媒體推文內容、展示廣告和產品網頁。沒有任何客戶資料被用於訓練底層模型，所有資料都進行了加密，且不會離開客戶的虛擬私有雲（Virtual Private Cloud，VPC），確保客戶的資料安全和隱私保護。

Bedrock 目前提供有限預覽，Coda 等客戶的開發團隊對使用 Bedrock 充滿期待。Coda 的聯合創始人兼 CEO Shishir Mehrotra 表示：「作為 AWS 的長期客戶，我們對 Amazon Bedrock 帶來的高品質、可擴充性和效能充滿期待。我們所有的資料已經儲存在 AWS 上，我們能夠利用 Bedrock 快速採用生成式 AI，並能充分保證我們資料的安全和隱私。目前，包括 Uber、紐約時報、Square 在內的成千上萬個團隊都在採用 Coda，因此，可靠性與可擴充性十分重要。」

一些客戶已經預覽了亞馬遜全新的 Titan 基礎模型，在未來幾個月內，我們會進一步擴充其可用範圍。我們將首先發布兩個 Titan 模型。第一個是針對總結、文本生成（如原創部落格文章）、分類、開放式問答和資訊擷取等任務的生成式大語言模型。第二個是文本嵌入（embeddings）大語言模型，能夠將文本輸入（字詞、短語甚至是大篇幅文章）翻譯成包含語義的數值表示（即embeddings 嵌入編碼）。雖然這種大語言模型不生成文本，但對個性化推薦和搜尋等應用程式卻大有裨益，因為相對於匹配文字，對比編碼可以幫助模型產生更相關、更符合情境的結果。實際上，Amazon.com 的產品搜尋能力就是採用了類似的文本嵌入模型，能夠幫助客戶更好地查找所需的商品。為了持續推動負責任使用AI的最佳實踐，Titan 基礎模型可以識別和刪除客戶提交給客製模型之資料中的有害內容，拒絕使用者輸入不當內容，也過濾模型輸出結果中的不當內容，如仇恨言論、髒話和語言暴力。

任何規模的企業都可以透過 Bedrock 存取基礎模型，加速機器學習在組織內部的應用，並憑藉其輕鬆上手的特性，建構自己的生成式 AI 應用程式。我們相信，Bedrock 將是基礎模型普及化過程中的一大步。埃森哲、德勤、Infosys 和 Slalom 等合作夥伴都在建構最佳實踐，幫助企業借助生成式 AI 實現快速發展。C3AI 和 Pega 等獨立軟體發展商（ISV）對於利用 Bedrock 輕鬆存取大量基礎模型，兼具安全性、隱私性和可靠性充滿期待。 

無論執行、建構還是客製化基礎模型，客戶都需要高效能、低成本且為機器學習專門建構的基礎設施。過去五年，AWS 持續加大投入自研晶片，不斷突破效能和價格的極限，以支持對此有極高要求的機器學習訓練與推論等工作負載。AWS Trainium 和Inferentia晶片可以提供在雲上訓練模型和執行推論的最低成本。正是因為我們在成本和效能方面的優勢，像 AI21 Labs、Anthropic、Cohere、Grammarly、Hugging Face、Runway、Stability AI 等領先的 AI 新創公司都選擇執行在AWS上。

由 Trainium 支援的 Trn1 執行個體與其他任何 EC2 執行個體相比，都可以節省高達 50% 的訓練成本，並經過優化，可以在與高達 800Gbps 的第二代 EFA（彈性結構適配器）網路相連的多個伺服器上分發訓練任務。客戶可以在超大規模叢集（UltraClusters）中部署 Trn1 執行個體，數量可以擴充到在同一可用區中 3 萬個 Trainium 晶片，相當於超過6 exaflops 的運算能力，並具有 PB 級網路。許多 AWS 客戶，包括 Helixon、Money Forward 和亞馬遜的搜尋團隊，都使用 Trn1 執行個體將訓練最大規模的深度學習模型所需的時間從幾個月縮短到幾周甚至幾天，並且降低了成本。800 Gbps 的頻寬已經很大，但我們仍不斷創新、擴充頻寬。今天我們宣布全新的、網路優化型 Trn1n 執行個體正式可用，它可以提供 1600 Gbps 的網路頻寬，專為大型網路密集型模型設計，其效能比 Trn1 高出 20%。

現今基礎模型花費的時間和金錢主要用於訓練，這是因為許多客戶才剛剛開始將基礎模型部署到生產中。但是，未來，當基礎模型進入大規模部署時，大部分成本將用於執行模型和進行推論。客戶通常會定期訓練模型，於是生產應用程式會不斷生成預測（稱為推論）——每小時可能生成數百萬預測。而且這些預測需要即時發生，這就需要極低延遲和高輸送量的網路。Alexa 就是一個典型的例子，它每分鐘都會接受數百萬次請求，處理這些請求占所有運算成本的 40%。

我們相信，未來大部分機器學習成本將來自推論的執行。因而，幾年之前，當我們開始研發新型晶片時，就已經將推論優化型晶片置於首位。2018 年，我們發布了首款推論專用晶片 Inferentia。每年，亞馬遜都運用 Inferentia 執行數萬億次推論，並節省數億美元成本。這是十分顯著的成果，然而我們認為繼續創新的空間依然很大，因為隨著越來越多的客戶將生成式 AI 整合到他們的應用程式中，工作負載的規模和複雜性只會越來越大。

因此，我們今天宣布由 AWS Inferentia2 提供支援的 Inf2 執行個體正式可用，這些執行個體專門針對執行數千億個參數模型的大規模生成式 AI 應用程式進行了優化。與上一代相比，Inf2 執行個體不僅輸送量提高了 4 倍，延遲降低了 10倍，還可實現加速器之間的超高速連接以支持大規模分散式推論。與同類 Amazon EC2 執行個體相比，這些能力將推論性價比提高了 40%，並把雲中的推論成本降到最低。與同類 Amazon EC2 執行個體相比，Runway 等客戶有望利用 Inf2 將部分模型的輸送量提升至原來的兩倍。受益於高效能和低成本的推論，Runway 能夠引入更多功能，部署更複雜的模型，並最終為自己的數百萬用戶提供更優質的體驗。

我們深知，對客戶而言，利用正確的基礎模型進行建構，並在最佳效能的雲端基礎設施上大規模執行生成式 AI 應用程式，將帶來顛覆性變革。同時，這也將帶來革命性的全新用戶體驗。當應用程式或系統具備內建的生成式 AI 能力時，用戶可以獲得更自然、更流暢的交互體驗。這就如同現今手機的人臉識別解鎖功能，我們無需瞭解這一功能背後強大的機器學習模型，卻可以做到看一眼手機就解鎖了。

我們預見，程式設計將是生成式 AI 技術可快速應用的領域之一。現今，軟體發展者需要花費大量時間編寫相當淺顯和無差別的程式碼。他們還需要花費不少時間學習複雜的新工具和技術，而這些工具和技術總在不斷演進。因此，開發者真正用於開發創新的功能與服務的時間少之又少。為應對這一難題，開發者會嘗試從網上複製程式碼片段再進行修改，但可能無意中就複製了無效程式碼、有安全隱患的程式碼、或對開源軟體的使用沒有進行有效的追溯。而且這種搜尋和複製的方式也浪費了開發者用於創新的時間。

生成式 AI 可以透過「編寫」大部分無差別的程式碼來大大減少這種繁重的工作，讓開發人員能夠更快地編寫程式碼，同時讓他們有時間專注在更具創造性的程式設計工作上。 因此，我們去年宣布推出了 Amazon CodeWhisperer 預覽版，這是一款 AI 程式設計助手，透過內嵌的基礎模型，可以根據開發者用自然語言描述的注釋和整合式開發環境（IDE）中的既有程式碼即時生成程式碼建議，從而提升開發者的生產效率。開發人員只需要向 CodeWhisperer 提出任務命令，例如「解析一個含有歌曲資訊的 CSV 字串」，並要求它回傳一個基於藝術家、標題和排行榜最高排名等資料的結構化清單，CodeWhisperer 就可以解析字串並回傳指定的清單，從而大幅提升工作效率。CodeWhisperer 預覽版發布後得到了開發者們的熱烈回應。我們始終相信，幫助開發人員編寫程式碼可能成為未來幾年生成式 AI 得以發揮巨大效力的應用場景之一。 在預覽期間，我們還進行了一項生產力測試，與未使用 CodeWhisperer 的參與者相比，使用 CodeWhisperer 的參與者完成任務的速度平均快 57%，成功率高 27%。這是開發人員生產力的巨大飛躍，而我們相信這才僅僅是個開始。

今天，我們很高興宣布 Amazon CodeWhisperer 正式可用，在適用 Python、Java、JavaScript、TypeScript 和 C#之外，新增支持 Go、Kotlin、Rust、PHP 和 SQL 等 10 種開發語言。開發者可以透過在VS Code、IntelliJ IDEA、AWS Cloud9 等整合式開發環境中的AWS Toolkit IDE 外掛程式使用 CodeWhisperer。 CodeWhisperer 也可在AWS Lambda控制台中使用。除了從數十億行公開程式碼中學習之外，CodeWhisperer 也基於亞馬遜的程式碼進行了訓練。 我們相信 CodeWhisperer 是目前為 AWS（包括 Amazon EC2、AWS Lambda 和 Amazon S3）生成程式碼的最準確、最快和最安全的方式。

如果生成式 AI 工具建議的程式碼包含隱藏的安全性漏洞或未能負責任地處理開原始程式碼，開發人員則無法真正提高工作效率。CodeWhisperer 是唯一具有內建安全掃描功能（透過自動推論實現）的 AI 程式設計助手，用於查找難以檢測的漏洞並提出補救建議，例如十大開放式 Web 應用程式安全專案（OWASP）中的漏洞，以及不符合加密庫最佳實踐的漏洞等。為了幫助開發人員以負責任的方式開發程式碼，CodeWhisperer 會過濾掉可能被認為有偏見或不公平的程式碼建議，同時，由於客戶可能需要參考開源程式碼或獲得其使用許可，CodeWhisperer 是唯一可以過濾和標記類似開源始程式碼之生成結果的程式設計助手。

我們相信生成式AI將改變開發者的遊戲規則，因此希望它能盡可能被更多人所用。 所以，CodeWhisperer 將開放所有個人用戶免費使用，並不設任何次數或使用時間的限制！任何人都可以透過 email 帳戶在幾分鐘內註冊 CodeWhisperer 進行使用，而無需具備 AWS 帳號。對於企業客戶，我們則提供了 CodeWhisperer 專業版，其中包括更多高級管理功能，如整合了AWS Identity and Access Management（IAM）身份與存取管理服務的單點登入（single sign-on，SSO），以及使用更高程度的安全掃描。

建構像 CodeWhisperer 這樣強大的應用程式，對開發人員和我們所有的客戶來說，都帶來巨大的變革性。我們還有更多創新的產品在規劃中，也期待更多的客戶和開發者在 AWS 上建構更加創新和顛覆性的生成式 AI 應用。我們的使命是，讓各種技能水準的開發人員和各種規模的組織都有機會使用生成式 AI 進行創新。我們相信，新一波機器學習技術創新才剛剛開始、方興未艾，未來還有無限可能。