Meta Llama 3 基礎模型已在 AWS 正式可用
【台北訊，2024 年 4 月 19 日】Amazon Web Services（AWS）宣布，Meta 剛剛發布的兩款 Llama 3 基礎模型 Llama 3 8B 和 Llama 3 70B 現已在 Amazon SageMaker JumpStart 中提供。這兩款模型的上下文長度（Context Length）為 8k，能夠支持廣泛的應用案例，並在推論、程式碼生成和指令跟隨等方面有所改進。客戶可以在 Amazon SageMaker JumpStart 中輕鬆部署 Llama 3 基礎模型，並運行推論。
Llama 3 提供 8B 和 70B 兩種參數大小的模型，上下文長度為 8k，能夠支持廣泛的應用。Llama 3 使用了僅含解碼器的 Transformer 架構，以及高達 128k 規模的新型分詞器，極大提升了模型的效能。此外，Meta 改進的訓練後處理常式大幅降低了誤拒率，提高了模型回應的一致性和多樣性。
Amazon SageMaker JumpStart 提供預訓練的模型、內置演算法和預建構的解決方案，幫助客戶快速開始機器學習專案。Amazon SageMaker JumpStart 能夠幫助客戶從廣泛的公開可用基礎模型中進行選擇，並將基礎模型部署到專用的 SageMaker 實例中，這些實例位於網路隔離的環境，並可以使用 SageMaker 進行模型訓練和部署。
客戶現在可以在 Amazon SageMaker Studio 中透過點擊或透過 SageMaker Python SDK 程式設計方式部署 Llama 3 模型，還可以利用 SageMaker Pipelines、SageMaker Debugger 或容器日誌等功能，提升模型效能並實施 MLOps 控制。此外，該方式部署的模型始終處在 AWS 的安全環境下，由客戶的 VPC（Virtual Private Cloud）控制，以確保資料安全。
Meta Llama 3 基礎模型現已在 Amazon SageMaker Studio 的美東（北維吉尼亞州）、美東（俄亥俄州）、美西（奧勒岡州）、歐洲（愛爾蘭）和亞太（東京）區域提供部署和推論服務。
關於Amazon Web Services
自 2006 年來，Amazon Web Services 一直在提供世界上服務最豐富、應用廣泛的雲端服務。AWS 不斷擴展可支持幾乎任何雲端工作負載的服務，為客戶提供超過 240 種功能全面的雲端服務，包括運算、儲存、資料庫、聯網、分析、機器學習與人工智慧、物聯網、行動、安全、混合雲、媒體，以及應用開發、部署和管理等方面，遍及 33 個地理區域內的 105 個可用區域（Availability Zones），並已公佈計畫在馬來西亞、墨西哥、紐西蘭、沙烏地阿拉伯和泰國等建立 6 個 AWS 地理區域、18 個可用區域。全球超過百萬客戶信任 AWS，包含發展迅速的新創公司、大型企業和政府機構。AWS 協助客戶強化自身基礎設施，提高營運上的彈性與應變能力，同時降低成本。欲瞭解更多 AWS 的相關資訊，請至： thinkwithwp.com。