AI21 Labs 的 Jamba 1.5 系列模型现已在 Amazon Bedrock 中推出

今天，我们宣布 AI21 Labs 强大的新型 Jamba 1.5 系列大型语言模型（LLM）将在 Amazon Bedrock 中推出。这些模型代表了长上下文语言能力的重大进步，为多种应用程序提供了高速度、高效率和高性能。Jamba 1.5 系列模型包括 Jamba 1.5 Mini 和 Jamba 1.5 Large。这两种模型都支持多达 25.6 万个令牌的上下文窗口、结构化的 JSON 输出和函数调用，并能够消化文档对象。

AI21 Labs 是为企业构建基础模型和人工智能（AI）系统的领导者。AI21 Labs 和 AWS 共同支持各行各业的客户构建、部署和扩展生成式人工智能应用程序，这些应用程序可以解决现实世界的挑战，并通过战略合作激发创新。借助 AI21 Labs 先进的生产就绪型模型以及亚马逊的专用服务和强大的基础设施，客户可以在安全的环境中使用 LLM，以塑造我们未来处理信息、沟通和学习的方式。

什么是 Jamba 1.5？
Jamba 1.5 模型利用独特的混合架构，将转换器模型架构与结构化状态空间模型（SSM）技术相结合。采用这种创新方法，Jamba 1.5 模型能够处理多达 25.6 万个令牌的长上下文窗口，同时保持传统转换器模型的高性能特征。要了解有关这种混合 SSM/转换器架构的更多信息，请参阅《Jamba：混合转换器-Mamba 语言模型》白皮书。

您现在可以在 Amazon Bedrock 中使用 AI21 推出的两款全新 Jamba 1.5 模型：

Jamba 1.5 Large 擅长处理各种提示长度的复杂推理任务，因此非常适合需要为长输入和短输入提供高质量输出的应用程序。
Jamba 1.5 Mini 针对长提示的低延迟处理进行了优化，可以快速分析冗长的文档和数据。

Jamba 1.5 模型的主要优势包括：

长上下文处理 – 凭借多达 25.6 万个令牌的上下文长度，Jamba 1.5 模型可以提高企业应用程序的质量，例如冗长的文档摘要和分析以及代理工作流和 RAG 工作流。
多语言 – 支持英语、西班牙语、法语、葡萄牙语、意大利语、荷兰语、德语、阿拉伯语和希伯来语。
对开发者友好 – 原生支持结构化 JSON 输出和函数调用，并能够消化文档对象。
高速度和高效率 – AI21 测量了 Jamba 1.5 模型的性能并声明，与同等大小的其他模型相比，这些模型对长上下文的推理速度可提高最多 2.5 倍。有关详细的性能结果，请访问 AI21 网站上的 Jamba 模型系列公告。

开始在 Amazon Bedrock 中使用 Jamba 1.5 模型
要开始使用新的 Jamba 1.5 模型，请转到 Amazon Bedrock 控制台，并在左下角的窗格中选择模型访问权限，然后请求对 Jamba 1.5 Mini 或 Jamba 1.5 Large 的访问权限。

要在 Amazon Bedrock 控制台中测试 Jamba 1.5 模型，请在左侧菜单窗格中选择文本或聊天平台。随后，选择选择模型，然后选择 AI21 作为类别，并选择 Jamba 1.5 Mini 或 Jamba 1.5 Large 作为模型。

通过选择查看 API 请求，您可以获得一个代码示例，以了解如何使用 AWS 命令行界面（AWS CLI）和当前示例提示来调用模型。

您可以按照 Amazon Bedrock 文档中的代码示例，使用 AWS SDK 访问可用的模型，并使用各种编程语言构建您的应用程序。

如下 Python 代码示例展示了如何使用 Amazon Bedrock 对话 API 向 Jamba 1.5 模型发送短信以生成文本。

import boto3
from botocore.exceptions import ClientError

# 创建一个 Bedrock Runtime 客户端。
bedrock_runtime = boto3.client("bedrock-runtime", region_name="us-east-1")

# 设置模型 ID。
# modelId = "ai21.jamba-1-5-mini-v1:0"
model_id = "ai21.jamba-1-5-large-v1:0"

# 使用用户消息开始对话。
user_message = "关于 Mamba 的 3 个有趣的事实是什么？"
conversation = [
    {
        "role": "user",
        "content": [{"text": user_message}],
    }
]

try:
    # 使用基本推理配置将消息发送到模型。
    response = bedrock_runtime.converse(
        modelId=model_id,
        messages=conversation,
        inferenceConfig={"maxTokens": 256, "temperature": 0.7, "topP": 0.8},
    )

    # 提取并打印响应文本。
    response_text = response["output"]["message"]["content"][0]["text"]
    print(response_text)

except (ClientError, Exception) as e:
    print(f"ERROR: Can't invoke '{model_id}'.Reason: {e}")
    exit(1)

Jamba 1.5 模型非常适合配对文档分析、合规性分析和长文档问题解答等使用案例。它们可以轻松比较多个来源的信息、检查段落是否符合特定的准则以及处理非常长或非常复杂的文档。您可以在 AI21-on-AWS GitHub 存储库中找到示例代码。要了解有关如何有效地提示 Jamba 模型的更多信息，请查看 AI21 的文档。

现已推出
AI21 Labs 的 Jamba 1.5 系列模型现已在美国东部（弗吉尼亚州北部）AWS 区域的 Amazon Bedrock 中推出。请查看完整区域列表，以了解将来的更新。要了解更多信息，请查看 Amazon Bedrock 中的 AI21 Labs 产品页面和定价页面。

立即在 Amazon Bedrock 控制台中试用 Jamba 1.5 模型，并将反馈发送至 AWS re:Post for Amazon Bedrock 或通过您常用的 AWS Support 联系人发送。

请访问我们的 community.aws 网站，以查找深入的技术内容，并了解我们的开发人员社区如何在他们的解决方案中使用 Amazon Bedrock。

– Antje

*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外区域可用，亚马逊云科技中国仅为帮助您了解行业前沿技术和发展海外业务选择推介该服务。

亚马逊AWS官方博客

AI21 Labs 的 Jamba 1.5 系列模型现已在 Amazon Bedrock 中推出