Amazon Bedrock 模型蒸馏功能现已全面推出

发布于: 2025年5月1日

模型蒸馏是将知识从功能更强大的模型（教师式模型）转移到功能较弱的模型（学生式模型）的过程，目标是使更快、更具成本效益的学生式模型在特定使用案例中的表现与教师式模型一样出色。在此次正式发布中，我们增加了对以下新模型的支持：Amazon Nova Premier（教师式模型）和 Nova Pro（学生式模型）、Claude 3.5 Sonnet v2（教师式模型）、Llama 3.3 70B（教师式模型）和 Llama 3.2 1B/3B（学生式模型）。Amazon Bedrock 模型蒸馏功能现在使较小的模型能够准确预测 Agents 使用案例的函数调用，同时显著提升响应速度并降低运营成本。Amazon Bedrock 中的蒸馏模型在 RAG 等使用案例中，相较于原始模型最多可实现高达 500% 的响应速度提升和 75% 的成本节省，同时准确率损失低于 2%。除了用于 RAG 使用案例外，模型蒸馏还新增了针对 Agents 使用案例中函数调用预测的数据增强能力。

Amazon Bedrock 模型蒸馏功能提供了一个单一的工作流程，可以自动执行生成教师式模型响应所需的流程，增加数据合成以改善教师式模型的响应，然后训练学生式模型。Amazon Bedrock 模型蒸馏功能可以根据您的使用案例选择应用最适合的数据合成方法，以创建一个经过蒸馏的模型，该模型在特定使用案例中大致匹配高级模型。 

有关更多信息，请参阅我们的文档、网站和博客。