Perplexity 使用 Amazon SageMaker HyperPod 将基础模型训练速度加快了 40%

传统搜索引擎通常会在相关结果上添加广告和特定关键字，而与此不同的是，Perplexity 的解决方案经过优化，可以将用户与他们所需的知识联系起来。约有 1000 万月活跃用户借助 Perplexity 来学习新概念、解决挑战和寻找答案。

“借助大型语言模型，我们可以将人类语言的理解和推理能力整合到一个模型中。该模型与互联网上的事实相结合，帮助我们建立了问答引擎，”Perplexity 首席执行官兼联合创始人 Aravind Srinivas 说道，“从本质上讲，我们将传统的搜索索引（事实引擎）和推理引擎（大型语言模型）结合在一起，构建了世界上首个对话式问答引擎。”

自 2022 年推出此引擎以来，Perplexity 一直在使用 Amazon Elastic Compute Cloud（Amazon EC2）（一种提供安全且可调整大小的计算容量的平台，支持几乎所有工作负载）等核心 AWS 服务来为其产品的后端、前端和搜索组件提供支持。随着 Perplexity 的业务逐渐成熟及其 ML 模型数量的增加，其需要强大的计算能力来为用户提供服务。

Perplexity 通过与 AWS 专家探讨，了解到 Amazon SageMaker HyperPod 是专门为大规模分布式训练而构建的基础设施，可以满足其对大规模模型训练的需求。Amazon SageMaker HyperPod 预先配置了 Amazon SageMaker 分布式训练库，这些库经过优化，可运行高度可扩展且经济实惠的自定义数据并行，并可以超过 1600 Gbps 的互连速度对并行深度学习训练作业进行建模。Amazon SageMaker HyperPod 还通过定期保存检查点来防止基础模型训练中断。训练期间发生硬件故障时，AWS 服务会自动检测故障、修复故障或更换故障实例，并从上次保存的检查点恢复训练。这有助于在分布式环境中进行数周或数月的不间断模型训练。

AWS 向 Perplexity 提供了为期一个月的试用，以便展示分布式训练功能，在使用期间，该公司发现了使用 AWS 的优势。例如，Perplexity 在资源分配方面更灵活；其可使用不同的 Amazon EC2 实例类型和专用于特定任务的 GPU。

为了训练 ML 模型，Perplexity 需要大量内存，才能运行大量数据并存储不同梯度。该公司选择了 Amazon EC2 P4de 实例（一项为 ML 训练和高性能计算应用程序提供最高性能的服务）来运行训练作业，同时满足内存和带宽需求。通过使用 Amazon SageMaker HyperPod，Perplexity 在不同 GPU 之间能更快地传输数据，从而将 ML 模型训练时间缩短达 40%。

“Amazon SageMaker HyperPod 内置的数据和模型并行库帮助我们缩短了 GPU 训练时间，并将训练吞吐量提高了一倍，”Srinivas 说，“因此，我们的训练实验现在可以以两倍的速度运行，这意味着我们的开发人员可以更快地进行迭代，从而加速为客户开发新的生成式人工智能体验。由于 Amazon SageMaker HyperPod 会自动监控集群运行状况并修复 GPU 故障，我们的开发人员能够专注于模型构建，而不需要花时间管理和优化底层基础设施。”

Perplexity 旨在为用户查询提供快速准确的响应，因此需要近乎实时的推理能力。借助 Amazon EC2 P5 实例（该服务为深度学习应用程序提供最高性能的基于 GPU 的实例），Perplexity 生成答案的吞吐量相较于以往得到大幅提高。实际上，该公司可以在不影响延迟或用户体验的情况下，在高峰期间处理 1 万个并发用户和每小时超过 10 万个查询。Perplexity 还在 Amazon EC2 P5 实例上托管公开可用的 Llama 2 模型，并使用 Amazon SageMaker HyperPod 根据自己的数据对开源模型进行微调。对模型进行微调有助于增强响应的准确性和相关性，并根据 Perplexity 问答引擎的需求优化模型。