Perplexity 在 Amazon Bedrock 中使用 Anthropic 的 Claude 3 构建高级搜索引擎

Perplexity AI 于 2022 年 12 月推出，可以通过了解用户在一段时间内的兴趣和偏好来评估情境并进行个性化互动。用户还可以了解信息的可信度，因为每个搜索结果都附有来源清单。

Perplexity 自其公共 API 服务推出以来一直在使用 Amazon SageMaker。Amazon SageMaker 是一项完全托管式服务，汇集了众多几乎可用于所有使用场景的高性能、低成本机器学习（ML）工具。在评估了几家云提供商之后，Perplexity 选择了 AWS 对模型进行训练和推断，用以补充对 Amazon Bedrock 的使用。Perplexity 首席技术官 Denis Yarats 表示：“使用了 AWS，我们就用上了 GPU，也从积极主动的 AWS 团队展现的技术专业知识中受益匪浅。”该公司测试了 Amazon Elastic Compute Cloud（Amazon EC2）的实例类型。Amazon EC2 提供众多的计算选择、高达 3200 Gbps 的网络，以及专为优化机器学习项目的性价比而构建的存储服务。具体而言，Perplexity 使用由 NVIDIA A100 GPU 提供支持，并针对分布式训练进行了优化的 Amazon EC2 P4de 实例来微调开源 FM。

通过 Amazon Bedrock，Perplexity AI 用户可以从 AWS 合作伙伴 Anthropic 的 Claude 3 系列模型中选择所需模型。Claude 3 模型除了强大的性能，还具备专家知识、高准确性和情境理解能力。Perplexity 技术团队成员 William Zhang 表示：“使用 Amazon Bedrock 这样的高性能服务，意味着我们在利用 Anthropic 强大的模型时，可确保团队能够有效保持产品的高可靠性和低延迟。”

由于 Claude 以简洁自然的语言提供信息，用户可以快速得到明确的答案。用户还可以快速上传并分析大型文档，因为 Claude 3 模型具有包含 20 万个令牌的情境窗口，相当于大约 15 万个单词或超过 500 页内容。Zhang 说：“在考虑将某些功能纳入我们的产品时，易用性是至关重要的因素。在 Amazon Bedrock 上使用 Claude 3 是卓越开发人员体验的一部分。”

Perplexity 旨在通过减少幻觉（LLM 的不准确输出），来确保每个搜索结果的准确性和实用性。Anthropic 的前代模型 Claude 2.1 已经将幻觉率降低了一半，而通过 Claude 3 系列（较之 Claude 2.1，准确性有了进一步提高），Anthropic 进一步减少了幻觉，并提高了准确性。在 Anthropic 努力将模型幻觉降至零的同时，Perplexity 也在使用人工注释者来进一步为用户提供准确、安全和可信的信息。此外，Anthropic 和 AWS 对负责任的人工智能的承诺也使 Perplexity 受益匪浅。Perplexity 的云基础设施工程师 Aarash Heydari 表示：“我们很感激 Amazon Bedrock 内置了内容过滤器，可以在人们尝试将我们的解决方案用于意外目的时提醒我们。”作为一家以安全和研究为核心的公司，Anthropic 在打击“越狱”（即企图生成有害响应或滥用模型）方面处于市场领导地位。

Perplexity 还继续在其由 AWS 提供支持的基础设施上微调其他模型。2023 年 8 月，Perplexity 成为 Amazon SageMaker HyperPod 早期测试版的测试者。该服务消除了构建和优化用于训练 FM 的机器学习基础设施时，所涉及的无差别繁重工作。Perplexity 的工程师与 AWS 解决方案架构师合作，创建了具有突破性的可扩展基础设施。该基础设施可自动将训练工作负载分配到加速的 Amazon EC2 P4de 实例中，然后对其并行处理。Amazon SageMaker HyperPod 预配置了 Amazon SageMaker 的分布式训练库，进一步提高了性能。Heydari 表示：“训练吞吐量的速度翻了一番。基础设施易于管理，与硬件相关的故障也显著减少。”

要进一步了解 Perplexity 如何使用 Amazon SageMaker HyperPod，来将基础模型训练速度加快了 40%，请参阅此案例研究。

两个月后，Perplexity 发布了一个公共 API，这样用户就可以访问其专有的在线模型 Sonar Small 和 Sonar Medium。这两个模型托管在 AWS 上，使用 Mistral 7B 和 Mixtral 8x7B 进行了微调。在响应时间敏感的查询时，这些在线 LLM 会优先考虑来自互联网的知识而不是训练数据。Heydari 表示：“我们的模型训练和推理基础设施全部由 Amazon SageMaker HyperPod 提供支持，而该服务正是我们选择 AWS 的关键因素。Amazon SageMaker HyperPod 在推动我们的人工智能创新方面发挥了重要作用。”