发布于: Apr 22, 2020
现在，Amazon SageMaker 客户在部署用于实时推理的机器学习模型时可以选择 Inf1 实例。Amazon SageMaker 是一项完全托管的服务，可以帮助开发人员和数据科学家快速轻松地构建、训练和部署任何规模的机器学习模型。通过在 Amazon SageMaker 上使用 Inf1 实例，客户可以运行大型机器学习和深度学习推理应用程序，例如图像识别、语音识别、自然语言处理、个性化、预测和欺诈检测，同时获得高性能并大幅降低成本。
Inf1 实例从头开始创建，可支持机器学习推理应用程序，具有最多 16 个由 AWS 设计和构建的 AWS Inferentia 芯片、机器学习芯片，可优化深度学习推理的成本。Inferentia 芯片与最新的第 2 代自定义 Intel® Xeon® 可扩展处理器和 100Gbps 网络结合使用，可为 ML 推理应用程序提供高性能和行业内最低成本。每个 Inf1 实例配置有 1 到 16 个 AWS Inferentia 芯片，与 AWS 基于 GPU 的实例相比，其性能最高可扩展到每秒 2000 万亿次运算 (TOPS)，吞吐量最高可提高 3 倍，且每次推理的成本最高可降低 45%。Inf1 实例中所用的 AWS Inferentia 芯片的大型芯片上内存支持直接将机器学习模型缓存在芯片中，从而不需要在推理期间访问外部内存资源，并且可实现低延迟和推理吞吐量。要了解有关 Inf1 实例的更多信息，请访问产品页面。
Amazon SageMaker 中的 Inf1 实例现已在美国弗吉尼亚北部和俄勒冈 AWS 区域提供，并且提供四种大小：ml.inf1.xlarge、ml.inf1.2xlarge、ml.inf1.6xlarge 和 ml.inf1.24xlarge。使用 TensorFlow 和 MxNet 框架开发的机器学习模型可以部署在 Amazon SageMaker 中的 Inf1 实例上，以进行实时推理。要在 Amazon SageMaker 中使用 Inf1 实例，您可以使用 Amazon SageMaker Neo 编译您的训练模型，并选择 Inf1 实例来将编译的模型部署在 Amazon SageMaker 上。
有关更多信息，请访问 Amazon SageMaker 开发人员指南，要了解如何将机器学习模型部署在 Amazon SageMaker 中的 Inf1 实例上的更多信息，则访问 Github 中的 Amazon SageMaker 示例。
2021 年 8 月 27 日修改 – 为了确保良好的体验，本文中过期的链接已更新或从原文中删除。