发布于: Jun 15, 2020
您现在可以使用 Amazon Elastic Kubernetes Service (EKS) 在 Amazon EC2 Inf1 实例上运行容器。通过 EKS 和 AWS Neuron Kubernetes 设备插件，可以在您的集群中轻松地组合多个 Inferentia 设备，以便大规模地运行高性能且经济实惠的的推理工作负载。
Amazon EC2 Inf1 实例可在云端提供高性能和最低成本的机器学习推理。Inf1 实例具有多达 16 个 AWS Inferentia 芯片，这是由 AWS 专门设计和打造的高性能机器学习推理芯片。借助 Inf1 实例，客户可以运行大规模机器学习推理应用程序，例如图像识别、语音识别、自然语言处理、个性化和欺诈检测。根据您的要求训练好机器学习模型之后，您可以使用 AWS Neuron 部署该模型。AWS Neuron 是一种专门的软件开发工具包 (SDK)，其中包括可优化 Inferentia 芯片机器学习推理性能的编译器、运行时和性能分析工具，并支持热门机器学习框架，例如 TensorFlow、PyTorch 或 MXNet。
通过 Amazon EKS，可以使用所有必需的 AWS Neuron 包更新 EKS 优化的加速 AMI，以轻松地运行基于 Inferentia 的容器。根据最新加速 AMI 启动包含工作线程节点的集群时，您可以安装 AWS Neuron Kubernetes 设备插件，它可将 Inferentia 设备作为可用资源推广到工作线程节点 Kubelet。与使用独立 EC2 Inf1 实例相比，这种细粒度计划功能可使 EKS 客户获得更高的利用率和更大幅的成本节约。
EC2 Inf1 实例可用于已推出 Inf1 的区域中运行 1.14 版和更高版本的所有 EKS 集群。今天，仅支持自行管理的节点组，它们可利用 eksctl、CloudFormation 或 AWS CLI 启动。未来发布的版本中将会增强 EKS 托管节点组支持。要开始使用，请访问 Amazon EKS 文档。如需了解更多关于 Inf1 实例和 Inferentia 的信息，请查阅 Amazon EC2 文档。