NVIDIA GPU 时间切片功能现在支持 Bottlerocket 系统以便提高 AI/ML 工作负载的效率

发布于: 2024年10月23日

今天，AWS 宣布在 Bottlerocket 中引入对 NVIDIA GPU 时间切片的支持。Bottlerocket 是一款基于 Linux 的操作系统，专为托管容器而设计，侧重于安全性、最小占用空间和安全更新。这项新功能可以让容器上运行的人工智能/机器学习 (AI/ML) 工作负载实现更高效的 GPU 资源共享，从而解决了在多租户和资源受限环境中尽可能提高 GPU 利用率的挑战。

通过将 GPU 的处理时间划分为更小的时间间隔，即“切片”，Bottlerocket 对时间切片的支持可以让多个任务同时访问单个 GPU。这使得 Bottlerocket 的客户能够在单个 GPU 上运行多个 AI/ML 模型，从而提高 GPU 利用率，并让他们能够更有效地扩展工作负载。

Bottlerocket 上的 GPU 时间切片功能现已在所有商业区域和 AWS GovCloud（美国）区域推出。要了解有关 Bottlerocket 的 GPU 时间切片功能的更多信息，请访问 Bottlerocket 开发人员网站。