发布于: Mar 13, 2024
Amazon S3 Connector for PyTorch 现在支持将 PyTorch Lightning 模型检查点直接保存到 Amazon S3，从而降低机器学习训练任务的成本和改善其性能。PyTorch Lightning 是一个开源框架，为使用 PyTorch 进行训练提供了高级接口。Amazon S3 Connector for PyTorch 会自动优化 S3 请求，以改善训练工作负载的数据加载和检查点性能。使用 Amazon S3 Connector for PyTorch 保存 PyTorch Lightning 模型检查点的速度比将此类检查点写入 Amazon EC2 实例存储的速度快高达 40%。
Amazon S3 Connector for PyTorch 提供了 PyTorch Lightning 的检查点原语的新实现，您可以使用该原语将机器学习模型检查点直接保存到 Amazon S3。保存模型检查点时通常需要暂停训练任务，因此保存检查点所需的时间会影响整体训练时间。通过此次集成，您可以将检查点直接从 PyTorch Lightning 训练任务保存和加载到 Amazon S3 以及直接将其从此类训练任务中删除。
Amazon S3 Connector for PyTorch 是一个开源项目。要开始使用，请访问 GitHub 页面。