AWS Neuron 引入了 NxD 推理正式发布版、新功能和改进的工具

发布于: 2025年5月27日

今天，AWS 宣布发布 Neuron 2.23，其中包括推理、训练功能和开发人员工具方面的增强。此次发布将 NxD 推理库 (NxDI) 升级为正式发布版 (GA)，引入了包括上下文并行和 ORPO 在内的新训练功能，并增加了对 PyTorch 2.6 和 JAX 0.5.3 的支持。

NxD 推理库将从测试版升级为正式发布版，现在建议用于所有多芯片推理使用案例。主要增强功能包括支持持久缓存以减少编译时间，并且优化了模型加载时间。

对于训练工作负载，NxD 训练库引入了对 Llama 模型的上下文并行支持（测试版），使序列长度可达 32K。此次发布增加了对使用 ORPO 和 DPO 样式数据集进行模型校准的支持，升级了对第三方库的支持，具体来说是 PyTorch Lightning 2.5、Transformers 4.48 和 NeMo 2.1。

Neuron Kernel 接口 (NKI) 引入了新的 32 位整数运算、改进的 Trainium2 ISA 功能以及新的性能调优 API。Neuron Profiler 现在提供提升了 5 倍的配置文件结果查看速度、基于时间线的错误跟踪以及可通过 Perfetto 实现的改进的多进程可视化。

AWS Neuron SDK 支持在 Trn1、Trn2 和 Inf2 实例上训练和部署模型，这些实例在 AWS 区域以按需型实例、预留实例和竞价型实例的形式提供，或者作为节省计划的一部分提供。

有关 Neuron 2.23 中的新功能和增强功能的完整列表以及如何开始使用 Neuron，请参阅：