Hugging Face 推出 TorchNeuron，AWS Trainium 原生支持 PyTorch
Hugging Face 发布 TorchNeuron，为 AWS Trainium 提供 PyTorch 原生后端，支持 eager 模式、torch.compile 以及 FSDP、TP 等分布式 API。Transformers、Diffusers、Accelerate、PEFT、TRL 可直接在 Trainium 上运行，无需再经过 Optimum Neuron。10 月 20 日起开放公测，可通过 pip install torch-neuronx 安装。在文本生成方面，使用 TorchNeuron 时，…
推荐理由在 Trainium 上跑模型的架构覆盖率从 46% 升到 89%，只需改一个 device_map 参数