Hugging Face 博客介绍了一个 Space 工具，用于查询 Hub 上的热门模型能否在 AWS Trainium 上不经修改直接运行。该工具按下载量和趋势排名列出模型，每行给出测试结果、模型分片所用的 Trainium 核心数、运行实际耗时（含编译）和峰值显存。用户可切换视图搜索指定模型，并选择 neuronx-cc 与 Transformers 版本。目前仅测试 Transformers 的文本生成和图文模型，计划扩展到 diffusers 等。工具还提供 run.py 脚本和 NEFF 缓存同步命令，…
推荐理由要在 AWS Trainium 上跑模型的开发者，可直接查目标模型是否兼容，并拿到现成脚本和缓存命令。
AWS 在 Hugging Face 博客发布 TorchNeuron 系列第一篇，讲如何系统分析 AWS Trainium 上的推理性能。TorchNeuron 是 Trainium 的开源原生 PyTorch 后端，支持 eager 执行、torch.compile 和标准 PyTorch API，并可通过 Neuron Kernel Interface 写自定义算子。文章从零讲起，不要求读者有 profiling 经验：如何用 NeuronConfig 和 NeuronProfiler 配置 torch.pr…
推荐理由想搞清模型在专用芯片上为何慢的人，可照着配置 NeuronConfig 抓 trace
Hugging Face 发布 TorchNeuron，为 AWS Trainium 提供 PyTorch 原生后端，支持 eager 模式、torch.compile 以及 FSDP、TP 等分布式 API。Transformers、Diffusers、Accelerate、PEFT、TRL 可直接在 Trainium 上运行，无需再经过 Optimum Neuron。10 月 20 日起开放公测，可通过 pip install torch-neuronx 安装。在文本生成方面，使用 TorchNeuron 时，…
推荐理由在 Trainium 上跑模型的架构覆盖率从 46% 升到 89%，只需改一个 device_map 参数