Hugging Face 上线 torch-neuronx 模型支持查询工具
Hugging Face 博客介绍了一个 Space 工具，用于查询 Hub 上的热门模型能否在 AWS Trainium 上不经修改直接运行。该工具按下载量和趋势排名列出模型，每行给出测试结果、模型分片所用的 Trainium 核心数、运行实际耗时（含编译）和峰值显存。用户可切换视图搜索指定模型，并选择 neuronx-cc 与 Transformers 版本。目前仅测试 Transformers 的文本生成和图文模型，计划扩展到 diffusers 等。工具还提供 run.py 脚本和 NEFF 缓存同步命令，…
推荐理由要在 AWS Trainium 上跑模型的开发者，可直接查目标模型是否兼容，并拿到现成脚本和缓存命令。