Strot：用 LLM 编译一次意图，之后在本地运行决策
开源项目 Strot 提出「编译期用 Agent、运行期不用 Agent」：先用 LLM 把意图和样本编译成冻结的 Python 产物，之后每条记录都由本地 144M 小模型在 CPU 上做分类、打分、路由，约 60 ms，边际成本为零，低置信度记录会弃权而不是猜测。实测在 398 条记录的路由上，编译后准确率 92.5%，朴素做法为 74.8%；AG News 未见标签上为 86.7% 对 72.7%。已发布 PyPI 包 strot-ai。
推荐理由需要大批量分类或路由、又不想按 token 付费的团队，可以看这个「一次编译、本地推理」的省成本方案