清除条件
共 1 条
Hacker News Show09/29模型产品发布/更新海外

Jevstiller:把 Jev 蒸馏成本地模型,带一致性保证

Jevstiller 在 Jev 的 API 调用前加一层本地小模型:用 bge-small 编码器加一个逻辑回归头,在 CPU 上约 15 ms 返回结果,不确定的请求仍走 Jev。核心是契约:设定 98% 目标,系统与 Jev 的一致率 A = 1 − c·e(c 为本地覆盖率,e 为本地答错率),保证至少该比例请求得到与 Jev 相同的标签。模型几百 KB,几千行数据几秒训完,每 2000 条新答案重训一次,上线前做影子测试。原文信息有限,未给出具体基准数字。

推荐理由做 Agent 循环或高频分类的,可参考用 15 ms 本地模型替代 300 ms API 调用的路由与一致性保证方案。