TypeSafe AI的宣言对一家 AI 实验室来说颇为反主流：“Build Prod, Not God.” 他们的首个模型 Jev 以前沿智能提供快速、结构化的决策。在发布周期间，对 Jev 的需求一路飙升。
Modal 帮助 TypeSafe 训练并部署了一类全新的前沿模型，随后在三天内扩展到超过一万亿 token，同时满足他们对超低延迟推理的要求，而无需自行管理基础设施。
一类全新的前沿模型
Jev 不是大语言模型。它是一个System One Model——即快速、直觉式的思考。Jev 在 System One 任务上达到了与前沿 LLM 相比相近的智能水平，但专注于决策而非通用智能。
为了让 Jev 落地，TypeSafe 构建了一套完全专注于自动化的自定义技术栈：包括全新的模型架构、用于最大化效率的并行采样器，以及他们称之为“校准决策强化学习”（RLCD）的训练方法。
与 LLM 不同，Jev 不是自回归的，也不生成文本。相反，它以状态和问题作为输入，输出带概率的类型化结构化值。例如，以一张客户支持工单作为输入：
用户定义choice原语，指示 Jev 从列表中选择一个选项。给定选项sales、technical或billing，Jev 返回输出和概率：
Jev 不按顺序生成输出，而是并行生成——产出智能、低延迟的响应，适用于大规模自动化、快速浏览器使用和生成式用户界面等工作负载。
一个周末内指数级扩展
Jev 于周四公开发布。一周后，它在 OpenRouter 上 1K-10K token 上下文的排行榜中登顶，处理了 15.1% 的请求。这只是 TypeSafe 团队所处理需求的一小部分，他们现在以“数万亿”token 来衡量这一需求。
为了在以前沿性价比服务 Jev 的同时扩展其系统，TypeSafe 团队需要完全掌控自己的技术栈——从网络和路由，到应对不可预测负载的自动扩缩容。最重要的是，他们需要这种掌控力，而又不必为管理自己的基础设施而头疼。
毕竟，推理是（非常）重要的事，但它不是全部。
基于 Modal 构建
Modal 的基础设施特别适合像 Jev 这样的模型发布：突发性、高并发的工作负载，每一毫秒都至关重要。AI 实验室无需猜测容量需求或为计算预留支付过高费用，而是可以使用 Modal 的无服务器平台来训练、服务和扩展任何类型的模型：LLM、System One Models、世界模型等等。
“Modal 在 Jev 发布后的三天内为其处理了 1 万亿 token。随着我们扩展以满足前所未有的需求，他们的团队积极主动、响应迅速，我们可以专注于交付产品，而不是管理基础设施。”
Jev 的发布只是 Modal 平台所构建目标的一个例子。带上任何模型、任何服务代码，扩展到每天数万亿 token。