OpenAI 将其 Decisions API 模型广泛开放首次向用户提供，进军快速、廉价智能市场——这一市场最近让 TypeSafe 这家由该前沿实验室前研究员创立的初创公司成为了一家估值 76 亿美元的公司。
TypeSafe 的 Jev 模型开创了一个品类即充当超级分类器的深度学习模型：给定一组选项，它们能快速做出选择，并为其决策提供置信度评分。软件开发者很快发现，这些决策模型或 System One 模型可以在多种工作流中取代 LLM，运行更快且成本大幅降低。
OpenAI API 产品负责人 Nikunj Handa 告诉 TechCrunch，他的同事看到 Jev 后说“哇，我们好像有一百万个用例可以用这个”。Handa 的团队全力冲刺，推出了自己的版本：团队没有构建一个专门校准的决策模型，而是拿 ChatGPT Luna 重新配置，以加快推理速度并降低成本。
“Decisions API 带来的最大突破是速度，把耗时从 1 到 3 秒缩短到 100、120、180 毫秒，”Handa 说。“未来，我们可能会进行特定训练，让我们的模型在这些方面表现得更好。但现在，就是普普通通的老 Luna 就能完成任务。”
Decisions API 于 9 月 29 日在该公司的开发者日上发布，并于周四向所有客户开放。OpenAI 为公开版本新增了语音和视觉模态，并通过在地理上定位其推理资源，努力确保全球各地区的低延迟。
在与 Box、Datadog、Ramp 和 Speak 等客户的初步试验中，工程师们使用该 API 以更高的吞吐量取代 OpenAI 的 LLM。构建 AI 语言辅导工具的 Speak 公司 CTO Andrew Hsu 表示，Decisions API 让该公司将操作之间的时间从 1.4 秒缩短到 0.13 秒。OpenAI 还用该产品提升了其 Dots 语音助手的响应速度。
不过，除了“它对你有效”之外，究竟什么才算一个好的决策模型，目前仍不清楚——在智能、成本、校准和速度之间的优化似乎因工作负载而异。TypeSafe CEO Diogo Almeida 不信任基准测试，并敦促人们在自己的工作中试用这些模型，但即便是 TypeSafe也发布了自己的排名上周，与其最新 Jev 模型的发布同步，该模型包含支持图像和 smart-if 语句等新功能。
像AIM System One Index和Artificial Analysis Decision Index这样的公开基准测试往往更青睐 D1 Ultra——Liquid 上周发布的一款新决策模型——以及 Base Lab 的 Elephant-1。最新的 Jev 模型在这两个指数上仍具竞争力，分别位列第七和第三，而 OpenAI 的 Decision Model 则分别位列第八和第十四。不过，就目前而言，TypeSafe 的产品是被查询最多的，在 OpenRouter 上。
然而，最有趣的 Jev 基准测试是JevMan，这是一个让决策模型玩 PacMan 的基准测试；最新的 Jev 模型在该排名中位居榜首。构建该基准测试的 Opper AI 首席增长官 Felix Wunderlich 表示，这款经典游戏“是一个有趣的测试，因为它源源不断地产生快速、高风险的决策。在每个路口，模型必须在几百毫秒内决定往哪走。”
OpenAI 可以说能力更强的模型可能具有优势的地方在于多模态——对于图像分类，“Luna 极其强大，并且一直表现出更好的校准，”Handa 对 TechCrunch 表示，并补充说 OpenAI 的客户希望 Decisions API 在将图像用作输出方面也更加灵活。
Handa 还看到了速度的进一步提升将催生新的用例：“我们能不能把它做到比如你知道的 60 毫秒，然后你就可以想象像这样的 API 调用，比如视频中的每一帧？”
随着这些产品变得更快、更便宜，我们可以预期它们将名副其实地体现 Jev 的名字——这位经济学家解释了如何更高效地使用一种资源会使其更加普及。或者，正如 Handa 所看到的，将会出现一组不断扩大的“疯狂的用例”，它们在决策模型揭示之前一直隐藏在显而易见之处。
当您通过我们文章中的链接购买时，我们可能会获得一小笔佣金。这不会影响我们的编辑独立性。
Tim Fernholz 是一名记者，撰写有关科技、金融和公共政策的报道。他密切跟踪报道了私营航天产业的崛起，并著有《火箭亿万富翁：Elon Musk、Jeff Bezos 与新太空竞赛》。此前，他曾在全球商业新闻网站 Quartz 担任高级记者十余年，职业生涯始于华盛顿特区的政治记者。 您可以通过发送邮件至以下地址联系 Tim 或核实其外联信息：[email protected]或通过 Signal 向 tim_fernholz.21 发送加密消息。