Amazon Web Services发布一个开源决策模型,灵感来自TypeSafe 的 Jev,随着 AI 开发者日益寻求更适合计算机自动化的智能,而非前沿 LLM。

Amazon 的 Strands Decider 2B 在同一周发布,OpenAI宣布了类似的 offerings,是一种高速、低成本的方式,用于在预先确定的选项之间进行排序,并给出其对所选选项的置信度。该模型完全开源,现已可用,且小到足以在本地运行。

Amazon 杰出工程师 Marc Brooker 在看到 Jev 后提出了这个项目,并尝试构建自己的此类模型版本。这个自制项目足够成功——它曾短暂登上Jevbench 排名中同规模模型的首位——于是 Amazon 工程师将其整理并作为他们Strands Labs的 offerings 发布,该组织致力于开发用于部署 AI 智能体的新工具和协议。

Brooker 表示,对这类工具的需求是在与 AWS 客户的对话中出现的,这些客户的智能体工作流并不总是需要全功能 LLM 的能力或成本。

“最初让我对这类模型感兴趣的是,它们能为工作流步骤做出完美的决策——‘基于我当前所处的位置,下一步该做什么?’”Brooker 对 TechCrunch 表示。他说,这为客户提供了“一个工作流步骤,它可以被组织得更可靠,得益于置信度分数,得益于封闭的答案域,[并且]延迟更低,潜在成本也更低。”

与其他决策模型一样,Strands Decider 构建在 LLM 的“躯干”之上,在本例中是 Qen3.5-2B,但它不是生成文本,而是给出经过校准的选择。TypeSafe 以经济学家 William Stanley Jevons 的名字将其模型命名为 Jev,希望借此唤起他的理论:某样东西——比如计算机智能——成本的下降,实际上可能增加其需求。

自 TypeSafe 首次提出这一构想以来,研究人员已经产出了数十个类似的模型,这既表明了广泛的兴趣,也引出了一个问题:它们究竟能有多大价值。Brooker 认为,挑战在于如何在不牺牲模型智能的前提下优化其快速决策能力。

“需要找到一个非常微妙的平衡点,你希望在这些任务上提升其准确性和校准方面的表现,同时又不降低它在理解不同语言、拥有现有知识方面的能力,而正是这些能力让它成为通用、有趣且有用的模型,”他告诉 TechCrunch。

不过,他并不一定认为前沿实验室会主导这一领域,尤其是考虑到市场规模较小,构建一个有趣的东西的成本不过数百或数千美元。

就 TypeSafe 高管而言,他们表示自己正埋头苦干,改进未来的模型。

“我理解人们认为这是一场淘金热,但他们可能低估了让模型真正变聪明的难度,”CEO 兼创始人 Diogo Almeida 告诉 TechCrunch,并表示目前他还没有看到自己的公司面临真正的竞争。

“当前这一批人更像是想实现某种炫酷架构的机器学习从业者,而不是一支致力于让智能真正有用的团队。”

当您通过我们文章中的链接进行购买时,我们可能会赚取一小笔佣金。这不会影响我们的编辑独立性。

Tim Fernholz 是一名记者,撰写有关技术、金融和公共政策的文章。他密切报道了私营航天产业的崛起,并著有《火箭亿万富翁:Elon Musk、Jeff Bezos 与新太空竞赛》。此前,他曾在全球商业新闻网站 Quartz 担任高级记者十余年,职业生涯始于华盛顿特区的政治记者。 您可以通过发送电子邮件至 tim.fernholz@techcrunch.com 联系 Tim 或核实其外联信息,也可以通过 Signal 向 tim_fernholz.21 发送加密消息。

查看个人简介