企业 AI 的下一个竞争优势，与其说取决于你选择哪个模型，不如说取决于你在模型周围构建了什么。
这是一个重要的转变。过去几年，AI 讨论的很大一部分都集中在模型能力上：更大的模型、更好的推理、更大的上下文窗口、更高的基准测试分数。这些进步非同寻常。但随着 AI 从实验走向生产，企业领导者面临的问题已经改变——不再是“模型能做什么？”，而是“我们能否可靠、经济且大规模地交付这种智能？”
答案越来越取决于服务框架——围绕模型的工程系统，包括架构、内存管理、调度和优化决策，这些决定了模型智能转化为生产能力的效率。
对于技术高管来说，这改变了 AI 投资应该投向何处——以及他们应该对支撑它的架构提出什么要求。
从工作负载出发，而不是从模型出发
不存在普遍“最佳”的模型或 AI 架构。只有针对业务问题的正确解决方案。
一个针对快速响应优化的面向客户的助手，与一个可以通宵运行的文档处理流水线有着根本不同的需求。一个内部知识应用和一个高流量的客户服务平台可能使用相同的基础模型，但需要非常不同的服务架构。
工作负载定义了约束条件。约束条件应该决定架构。
这听起来很简单，但它与许多组织在早期 AI 部署中的做法背道而驰。在概念验证阶段，模型准确性自然会主导讨论。生产环境引入了在只有少数用户参与时更容易被忽视的约束条件：延迟、并发、内存压力、GPU 利用率、基础设施成本和不可预测的流量。
如果一个模型能带来略微更好的答案，但推理成本翻倍或无法满足应用的延迟要求，它未必是更好的生产选择。不是每个工作负载都需要法拉利。有时更明智的工程决策是选择那个恰好能提供业务所需性能、又不必为用不到的能力付费的模型。
目标应该是为工作负载以合适的成本部署合适的智能。这使得服务架构不再只是工程层面的关注点，而成为一项投资决策：在哪里投入算力、在哪里做优化，以及在哪里额外的模型能力根本不值得付出那样的成本。
设计系统，而不是设计模型
一旦 AI 进入生产环境，看似孤立的工程决策开始相互影响。服务架构影响内存利用率。内存管理影响并发。并发塑造批处理与调度，而调度又影响 GPU 利用率和延迟。
只有到那时，量化、投机解码或优化的注意力机制等技术才能充分发挥其价值。这种相互依赖关系很重要，因为组织可能在基础设施上投入更多，却仍未解决限制性能的瓶颈。
GPU 内存就是一个很好的例子。在推理过程中，模型的权重保持不变，但键值（KV）缓存会随活跃请求和上下文长度增长。随着并发增加，即使算力仍然可用，系统也可能出现可用 GPU 内存不足。在不理解这一瓶颈的情况下增加算力，可能只是让一个低效的系统变得更昂贵。
给技术领导者的启示不止于内存管理：先测量，再优化。找出主导性瓶颈。解决它。测量结果。然后判断是否出现了新的瓶颈。如此重复。
不要把优化技术当作宝可梦卡牌：目标不是集齐所有。目标是应用那种能消除影响最大的瓶颈、同时保持应用业务需求的技术。
对技术领导者而言，这提出了一个不同的治理问题。与其问组织可以部署哪些 AI 能力，不如问哪些约束条件横亘在已验证的能力与可持续的商业价值之间。
为变化而构建，而非为今天的基准测试而构建
也许投资服务框架最重要的原因是，今天领先的模型很可能不是明天的领先模型。模型会进步。硬件会演进。新的优化技术会涌现。围绕它们的架构应当让这些变化更容易被吸收，而不是迫使企业在技术每次进步时重建其 AI 平台。
这使得适应性成为 AI 战略中日益重要的成果。
围绕工作负载需求、清晰的服务级别目标和可衡量的生产经济性来构建服务系统的组织，能够根据业务实际需要来评估新模型和基础设施。模型变更可以成为一项评估和配置决策，而不是一次架构重置。
EXL 的研究人员在 EXL Engineering the Harness 系列中更深入地探讨了这些生产挑战。该系列考察了服务架构、内存管理、调度和推理优化如何协同工作，使企业 AI 更高效、更可扩展、在经济上更可持续。
越来越多的企业能够获得许多相同的模型。可持续的差异化来自组织如何有效地将这种智能转化为业务成果。
模型提供智能。服务框架决定企业能否可靠、经济且大规模地交付成果。
本内容由 EXL 制作。它并非由 MIT Technology Review 的编辑人员撰写。