我认为标题已经完整表达了核心意思，但我还是要深入展开一下，毕竟这不是 Twitter。
你正在琢磨一个想法、写一段代码，或者做一个每年营收数十亿美元的 SaaS 应用——它大概正在拯救世界。也许你正在自动化抓取 Labubu 新品发布图片的克隆流程，把 2D 图像用 ComfyUI 转成 3D CAD，好让仿制品生产更快启动，因为春节快到了，全球制造业在那段时间会停摆。也许你只是喜欢花 token 去查询人类有史以来最强大的软件，来获取 McRib 之类东西的宏量营养素信息。
你很可能是在和某种前端界面聊天，它绑定着你所选服务商的付费订阅。TUI、GUI、语音通话，随便什么形式。你的数据进去，他们的数据回来给你。这就是他们在卖的东西，我很乐意现在就买单。他们会给你展示类似这样的东西，作为工作发生的证明：
各位，这也太离谱了
那是个干扰项。那不是给工程师用的、带时间序列数据的 token 用量统计。我没法靠这堆垃圾做决策。大实验室们肯定会有有价值的洞察，分享给那些深入 Analytics 面板的好奇用户吧。
我没法靠这堆垃圾做决策。我已经听到你在说了，“有 OTel 导出选项啊！！1！”。行吧，大概吧。这是一个理由，下面还有我此刻随手就能想到的 5 个：
- 多服务商、多模型，汇聚在你控制的单一端点
- 记录哪个密钥在什么时间用哪个客户端调用了哪个模型，以及其状态
- 用虚拟 API 密钥，别再把你那唯一的密钥到处撒在你的工作、智能体和 harness 上
- 这是你自己掌控的基础设施
- 你可以极快地切换模型和服务商，而不用把一切重新配置一遍（大概又是第三次了吧）
我不会给你推荐用哪家代理服务商，只建议你自己在你能控制的地方跑一个。选好之后，别忘了你可以按自己的实际需求去改它。我改过自己的，为了更好的洞察、自定义 MCP 服务器端点、额外功能。无论你选什么，你都应该能拿到类似这样的数据。
在编码会话中遇到缓存未命中时，我可以手动在 20 秒内定位原因。我还没有把它自动化，但我用的代理有 API，所以自动化是可行的。
掌控你自己的基础设施、应用可见性、数据路径和存储。我在家里这么做是因为它有趣，也是我喜欢的学习方式。我在工作中这么做是因为如果不这么做，我就没有尽到职责。我可能永远无法完全理解大型语言模型到底是怎么运作的，以至于能在面试中把它画在白板上讲清楚。但我能把它驯服下来，并确保它在提供推理服务时被充分监控。