Magnitude 发布自优化 Agent 推理引擎,称比 llama.cpp 快 2 倍
YC S25 团队 Magnitude 在 Hacker News 发布面向 Agent 的自优化推理引擎,支持 Mac、Linux、Windows 及任意硬件,官方称速度最高可达 llama.cpp 的 2 倍。两位创始人此前做过一个开源浏览器 Agent,获 4k+ GitHub star、10 万+ 下载,因找不到适合本地模型运行场景的推理引擎而自研。原文正文在此处截断,具体实现与基准测试细节信息有限。
推荐理由做本地 Agent 的可以对比一下:官方称比 llama.cpp 快 2 倍,且跨三平台任意硬件