Modal10/20模型产品发布/更新海外Modal 发布 Sticky Sessions,让同一会话的所有请求固定落在同一个容器上,解决语音转文字、语音 Agent、多人游戏等需要跨请求保持状态的场景。用法是给 Modal Server 加 @modal.sessioned() 装饰器,再通过 SDK 或 HTTP API 开启会话。此前 WebSocket 连接绑定的是 Function input 而非容器,断线重连可能落到不同容器;共享 Affinity-Routing-Key 头只能尽力而为,容器仍可能被缩容替换。Sticky Sessions …
推荐理由做实时语音或长连接推理的开发者可以直接用 @modal.sessioned() 替代 max_containers=1…
Techmeme10/14资讯行业动态海外AI 基础设施初创公司 Modal 完成 7.5 亿美元 D 轮融资,由 Accel 领投,投后估值 157.5 亿美元,累计融资额达 12 亿美元。公司同时披露年度经常性收入(ARR)已突破 10 亿美元。Modal 总部位于美国,为 AI 模型训练与推理提供云端基础设施。
推荐理由ARR 破 10 亿美元、估值 157.5 亿,看 AI 云基础设施赛道估值锚点可参考
Modal10/14资讯行业动态海外AI 基础设施公司 Modal 宣布年化收入(ARR)突破 10 亿美元,并完成 7.5 亿美元 D 轮融资。距其 C 轮仅 5 个月,期间使用量增长 3 倍,同比增长超 15 倍。客户包括 DoorDash、Cognition、Ramp、Linear、Hebbia、Runway、Physical Intelligence、1X 等;TypeSafe AI 的 Jev 上线前三天在 Modal 上处理了 1 万亿 token。Modal 自建文件系统、容器运行时、调度器和网络,算力池覆盖 20 多个云。
推荐理由AI 基础设施需求仍在爆发,1 万亿 token/3 天这类数字能帮判断推理算力消耗量级
Modal10/12模型产品发布/更新海外Modal 发布 Endpoint Candidates 功能,允许为 Dedicated Endpoint 部署候选版本,镜像一部分生产流量做评估,再一键提升为生产。候选可选用 Modal 目录中的开源模型,或从 Hugging Face、Modal Volume 导入自有权重。生产端点继续处理全部原始请求并返回用户看到的响应,候选端点有独立 URL,可跑现有评测看输出质量,仪表盘可查看延迟、吞吐等指标并做压测。底层用基于 Pingora 的代理把请求流分叉到各候选的独立有界缓冲区,缓冲区满则取消该镜像请求,不影…
推荐理由做推理部署的团队可零成本灰度新模型:镜像生产流量对比延迟、吞吐和成本,满意再一键切换。
Modal10/01模型产品发布/更新海外Modal 宣布 VM Sandboxes 正式可用(GA),用户只需一个开关即可获得完整 Linux 虚拟机,保留原有 modal.Sandbox 的 API、modal.Images、亚秒级冷启动和 CPU/内存突发能力,并支持数十万并发 Sandbox。该功能基于 Rust 的 Cloud Hypervisor 自研运行时,叠加宿主机文件系统、镜像懒加载、内存突发和快照等多项改造。早期客户已累计启动超过 2000 万台 VM。Linear 的 Coding Sessions 已全部运行在 VM Sandbox…
推荐理由做 Agent 沙箱的团队可关注:完整 Linux VM + 亚秒冷启动,Linear 已全量上线