Modal10/20模型产品发布/更新海外Modal 发布 Sticky Sessions,让同一会话的所有请求固定落在同一个容器上,解决语音转文字、语音 Agent、多人游戏等需要跨请求保持状态的场景。用法是给 Modal Server 加 @modal.sessioned() 装饰器,再通过 SDK 或 HTTP API 开启会话。此前 WebSocket 连接绑定的是 Function input 而非容器,断线重连可能落到不同容器;共享 Affinity-Routing-Key 头只能尽力而为,容器仍可能被缩容替换。Sticky Sessions …
推荐理由做实时语音或长连接推理的开发者可以直接用 @modal.sessioned() 替代 max_containers=1…
Modal10/12模型产品发布/更新海外Modal 发布 Endpoint Candidates 功能,允许为 Dedicated Endpoint 部署候选版本,镜像一部分生产流量做评估,再一键提升为生产。候选可选用 Modal 目录中的开源模型,或从 Hugging Face、Modal Volume 导入自有权重。生产端点继续处理全部原始请求并返回用户看到的响应,候选端点有独立 URL,可跑现有评测看输出质量,仪表盘可查看延迟、吞吐等指标并做压测。底层用基于 Pingora 的代理把请求流分叉到各候选的独立有界缓冲区,缓冲区满则取消该镜像请求,不影…
推荐理由做推理部署的团队可零成本灰度新模型:镜像生产流量对比延迟、吞吐和成本,满意再一键切换。
Modal10/01模型产品发布/更新海外Modal 宣布 VM Sandboxes 正式可用(GA),用户只需一个开关即可获得完整 Linux 虚拟机,保留原有 modal.Sandbox 的 API、modal.Images、亚秒级冷启动和 CPU/内存突发能力,并支持数十万并发 Sandbox。该功能基于 Rust 的 Cloud Hypervisor 自研运行时,叠加宿主机文件系统、镜像懒加载、内存突发和快照等多项改造。早期客户已累计启动超过 2000 万台 VM。Linear 的 Coding Sessions 已全部运行在 VM Sandbox…
推荐理由做 Agent 沙箱的团队可关注:完整 Linux VM + 亚秒冷启动,Linear 已全量上线