Official AI infrastructure blog; confirm reuse terms before full body display.
Modal团队深入介绍了其新型超低延迟Serverless Servers的设计原理和实现细节，该服务针对LLM推理等对延迟敏感的应用进行了优化。文章解释了为何选择构建自己的代理层fprs，以及如何通过Pingora库、Envoy边缘代理和Spanner全局数据库实现无网络调用热路径、动态域名关联和自动缩放。
Modal与Decagon合作，利用推测解码将推理延迟降低100毫秒，超越了专有推理提供商。本文详细介绍了通过优化通信延迟、主机开销、预填充延迟和解码延迟来实现低延迟的完整策略，并重点展示了为特定应用定制推测模型（DFlash技术）如何带来显著性能提升。
Modal 推出 Auto Endpoints，一个自服务的生产级 LLM 推理入口，让用户通过单一命令行即可部署前沿开放模型，并完全掌控推理代码、指标和基础设施。该服务基于 Modal 的 AI 基础设施平台，提供高性能自动扩缩、自定义容器运行时和全球 GPU 资源，并通过 Modal Servers 实现超低延迟路由（5ms 开销）。预调优的推理方案源自与顶级团队的合作经验，并采用 DFlash 投机解码加速。未来将实现推理工程全自动化。
Modal团队全面推崇投机解码技术，认为它是当前最关键的高交互推理优化手段，能带来2-3倍甚至更高的加速效果。他们与Z Lab合作训练了针对Qwen系列模型的最先进DFlash投机解码器，额外提升5-20%的速度，并强调了投机解码在长上下文任务中的优势。本文详细解释了投机解码的原理、与传统优化的对比，以及通过模拟和数学模型展示的加速效果。
本文探讨了强化学习在大型语言模型后训练中的实际应用，指出当前的瓶颈并非算法而是基础设施。Modal分享了大规模运行RL后训练的经验，介绍了其开源库如何帮助团队解决多节点训练、环境管理和GPU利用率等关键问题。
Modal 为 Teams 和 Enterprise 用户推出了基于角色的访问控制（RBAC），围绕环境（Environments）构建，支持精细权限管理，确保智能体和人类的安全协作。
Modal 公司宣布完成3.55亿美元C轮融资，估值达46.5亿美元，由 General Catalyst 和 Redpoint 领投。自去年9月以来，公司收入增长五倍，年化收入突破3亿美元。Modal 是为AI工作负载量身打造的云平台，提供低延迟弹性推理、动态智能体运行时、强化学习和大规模批处理等原生能力。本轮融资将用于进一步投资低延迟推理、训练-推理闭环以及智能体计算层。
Applied Compute 使用强化学习为企业（如 DoorDash、Cognition、Mercor）训练定制 AI 代理，并在 Modal 上运行。其核心理念是“特定智能”：通过专有数据训练，每次使用都能改进。本文介绍了他们的 RL 训练循环、基础设施选择以及 Modal 如何提供灵活性、性能和可靠性。
Anthropic与Modal宣布推出Claude托管代理与Modal Sandboxes的集成，允许开发者在自己托管的可定制沙盒中运行工具调用，具有快速启动、成本效益和可扩展性。早期采用者包括Mason AI、DoorDash和Blend。
Modal 通过四项关键技术优化，将 GPU 推理服务器实例的启动时间从数十分钟缩短到几十秒，实现了真正的无服务器 GPU。
Modal团队通过分析SGLang调度器的性能瓶颈，发现频繁的CUDA IPC池句柄重新打开操作导致主机开销过高。他们通过一个简单的Python字典缓存替换了重复操作，在Qwen2.5-VL-3B模型上实现了吞吐量提升16.2%、延迟降低超10%的效果。该优化已合并至SGLang v0.5.10版本。
AE Studio利用Modal平台，通过进化策略（ES）和GRPO两种强化学习方法训练语言模型进行数学定理证明。他们使用Lean验证器，并借助Modal的并行GPU、沙盒隔离和卷存储功能高效运行实验。结果显示ES在某些场景下媲美甚至超越GRPO，且成本显著降低。
Modal成为OpenAI Agents SDK的官方沙箱提供商。本文展示了如何从零开始构建自定义的编码代理框架，集成Modal沙箱以实现安全、并行和可扩展的自动化任务，以Parameter Golf挑战为例。
Modal与Autoresearch集成，提供弹性GPU扩展，使AI智能体能够动态调配计算资源。在Parameter Golf挑战中，一个智能体在238个GPU小时内运行了113个实验，与单个工作站相比实现了5倍加速，同时仅使用了专用集群资源的一小部分。
Modal 宣布收购 AI 沙箱技术公司 Butter，其创始人 Erik Dunteman 和研究员 Raymond Tana 将加入 Modal 沙箱团队。Butter 在代理工程领域经验丰富，最近用 Zig 语言开发了轻量级临时沙箱 bVisor。此次收购旨在加强 Modal 沙箱产品的能力。
Physical Intelligence 使用 Modal 平台，通过基于 QUIC 的专业传输协议，实现了低延迟的机器人远程实时推理，仅增加 10-15 毫秒网络开销，并能灵活扩展至更大模型。
Modal 发布多项产品更新，包括 NVIDIA RTX Pro 6000 Blackwell GPU 支持、Dashboard 命令面板 Command K、Sandbox 文件系统 API Beta、SDK 改进以及多个客户案例与社区内容。
Runway 与 Modal 合作，利用 Modal 的无服务器计算平台为 Runway Characters 提供实时视频推理。Runway Characters 是一个实时视频代理 API，可从单张图像生成可定制的数字角色，无需微调。该技术已应用于多个领域，包括客户支持、内部培训等。Modal 的基础设施使 Runway 能够在 30 天内从概念验证到生产，并支持全球低延迟部署。
Doppel是一家AI网络安全平台，通过迁移至Modal，显著提升了模型训练和推理的效率。训练方面，实现了并行实验，缩短了反馈循环；推理方面，简化了部署流程，实现了自动伸缩，降低了运维成本。
二月份产品更新摘要：推出目录快照功能，提供免费GLM-5端点，改进了计费可见性（新UI和API），SDK更新（变更日志命令、仪表板URL等），以及关于Sandbox的网络研讨会和AI研究案例。