Official AI infrastructure blog; confirm reuse terms before full body display.
Modal團隊深入介紹了其新型超低延遲Serverless Servers的設計原理和實現細節，該服務針對LLM推理等對延遲敏感的應用進行了最佳化。文章解釋了為何選擇構建自己的代理層fprs，以及如何透過Pingora庫、Envoy邊緣代理和Spanner全域性資料庫實現無網路呼叫熱路徑、動態域名關聯和自動縮放。
Modal與Decagon合作，利用推測解碼將推理延遲降低100毫秒，超越了專有推理提供商。本文詳細介紹了透過最佳化通訊延遲、主機開銷、預填充延遲和解碼延遲來實現低延遲的完整策略，並重點展示了為特定應用定製推測模型（DFlash技術）如何帶來顯著效能提升。
Modal 推出 Auto Endpoints，一個自服務的生產級 LLM 推理入口，讓使用者透過單一命令列即可部署前沿開放模型，並完全掌控推理程式碼、指標和基礎設施。該服務基於 Modal 的 AI 基礎設施平臺，提供高效能自動擴縮、自定義容器執行時和全球 GPU 資源，並透過 Modal Servers 實現超低延遲路由（5ms 開銷）。預調優的推理方案源自與頂級團隊的合作經驗，並採用 DFlash 投機解碼加速。未來將實現推理工程全自動化。
Modal團隊全面推崇投機解碼技術，認為它是當前最關鍵的高互動推理最佳化手段，能帶來2-3倍甚至更高的加速效果。他們與Z Lab合作訓練了針對Qwen系列模型的最先進DFlash投機解碼器，額外提升5-20%的速度，並強調了投機解碼在長上下文任務中的優勢。本文詳細解釋了投機解碼的原理、與傳統最佳化的對比，以及透過模擬和數學模型展示的加速效果。
本文探討了強化學習在大型語言模型後訓練中的實際應用，指出當前的瓶頸並非演算法而是基礎設施。Modal分享了大規模執行RL後訓練的經驗，介紹了其開源庫如何幫助團隊解決多節點訓練、環境管理和GPU利用率等關鍵問題。
Modal 為 Teams 和 Enterprise 使用者推出了基於角色的訪問控制（RBAC），圍繞環境（Environments）構建，支援精細許可權管理，確保智慧體和人類的安全協作。
Modal 公司宣佈完成3.55億美元C輪融資，估值達46.5億美元，由 General Catalyst 和 Redpoint 領投。自去年9月以來，公司收入增長五倍，年化收入突破3億美元。Modal 是為AI工作負載量身打造的雲平臺，提供低延遲彈性推理、動態智慧體執行時、強化學習和大規模批處理等原生能力。本輪融資將用於進一步投資低延遲推理、訓練-推理閉環以及智慧體計算層。
Applied Compute 使用強化學習為企業（如 DoorDash、Cognition、Mercor）訓練定製 AI 代理，並在 Modal 上執行。其核心理念是“特定智慧”：透過專有資料訓練，每次使用都能改進。本文介紹了他們的 RL 訓練迴圈、基礎設施選擇以及 Modal 如何提供靈活性、效能和可靠性。
Anthropic與Modal宣佈推出Claude託管代理與Modal Sandboxes的整合，允許開發者在自己託管的可定製沙盒中執行工具呼叫，具有快速啟動、成本效益和可擴充套件性。早期採用者包括Mason AI、DoorDash和Blend。
Modal 透過四項關鍵技術最佳化，將 GPU 推理伺服器例項的啟動時間從數十分鐘縮短到幾十秒，實現了真正的無伺服器 GPU。
Modal團隊透過分析SGLang排程器的效能瓶頸，發現頻繁的CUDA IPC池控制代碼重新開啟操作導致主機開銷過高。他們透過一個簡單的Python字典快取替換了重複操作，在Qwen2.5-VL-3B模型上實現了吞吐量提升16.2%、延遲降低超10%的效果。該最佳化已合併至SGLang v0.5.10版本。
AE Studio利用Modal平臺，透過進化策略（ES）和GRPO兩種強化學習方法訓練語言模型進行數學定理證明。他們使用Lean驗證器，並藉助Modal的並行GPU、沙盒隔離和卷儲存功能高效執行實驗。結果顯示ES在某些場景下媲美甚至超越GRPO，且成本顯著降低。
Modal成為OpenAI Agents SDK的官方沙箱提供商。本文展示瞭如何從零開始構建自定義的編碼代理框架，整合Modal沙箱以實現安全、並行和可擴充套件的自動化任務，以Parameter Golf挑戰為例。
Modal與Autoresearch整合，提供彈性GPU擴充套件，使AI智慧體能夠動態調配計算資源。在Parameter Golf挑戰中，一個智慧體在238個GPU小時內執行了113個實驗，與單個工作站相比實現了5倍加速，同時僅使用了專用叢集資源的一小部分。
Modal 宣佈收購 AI 沙箱技術公司 Butter，其創始人 Erik Dunteman 和研究員 Raymond Tana 將加入 Modal 沙箱團隊。Butter 在代理工程領域經驗豐富，最近用 Zig 語言開發了輕量級臨時沙箱 bVisor。此次收購旨在加強 Modal 沙箱產品的能力。
Physical Intelligence 使用 Modal 平臺，透過基於 QUIC 的專業傳輸協議，實現了低延遲的機器人遠端即時推理，僅增加 10-15 毫秒網路開銷，並能靈活擴充套件至更大模型。
Modal 釋出多項產品更新，包括 NVIDIA RTX Pro 6000 Blackwell GPU 支援、Dashboard 命令面板 Command K、Sandbox 檔案系統 API Beta、SDK 改進以及多個客戶案例與社群內容。
Runway 與 Modal 合作，利用 Modal 的無伺服器計算平臺為 Runway Characters 提供即時影片推理。Runway Characters 是一個即時影片代理 API，可從單張影像生成可定製的數字角色，無需微調。該技術已應用於多個領域，包括客戶支援、內部培訓等。Modal 的基礎設施使 Runway 能夠在 30 天內從概念驗證到生產，並支援全球低延遲部署。
Doppel是一家AI網路安全平臺，透過遷移至Modal，顯著提升了模型訓練和推理的效率。訓練方面，實現了並行實驗，縮短了反饋迴圈；推理方面，簡化了部署流程，實現了自動伸縮，降低了運維成本。
二月份產品更新摘要：推出目錄快照功能，提供免費GLM-5端點，改進了計費可見性（新UI和API），SDK更新（變更日誌命令、儀表板URL等），以及關於Sandbox的網路研討會和AI研究案例。