Groq Blog

GroqCloud宣佈其遠端模型上下文協議（MCP）伺服器整合功能已進入Beta階段，開發者可無縫連線外部工具，實現更快、更低成本的AI應用。該功能相容OpenAI API，支援零程式碼遷移。

Groq宣佈對其GPT-OSS模型進行兩項重要更新：降低價格和推出提示快取功能，旨在提升AI推理的成本效益和速度。降價立即生效，並追溯至2025年10月所有未付款發票。提示快取可帶來高達50%的快取令牌折扣、更低的延遲以及更高的速率限制，且無需任何配置。

本文基於實踐經驗，介紹如何將開源LLM可靠地整合到產品中。核心是四步迴圈：讀取（僅取必要上下文）、約束（明確系統和格式規則）、執行（結構化輸出、函式呼叫或純文本）、解釋（向使用者展示步驟和引用）。還涵蓋常見模式（路由器、提取器、翻譯器等）、安全釋出（測試、監控、回退）及常見陷阱。目標是打造使用者無感知、可靠的AI特性。

GroqCloud 宣佈即日起支援 OpenAI 最新開源安全模型 GPT-OSS-Safeguard-20B，提供超過 1000 t/s 的推理速度。該模型專為安全分類工作負載設計，支援使用者自定義策略、可配置推理力度及完整推理軌跡，適用於企業文件掃描、AI 聊天機器人、政策審計和使用者生成內容平臺等場景。定價與基礎 GPT-OSS-20B 相同，輸入 token $0.075/M，輸出 token $0.30/M。

Groq 宣佈在 GroqCloud 上推出 MCP 聯結器測試版，率先支援 Google Workspace（Gmail、雲端硬碟和日曆）。這些預建的 MCP 伺服器由 Groq 託管，使 AI 代理能夠透過 Responses API 與 Google 工具互動，而無需管理自己的 MCP 伺服器。

Groq 憑藉其 LPU 晶片的確定性、低延遲推理和線性擴充套件能力，被 Gartner 評為 2025 年 AI 基礎架構領域的酷供應商。超過 250 萬開發者使用 Groq，其效能比 GPU 快 5 倍且成本更低。

文章討論了美國在人工智慧計算領域的領導地位，特別是推理計算的重要性，以及如何透過出口政策維持優勢。強調了市場驅動的生態系統和行業聯盟的作用，建議採用靈活的多模型框架。

GroqCloud正在全球擴充套件其AI推理基礎設施，以應對即時應用從實驗轉向生產帶來的需求增長。最近在英國新建的資料中心，與Equinix合作，為歐洲開發者和企業提供低延遲、高效能的推理服務。GroqCloud現已擁有超過350萬開發者，生產流量持續增長。

Groq 的 LPU 是專為推理設計的硬體，透過 TruePoint 數字、SRAM 儲存、靜態排程和即時張量並行等技術，在不犧牲精度的情況下實現超低延遲推理。Moonshot 的 Kimi K2 模型在 Groq 上以 40 倍效能執行，展示了 LPU 架構的優勢。