Groq Blog

GroqCloud宣布其远程模型上下文协议（MCP）服务器集成功能已进入Beta阶段，开发者可无缝连接外部工具，实现更快、更低成本的AI应用。该功能兼容OpenAI API，支持零代码迁移。

Groq宣布对其GPT-OSS模型进行两项重要更新：降低价格和推出提示缓存功能，旨在提升AI推理的成本效益和速度。降价立即生效，并追溯至2025年10月所有未付款发票。提示缓存可带来高达50%的缓存令牌折扣、更低的延迟以及更高的速率限制，且无需任何配置。

本文基于实践经验，介绍如何将开源LLM可靠地集成到产品中。核心是四步循环：读取（仅取必要上下文）、约束（明确系统和格式规则）、执行（结构化输出、函数调用或纯文本）、解释（向用户展示步骤和引用）。还涵盖常见模式（路由器、提取器、翻译器等）、安全发布（测试、监控、回退）及常见陷阱。目标是打造用户无感知、可靠的AI特性。

GroqCloud 宣布即日起支持 OpenAI 最新开源安全模型 GPT-OSS-Safeguard-20B，提供超过 1000 t/s 的推理速度。该模型专为安全分类工作负载设计，支持用户自定义策略、可配置推理力度及完整推理轨迹，适用于企业文档扫描、AI 聊天机器人、政策审计和用户生成内容平台等场景。定价与基础 GPT-OSS-20B 相同，输入 token $0.075/M，输出 token $0.30/M。

Groq 宣布在 GroqCloud 上推出 MCP 连接器测试版，率先支持 Google Workspace（Gmail、云端硬盘和日历）。这些预建的 MCP 服务器由 Groq 托管，使 AI 代理能够通过 Responses API 与 Google 工具交互，而无需管理自己的 MCP 服务器。

Groq 凭借其 LPU 芯片的确定性、低延迟推理和线性扩展能力，被 Gartner 评为 2025 年 AI 基础架构领域的酷供应商。超过 250 万开发者使用 Groq，其性能比 GPU 快 5 倍且成本更低。

文章讨论了美国在人工智能计算领域的领导地位，特别是推理计算的重要性，以及如何通过出口政策维持优势。强调了市场驱动的生态系统和行业联盟的作用，建议采用灵活的多模型框架。

GroqCloud正在全球扩展其AI推理基础设施，以应对实时应用从实验转向生产带来的需求增长。最近在英国新建的数据中心，与Equinix合作，为欧洲开发者和企业提供低延迟、高性能的推理服务。GroqCloud现已拥有超过350万开发者，生产流量持续增长。

Groq 的 LPU 是专为推理设计的硬件，通过 TruePoint 数字、SRAM 存储、静态调度和实时张量并行等技术，在不牺牲精度的情况下实现超低延迟推理。Moonshot 的 Kimi K2 模型在 Groq 上以 40 倍性能运行，展示了 LPU 架构的优势。