Groq Blog

AI 服务暂时不可用，以下为来源摘要，待恢复后补全翻译：Llama 3 Now Available to Developers via GroqChat and GroqCloud™ Here’s what’s happened in the last 36 hours: April 18th, Noon: Meta releases versions of its latest Large Language Model (LLM), Llama 3. April 19th, Midnig…

AI 服务暂时不可用，以下为来源摘要，待恢复后补全翻译：Jonathan Ross, CEO and Founder of Groq, and Tareq Amin, CEO of Aramco Digital, a subsidiary of Saudi Aramco, proudly announced their partnership to build the largest AI inference data center in Saudi Arabia. The data ce…

AI 服务暂时不可用，以下为来源摘要，待恢复后补全翻译：What is Context Length? As businesses look to leverage Large Language Models (LLMs) for conversational AI, generative AI, and analytics, a crucial factor often gets overlooked: context length, also known as context wind…

AI 服务暂时不可用，以下为来源摘要，待恢复后补全翻译：This blog is adapted from an original post by Groq CEO and Founder, Jonathan Ross. If Large Language Models (LLMs) are the printing press of the Generative AI age, then what’s next? What will be the AI equivalent of the…

AI 服务暂时不可用，以下为来源摘要，待恢复后补全翻译：The rapidly evolving field of Artificial Intelligence (AI) has led to significant advancements in Machine Learning (ML), with "inference" emerging as a crucial concept. But what exactly is inference, and how does it wor…

AI 服务暂时不可用，以下为来源摘要，待恢复后补全翻译：Today, one year this week since we launched GroqCloud, we're celebrating the one million developers who are now on GroqCloud! In just a year this community of builders, makers, and innovators have shipped incredible app…

AI 服务暂时不可用，以下为来源摘要，待恢复后补全翻译：Overview Groq LPU™ AI Inference Technology Groq builds fast AI inference. Groq® LPU™ AI inference technology delivers exceptional AI compute speed, quality, and affordability at scale. Groq AI inference infrastructure,…

AI 服务暂时不可用，以下为来源摘要，待恢复后补全翻译：GroqCloud™ provides fast inference for complex AI solutions that require instant responsiveness. But what happens when your use cases expand and require features beyond speed? That’s where Batch Processing comes in –now…

AI 服务暂时不可用，以下为来源摘要，待恢复后补全翻译：You know Groq runs small models. But did you know we run large models including MoE uniquely well? Here’s why. The Evolution of Advanced Openly-Available LLMs There’s no argument that Artificial intelligence (AI) has ex…

AI 服务暂时不可用，以下为来源摘要，待恢复后补全翻译：Appointment supports Groq’s global expansion and growing AI inference demand Mountain View, Calif. — September 22, 2025 — Groq, the global pioneer in AI inference, today announced the appointment of Simon Edwards as Chi…

GroqCloud宣布其远程模型上下文协议（MCP）服务器集成功能已进入Beta阶段，开发者可无缝连接外部工具，实现更快、更低成本的AI应用。该功能兼容OpenAI API，支持零代码迁移。

Groq宣布对其GPT-OSS模型进行两项重要更新：降低价格和推出提示缓存功能，旨在提升AI推理的成本效益和速度。降价立即生效，并追溯至2025年10月所有未付款发票。提示缓存可带来高达50%的缓存令牌折扣、更低的延迟以及更高的速率限制，且无需任何配置。

本文基于实践经验，介绍如何将开源LLM可靠地集成到产品中。核心是四步循环：读取（仅取必要上下文）、约束（明确系统和格式规则）、执行（结构化输出、函数调用或纯文本）、解释（向用户展示步骤和引用）。还涵盖常见模式（路由器、提取器、翻译器等）、安全发布（测试、监控、回退）及常见陷阱。目标是打造用户无感知、可靠的AI特性。

GroqCloud 宣布即日起支持 OpenAI 最新开源安全模型 GPT-OSS-Safeguard-20B，提供超过 1000 t/s 的推理速度。该模型专为安全分类工作负载设计，支持用户自定义策略、可配置推理力度及完整推理轨迹，适用于企业文档扫描、AI 聊天机器人、政策审计和用户生成内容平台等场景。定价与基础 GPT-OSS-20B 相同，输入 token $0.075/M，输出 token $0.30/M。

Groq 宣布在 GroqCloud 上推出 MCP 连接器测试版，率先支持 Google Workspace（Gmail、云端硬盘和日历）。这些预建的 MCP 服务器由 Groq 托管，使 AI 代理能够通过 Responses API 与 Google 工具交互，而无需管理自己的 MCP 服务器。

Groq 凭借其 LPU 芯片的确定性、低延迟推理和线性扩展能力，被 Gartner 评为 2025 年 AI 基础架构领域的酷供应商。超过 250 万开发者使用 Groq，其性能比 GPU 快 5 倍且成本更低。

文章讨论了美国在人工智能计算领域的领导地位，特别是推理计算的重要性，以及如何通过出口政策维持优势。强调了市场驱动的生态系统和行业联盟的作用，建议采用灵活的多模型框架。

GroqCloud正在全球扩展其AI推理基础设施，以应对实时应用从实验转向生产带来的需求增长。最近在英国新建的数据中心，与Equinix合作，为欧洲开发者和企业提供低延迟、高性能的推理服务。GroqCloud现已拥有超过350万开发者，生产流量持续增长。

Groq 的 LPU 是专为推理设计的硬件，通过 TruePoint 数字、SRAM 存储、静态调度和实时张量并行等技术，在不牺牲精度的情况下实现超低延迟推理。Moonshot 的 Kimi K2 模型在 Groq 上以 40 倍性能运行，展示了 LPU 架构的优势。