Groq Blog

AI 服務暫時不可用，以下為來源摘要，待恢復後補全翻譯：We are thrilled to announce that Groq will be among the first adopters of NVIDIA Groq 3 LPX, boosting inference token generation for NVIDIA Vera Rubin NVL72 which it will deploy to its purpose-built AI inference cloud.…

AI 服務暫時不可用，以下為來源摘要，待恢復後補全翻譯：Llama 3 Now Available to Developers via GroqChat and GroqCloud™ Here’s what’s happened in the last 36 hours: April 18th, Noon: Meta releases versions of its latest Large Language Model (LLM), Llama 3. April 19th, Midnig…

AI 服務暫時不可用，以下為來源摘要，待恢復後補全翻譯：Jonathan Ross, CEO and Founder of Groq, and Tareq Amin, CEO of Aramco Digital, a subsidiary of Saudi Aramco, proudly announced their partnership to build the largest AI inference data center in Saudi Arabia. The data ce…

AI 服務暫時不可用，以下為來源摘要，待恢復後補全翻譯：What is Context Length? As businesses look to leverage Large Language Models (LLMs) for conversational AI, generative AI, and analytics, a crucial factor often gets overlooked: context length, also known as context wind…

AI 服務暫時不可用，以下為來源摘要，待恢復後補全翻譯：This blog is adapted from an original post by Groq CEO and Founder, Jonathan Ross. If Large Language Models (LLMs) are the printing press of the Generative AI age, then what’s next? What will be the AI equivalent of the…

AI 服務暫時不可用，以下為來源摘要，待恢復後補全翻譯：The rapidly evolving field of Artificial Intelligence (AI) has led to significant advancements in Machine Learning (ML), with "inference" emerging as a crucial concept. But what exactly is inference, and how does it wor…

AI 服務暫時不可用，以下為來源摘要，待恢復後補全翻譯：Today, one year this week since we launched GroqCloud, we're celebrating the one million developers who are now on GroqCloud! In just a year this community of builders, makers, and innovators have shipped incredible app…

AI 服務暫時不可用，以下為來源摘要，待恢復後補全翻譯：Overview Groq LPU™ AI Inference Technology Groq builds fast AI inference. Groq® LPU™ AI inference technology delivers exceptional AI compute speed, quality, and affordability at scale. Groq AI inference infrastructure,…

AI 服務暫時不可用，以下為來源摘要，待恢復後補全翻譯：GroqCloud™ provides fast inference for complex AI solutions that require instant responsiveness. But what happens when your use cases expand and require features beyond speed? That’s where Batch Processing comes in –now…

AI 服務暫時不可用，以下為來源摘要，待恢復後補全翻譯：You know Groq runs small models. But did you know we run large models including MoE uniquely well? Here’s why. The Evolution of Advanced Openly-Available LLMs There’s no argument that Artificial intelligence (AI) has ex…

AI 服務暫時不可用，以下為來源摘要，待恢復後補全翻譯：Appointment supports Groq’s global expansion and growing AI inference demand Mountain View, Calif. — September 22, 2025 — Groq, the global pioneer in AI inference, today announced the appointment of Simon Edwards as Chi…

GroqCloud宣佈其遠程模型上下文協議（MCP）服務器集成功能已進入Beta階段，開發者可無縫連接外部工具，實現更快、更低成本的AI應用。該功能兼容OpenAI API，支持零代碼遷移。

Groq宣佈對其GPT-OSS模型進行兩項重要更新：降低價格和推出提示緩存功能，旨在提升AI推理的成本效益和速度。降價立即生效，並追溯至2025年10月所有未付款發票。提示緩存可帶來高達50%的緩存令牌折扣、更低的延遲以及更高的速率限制，且無需任何配置。

本文基於實踐經驗，介紹如何將開源LLM可靠地集成到產品中。核心是四步循環：讀取（僅取必要上下文）、約束（明確系統和格式規則）、執行（結構化輸出、函數調用或純文本）、解釋（向用户展示步驟和引用）。還涵蓋常見模式（路由器、提取器、翻譯器等）、安全發佈（測試、監控、回退）及常見陷阱。目標是打造用户無感知、可靠的AI特性。

GroqCloud 宣佈即日起支持 OpenAI 最新開源安全模型 GPT-OSS-Safeguard-20B，提供超過 1000 t/s 的推理速度。該模型專為安全分類工作負載設計，支持用户自定義策略、可配置推理力度及完整推理軌跡，適用於企業文檔掃描、AI 聊天機器人、政策審計和用户生成內容平台等場景。定價與基礎 GPT-OSS-20B 相同，輸入 token $0.075/M，輸出 token $0.30/M。

Groq 宣佈在 GroqCloud 上推出 MCP 連接器測試版，率先支持 Google Workspace（Gmail、雲端硬盤和日曆）。這些預建的 MCP 服務器由 Groq 託管，使 AI 代理能夠通過 Responses API 與 Google 工具交互，而無需管理自己的 MCP 服務器。

Groq 憑藉其 LPU 芯片的確定性、低延遲推理和線性擴展能力，被 Gartner 評為 2025 年 AI 基礎架構領域的酷供應商。超過 250 萬開發者使用 Groq，其性能比 GPU 快 5 倍且成本更低。

文章討論了美國在人工智能計算領域的領導地位，特別是推理計算的重要性，以及如何通過出口政策維持優勢。強調了市場驅動的生態系統和行業聯盟的作用，建議採用靈活的多模型框架。

GroqCloud正在全球擴展其AI推理基礎設施，以應對實時應用從實驗轉向生產帶來的需求增長。最近在英國新建的數據中心，與Equinix合作，為歐洲開發者和企業提供低延遲、高性能的推理服務。GroqCloud現已擁有超過350萬開發者，生產流量持續增長。

Groq 的 LPU 是專為推理設計的硬件，通過 TruePoint 數字、SRAM 存儲、靜態調度和實時張量並行等技術，在不犧牲精度的情況下實現超低延遲推理。Moonshot 的 Kimi K2 模型在 Groq 上以 40 倍性能運行，展示了 LPU 架構的優勢。