Groq Blog

AI 服務暫時不可用，以下為來源摘要，待恢復後補全翻譯：We are thrilled to announce that Groq will be among the first adopters of NVIDIA Groq 3 LPX, boosting inference token generation for NVIDIA Vera Rubin NVL72 which it will deploy to its purpose-built AI inference cloud.…

AI 服務暫時不可用，以下為來源摘要，待恢復後補全翻譯：Llama 3 Now Available to Developers via GroqChat and GroqCloud™ Here’s what’s happened in the last 36 hours: April 18th, Noon: Meta releases versions of its latest Large Language Model (LLM), Llama 3. April 19th, Midnig…

AI 服務暫時不可用，以下為來源摘要，待恢復後補全翻譯：Jonathan Ross, CEO and Founder of Groq, and Tareq Amin, CEO of Aramco Digital, a subsidiary of Saudi Aramco, proudly announced their partnership to build the largest AI inference data center in Saudi Arabia. The data ce…

AI 服務暫時不可用，以下為來源摘要，待恢復後補全翻譯：What is Context Length? As businesses look to leverage Large Language Models (LLMs) for conversational AI, generative AI, and analytics, a crucial factor often gets overlooked: context length, also known as context wind…

AI 服務暫時不可用，以下為來源摘要，待恢復後補全翻譯：This blog is adapted from an original post by Groq CEO and Founder, Jonathan Ross. If Large Language Models (LLMs) are the printing press of the Generative AI age, then what’s next? What will be the AI equivalent of the…

AI 服務暫時不可用，以下為來源摘要，待恢復後補全翻譯：The rapidly evolving field of Artificial Intelligence (AI) has led to significant advancements in Machine Learning (ML), with "inference" emerging as a crucial concept. But what exactly is inference, and how does it wor…

AI 服務暫時不可用，以下為來源摘要，待恢復後補全翻譯：Today, one year this week since we launched GroqCloud, we're celebrating the one million developers who are now on GroqCloud! In just a year this community of builders, makers, and innovators have shipped incredible app…

AI 服務暫時不可用，以下為來源摘要，待恢復後補全翻譯：Overview Groq LPU™ AI Inference Technology Groq builds fast AI inference. Groq® LPU™ AI inference technology delivers exceptional AI compute speed, quality, and affordability at scale. Groq AI inference infrastructure,…

AI 服務暫時不可用，以下為來源摘要，待恢復後補全翻譯：GroqCloud™ provides fast inference for complex AI solutions that require instant responsiveness. But what happens when your use cases expand and require features beyond speed? That’s where Batch Processing comes in –now…

AI 服務暫時不可用，以下為來源摘要，待恢復後補全翻譯：You know Groq runs small models. But did you know we run large models including MoE uniquely well? Here’s why. The Evolution of Advanced Openly-Available LLMs There’s no argument that Artificial intelligence (AI) has ex…

AI 服務暫時不可用，以下為來源摘要，待恢復後補全翻譯：Appointment supports Groq’s global expansion and growing AI inference demand Mountain View, Calif. — September 22, 2025 — Groq, the global pioneer in AI inference, today announced the appointment of Simon Edwards as Chi…

GroqCloud宣佈其遠端模型上下文協議（MCP）伺服器整合功能已進入Beta階段，開發者可無縫連線外部工具，實現更快、更低成本的AI應用。該功能相容OpenAI API，支援零程式碼遷移。

Groq宣佈對其GPT-OSS模型進行兩項重要更新：降低價格和推出提示快取功能，旨在提升AI推理的成本效益和速度。降價立即生效，並追溯至2025年10月所有未付款發票。提示快取可帶來高達50%的快取令牌折扣、更低的延遲以及更高的速率限制，且無需任何配置。

本文基於實踐經驗，介紹如何將開源LLM可靠地整合到產品中。核心是四步迴圈：讀取（僅取必要上下文）、約束（明確系統和格式規則）、執行（結構化輸出、函式呼叫或純文本）、解釋（向使用者展示步驟和引用）。還涵蓋常見模式（路由器、提取器、翻譯器等）、安全釋出（測試、監控、回退）及常見陷阱。目標是打造使用者無感知、可靠的AI特性。

GroqCloud 宣佈即日起支援 OpenAI 最新開源安全模型 GPT-OSS-Safeguard-20B，提供超過 1000 t/s 的推理速度。該模型專為安全分類工作負載設計，支援使用者自定義策略、可配置推理力度及完整推理軌跡，適用於企業文件掃描、AI 聊天機器人、政策審計和使用者生成內容平臺等場景。定價與基礎 GPT-OSS-20B 相同，輸入 token $0.075/M，輸出 token $0.30/M。

Groq 宣佈在 GroqCloud 上推出 MCP 聯結器測試版，率先支援 Google Workspace（Gmail、雲端硬碟和日曆）。這些預建的 MCP 伺服器由 Groq 託管，使 AI 代理能夠透過 Responses API 與 Google 工具互動，而無需管理自己的 MCP 伺服器。

Groq 憑藉其 LPU 晶片的確定性、低延遲推理和線性擴充套件能力，被 Gartner 評為 2025 年 AI 基礎架構領域的酷供應商。超過 250 萬開發者使用 Groq，其效能比 GPU 快 5 倍且成本更低。

文章討論了美國在人工智慧計算領域的領導地位，特別是推理計算的重要性，以及如何透過出口政策維持優勢。強調了市場驅動的生態系統和行業聯盟的作用，建議採用靈活的多模型框架。

GroqCloud正在全球擴充套件其AI推理基礎設施，以應對即時應用從實驗轉向生產帶來的需求增長。最近在英國新建的資料中心，與Equinix合作，為歐洲開發者和企業提供低延遲、高效能的推理服務。GroqCloud現已擁有超過350萬開發者，生產流量持續增長。

Groq 的 LPU 是專為推理設計的硬體，透過 TruePoint 數字、SRAM 儲存、靜態排程和即時張量並行等技術，在不犧牲精度的情況下實現超低延遲推理。Moonshot 的 Kimi K2 模型在 Groq 上以 40 倍效能執行，展示了 LPU 架構的優勢。