Gemma 4 是 Google 旗下 Gemma 系列的最新成員，代表新一代開源權重、原生多模態語言模型。該技術報告於 2026 年 7 月 2 日提交至 arXiv，由 Gemma 團隊（包括 Sherif El Abd 等 300 位作者）完成，共 17 頁、2 幅圖。報告詳細介紹了模型架構、訓練策略和效能表現，展示了 Gemma 4 在計算效率和推理能力上的重大進步。
Gemma 4 模型套件涵蓋了從 2.3B 到 31B 引數的不同規模，包括密集（dense）和混合專家（Mixture-of-Experts, MoE）兩種架構。這種多樣性旨在兼顧計算效率與推理能力，為不同應用場景提供靈活選擇。所有尺寸的模型均配備了改進的視覺和音訊編碼器，能夠更有效地處理多模態輸入。特別值得注意的是，12B 引數模型採用了一種統一的無編碼器架構，能夠直接處理原始音訊和影像塊，無需單獨的編碼器模組。這種設計簡化了模型結構，可能帶來更高效的推理。
一個關鍵的創新是整合了“思考模式”（thinking mode）。該模式允許模型在生成最終響應之前，先產生一系列推理軌跡。這種機制有助於提高複雜問題的推理準確性，使模型能夠進行更深入的思考，類似於人類在作答前的推理過程。
在工程最佳化方面，Gemma 4 透過關鍵設計選擇提升了推理速度、記憶體佔用和計算效率，同時擴充套件了長上下文處理能力。這些改進使得模型能夠更高效地處理大規模資料，適用於需要長距離依賴的任務。具體來說，模型在推理時採用了更優的快取機制和注意力演算法，從而在保持效能的同時降低資源消耗。
效能上，Gemma 4 在 STEM（科學、技術、工程和數學）領域、多模態任務以及長上下文基準測試中均取得了顯著進步。報告指出，該模型在人工評估任務中與更大的前沿開放模型不相上下，展現了其強大的競爭力。例如，在數學推理、程式碼生成和影像理解等任務上，Gemma 4 達到了與更大模型相當的水平，這表明其架構設計和訓練策略的有效性。
這一技術報告的釋出為開放模型社群提供了重要的技術參考，有望推動多模態 AI 研究的發展。Gemma 4 的多種尺寸和架構選擇，加上其突出的效能，使其成為研究人員和工程師的有力工具。