Gemma 4 是 Google 旗下 Gemma 系列的最新成員，代表新一代開源權重、原生多模態語言模型。該技術報告於 2026 年 7 月 2 日提交至 arXiv，由 Gemma 團隊（包括 Sherif El Abd 等 300 位作者）完成，共 17 頁、2 幅圖。報告詳細介紹了模型架構、訓練策略和性能表現，展示了 Gemma 4 在計算效率和推理能力上的重大進步。
Gemma 4 模型套件涵蓋了從 2.3B 到 31B 參數的不同規模，包括密集（dense）和混合專家（Mixture-of-Experts, MoE）兩種架構。這種多樣性旨在兼顧計算效率與推理能力，為不同應用場景提供靈活選擇。所有尺寸的模型均配備了改進的視覺和音頻編碼器，能夠更有效地處理多模態輸入。特別值得注意的是，12B 參數模型採用了一種統一的無編碼器架構，能夠直接處理原始音頻和圖像塊，無需單獨的編碼器模塊。這種設計簡化了模型結構，可能帶來更高效的推理。
一個關鍵的創新是集成了“思考模式”（thinking mode）。該模式允許模型在生成最終響應之前，先產生一系列推理軌跡。這種機制有助於提高複雜問題的推理準確性，使模型能夠進行更深入的思考，類似於人類在作答前的推理過程。
在工程優化方面，Gemma 4 通過關鍵設計選擇提升了推理速度、內存佔用和計算效率，同時擴展了長上下文處理能力。這些改進使得模型能夠更高效地處理大規模數據，適用於需要長距離依賴的任務。具體來説，模型在推理時採用了更優的緩存機制和注意力算法，從而在保持性能的同時降低資源消耗。
性能上，Gemma 4 在 STEM（科學、技術、工程和數學）領域、多模態任務以及長上下文基準測試中均取得了顯著進步。報告指出，該模型在人工評估任務中與更大的前沿開放模型不相上下，展現了其強大的競爭力。例如，在數學推理、代碼生成和圖像理解等任務上，Gemma 4 達到了與更大模型相當的水平，這表明其架構設計和訓練策略的有效性。
這一技術報告的發佈為開放模型社區提供了重要的技術參考，有望推動多模態 AI 研究的發展。Gemma 4 的多種尺寸和架構選擇，加上其突出的性能，使其成為研究人員和工程師的有力工具。