LLM研究論文：2025年列表（7月至12月）

2025年6月，作者曾向付費訂閲者分享了一份精心整理的研究論文列表作為獎勵。為了感謝所有支持者，他再次準備了2025年7月至12月期間標記並分類的有趣研究論文列表。作者強調，他僅瀏覽了這些論文的摘要，實際閲讀的只有一小部分，但他喜歡整理這些列表，因為日後在開展特定項目時可以反覆參考。此外，作者還撰寫了年度LLM回顧文章《2025年LLM現狀：進展、問題與預測》，並於同日發佈。原本打算將論文列表包含在該文章中，但鑑於文章篇幅已經很長，作者決定單獨發佈列表，便於讀者閲讀和日後回顧。

論文列表涵蓋多個類別，每個類別都反映了當前LLM研究的熱點方向。首先是推理模型，包括訓練推理模型、推理時推理策略以及評估與理解推理能力。這一方向旨在提升模型在複雜任務中的邏輯推理能力，是通往更強人工智能的關鍵路徑。其次，其他強化學習方法針對LLM的特定需求進行優化，例如通過人類反饋或自我對弈來改進模型行為。推理時擴展方法則着眼於在生成階段通過更多計算資源換取更高質量輸出，如思維鏈（CoT）和自一致性技術。模型發佈與技術報告類別收錄了各大機構最新研發的LLM及其詳細技術細節，為社區提供了基準和參考。架構方面的工作探索了新的網絡結構，如高效注意力機制和稀疏激活模型，以降低計算成本。高效訓練技術聚焦於數據效率、模型並行和分佈式訓練策略，使大模型訓練更可行。基於擴散的語言模型是新興方向，借鑑圖像生成的成功經驗，以逐步去噪的方式生成文本。多模態與視覺語言模型將文本與圖像、視頻等模態結合，推動跨模態理解與生成。數據與預訓練數據集類別則關注數據質量、多樣性及預處理方法，認為優質數據是模型成功的基石。

通過這份精心編排的列表，研究人員和工程師可以快速定位自己感興趣的領域，跟蹤最新進展，並在實際項目中加以利用。作者表示，他經常在開展新項目時回頭查閲這些列表，相信對讀者也會有同樣的幫助。這份列表不僅是對支持者的回饋，也展示了LLM領域在短短半年內的豐富研究成果，對未來模型選型、產品能力提升和評測基準的設計都具有重要參考價值。