LLM研究論文：2025年列表（7月至12月）

2025年6月，作者曾向付費訂閱者分享了一份精心整理的研究論文列表作為獎勵。為了感謝所有支持者，他再次準備了2025年7月至12月期間標記並分類的有趣研究論文列表。作者強調，他僅瀏覽了這些論文的摘要，實際閱讀的只有一小部分，但他喜歡整理這些列表，因為日後在開展特定專案時可以反覆參考。此外，作者還撰寫了年度LLM回顧文章《2025年LLM現狀：進展、問題與預測》，並於同日釋出。原本打算將論文列表包含在該文章中，但鑑於文章篇幅已經很長，作者決定單獨釋出列表，便於讀者閱讀和日後回顧。

論文列表涵蓋多個類別，每個類別都反映了當前LLM研究的熱點方向。首先是推理模型，包括訓練推理模型、推理時推理策略以及評估與理解推理能力。這一方向旨在提升模型在複雜任務中的邏輯推理能力，是通往更強人工智慧的關鍵路徑。其次，其他強化學習方法針對LLM的特定需求進行最佳化，例如透過人類反饋或自我對弈來改進模型行為。推理時擴充套件方法則著眼於在生成階段透過更多計算資源換取更高質量輸出，如思維鏈（CoT）和自一致性技術。模型釋出與技術報告類別收錄了各大機構最新研發的LLM及其詳細技術細節，為社群提供了基準和參考。架構方面的工作探索了新的網路結構，如高效注意力機制和稀疏啟用模型，以降低計算成本。高效訓練技術聚焦於資料效率、模型並行和分散式訓練策略，使大模型訓練更可行。基於擴散的語言模型是新興方向，借鑑影像生成的成功經驗，以逐步去噪的方式生成文本。多模態與視覺語言模型將文本與影像、影片等模態結合，推動跨模態理解與生成。資料與預訓練資料集類別則關注資料質量、多樣性及預處理方法，認為優質資料是模型成功的基石。

透過這份精心編排的列表，研究人員和工程師可以快速定位自己感興趣的領域，跟蹤最新進展，並在實際專案中加以利用。作者表示，他經常在開展新專案時回頭查閱這些列表，相信對讀者也會有同樣的幫助。這份列表不僅是對支持者的回饋，也展示了LLM領域在短短半年內的豐富研究成果，對未來模型選型、產品能力提升和評測基準的設計都具有重要參考價值。