機器學習、AI與深度學習研究課題

本文回顧了機器學習、人工智能和深度學習領域的重要研究方向，內容覆蓋從理論到應用的廣泛話題。首先，幾何深度學習探討如何將神經網絡推廣到非歐幾里得空間。文中涉及歐幾里得幾何、羣不變性定理、萬能近似定理、羅森布拉特感知機、維度災難、新認知機和 LeNet-5 等經典概念。軟件 1.0 與 2.0 的區分、圖神經網絡與 Weisfeiler-Lehman 測試、DeepSets 等也被提及。CNN 具有平移等變性，GNN 層具有置換等變性，而圖讀出是置換不變的。幾何深度學習的 5G 框架包括網格、羣、圖、測地線和規範。

在監督學習方面，文章討論了誤差的三個來源：近似誤差、估計誤差和優化誤差，以及經驗風險最小化。誤差分解表明總超額誤差由這三部分組成，並隨模型複雜度變化。最近鄰分類器、近似率、Sobolev 類的維度詛咒、良性優化景觀和 Lipschitz 估計誤差等概念均在文中出現。雙下降現象揭示了誤差隨模型複雜度非單調變化的規律。

圖基礎模型部分涉及知識圖譜 TransE、消息傳遞神經網絡、知識圖譜上的鏈接預測與可遷移性。Transformer 研究仍有眾多空白，例如二次複雜度問題，可通過 LoRA、KV 緩存優化、稀疏或線性注意力、FlashAttention 等技術緩解。固定上下文窗口的限制可通過長上下文訓練、位置編碼縮放、滑動窗口注意力、RAG 等方式解決。歸納偏置的缺乏促使研究者引入局部性、等變性、遞歸或結構化位置編碼。此外，Transformer 在數學推理方面仍面臨困難。

擴散模型與流匹配是生成建模的重要方向。擴散通常採用隨機動力學，流匹配則學習確定性 ODE 向量場，兩者框架可相互重疊。文章還總結了 ML 成功的配方：大規模多樣化數據集、明確的性能標準、退化解空間、合適的假設類與可處理的優化。某些訓練數據空白區域包括簡單算術、排序、恆温器調節和道德推理。在語言建模中，ELMo 利用深層雙向 LSTM 生成上下文嵌入，而 RNN 因時間反向傳播難以並行化。Transformer 通過自注意力、殘差連接、層歸一化和位置編碼解決了這些問題，並支持因果語言建模。

效率技術方面，KV 緩存優化面向推理，4 位量化可顯著減少內存佔用，LoRA 用於參數高效微調，vLLM 等系統提升推理吞吐量。多模態模型如 LLaVA 結合視覺和語言，脈衝神經網絡和狀態空間模型提供了新架構。模型蒸餾和長上下文方法（RoPE、ALiBi）也是研究熱點。在 LLM 基礎上，ABC 縮放、湧現能力、MMLU 基準和思維鏈提示等主題被討論。推理時擴展和智能體系統（如帶記憶檢索工具的 LLM）結合 RAG，增強了問答和推理能力。

圖機器學習領域提出從關係數據庫到關係圖再到圖問題的處理管線。RelBench 提供基準任務，異構 GNN、時序 GNN 和關係深度學習架構用於解決這些問題。GNN 與特徵工程的比較、關係基礎模型 KumoRFM 和 Griffin 等展示了圖神經網絡的進步。圖 Transformer（如 Graphormer、ViT/MLP-Mixer）和譜 GNN 是重要的架構方向。將 LLM 與 GNN 結合，並使用圖 RAG，可減輕幻覺並處理有限的上下文窗口，在基於圖的任務中取得更優性能。

最後，醫學 AI 強調了從模型中心走向系統中心，關注數據隱私、低端設備和邊緣計算。成功指標應改善健康系統性能而非算法新穎性。全球健康應用包括 AI 輔助產科超聲等。文中也提到 LVLM 中的幻覺和數據模型不確定性，提示在安全關鍵領域需要謹慎。