機器學習、AI與深度學習研究課題

本文回顧了機器學習、人工智慧和深度學習領域的重要研究方向，內容覆蓋從理論到應用的廣泛話題。首先，幾何深度學習探討如何將神經網路推廣到非歐幾里得空間。文中涉及歐幾里得幾何、群不變性定理、萬能近似定理、羅森布拉特感知機、維度災難、新認知機和 LeNet-5 等經典概念。軟體 1.0 與 2.0 的區分、圖神經網路與 Weisfeiler-Lehman 測試、DeepSets 等也被提及。CNN 具有平移等變性，GNN 層具有置換等變性，而圖讀出是置換不變的。幾何深度學習的 5G 框架包括網格、群、圖、測地線和規範。

在監督學習方面，文章討論了誤差的三個來源：近似誤差、估計誤差和最佳化誤差，以及經驗風險最小化。誤差分解表明總超額誤差由這三部分組成，並隨模型複雜度變化。最近鄰分類器、近似率、Sobolev 類的維度詛咒、良性最佳化景觀和 Lipschitz 估計誤差等概念均在文中出現。雙下降現象揭示了誤差隨模型複雜度非單調變化的規律。

圖基礎模型部分涉及知識圖譜 TransE、訊息傳遞神經網路、知識圖譜上的連結預測與可遷移性。Transformer 研究仍有眾多空白，例如二次複雜度問題，可透過 LoRA、KV 快取最佳化、稀疏或線性注意力、FlashAttention 等技術緩解。固定上下文視窗的限制可透過長上下文訓練、位置編碼縮放、滑動視窗注意力、RAG 等方式解決。歸納偏置的缺乏促使研究者引入區域性性、等變性、遞迴或結構化位置編碼。此外，Transformer 在數學推理方面仍面臨困難。

擴散模型與流匹配是生成建模的重要方向。擴散通常採用隨機動力學，流匹配則學習確定性 ODE 向量場，兩者框架可相互重疊。文章還總結了 ML 成功的配方：大規模多樣化資料集、明確的效能標準、退化解空間、合適的假設類與可處理的最佳化。某些訓練資料空白區域包括簡單算術、排序、恆溫器調節和道德推理。在語言建模中，ELMo 利用深層雙向 LSTM 生成上下文嵌入，而 RNN 因時間反向傳播難以並行化。Transformer 透過自注意力、殘差連線、層歸一化和位置編碼解決了這些問題，並支援因果語言建模。

效率技術方面，KV 快取最佳化面向推理，4 位量化可顯著減少記憶體佔用，LoRA 用於引數高效微調，vLLM 等系統提升推理吞吐量。多模態模型如 LLaVA 結合視覺和語言，脈衝神經網路和狀態空間模型提供了新架構。模型蒸餾和長上下文方法（RoPE、ALiBi）也是研究熱點。在 LLM 基礎上，ABC 縮放、湧現能力、MMLU 基準和思維鏈提示等主題被討論。推理時擴充套件和智慧體系統（如帶記憶檢索工具的 LLM）結合 RAG，增強了問答和推理能力。

圖機器學習領域提出從關聯式資料庫到關係圖再到圖問題的處理管線。RelBench 提供基準任務，異構 GNN、時序 GNN 和關係深度學習架構用於解決這些問題。GNN 與特徵工程的比較、關係基礎模型 KumoRFM 和 Griffin 等展示了圖神經網路的進步。圖 Transformer（如 Graphormer、ViT/MLP-Mixer）和譜 GNN 是重要的架構方向。將 LLM 與 GNN 結合，並使用圖 RAG，可減輕幻覺並處理有限的上下文視窗，在基於圖的任務中取得更優效能。

最後，醫學 AI 強調了從模型中心走向系統中心，關注資料隱私、低端裝置和邊緣計算。成功指標應改善健康系統效能而非演算法新穎性。全球健康應用包括 AI 輔助產科超聲等。文中也提到 LVLM 中的幻覺和資料模型不確定性，提示在安全關鍵領域需要謹慎。