OncoAgent：一種用於隱私保護腫瘤臨床決策支援的雙層多智慧體框架
OncoAgent是一個開源、隱私保護的腫瘤臨床決策支援系統。它採用雙層大語言模型架構（9B快速模型和27B深度推理模型）、多智慧體LangGraph拓撲、糾正性RAG流程（涵蓋70餘項NCCN和ESMO指南）以及三層反射安全驗證器。系統透過複雜性評分路由查詢，在AMD Instinct MI300X上微調，實現了56倍的吞吐量加速，並支援本地部署以確保資料主權。
文章情報
要點
- 開源、隱私保護的腫瘤決策支援系統，支援本地部署。
- 雙層LLM架構：9B快速模型和27B深度推理模型，透過複雜性評分路由。
- 多智慧體LangGraph拓撲，8個節點實現臨床推理分解。
- 零PHI策略和四層安全架構，確保合規性和安全性。
為什麼重要
這條新聞值得關注，因為開源、隱私保護的腫瘤決策支援系統，支援本地部署。
技術影響
可能影響模型選型、推理成本、產品能力和評測基準。
OncoAgent是一個創新的開源臨床決策支援系統，專為腫瘤學設計，旨在解決現有AI系統在隱私、準確性和可部署性方面的關鍵問題。該系統由OncoAgent研究團隊開發，結合了雙層微調大語言模型（LLM）架構、最先進的多智慧體LangGraph拓撲、基於70餘項NCCN和ESMO指南的四階段糾正性RAG流程，以及三層反射安全驗證器，嚴格執行零受保護健康資訊（PHI）政策。
OncoAgent的核心設計原則包括架構分解、基於檢索的生成和硬體主權。臨床推理被分解為八個專門的LangGraph節點，每個節點具有有限且可審計的功能。所有模型輸出都透過檢索管道與精選的向量知識庫錨定，並設有顯式的相關性門控。完整的推理和訓練棧原生執行在AMD Instinct MI300X上，使用ROCm和開源框架，使醫院能夠在無需資料外流的情況下進行部署。
系統透過一個加權加法複雜性評分器來路由臨床查詢。該評分器考慮癌症型別、分期、突變和既往治療等因素，將查詢分配給9B引數的速度最佳化模型（第一層）或27B的深度推理模型（第二層）。兩個模型均透過QLoRA在包含266,854個真實和合成腫瘤病例的語料庫上進行微調，使用Unsloth框架在AMD Instinct MI300X硬體上完成。序列打包技術使全資料集微調僅需約50分鐘，相比基於API的生成實現了56倍的吞吐量加速。
OncoAgent的安全和隱私框架包括一個專門的零PHI編輯節點，在文本到達任何LLM之前識別並替換受保護的健康資訊。四層安全架構分別在檢索層、生成層和部署層實施，確保即使單層失效也不會影響整體安全態勢。對於高複雜性或低置信度的輸出，系統設有強制的人機互動（HITL）中斷點。
臨床介面採用即時流式Gradio應用程式，以ChatGPT風格的對話佈局呈現，提供會話控制、KPI面板、證據來源選項卡以及即時代理推理更新。該介面遵循WCAG 2.1 AA標準，確保可訪問性。
實驗結果令人印象深刻：糾正性RAG管道的文件評分成功率達100%，平均RAG置信度分數超過2.3；複雜性路由正確識別了需要深度推理的複雜案例；訓練吞吐量顯著提升；所有八個編譯節點和六個模組測試套件均透過驗證。
OncoAgent證明了在遵守嚴格隱私法規的同時，實現最先進的多智慧體臨床AI是可行的。其完全開源、可本地部署的特性，為醫療機構提供了一種無需依賴專有云API的解決方案，從而保護患者資料主權。