前沿LLM智慧體可突破自然表型本體註釋瓶頸
一項新研究利用Anthropic和OpenAI的五種前沿大語言模型作為智慧體策展人，在自包含工作空間中自動進行表型註釋。實驗表明，這些智慧體的一致性達到了人類策展人的變異範圍，並顯著優於傳統NLP工具，有望解決表型本體註釋中人工依賴強、難以規模化的問題。
文章情報
要點
- 表型註釋依賴人工專家，成本高且難以規模化。
- 研究使用五種前沿LLM作為智慧體策展人，在自包含工作空間中完成註釋。
- 所有智慧體的一致性均達到人類策展人水平，最佳智慧體接近但未超越最佳人類。
- 智慧體在四項指標上大幅優於傳統語義解析工具Semantic CharaParser。
為什麼重要
這條新聞值得關注，因為表型註釋依賴人工專家，成本高且難以規模化。
技術影響
可能影響模型選型、推理成本、產品能力和評測基準。
在比較形態學研究中，將自由文本的表型描述連結到本體術語（即表型註釋）對於跨研究資料整合至關重要。然而，這一過程高度依賴訓練有素的人類專家，勞動密集且難以規模化，成為關鍵瓶頸。此前，Dahdul等人（2018）建立了一個包含七個系統發育研究的實體-質量（EQ）註釋黃金標準，並評估了三位人類策展人和基於本體的語義相似度NLP工具Semantic CharaParser，發現人機一致性顯著低於策展人之間的一致性。這項研究為後續自動化方法提供了寶貴的基準。
如今，一項新研究重新審視了該基準。研究人員使用Anthropic和OpenAI的五個前沿託管LLM，包括GPT-4o、Claude 3.5 Sonnet等，每個模型作為一個“智慧體策展人”，在一個自包含工作空間中執行。該工作空間提供了原始出版物PDF、與人類策展人相同的註釋指南、四個專案本體（UBERON、PATON、BSPO、GO）以及一個驗證指令碼。智慧體在無需人工干預的情況下獨立完成註釋任務，模擬了人類策展人的工作流程。
針對同一黃金標準進行評估，所有智慧體策展人的註釋一致性均落在原始研究中三位訓練有素的人類生物策展人的變異範圍內。表現最佳的智慧體接近但未能超越最好的人類策展人。更重要的是，智慧體在全部四項指標上顯著優於Semantic CharaParser，這些指標包括精確率、召回率、F1分數和語義相似度。這一結果表明，前沿LLM智慧體能夠達到人類級別的表型註釋質量，有望大幅降低本體註釋的人工依賴，加速規模化處理。
該研究演示了LLM在科學資料策展領域的重要潛力，未來或可應用於更廣泛的生物醫學本體註釋任務，例如基因本體（GO）註釋或疾病本體關聯。隨著LLM能力的不斷提升，智慧體策展人有望成為科研資料管理中的標準工具，推動生物資訊學領域的快速發展。