跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

微調多模態大型語言模型,利用家庭短視頻實現臨牀級自閉症行為評分

文章摘要

研究人員通過低秩適應方法微調Gemini 2.5 Pro模型,使用400個經臨牀醫生評分的家庭視頻,在評分者間信度和自閉症診斷準確率上取得顯著提升,達到或超過臨牀醫生水平。該方法實現了自閉症評估中可擴展的行為特徵提取。

來源arXiv Computer Vision作者: Mohammadmahdi Honarmand, Parnian Azizian, Aaron Kline, Kae Nurge, Zerin Nasrin Tumpa, Saimourya Surabhi, Kaitlyn Dunlap, Yang Qian, Ali Kargarandehkordi, Sameer Neupane, Peter Washington, Dennis P. Wall
微調多模態大型語言模型,利用家庭短視頻實現臨牀級自閉症行為評分
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

自閉症譜系障礙(ASD)是影響兒童神經發育的重要疾病,在美國每31名兒童中就有1人受其影響。然而,診斷的中位年齡卻超過四歲,導致許多兒童錯過了早期干預的黃金時期。近年來,人工智能技術的進步為利用家庭短視頻等易於獲取的觀察數據進行量化診斷提供了可能,有望顯著降低診斷門檻。

一項發表於arXiv的研究展示瞭如何通過微調多模態大語言模型來實現臨牀級的自閉症行為評分。研究團隊採用低秩適應(LoRA)方法,對谷歌的Gemini 2.5 Pro模型進行了高效微調。他們使用了400個經臨牀醫生評分的家庭短視頻,僅針對30個先前已驗證能夠產生可靠預測的行為特徵進行訓練。這些特徵涵蓋了社交互動、溝通模式、重複行為等多個關鍵維度。

在99名保留兒童(其中49名被診斷為ASD,50名為神經典型發育兒童)的測試中,模型展現了令人矚目的性能。與臨牀醫生的評分者間信度——通過每特徵加權的Cohen's kappa係數衡量——整體提升了40%(p<0.001),在28個可評估特徵中,有27個特徵的評分一致性得到改善。更令人驚喜的是,作為模型湧現出的零樣本能力,直接進行ASD診斷的F1分數提升了53%(p<0.001),其表現已經達到甚至超過了臨牀醫生的水平。

研究進一步驗證了模型的實用性。通過將微調後的大語言模型提取的行為特徵輸入分類器,形成的輔助診斷管道在所有測試路徑上均與直接使用臨牀醫生評分的輸入相匹配。該系統實現了77%的準確率(95%置信區間:68-85%)和86%的AUC(95%置信區間:78-92%),充分證明了基於人工智能的行為特徵提取方案在自閉症評估中的可靠性和可擴展性。

這項研究的意義在於,它不僅展示了一種高效微調多模態大模型的方法,更重要的是為自閉症的早期篩查提供了全新的技術路徑。傳統診斷高度依賴專業臨牀醫生的觀察和評估,不僅耗時且成本高昂。而基於家庭短視頻的AI系統,只需家長錄製孩子日常活動的簡短片段,即可完成初步評估,大大降低了獲取專業診斷的門檻。未來,此類系統有望被整合到移動應用中,讓更多家庭能夠便捷地獲取初步評估結果,推動及時干預。不過,研究者也指出,該模型仍需在更大規模、更多樣化的人羣中進行驗證,以確保其泛化能力和公平性。

展開要點與分析

文章情報

工程師進階

要點

  • 使用低秩適應方法在400個家庭視頻上微調Gemini 2.5 Pro,僅訓練30個行為特徵。
  • 與臨牀醫生的評分者間信度提高40%,28個可評估特徵中有27個得到改善。
  • 直接自閉症診斷F1分數提高53%,達到或超過臨牀醫生表現。
  • 分類器輔助管道達到77%準確率和86% AUC,與臨牀醫生評分輸入持平。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。