小型AI模型在全球獲得關注

2019年的一天早上，Adebayo Alonge在南非開普敦的一家酒店房間裡，準備演示他的初創公司利用人工智慧解決非洲醫療保健領域一個嚴重問題的方案：假冒藥物每年導致非洲大陸數千人死亡。他的裝置RxScanner是一款手持式光譜儀，用紅外光掃描藥片，然後將藥物的分子輪廓傳送給配備藥物資料庫的AI模型。幾秒鐘內，AI就能根據分子輪廓識別藥物——或者報告它是假的。該系統已在迦納、肯亞、緬甸以及Alonge的祖國奈及利亞等十多個國家的藥店使用。但那天早上在南非，它失靈了。光譜儀連線到了AI模型，但資料中心遠在14000公里外，頻寬有限。“我們的伺服器在美國，僅僅為了獲得一次掃描的結果就花了五分鐘以上。”Alonge說。於是他立即要求工程師將AI模型縮小為一個更小、低功耗、無需連線的版本，可以完全在他的安卓手機上執行。工程師在兩小時後完成了任務，挽救了演示。更重要的是，這項工作催生了他的裝置的新版本，可以在沒有寬頻、計算機甚至可靠電力的地方驗證藥片的真偽。這也讓Alonge成為了這種“小型AI”的倡導者。

小型AI與富裕國家龐大的大型語言模型（LLM）、超大規模資料中心、數十億美元的投資以及關於AI意識的辯論相去甚遠。但對於全球數百萬人來說，唯一重要的AI，而且往往是唯一可用的AI，就是小型AI。（根據世界銀行11月釋出的報告，在最貧困國家，只有0.7%的網際網路使用者使用過ChatGPT，而在最發達國家，這一比例為四分之一。）世界銀行行長Ajay Banga在1月的達沃斯世界經濟論壇上表示：“大多數人都在討論LLM/生成式AI。但這需要大量的計算能力、電力、海量資料和熟練的管理人員。在發達國家之外，除印度和中國外，很少有國傢俱備這些條件。”相比之下，小型AI可以在缺乏這些條件的地區提供有用甚至拯救生命的服務。在印度，政府的人工智慧計劃呼籲更多開發小型AI，許多此類系統正在為農民服務。例如，印度韋洛爾理工學院的Bala Murugan及其同事開發了一種基於無人機的系統，拍攝腰果樹照片並快速識別出有斑點表明病害的植株。所有處理都在無人機上進行，因此無需現場計算機，也無需連線中央伺服器。使用針對特定問題訓練的小型語言模型，有時在廉價、低功耗裝置上執行，其他小型AI應用已被開發出來，用於識別烏拉圭葡萄園中的螞蟻侵襲、檢測多個國家攜帶瘧疾的蚊子的存在，以及在巴西缺乏更復雜裝置的地區使用Arduino裝置執行心電圖。

對於Alonge、Rovai和其他倡導者來說，小型AI不僅是一種“有希望的趨勢”，而且從長遠來看，可能是一種觸及最多人生活、在巨型模型對大多數使用者來說成本過高後仍可持續的AI形式。Alonge認為，AI的未來不是位於中心的一個巨型模型，而是數百萬個部署在邊緣的小型精確模型，每個解決一個特定問題、一個特定背景。部分原因是人類中的許多人——包括富裕國家部分地區和發展中國家的人們——無法訪問前沿模型。但同樣是因為這些模型不可持續。他說：“如果沒有補貼，大多數人將負擔不起這些模型。因此，我們這些所謂的小型AI開發者將不得不為世界大多數人構建。”

“小型AI”沒有嚴格定義，但人們通常用它指代引數最多幾十億的語言模型（相比之下，前沿模型可能包含超過一萬億引數）。這足夠小，可以直接在手機或樹莓派上執行。這使得這些應用無需連線資料中心，僅消耗幾瓦功率，通常由電池或太陽能電池板供電。Rovai表示，儘管體積小，但這些模型與巨型AI模型在技術上並無根本區別。許多“小型語言模型”的建立方式與Alonge的手機版藥物掃描器相同——透過“修剪”大型模型，移除不參與任務的引數。結果是一個在通用能力上較弱，但在修剪後的特定任務上仍然非常出色的系統。其他小型模型透過“蒸餾”建立：它們被訓練模仿大型模型，直到效能接近“教師”。在其他情況下，大型模型的精度被降低，例如，32位架構的模型可以在8位設計上執行。對於用於分類資料或預測模式（如螞蟻侵襲）的機器學習應用，它們從一開始就在小型裝置上訓練，而不是從大型模型派生。

Rovai認為，執行所有這些小型專用系統正變得更容易，原因有二。首先，硬體越來越好，功能更強，同時功耗更低。這意味著越來越多的手機可以執行小型AI，尤其是那些配備神經處理單元的機型。根據技術研究公司Counterpoint的資料，2025年全球出貨的智慧手機中略超過三分之一能夠執行生成式AI，到今年年底這一比例將達到45%。到明年年底，略過半數的智慧手機將能夠執行小型AI模型。其次，語言模型的佔用空間正在縮小。Google DeepMind的Gemma 4和阿里巴巴的Qwen 3.5對小型AI來說“非常出色”。這兩個模型都是“開放權重”的，這意味著使用者可以調整引數之間的連線以適應需求。Rovai在Zoom通話中用他最新的實驗之一說明了這些原因。他舉起一個裝置說：“這是新的Arduino UNO-Q，一個售價50美元、配備高通晶片組的裝置。我在這裡執行一個語言模型，它收集感測器資料，分析這些資料以檢測蚊子可能繁殖的小水窪。執行它只需要三瓦功率。”

世界銀行確信數百萬人已從這類應用中受益，現在積極透過贈款、導師計劃、融資、技術建議和有利於小型AI發展的政府政策模型來推廣小型AI。例如，在盧安達，世界銀行支援一項政府計劃，幫助低收入家庭獲得可以執行AI的裝置。儘管如此，沒有人聲稱大型語言模型會完全消失。要在手機或其他小型裝置上建立生成式AI，需要大型模型的結構性洞察、資料處理和結果。Rovai說：“我們需要大型模型來建立這些更小的模型。”而且，儘管小型AI可以使無法獲得大型AI的人們受益，但該技術無法解決發展和數字不平等的更大問題。Alonge表示，實施小型AI並不能讓各國擺脫建立支援AI的生態系統的挑戰：可靠的電力、有效的供應鏈以及培養創造AI工具所需人才的教育體系。儘管他的藥物掃描系統可以在沒有連線的情況下在手機上執行數天，“你仍然希望能夠定期同步更新新的藥物簽名和分析資料。而且即使你使用電池，可靠的電力也很重要。手機電池不會永遠持續。”在世界許多地方，小型AI的未來並不確定。他說：“它有效，許多地方最終將需要使用它。問題是政治領袖是否有足夠的智慧投資於長期支援它的基礎設施。”