開源權重AI的崛起：一篇長卷故事

近年來，人工智能（AI）成為科技和主流媒體頭條的常客。OpenAI和ChatGPT這樣的名字已家喻户曉。然而，由OpenAI和Anthropic領導的前沿實驗室所佔據的主導地位，正受到來自所謂“開源權重”模型的威脅——這些模型主要來自中國。

本文講述了開源權重AI模型的故事：它們是什麼，來自哪裏，以及為什麼它們可能會在那些前沿實驗室充分商業化其投入巨資開發的技術之前，就顛覆它們。

為了理解我們是如何走到這一步的——這是一個比你想象中更多曲折、反轉和諷刺的故事——我們需要將時間撥回到幾年前，在GPT-3和ChatGPT問世之前，當這項技術首次成為頭條新聞的時候。

七年的積累

ChatGPT看似一夜成功，但實際上它經歷了七年的醖釀。從2015年OpenAI作為非營利組織成立，到2018年發佈首個GPT模型，再到2020年GPT-3的推出，每一步都至關重要。2022年，基於GPT-3.5的ChatGPT意外走紅，成為史上增長最快的消費應用。

諷刺的是，OpenAI在七年內幾乎變成了它最初想法的對立面。它最初是一個非營利組織，但逐漸封閉了每一代模型和產品的細節，最終將技術授權給微軟。

轉折點

2023年5月，谷歌工程師的一份內部備忘錄被泄露，標題為“我們沒有護城河，OpenAI也沒有”。備忘錄指出，雖然OpenAI和谷歌在投入巨資擴大AI規模，但開源社區正基於Meta意外泄露的LLaMA模型迅速追趕。

什麼是“開源權重”？

開源在計算領域有着悠久歷史，指的是發佈應用程序源代碼，讓其他人可以審查、學習和修改。但AI模型的開源有所不同。大多數“開放”AI模型只共享架構和權重，而不共享訓練數據，因此它們被稱為“開源權重”模型。即便如此，這仍然允許任何人自行託管和運行模型。

LLaMA泄露

2023年2月，Meta發佈了LLaMA 1作為研究版本，權重對學術界開放。值得注意的是，較小的13B參數模型在許多基準測試上擊敗了更大的175B參數GPT-3。儘管OpenAI幾周後就發佈了更強大的GPT-4，但LLaMA的泄露成為了開源AI發展的重要催化劑。

未來展望

開源權重模型的崛起可能會改變AI行業的競爭格局。前沿實驗室的鉅額投資和封閉模式面臨挑戰，而開源社區通過協作和創新，正逐步縮小差距。這場競爭的結果將影響AI技術的民主化和未來發展方向。