2026-05-14 17:51 UTC+8站內改寫7 分鐘閱讀更新: 2026-06-30 21:03 UTC+8

國產GPU組了個開源局，把SGLang等核心開發者都搖來了！

摩爾線程舉辦SGLang×MUSA Meetup，匯聚SGLang、TileLang、Mooncake等開源頂級開發者，展示國產GPU全面融入大模型推理開源生態的最新成果，標誌國產GPU競爭從硬體引數轉向生態構建。

來源量子位作者: 十三

國產GPU組了個開源局，把SGLang等核心開發者都搖來了！ – 量子位

十三 2026-05-14 17:51:46

來源：量子位

國產GPU開啟生態座標之爭

金磊發自凹非寺

量子位 | 公眾號 QbitAI

沒有大廠高管站臺，一屋子卻擠滿了開源圈的熟面孔。

隨便往臺下掃一眼，就能對上好幾個GitHub上的明星ID：

有目前大模型推理框架頂流SGLang的核心開發者BBuf（Xiaoyu Zhang）；

有主導下一代運算元程式設計生態TileLang的維護者唐正舉；

有操刀KVCache解耦與傳輸神器Mooncake的核心貢獻者馬騰；

有來自智源人工智慧研究院、圍繞Triton/FlagOS死磕AI編譯器的肖航；

還有像R0CKSTAR這樣在GitHub上異常活躍的硬核開發者。

這場看似是開源圈極客們的面基會，卻著實是有點反差在身上的——

活動的攢局者，是國產GPU玩家，摩爾線程。

這事確實有點意思。

因為過去提到國產GPU，外界最容易想到的關鍵詞，往往還是硬體引數、視訊記憶體容量、算力指標、生態替代、模型能不能跑起來。

但這場SGLang × MUSA Meetup真正丟擲的問題已經變了：

怎麼讓國產GPU真正進入大模型推理的主流開源工程鏈路？

說得更直接一點，就是讓SGLang、Triton/FlagOS、TileLang、Mooncake、KVCache、P/D分離、分散式通訊、CI/CD、upstream PR這些東西，能夠圍著國產GPU一起轉起來。

有一說一，在整體聽下來之後，有一個非常直觀的感受。

那就是國產GPU的競爭，已經不只是晶片引數之爭，轉而開始邁向生態座標之爭。

為什麼這麼說？我們繼續往下看。

國產GPU開始“擴圈”了

先看這場Meetup本身。

它的主題很明確：SGLang × MUSA。

SGLang是當下大模型推理serving領域關注度很高的開源框架，面向LLM和多模態模型，核心目標是低延遲、高吞吐，覆蓋從單卡到大規模分散式叢集的部署場景。

這類框架之所以重要，是因為今天的大模型落地，早就不是“模型訓練好了，放上去跑”這麼簡單。

真正進入生產環境後，系統要處理的是一整套複雜問題。

例如prefill和decode怎麼拆，KVCache怎麼複用，長上下文怎麼省錢，多輪對話怎麼降TTFT，大規模叢集怎麼排程，新模型釋出後怎麼day-0 support，出了效能gap怎麼定位到具體kernel。

第一個上臺的是SGLang核心開發者BBuf。

△SGLang核心開發者BBuf

這個在GitHub上擁有27k星的開源推理框架，現在已經是全球開發者部署大模型的首選。

他帶來的SGLang 2026 Q2 Roadmap，每一條都踩在行業的痛點上：

針對DeepSeek V4的全鏈路最佳化，包括W4A16量化、MegaMoE加速和稀疏注意力支援；

jit_kernel全面替代傳統的sgl-kernel，用TVM-FFI把編譯速度提升了數倍，再也不用等幾個小時的wheel包；

Vibe Coding全面落地，用AI agent自動分析profiler、定位效能瓶頸、提交PR，5月前已經完成了超過60個最佳化任務；

多模態能力全面升級，支援LTX2、Wan、混元影片等最新模型，效能比其他框架最高快5倍。

最讓人印象深刻的是他展示的一組資料。

SGLang透過P/D分離架構，在12個H100節點上跑出了52.3k輸入token/s/node、22.3k輸出token/s/node的成績，比DeepSeek官方API還便宜5倍，這個結果已經被全球10多個團隊復現。

緊接著上臺的摩爾線程Contributor R0CKSTAR，帶來了全場最硬核的工程實踐分享。

△摩爾線程工程師R0CKSTAR

他用一句話總結了過去半年的工作：

SGLang on MUSA已經完成了從環境構建到CI測試的全鏈路打通。

這意味著什麼？

現在你只要克隆SGLang的官方倉庫，安裝sgl-kernel和sglang，就能在摩爾線程MTT S5000顯示卡上直接執行幾乎所有主流大模型。

DeepSeek、通義千問3.5、GLM-4.5、FLUX、Wan這些熱門模型，都已經完成了深度最佳化。

他特別提到了MUSA的三層CUDA相容棧。

過去適配一個推理框架要改幾千行程式碼，現在只要在開頭加一行import torchada，99%的CUDA程式碼就能直接執行。這個看似簡單的改動，解決了國產GPU生態的一大痛點。

據瞭解，截至5月12日，摩爾線程在SGLang主線累計提交47個PR，其中41個已合入，完成了從環境構建到分散式推理的全鏈路打通。

智源的肖航則帶來了DeepSeek V4在MUSA上的Day0 適配成果。

△智源AI編譯器研究員

透過FlagOS的Triton運算元最佳化和摩爾線程的SQMMA張量加速引擎，他們把DeepSeek V4的首token延遲降低了56.7%，吞吐量提升了23%。

對此，肖航表示：

我們沒有做什麼黑魔法，就是把兩個最關鍵的運算元最佳化到了極致。

FP8 矩陣乘運算元平均加速8.85倍，稀疏注意力運算元平均加速6.01倍，這兩個佔了推理時間80%的運算元一最佳化，端到端效能自然就上去了。

TileLang維護者唐正舉的分享，則讓所有人看到了下一代運算元程式設計的未來。

△TileLang維護者唐正舉

這個2025年2月才開源的專案，短短一年多就收穫了6k星和133位貢獻者，連DeepSeek V4的核心kernel都是用TileLang寫的，正如唐正舉所說：

用TileLang寫FlashAttention，只要50行Python程式碼，效能和專家手寫的CUDA一模一樣。

並且從他在現場展示的對比圖來看，同樣的GEMM運算元，TileLang用15行程式碼達到了CUTLASS的效能，程式碼量減少了90%。

最後上臺的阿里雲馬騰，帶來了Mooncake專案的最新進展。

△Mooncake Contributor 馬騰

這個專注於KVCache解耦的專案，現在已經是SGLang、vLLM等主流推理框架的標配。

他展示的一組較為吸睛的資料：

透過RDMA P2P權重更新，Kimi K2 1T模型的權重同步時間從53秒降到了7.2秒，加速了7.37倍；EPD三級解耦架構讓多模態模型的首token延遲降低了6-8倍；HiCache + Mooncake後端讓多輪對話的快取命中率超過90%。

至此，這場Meetup的拼圖基本完整——

SGLang是推理框架主鏈路，MUSA是國產GPU底層平臺，FlagOS/Triton解決關鍵運算元最佳化，TileLang降低高效能kernel程式設計門檻，Mooncake補上KVCache和生產部署。

這，便是一條較為完整的工程鏈路。

為什麼摩爾線程能把他們搖來？

這個問題的答案不能只歸結為辦了一場活動。

開源圈很現實，大家願意來，核心原因不是誰會講故事，是這件事真的和他們正在做的工程問題有關。

首先看MUSA本身的設計初心。

摩爾線程CTO張鈺勃在開場中解釋，MUSA是Meta-computing Unified System Architecture。

△摩爾線程CTO張鈺勃

Meta-computing指向通用計算，摩爾線程希望GPU儘量擁抱通用計算，而不是給未來可計算的領域設限；Unified則意味著摩爾線程產品希望遵循同一套統一標準，避免不同產品線使用不同指令集和架構，導致軟體生態無法積累。

更關鍵的一句話是，MUSA不希望開發者為了使用MUSA而重新學習一套東西。

這句話看似樸素，其實直指國產GPU生態的痛點。

開發者最怕什麼？

不是新硬體本身，是為了新硬體，學習一整套新API，重寫一堆程式碼，改完還進不了上游，社群一更新又要重新補丁。

如果一個國產GPU生態要求開發者從頭學一遍，那它面對的便是巨大的遷移阻力。

所以MUSA的路線，是儘量貼近開發者已經熟悉的GPU程式設計方式、API介面和使用習慣。底層實現可以不同，但上層體驗儘可能一致。

三層CUDA相容棧的意義就在這裡。

torch_musa負責把PyTorch和MUSA的基礎能力接起來；torchada負責讓CUDA-first生態繼續工作；mthreads-ml-py負責把裝置管理、拓撲、視訊記憶體、MTLink、P2P等資訊暴露給上層框架。

用一句更通俗的話說，摩爾線程在儘量把原來的路修到自己門口。

這直接影響到開源社群協作的可行性。

因為上游專案最看重的是低侵入、可維護、可複用。如果一個適配方案需要大面積改動主線程式碼，後續每次rebase都痛苦，上游很難接受。

反過來，如果適配可以透過更透明的方式完成，PR就更容易被review，也更容易持續跟隨社群迭代。

這就是從“我自己維護一個分支”到“我進入主線”的區別。

再看生態結合。

SGLang × MUSA，是推理主鏈路打通。

摩爾線程從去年開始把SGLang作為重點接入和貢獻的開源專案，經過大半年努力，MUSA後端近期已經合入SGLang主線。後續不只是跟隨feature，也希望在框架層面貢獻更多能力。

這件事的意義在於，國產GPU不再只是某個框架的外部適配物件，已經開始成為主線生態的一部分。

FlagOS × MUSA，是關鍵運算元和新模型適配。

大模型推理的效能競爭，越來越多發生在kernel、編譯器、排程、低精度和通訊層。DeepSeek V4 day-0適配這樣的工作，本質上考驗的是從模型釋出到工程落地之間的反應速度。能不能第一時間跑通，能不能快速調優，能不能在真實shape上找到更好的配置，決定了生態跟不跟得上。

Mooncake × MUSA，是推理解耦和生產部署。

KVCache的價值在Agent、多輪對話、長上下文時代被進一步放大。Mooncake與MUSA的結合，不只是讓某個快取後端能跑在國產GPU上，更是在探索跨例項KVCache共享、彈性擴縮容、快取複用、原地升級這類生產級問題。

TileLang × MUSA，則是下一代運算元生態的提前佈局。

如果未來更多模型和硬體都需要定製kernel，運算元程式設計不能永遠停留在少數專家手裡。TileLang這類DSL的價值，是把高效能kernel程式設計變成更多開發者能上手的工程工具。

這四條線合在一起，才是摩爾線程能組局的底氣。

它把自己放進了大模型推理的真實工程網路裡，包括框架、運算元、快取、通訊、部署、CI/CD、upstream等等。

而這，也是國產 GPU 生態真正要補的課。

國產GPU的生態位，正在走向協作

如果把這場Meetup從更宏大的算力發展角度來看，它的價值或許遠超技術分享本身。

過去幾年，國產GPU的生態困境是比較明顯的。

許多廠商習慣了閉門造車，自己從頭寫一套深度學習框架，自己攢一套運算元庫，結果因為不符合主流開發者的習慣，鮮有人問津。

又或者，有的廠商只是拉一個私有Fork做適配，從來不向開源上游提交程式碼，導致主流框架一更新，自己的適配版本就成了無人維護的孤品。

而現在，摩爾線程給出了一個完全不同的答案：

全面融入全球開源生態，去和世界上最聰明的一批人一起做事。

在這場活動中，我們頻繁聽到幾個詞：Day-0 Support、Upstream PR、CI/CD。

這說明國產GPU的生態位正在發生質變。摩爾線程不再只滿足於做一個被動的適配者，它要的是主動出擊，成為核心程式碼的“貢獻者”，甚至是未來架構的“共建者”。

他們不僅僅是丟一個單點的Patch過去，而是把一整套包含環境構建、PR提交、CI自動化測試、Release釋出、文件維護在內的工程閉環，深深地嵌入到了SGLang等頂級專案的血脈中。

這種可持續的Upstream模式，才是真正掌握生態話語權的方式。

這場開源局還證明了一件事，國產GPU已經走上了大模型推理開源生態的公共牌桌。

在這個牌桌上，已經坐著風頭正勁的SGLang，坐著死磕底層編譯的Triton/FlagOS，坐著重塑運算元生態的TileLang，坐著主導解耦架構的Mooncake。

而現在，國產GPU，也可以拉開椅子，從容地坐下來，和這群明星玩家們一起打好大模型時代最關鍵的這把牌。

SGLang 國產GPU 開源生態摩爾線程

十三

國內首家百億估值純推理GPU獨角獸誕生！專訪曦望聯席CEO王湛：誰的推理成本更低誰就是贏家2026-04-23

剛剛，“雲端計算一哥”版龍蝦釋出，奧特曼打著官司也要雲站臺2026-04-29

河南師傅，左手扳手，右手飛書，竟然能搞資料分析！2026-04-23

神秘模型「大象」：僅100B拿下SOTA，Token效率超高！2026-04-22