[AI新聞] 如何在前沿實驗室找到工作(關於預訓練)
在谷歌 I/O 大會前夕,文章重點介紹了 Vlad Feinberg 關於預訓練領域求職的筆記,同時涵蓋了 AI 界的其他重要動態:Cursor 釋出了 Composer 2.5 並披露了更大規模的訓練計劃,Qwen3.7 在排行榜上攀升,llama.cpp 的 MTP 支援大幅提升了本地推理速度,以及多項關於 MoE、強化學習和智慧體評估的研究進展。
文章情報
要點
- Vlad Feinberg 分享了針對前沿實驗室的求職建議,強調核心級最佳化和智慧體工作的重要性。
- Cursor 釋出 Composer 2.5,並宣佈使用 10 倍算力從零訓練更大模型。
- llama.cpp 的 MTP 支援將本地推理速度提升高達 78%。
- Anthropic 收購 SDK 平臺 Stainless,強化開發者基礎設施。
為什麼重要
這條新聞值得關注,因為Vlad Feinberg 分享了針對前沿實驗室的求職建議,強調核心級最佳化和智慧體工作的重要性。
技術影響
可能影響模型選型、推理成本、產品能力和評測基準。
在谷歌 I/O 大會的前一天,AI 新聞界相對平靜,但 Vlad Feinberg 關於預訓練領域求職的部落格文章成為了當天的焦點。Feinberg 是業內知名的研究者,他的筆記主要圍繞如何進入前沿實驗室,其中特別強調了核心級效能最佳化的重要性。他指出,LLM 工作中最大的瓶頸和最內層的迴圈是效能工作,即將抽象的、邏輯性的改變變得實際可執行。每個專案都需要能夠對 LLM 進行核心級調優的人才。Feinberg 還出人意料地提到了智慧體工作,如自動研究和 AlphaEvolve。
Feinberg 提出了一個簡單的練習:推導 Chinchilla 擴充套件律,比較密集模型和 MoE 架構的差異;用 Jax 從頭編寫程式碼;使用 Pallas 核心最佳化 MoE 層的前向傳播速度;並向社群教學。他認為這是進入實驗室的最直接路徑。
除了求職筆記,AI 推特摘要也包含了多個重要更新。Cursor 釋出了 Composer 2.5,號稱是其最強的模型,專注於長時間任務的持續工作和指令遵循。更引人注目的是,Cursor 透露正在利用 SpaceXAI 和 Colossus 2 的百萬級 H100 等效算力,從零訓練一個規模大 10 倍的模型。社群反應積極,認為其價效比和編碼質量大幅提升。
阿里巴巴的 Qwen3.7 系列在 Arena 排行榜上繼續攀升,在文本和視覺類別中均進入前 20,顯示出中國實驗室在通用和專業領域的持續進步。字節跳動開源了 Lance 多模態模型,而 Perplexity 釋出了小型開放多語言 ColBERT 模型。
本地推理方面,llama.cpp 的 MTP(多詞預測)支援為 Qwen3.6 系列帶來了顯著的速度提升,在 A10G 上 Qwen3.6-27B 從 25 tok/s 提升到 45 tok/s,增長 78%。這一進展縮小了本地與託管助手的可用性差距。
企業級部署方面,Hugging Face 與 Dell 合作,透過 Dell Enterprise Hub 提供一鍵訪問多種模型,包括 Kimi K2.6、DeepSeek V4 Pro 等。Zyphra 釋出了在 AMD Instinct MI355X 上的端到端推理基準,聲稱效能出色,縮小了與 NVIDIA B200 的差距。
研究領域出現了若干重要論文。關於 MoE 的研究表明,設計空間主要取決於專家大小和數量,而非複雜的配置引數。Meta 的 AIRA 研究透過智慧體驅動的神經架構搜尋,在 24 小時計算預算內擊敗了 Llama 3.2。強化學習方面,有工作強調了獎勵模型和動態模型平滑性的重要性,以及“想象中訓練”的方法。資料混合問題成為研究熱點,On-Policy Mix 方法試圖解決訓練分佈不斷變化時的資料配比難題。
生態系統方面,Anthropic 收購了 SDK 和 MCP 伺服器平臺 Stainless,這一垂直整合表明了其對開發者體驗的重視。同時,有分析指出 Anthropic 和 OpenAI 在頂級 AI 初創公司的收入佔比正在上升,顯示生態可能在經濟上向少數頭部公司集中。此外,The Turing Post 總結了 13 個用於基礎模型部署的開源工具,而 Papers With Code 透過 AI 代理輔助解析方法、排行榜和 SOTA 追蹤,正在復興。
總之,這一天雖然平靜,但多個領域的進展為 AI 從業者提供了豐富的資訊。