AI News HubLIVE

晶片動態

StepFun 推出 StepX Neo,號稱首款 '代理型 AI 手機'

中國AI公司StepFun釋出全球首款原生代理型AI手機StepX Neo,搭載自研Step AOS系統與Amoo AI助手,可在多平臺自主完成訂票、打車等複雜任務。

  • StepX Neo 執行自研 Step AOS 系統,非基於 Android。
  • Amoo AI 採用 1+N 模型架構,切換裝置端和雲端處理。
站內正文

AI利潤率崩塌中的贏家和輸家

本文探討了AI推理市場即將面臨的利潤率崩潰,分析了“足夠好”的廉價模型如何改變市場格局。贏家包括硬體供應鏈、超大規模雲服務商、編碼代理(如Cursor)以及終端使用者;而前沿AI實驗室雖然面臨風險,但可能透過不公開最強模型或轉向託管平臺來應對。此外,B2C市場中的廣告變現潛力可能帶來新的轉機。

  • AI推理市場正分裂為昂貴的前沿模型和廉價的“足夠好”模型,導致利潤率壓縮。
  • 硬體和基礎設施提供商、編碼代理以及消費者是主要贏家。
站內正文

序列觀點 #896:Spark、計算與兩個Meta

Meta釋出了Muse Spark 1.1,這是首個帶有價格標籤的Meta模型,標誌著從開源權重向閉源商業模式的轉變。同時,Meta在構建完整垂直堆疊——從晶片到雲再到應用,引發其能否與前沿AI實驗室競爭的討論。

  • Meta釋出Muse Spark 1.1,採用閉源權重和付費API,定價為每百萬輸入tokens 1.25美元、輸出tokens 4.25美元,相容OpenAI端點。
  • 扎克伯格三年來首次在X上發帖宣佈這一轉變,凸顯戰略調整。
站內正文

基金會啟動以標準化AI支付

Linux基金會宣佈x402基金會正式運營,該開放治理機構由40個成員組成,旨在標準化AI代理和應用的網際網路原生支付協議。

  • Linux基金會推出x402基金會,擁有40個成員,包括Visa、Mastercard、Google和Microsoft。
  • 支援多種支付方式,從傳統卡到穩定幣。
站內正文

Thinky釋出Inkling:975B-A41B多模態模型,美國最強Apache 2.0開源模型(附帶Inkling-Small,276B-A12B)

Thinky首次釋出完整LLM系列Inkling,採用MoE架構,總引數量975B,啟用引數41B,支援文本、影像、音訊輸入,1M上下文視窗,Apache 2.0許可。效能上成為美國最強開源模型,但略遜於中國開源旗艦和閉源模型。

  • Inkling是975B總參/41B啟用的MoE多模態模型,Apache 2.0開源,支援1M上下文。
  • 訓練使用45T tokens,架構創新包括滑動視窗注意力、短卷積層、共享專家等。
站內正文

停止說“AI只是一個工具,關鍵在於如何使用”

這篇文章批判了“AI只是工具,如何使用才重要”這一常見說法,指出工具並非中立,它們塑造社會、環境與人性。作者以汽車、椅子為例,說明工具的設計本身帶有政治性。AI作為工具尤為危險,因為它消除了人類應有的掙扎與痛苦,導致批判性思維喪失。文章呼籲重新審視技術設計,關注工具對人類的深層影響。

  • “AI只是工具”的說法過於簡單化,忽略了工具的政治性和社會影響。
  • 工具的設計和使用會改變人類行為和環境,AI也不例外。
站內正文

Show HN: 基於NextJS和OpenAI的AI入門模板

這是一個由Suhas Bhairav建立的包含50多個開源Next.js AI模板和入門套件的精選集合,涵蓋聊天機器人、RAG、語音代理、影像生成等多種AI應用。

  • 提供超過50個開源Next.js AI模板,覆蓋多種AI應用場景。
  • 模板包括聊天機器人、RAG、語音AI、影像生成和個人代理等類別。
站內正文

CayleyR:透過迴圈交集解決TopSpin謎題

cayleyR是一個R語言包,利用凱萊圖中的迴圈交集檢測來解決排列謎題。核心演算法採用迭代雙向搜尋,從初始和目標排列狀態生成隨機操作序列,尋找連線路徑。該包專為TopSpin(n,k)謎題設計,結合C++雜湊索引狀態儲存和可選的Vulkan GPU加速,已在CRAN上釋出。

  • cayleyR透過檢測凱萊圖中的迴圈交集來求解排列謎題
  • 演算法使用迭代雙向搜尋和距離引導的橋接選擇
站內正文

人工智慧互動地圖

一個包含56個AI概念及其150條關聯的互動視覺化地圖,使用者可透過拖拽、懸停和點選探索人工智慧的關鍵主題。

  • 互動地圖涵蓋56個AI概念和150條連線。
  • 涵蓋深度學習、語言模型、AI代理、計算機視覺等領域。
站內正文

我的投擲決定我的目標

本文透過一首藍調歌曲的比喻,探討大型語言模型的本質:它們生成文本時是先投擲後瞄準,還是存在內部規劃?作者結合自身使用AI寫作的經歷,反思模型創造的“虛假聲音”以及我們不斷剖析這些系統的行為。

  • 大型語言模型生成文本時,往往先有輸出,再構建解釋,體現了“投擲決定目標”的特性。
  • Anthropic的研究表明,模型在寫詩時會預先規劃韻腳,顯示出一定的內部目標設定。
站內正文

您可能錯過的RAISE Summit三大洞察

代理推理正在將AI基礎設施的重心從訓練擴充套件轉向上下文感知、記憶增強推理。RAISE峰會強調了三大關鍵洞察:AI堆疊專業化、儲存作為主動記憶體擴充套件、以及資本和資料主權融入基礎設施設計。

  • 代理推理推動AI堆疊專業化,AMD、Tensordyne和d-Matrix等公司提供最佳化硬體。
  • 儲存成為AI記憶體的主動擴充套件,高容量SSD靠近GPU防止計算空閒。
站內正文

QumulusAI直接上市:加速企業AI的Neocloud

Neocloud提供商QumulusAI宣佈透過直接上市在納斯達克交易,股票程式碼QMLS。此舉不僅是一項金融交易,更標誌著以GPU和電力可用性為中心的AI基礎設施層正在成熟。公司專注於快速部署高階GPU容量,利用現有機櫃設施和模組化資料中心,以季度為單位交付產能。直接上市提供了資本靈活性、公眾公司信譽,並抓住了AI基礎設施視窗期。文章還分析了Neocloud的差異化策略及對IT領導者的建議。

  • QumulusAI透過直接上市在納斯達克公開交易,股票程式碼QMLS。
  • 公司專注於AI基礎設施,提供GPU叢集,時間上以月計而非年計。
站內正文

米拉·穆拉蒂的Thinking Machines推出Inkling,開放權重模型任何人都可訪問

米拉·穆拉蒂創立的Thinking Machines Lab今日釋出了其首個基礎模型Inkling,這是一款完全開放權重的巨型模型,擁有9750億引數(混合專家架構,活躍引數410億)。該模型經過45萬億token的文本、影像、音訊和影片訓練,原生支援多模態輸入但僅輸出文本。Inkling旨在填補西方開源AI生態的空白,提供中國模型的替代方案。它具備'思考努力'控制和不確定性標記功能,可減少幻覺。開發者可透過Tinker API進行微調。Thinking Machines計劃透過Tinker平臺收費,而非按API呼叫計費,這可能顛覆當前主流AI商業模式。該模型在九個月內完成開發,使用輝達GB300 NVL72系統訓練。

  • Thinking Machines釋出首個基礎模型Inkling,擁有9750億引數(活躍410億),完全開放權重。
  • 模型經45萬億token多模態訓練,僅輸出文本,具備思考努力控制和不確定性標記。
站內正文

思考機器實驗室釋出Inkling:9750億引數開源多模態MoE模型,410億活躍引數,可控制思考力度

思考機器實驗室於2026年7月15日釋出了其首個從頭訓練的模型Inkling,採用Apache 2.0開源協議。該模型總引數量9750億,活躍引數410億,支援100萬token上下文視窗,可處理文本、影像和音訊輸入。其核心差異化優勢在於可控制的思考力度,使用者可根據需求調整推理時的token預算,平衡成本與效能。

  • Inkling是一個975B引數的混合專家(MoE)Transformer模型,具有41B活躍引數,支援1M上下文視窗和多模態輸入(文本、影像、音訊)。
  • 透過強化學習實現了可控的思考力度(reasoning_effort),可在推理時動態調整token預算,在Terminal Bench上以三分之一的token達到Nemotron 3 Ultra的效能。
站內正文

NVIDIA推出新型Jetson Thor計算機,推動主流機器人與邊緣AI發展

NVIDIA釋出了基於Thor架構的T3000和T2000模組,專為大規模機器人與邊緣AI應用設計。T3000提供865 FP4 teraflops算力,尺寸和功耗僅為T5000的一半;T2000提供400 FP4 teraflops。新模組支援可擴充套件邊緣AI平臺,並引入智慧體技能實現記憶體最佳化。同時推出Cosmos 3 Edge模型,適用於即時視覺分析。開發者可透過模擬模式立即開始開發,模組將於2027年Q1上市。

  • NVIDIA釋出T3000和T2000模組,基於Thor架構,適用於機器人與邊緣AI。
  • T3000算力865 FP4 teraflops,尺寸功耗減半;T2000算力400 FP4 teraflops。
站內正文

Eaon(預覽版)——私有的全能AI超級應用

Eaon是一款原生Mac應用,整合了49種AI模型,支援本地執行、自帶API金鑰或內建連線,完全免費且開源。它提供模型切換、成本監控、命令面板等功能,並注重隱私和本地化操作。

  • 免費開源,支援49種AI模型(如Claude、GPT、Gemini等)
  • 可本地執行或使用自帶API金鑰,資料隱私受保護
站內正文

Cadence將其AI代理從晶片擴充套件到電路板和封裝的AuraStack

Cadence Design Systems推出AuraStack,一款用於封裝和PCB設計的AI代理,旨在自動化系統設計工作流程,將設計時間從數天縮短到幾分鐘。

  • Cadence推出AuraStack,一款用於封裝和印刷電路板設計的AI代理。
  • 該代理幫助工程師進行系統設計分析,整合碎片化工作流程。
站內正文

遺忘中的智慧體(AIAIO)—— 教你如何使用AI的遊戲

AIAIO 是一款將 AI 代理會話日誌轉化為平臺遊戲的創意專案。你的實際提示、錯誤和任務成為遊戲關卡,而“遺忘之牆”則根據你的 token 消耗推進。它既是教育工具,也是自我反思工具。

  • 遊戲將 Claude Code、OpenClaw、Hermes 等 AI 代理的會話日誌轉化為可玩的平臺關卡。
  • 玩家的實際錯誤會變成怪物,任務變成工作站,token 消耗會推動“遺忘之牆”。
站內正文

Inkling 模型卡

Inkling 是 Thinking Machines Lab 釋出的通用多模態模型,支援文本、影像和音訊輸入,輸出文本。模型擁有 9750 億總引數(410 億啟用引數),採用稀疏 MoE 架構,上下文視窗達 100 萬 token,在多項基準測試中表現優異,並開放權重供研究和商業使用。

  • Inkling 是一個多模態稀疏 MoE 模型,975B 總引數,41B 啟用引數,支援 1M token 上下文。
  • Apache 2.0 許可開源,權重可在 Hugging Face 下載,並提供 API 訪問。
站內正文

我造了一臺AI垃圾生成器

作者詳細介紹了自己構建一臺本地AI推理機器(稱為“垃圾生成器”)的過程,包括模型選擇(Qwen 3.6 27B)和硬體選型(Radeon AI Pro R9700 GPU加eGPU擴充套件塢),並探討了自託管LLM的優勢與挑戰。

  • 自託管LLM可避免資料洩露、訂閱費和廣告,但需要強大的硬體。
  • Qwen 3.6 27B模型在量產後效能優異,適合本地執行。
站內正文

Soofi聯合體釋出Soofi S 30B-A3B:面向德語和英語的開放混合Mamba-Transformer MoE基礎模型

德國研究聯合體釋出了Soofi S 30B-A3B的預訓練報告,這是一個面向德語和英語的開放基礎模型。模型採用混合Mamba-Transformer MoE架構,總計約316億引數,每次token啟用約32億。在完全開放的基礎模型中,Soofi S在英語和德語綜合得分上最高。

  • Soofi S 30B-A3B是混合Mamba-Transformer MoE模型,啟用32億引數中的3.2B。
  • 在開放基礎模型中,英語綜合得分70.1%,德語79.1%,均領先。
站內正文

Built Technologies在AWS上構建AI驅動文件智慧解決方案,為房地產金融代理提供支援

Built Technologies與AWS生成式AI創新中心、AND Digital及AWS賬戶團隊合作,建立了可擴充套件的AI文件處理引擎,能夠對複雜房地產金融文件進行分類、拆分、提取、評估和推理。該引擎將原本需要數天的工作流程縮短至數分鐘,支援數百種文件型別,併為技術團隊和行業專家提供構建和改進文件處理器的共享環境。

  • Built Technologies開發了基於Amazon Bedrock和AWS IDP加速器的AI文件處理引擎。
  • 該引擎支援250多種文件型別,處理數百萬份文件,並賦能代理進行文件推理。
站內正文

IBM Power S1112將本地AI推理帶到邊緣,Power平臺走向自主

IBM釋出了新的Power伺服器系列和軟體,旨在實現基礎設施管理和應用程式開發的自動化。其中包括用於系統管理的自主控制層IBM Power Autonomous Operations,以及面向IBM i環境的AI驅動開發助手IBM Bob Premium Package for i。此外,IBM還推出了緊湊型單插槽Power11伺服器Power S1112,專為本地AI推理設計。這些新功能建立在去年Power11釋出的基礎上,強調了自主IT能力的擴充套件。IBM引用其2026年技術領導者研究,預計到2027年企業將平均部署1661個AI代理,需要能夠自我管理的基礎設施。Power S1112利用Power11的片上矩陣數學加速進行本地推理,效能是Power S914的兩倍,能效提高69%。Power Autonomous Operations透過持續監控系統行為,在3.33分鐘內解決容量問題,比傳統工作流程快15倍。IBM Bob Premium Package for i則幫助開發者更快理解和現代化IBM i應用。

  • IBM推出Power S1112伺服器,支援本地AI推理,效能提升顯著,能效提高69%。
  • IBM Power Autonomous Operations可實現基礎設施管理自動化,將問題解決時間縮短15倍。
站內正文

面向高等教育的人工智慧輔助諮詢服務

高等教育機構在擴大校園呼叫中心服務質量審查方面面臨挑戰。Databricks 提出一種基於生成式人工智慧的解決方案,使用 OpenAI Whisper 進行高精度轉錄,利用 LLM-as-a-judge 根據機構評分標準進行一致評分,並透過 AI 函式進行資料豐富——所有步驟均在統一治理平臺上完成,透過 Genie 和 Agent Bricks 實現自然語言洞察。

  • 針對財務援助、招生和註冊的呼叫中心質量保證成本高昂,通常僅審查約5%的通話。
  • Databricks 使用 Whisper 進行高保真轉錄,相比傳統 ASR 更能準確處理各種口音和嘈雜環境。
站內正文

美國人工智慧成本高昂,初創公司轉向廉價的中國模型

隨著人工智慧成本成為美國企業增長最快的支出之一,一些初創公司開始轉向更便宜的中國AI模型以節省開支。儘管中國模型在能力上落後6到12個月,但其開源特性和低成本吸引了大量使用者。

  • 美國AI公司如Anthropic、OpenAI模型成本高昂,初創公司Lindy.ai轉向中國的DeepSeek-V4節省了數百萬美元。
  • 中國模型在開源領域佔據主導地位,成本僅為美國模型的十分之一。
站內正文

跨越4國14臺Mac的強化學習後訓練

一個研究團隊成功利用分佈在四個國家的14臺Mac電腦(包括一臺個人MacBook)進行強化學習後訓練,在PaperSearchQA任務上將pass@1從29%提升至63%。該系統透過PULSE權重同步技術實現90MB的增量更新,並採用非同步星型拓撲結構,所有通訊基於物件儲存,無需專用網路。這是首次完全使用消費級Mac進行rollout生成的RL後訓練。

  • 14臺Mac跨4國透過普通網際網路連線完成RL後訓練,rollout生成在Mac上,訓練在B200上。
  • PULSE技術將9GB權重同步壓縮至約90MB,家庭網路實現資料中心級速度。
站內正文

Perplexity推出安全沙箱,讓AI代理既安全又強大

Perplexity AI推出SPACE沙箱平臺,為AI代理提供隔離的安全環境,支援長期任務、會話暫停與恢復,並保護使用者憑證。基於AWS Firecracker微虛擬機器技術,效能提升顯著。

  • SPACE是基於Firecracker微虛擬機器的安全沙箱,提供硬體級隔離與快速啟動。
  • 支援會話暫停、恢復和分支,任務可執行數小時至數天。
站內正文

駭客入侵揭示Suno AI音樂生成器從YouTube、Deezer和Genius抓取資料

一名駭客入侵Suno AI,曝光了其訓練資料來源,包括從YouTube Music、Deezer、Genius等平臺抓取的數百萬首歌曲和播客,同時洩露了數十萬使用者資訊及Stripe支付資料。Suno此前因版權問題被起訴,此次事件進一步揭示了AI公司的資料收集方式。

  • 駭客透過供應鏈攻擊入侵Suno,獲取了原始碼和客戶資料。
  • Suno從YouTube Music、Deezer、Genius等平臺抓取了數百萬首音樂和播客。
站內正文

晶片製造商Axelera釋出Voyager Wingman加速邊緣AI開發

邊緣AI晶片公司Axelera AI釋出了Voyager Wingman,一個允許開發者透過自然語言請求構建和除錯邊緣晶片應用的AI助手。該工具連線公司的Voyager SDK和全部文件,可幫助組裝計算機視覺管道、建議編譯器設定並診斷錯誤。它作為託管服務執行,知識隨Toolkit版本自動更新。現已提供網頁版和獨立應用,採用免費增值模式。

  • Voyager Wingman透過聊天介面提供對Axelera SDK和文件的直接訪問,簡化邊緣AI開發。
  • 該工具最初在CES上展示,經過客戶和內部團隊測試後正式釋出。
站內正文

7個用於編排本地AI代理的Python框架

本文介紹了七種Python工具,工程師在2026年實際使用它們來在本地基礎設施上構建、協調和執行AI代理,涵蓋從模型執行到決策編排的各個層面。

  • Ollama提供輕量級執行時,支援本地執行開源LLM,相容OpenAI API。
  • Smolagents以最小抽象和程式碼即行動為特點,但依賴足夠強大的本地模型。
站內正文

NVIDIA與日本攜手,將全棧AI與機器人技術帶入各行各業

日本作為全球AI中心,正藉助NVIDIA技術構建全棧AI生態系統。NVIDIA與SEGA慶祝合作30週年,宣佈將《VR戰士CROSSROADS》等經典遊戲引入NVIDIA RTX Spark新平臺,展現了從圖形技術到AI計算的技術演進。

  • 日本是製造業、機器人及基礎設施建設的全球樞紐,正在利用NVIDIA全棧技術加速AI發展。
  • NVIDIA與SEGA宣佈為NVIDIA RTX Spark平臺帶來《VR戰士CROSSROADS》等經典遊戲,延續30年合作。
站內正文

AIDE²:遞迴自我改進的首個證據

AIDE2 系統透過八天的自主研究,發現了一個比人類兩年構建的更好的自動研究框架,實現了遞迴自我改進(RSI)的首個實驗證據。該系統採用雙層最佳化迴圈,內層迴圈最佳化程式碼,外層迴圈最佳化內層智慧體的程式碼框架,最終產生了七個改進版本,並在未見過的任務上表現出泛化能力。同時,系統還進化出了防止獎勵駭客行為的機制。

  • AIDE2 系統在八天內自主發現了一個更優的自動研究框架,超越了人類兩年的工作。
  • 系統採用雙層最佳化迴圈,內層迴圈最佳化程式碼,外層迴圈最佳化內層智慧體的程式碼框架。
站內正文

諾基亞AI-RAN平臺:依託輝達的無線電迴歸

諾基亞於7月15日釋出了其AI-RAN平臺,聲稱是業界首個GPU加速的AI無線電平臺。該平臺基於anyRAN軟體和輝達的Aerial系統,旨在顯著提升頻譜效率,目前已實現超過20%的提升,目標是到2028年實現翻倍。然而,該平臺尚未商用,且面臨愛立信等競爭對手的挑戰。

  • 諾基亞推出AI-RAN平臺,聲稱是業界首個GPU加速的AI無線電平臺。
  • 平臺基於anyRAN軟體和輝達Aerial系統,目標頻譜效率提升超過100%。
站內正文

什麼樣的AI程式設計工具值得付費?

UltraWork 是一個託管式AI程式設計環境,每月固定費用399美元,無令牌計量,無需擔心意外賬單。它提供精選模型目錄、智慧路由、提示模板庫,面向獨立開發者、機構和小團隊。由具有高效能基礎設施經驗的工程師運營,強調簡單性和可預測的定價。

  • UltraWork 提供每月固定費用399美元的AI編碼環境,無令牌計量或超額費用。
  • 服務包括託管聊天介面、精選模型目錄(首發為Kimi K2.7 Code)以及智慧路由。
站內正文

谷歌釋出LiteRT.js:透過WebGPU在瀏覽器中執行.tflite模型的JavaScript繫結

谷歌於2026年7月9日釋出了LiteRT.js,這是其裝置端推理庫LiteRT的JavaScript繫結,允許.tflite模型直接在瀏覽器中執行,利用WebGPU加速。相比其他Web執行時,效能提升可達3倍,GPU/NPU路徑相比CPU路徑提速5-60倍,但需要手動管理張量記憶體。

  • LiteRT.js 透過 WebAssembly 在瀏覽器中執行 .tflite 模型,並利用 WebGPU 進行 GPU 加速。
  • 效能提升:相比其他 Web 執行時最高 3 倍,GPU/NPU 路徑相比自身 CPU 路徑快 5-60 倍。
站內正文

Show HN: Lean64 – 基於 Lean 4 的 Doom64 風格 FPS 遊戲

Lean64 是一個用 Lean 4 實現的極簡 3D 第一人稱射擊遊戲,靈感來自 Doom 64。它並非 Doom 64 的移植版,而是獨立開發的原型,包含完整的遊戲迴圈、敵人 AI、武器系統、音效和地圖。所有程式碼和素材均為原創,採用 MIT 許可證。

  • Lean64 是使用 Lean 4 語言開發的 Doom 風格第一人稱射擊遊戲原型。
  • 遊戲包含完整的移動、射擊、敵人、物品、地圖和 UI 等機制。
站內正文

TormentNexus:開源AI控制平面,擁有26K+ MCP工具

TormentNexus是一個本地優先的開源AI控制平面,為多代理工作流提供持久記憶、MCP工具編排和自主基礎設施管理。它支援38+ AI編碼代理,具有漸進式工具路由、雙層記憶架構和群集協調等功能。

  • 本地執行的開源AI控制平面,整合26K+ MCP工具。
  • 支援38+ AI編碼代理,一鍵安裝。
站內正文

喬治·盧卡斯:抵制AI就像拒絕汽車選擇馬車

喬治·盧卡斯認為抵制AI就像拒絕汽車選擇馬車,是一種過時的想法。他認為AI是電影製作的未來,無法阻擋,儘管有人擔心AI會取代人類創造力。

  • 喬治·盧卡斯將抵制AI比作拒絕汽車選擇馬車。
  • 他認為AI是進步和未來,無法阻擋。
站內正文

Sogni Unlimited:去中心化GPU上的無限影像/影片生成,統一費率

Sogni Unlimited 提供基於訂閱的無限影像、影片、音樂和 LLM 生成,使用去中心化的 GPU 網路。無需按渲染計費,支援開源模型及部分付費合作伙伴模型。訂閱收入的一部分用於支援獨立 GPU 運營商。

  • 統一月費或年費,可無限制使用開源模型進行渲染。
  • 去中心化 GPU 網路,由獨立運營商提供算力支援。
站內正文

在個人應用中巧妙融合AI與UI

本文介紹了Millwright——一種三層資料契約架構,使模型生成的分析結果在不接觸標記、樣式或DOM的情況下渲染。透過型別化的結果構件、語義化版本控制的看板以及僅允許新增的導航頁面,確保安全、可審計且可撤銷的AI整合。

  • Millwright採用三層資料層(構件、看板、頁面)將AI輸出與UI渲染分離。
  • 第一層:構件返回型別化的JSON資料而非HTML,確保安全並明確資料契約。
站內正文

Thinking Machines 的 Inkling 現已在 Modal 上可用

Thinking Machines 釋出了通用多模態模型 Inkling,支援文本、影像和音訊輸入並生成文本輸出,現可透過 Modal 託管端點使用,採用基於令牌的定價。文章還討論了其獨特的區域性注意力架構和 DFlash 推測解碼技術的優勢。

  • Thinking Machines 釋出 Inkling,一個 975B 總引數(41B 活躍)的多模態專家混合模型,支援 1M 令牌上下文視窗。
  • Inkling 採用區域性注意力佈局,每六層中有五層使用滑動視窗注意力,提高計算效率。
站內正文

歡迎Inkling:Thinking Machines的多模態大模型

Thinking Machines釋出了Inkling,一個擁有約1萬億引數的開源多模態模型,支援影像、文本和音訊輸入,可處理高達100萬token的上下文。該模型採用混合專家架構,僅啟用410億引數,並配有相對注意力和短卷積等創新設計。Inkling已在Hugging Face上釋出,並得到transformers、SGLang和llama.cpp的即日支援。

  • Inkling是首個約1萬億引數的開源模型,原生支援影像、文本和音訊輸入,上下文視窗達100萬token。
  • 採用混合專家架構,總引數9750億,但僅啟用410億,實現高效推理。
站內正文

Together GPU叢集新功能:為生產級GPU叢集提供可靠性與控制力

Together AI釋出一系列更新,旨在提升生產環境GPU叢集的可靠性與操作控制。新功能包括被動健康檢查、自動節點修復、強化版Slurm-on-K8s棧、叢集詳情檢視、外部OIDC認證、啟動指令碼以及可選的驗收測試。這些改進幫助團隊更快發現硬體故障、自動化恢復流程,並提供更細粒度的訪問控制和自定義能力。

  • 新增被動健康檢查與自動節點修復,即時監測並處理硬體故障,減少停機時間。
  • Slurm-on-K8s 2.0實現自我修復守護程序、持久化作業會計和可靠程序清理,提升排程穩定性。
站內正文

Together AI 在首日即引入 Thinking Machines Lab 的新模型 Inkling

Thinking Machines Lab 釋出了 Inkling,一個多模態混合專家模型,專注於高效推理、原生多模態理解和廣泛任務適用性。Together AI 在其推理平臺上提供該模型,支援可控推理努力、文本/影像/音訊輸入,以及 1M 上下文視窗。

  • Inkling 是一個多模態 MoE 模型,總引數量 975B,每個 token 啟用 40B 引數。
  • 支援文本、影像和音訊輸入,並具有可控推理能力,允許開發者平衡推理深度、token 使用和延遲。
站內正文

[AINews] 今天沒有什麼大事發生

超級應用Codex每天新增100萬使用者。AI新聞彙總涵蓋編碼代理、開放模型、多模態系統、基準測試和物理AI。

  • Codex和ChatGPT Work使用量一週增長2.5倍。
  • Bonsai 27B將前沿模型帶到消費裝置上。
站內正文

PrismML釋出Bonsai 27B:Qwen3.6-27B的1位和三進製版本,可在筆記型電腦和手機上執行

PrismML釋出了Bonsai 27B,這是Qwen3.6-27B的低位表示,並非全新預訓練模型。提供三進位制和二進位制兩種變體,採用Apache 2.0許可證。三進製版本每位僅1.71位元,理想大小為5.9GB;二進位制版本每位1.125位元,大小為3.9GB。效能方面,三進位制保留FP16基線的94.6%,二進位制保留89.5%。該模型支援多模態,上下文長度262K令牌。PrismML聲稱二進位制版本是首個適合手機的27B級模型。

  • Bonsai 27B是Qwen3.6-27B的低位版本,非全新預訓練模型。
  • 提供三進位制(1.71位元/權重)和二進位制(1.125位元/權重)兩種變體。
站內正文

作業系統 -> 生產調查

開源AI已達到與封閉模型的能力平價,推理成本在36個月內下降了50倍,開源權重在API呼叫量上佔據主導地位。儘管開發者廣泛採用開源模型(79%),但生產部署仍面臨運營工具和信任度挑戰(僅51%成功部署)。開源不僅是成本選擇,更是主權選擇,尤其在中國和全球南方國家的戰略推動下。

  • 開源AI與頂級封閉模型的能力差距縮小至3.3%,在編碼等任務上達到平價。
  • GPT-4級推理成本從每百萬token 20美元降至0.40美元,降幅達50倍。
站內正文

TPU與GPU叢集:集體通訊的解剖

本文深入探討了TPU和GPU叢集拓撲結構,以及用於Transformer訓練和推理的核心集體操作。重點介紹了環狀演算法在大型訊息通訊中的應用,並分析了TPU的2D/3D環面拓撲和頻寬層次結構。

  • TPU叢集採用2D或3D環面拓撲,晶片透過ICI直接連線。
  • 集體操作如All-Gather和Reduce-Scatter是分散式訓練的基礎。
站內正文

臺灣第二大晶片製造商實現光子學生產里程碑

臺灣晶片製造商正在擴大製造能力,以支援日益增長的人工智慧基礎設施需求。

  • 臺灣第二大晶片製造商在光子學生產上達到重要里程碑
  • 擴大產能以滿足AI基礎設施需求
站內正文

Nemotron Labs:開放模型如何讓企業和國家擁有可信、可控、可定製的人工智慧

開放模型如NVIDIA Nemotron使企業能夠構建滿足特定需求的AI,提供完全的控制權、定製能力和成本效益,並推動從AI使用到AI擁有的轉變。

  • 開放模型讓企業能夠定製、檢查和改進AI,滿足業務具體需求。
  • 透過後訓練和領域微調,開放模型在特定任務上可達到與領先封閉模型相當的準確性,成本大幅降低。
站內正文

主題導航

晶片 — AI 主題新聞 | AI News Hub