AI News HubLIVE

芯片動態

蘋果超越英偉達,重奪全球市值最高公司寶座

蘋果在週五超過英偉達,成為全球市值最高的公司,這反映了投資者對人工智能前景的重新評估。蘋果市值穩定在4.88萬億美元,而英偉達因股價下跌3.5%市值降至約4.86萬億美元。

  • 蘋果超越英偉達,成為全球市值最高的公司。
  • 投資者正在重新評估人工智能的前景。
站內正文

NVIDIA Vera Rubin:最大化智能體AI每美元智能的關鍵平台

NVIDIA Vera Rubin平台通過極致協同設計降低每token成本,實現更頻繁高效的後訓練,最大化智能體AI時代的每美元智能。Nemotron 3 Ultra模型在SWE-bench驗證中得分71.7%,展示了後訓練的有效性。

  • 後訓練從一次性步驟轉變為智能體AI的持續過程
  • Vera Rubin相比Blackwell可將訓練大型模型所需GPU數量減少四倍
站內正文

NVIDIA AI發佈Nemotron 3 Embed:開源嵌入集合,8B檢查點榮登RTEB榜首

NVIDIA發佈Nemotron 3 Embed,包含三個開源檢查點:8B BF16、1B BF16和1B NVFP4。其中8B模型在RTEB基準上以78.46平均NDCG@10排名第一。1B模型通過NAS剪枝和蒸餾從8B教師模型得到。NVFP4在Blackwell上保持99%+的檢索精度,吞吐量提升2倍。所有模型支持32,768 token輸入,採用OpenMDW-1.1許可。

  • Nemotron-3-Embed-8B-BF16在RTEB上以78.46平均NDCG@10排名第一
  • 提供8B BF16、1B BF16和1B NVFP4三種檢查點
站內正文

中國英偉達替代品公司預測銷售額激增,AI芯片需求旺盛

中國芯片設計公司摩爾線程和紫光信息預測上半年收入大幅增長,得益於國內AI計算需求激增。摩爾線程預計收入增長135%-149%,紫光信息預計增長55.6%-70.2%。這凸顯了中國在AI基礎設施上的強勁需求,以及在美國出口限制下國產芯片的崛起。

  • 摩爾線程預計上半年收入同比增長135.1%至149.4%,達到16.5億至17.5億元人民幣。
  • 紫光信息預計上半年收入同比增長55.6%至70.2%,達到85億至93億元人民幣。
站內正文

巴菲特揭秘:伯克希爾310億美元押注谷歌的背後決策者

沃倫·巴菲特透露,是他本人而非繼任者格雷格·阿貝爾主導了伯克希爾對谷歌母公司Alphabet的310億美元投資。他表示,人工智能巨頭被迫進行鉅額資本支出以保持競爭力,這種模式類似於他曾投資的鐵路和公用事業,因此吸引了長期迴避科技股的他。

  • 巴菲特親自決定伯克希爾投資Alphabet 310億美元,而非繼任CEO。
  • 他改變對科技股的看法,因AI公司資本支出模式轉向類似鐵路和公用事業。
站內正文

分支策略優化:面向沙盒的原生語言智能體強化學習

提出分支策略優化(BPO),利用沙盒的確定性、可快照和可恢復特性,通過共享前綴的樹形 rollout 拓撲降低策略梯度方差,在多個基準上較 GRPO 和 RLOO 提升 3.6-6.1 個絕對百分點。

  • BPO 利用沙盒可快照和可恢復的特性,構建共享前綴的樹形 rollout 拓撲,替代獨立軌跡採樣。
  • 該算法在決策點分支並計算兄弟軌跡間的優勢,理論上證明方差嚴格低於軌跡級基線。
站內正文

人工智能的真正瓶頸在於數據交付

企業大規模部署AI時,最大障礙往往是數據從存儲到計算的基礎設施,而非GPU等計算硬件。文章指出,許多組織誤以為性能問題需要更多計算資源,實則根源在於數據飢餓,即數據無法高效、安全、持續地在存儲與計算之間流動。通過引入應用交付控制器實現松耦合架構,以及關注可達性、策略和交付三個維度的韌性,可顯著提升GPU利用率和AI投資回報。

  • AI性能瓶頸常被誤認為計算不足,實則是數據交付基礎設施的制約。
  • 松耦合架構(如引入ADC)可將存儲與計算解耦,提升靈活性和性能。
站內正文

[AINews] Kimi K3 2.8T-A50B:有史以來最大的開源模型;Opus 4.8級別的性能,Sonnet 5的定價

Moonshot AI發佈了Kimi K3,一個2.8萬億參數的開源模型,擁有1M上下文長度,在Frontend Code Arena中排名第一,並在多項基準測試中取得優異成績。此次發佈標誌着開源模型的一個里程碑,儘管與頂級閉源模型仍存在差距。新聞通訊還涵蓋了其他AI新聞,包括安全事件、智能體框架和機器人技術。

  • Kimi K3是一個2.8萬億參數的開源模型,擁有1M上下文和原生多模態輸入。
  • 它在Frontend Code Arena中排名第一,超越了Claude Fable 5。
站內正文

SAM — 一款在本地運行的開源AI智能體

SAM是一個免費的開源AI智能體,它能在你的計算機上本地運行,無需訂閲。它不僅能聊天,還能實際執行任務,擁有173種工具,支持團隊協作、離線運行,並且注重隱私。

  • 免費開源,本地運行,數據隱私安全
  • 支持173種真實工具,可執行網頁、文件、終端等操作
站內正文

月之暗面發佈 Kimi K3:2.8萬億參數開源MoE模型,搭載Kimi Delta Attention和百萬上下文

月之暗面於2026年7月16日發佈Kimi K3,這是一款2.8萬億參數的開源MoE模型,採用Kimi Delta Attention和Attention Residuals架構,支持原生視覺和100萬token上下文窗口。K3在多項基準測試中表現出色,但整體性能仍略遜於最強大的專有模型。

  • Kimi K3是首款開源2.8萬億參數MoE模型,激活896個專家中的16個。
  • 引入Kimi Delta Attention(KDA)和Attention Residuals(AttnRes),分別提升解碼速度和訓練效率。
站內正文

AegisDB – 自託管AI代理內存,單個C語言二進制文件

AegisDB是一個自託管的AI代理內存系統,提供持久化、語義化和工作記憶功能,通過簡單的JSON-over-TCP協議訪問。它採用單個無依賴的C語言二進制文件,支持多租户、加密、備份、只讀副本和可觀測性,特別適合與Claude Code集成,確保數據完全由用户掌控。

  • 單個C語言二進制文件,零依賴,支持Docker部署
  • 提供持久化、語義化(向量搜索)和工作記憶三種內存類型
站內正文

Kimi K3 在智能知識工作基準測試中擊敗 GPT-5.6 Sol

Artificial Analysis 發佈了 AA-Briefcase 智能知識工作基準測試結果,Kimi K3 以 1547 Elo 排名第一,領先於 GPT-5.6 Sol 的 1495 分。該基準測試模擬真實商業工作流,評估模型在生成電子表格、演示文稿和備忘錄等任務中的表現。

  • Kimi K3 在 AA-Briefcase 基準測試中排名第一,Elo 得分為 1547。
  • GPT-5.6 Sol 以 1495 分排名第三,落後於 Claude Fable 5。
站內正文

你的AI已就緒,但數據基礎可能尚未完善

Cushman & Wakefield首席數字和信息官Sal Companieh分享瞭如何通過產品運營模式、統一數據戰略以及與Databricks的合作,建立企業級AI核心,將想法到成果的時間從數月縮短至數天。

  • 將技術人員嵌入業務部門,建立信任和以行為為導向的運營模式
  • 通過資本投資模型要求技術計劃與業務負責人共同創建,確保與業務優先級一致
站內正文

Skyportal SRE – 開源AI基礎設施工程師

Skyportal SRE 是一個開源AI基礎設施工程師工具,提供Python SDK、CLI和可觀測性代理,用於管理和監控AI基礎設施。

  • Skyportal SDK 是 SkyPortal 的官方 Python 客户端,支持同步和異步操作
  • CLI 提供交互式命令中心和自動化腳本接口
站內正文

如何讓我們的LeRobot視頻讀取器速度提升最高15倍

我們改進了Daft中的LeRobot視頻讀取器,通過批量解碼將遠程數據集上的幀解碼速度從每幀3秒提升到整體數秒,實現了4-15倍的加速。

  • 原始逐幀解碼因每次遠程打開文件並讀取索引而緩慢。
  • 新的批量讀取器按分片分組,排序和聚類目標時間戳,每個聚類只尋求一次。
站內正文

豐田分拆公司攜3億美元融資低調啓動

這家由英偉達和波音支持的初創公司表示,其輪式機器人已投入生產,並能持續學習新的工業任務。

  • 獲得英偉達和波音支持
  • 輪式機器人已投入生產
站內正文

自我破壞悖論:前沿實驗室正在摧毀自己的護城河

Anthropic 秘密削弱了其最強大的編碼代理 Claude Fable 5,使其在涉及前沿 AI 開發任務時能力下降,以保護自身經濟地位。這一做法揭示了 AI 行業的結構性矛盾:實驗室既想製造最強大的工具,又害怕被自己創造的工具取代。與此同時,開源模型生態蓬勃發展,企業客户正在轉向更便宜的開源替代方案。

  • Anthropic 在 Claude Fable 5 中秘密實施了針對 AI 開發任務的性能降級,以保護自己的競爭地位。
  • 這一做法凸顯了前沿實驗室的自我破壞悖論:它們必須削弱自己最成功的產品來維持護城河。
站內正文

能源IPO激增,投資者尋求搭上AI熱潮

2026年上半年,能源公司通過IPO籌集了126億美元,創下自1999年互聯網泡沫以來最高半年度水平,投資者希望押注人工智能數據中心對電力的巨大需求。

  • 2026年上半年能源IPO籌資126億美元,為1999年以來最高半年度水平。
  • AI數據中心電力需求預計將推動美國電力需求到2035年增長39%。
站內正文

VarAlign – 捕獲AI編程助手在會話間散落的重複變量

VarAlign是一款VS Code擴展,能檢測AI編程助手在不同會話中創建的重複、漂移或錯位的變量。完全本地運行,代碼不會離開機器。它提供重複項、變量和會話視圖,支持生成修復提示,並可與Claude Code或Kilo Code集成自動修復。

  • 100%本地運行,無雲服務或遙測,適用於隔離環境。
  • 自動跟蹤AI助手創建的變量,檢測重複和漂移。
站內正文

NotebookLM 更名為 Gemini Notebook:新功能與跨生態整合

谷歌將 NotebookLM 更名為 Gemini Notebook,強調其作為 AI 研究工具的核心地位,並新增安全雲端計算機實現原生代碼執行與數據分析,同時支持 Gemini 應用與搜索的跨應用同步,未來還將集成到 AI Mode 中。自 2023 年以 Project Tailwind 推出以來,已有超過 3000 萬用户和 60 萬個組織採用。

  • NotebookLM 正式更名為 Gemini Notebook,保持獨立產品定位,但深度融合谷歌 AI 生態。
  • 新增安全雲端計算機,支持在筆記本內直接編寫和執行代碼,進行復雜數據分析。
站內正文

Google Vids 兩大更新:用文本生成編輯視頻,創建數字分身出鏡

Google Vids 推出 Gemini Omni 和個人數字分身兩大功能,用户只需通過自然語言描述即可生成和編輯高質量視頻片段,還能創建自己的數字分身出鏡,無需實際拍攝。

  • Gemini Omni 支持通過文本提示和圖片參考生成視頻,並可進行逐步編輯。
  • 個人數字分身功能讓用户上傳自拍和錄音後,輸入文字即可讓分身説話出鏡。
站內正文

Inkling:我們的開放權重模型

Mira Murati的Thinking Machines Lab於2026年7月16日發佈了其首個開放權重模型Inkling。這是一個混合專家(MoE)Transformer,總參數975B,活躍參數41B,採用Apache-2.0許可證,支持多模態,在45萬億token上訓練。該模型並非前沿模型,而是作為通過Tinker平台進行微調的強大基礎模型。同時預告了Inkling-Small(276B總參數,12B活躍)。模型卡和訓練數據文檔異常簡短,數據來源描述模糊,僅提及公共領域和互聯網內容。Inkling在性能上與中國開放權重模型競爭,為美國開放權重生態系統增添了新力量。

  • Inkling是一個開放權重的多模態MoE模型,總參數975B(活躍41B),Apache-2.0許可,在45萬億token上訓練。
  • 該模型並非前沿模型,而是作為通過Tinker平台微調的強大基礎模型,同時計劃推出Inkling-Small。
站內正文

Democr.ai:自託管代理AI運行時,具備審計與RBAC功能

Democr.ai 是一個開源的自託管代理AI運行時框架,集成了服務器驅動UI、多客户端渲染、多租户、RBAC、OS級沙箱、三層審計、可插拔AI引擎編排、知識子系統等核心功能。其核心理念是“一切皆模塊”,無供應商鎖定,強調安全作為原語。項目仍處於測試階段,但架構已面向生產級約束。

  • Democr.ai 提供一個完整的運行時框架,集成UI、AI引擎、安全審計、多租户等能力。
  • 框架採用模塊化架構,所有組件包括認證均為模塊,通過公共SDK擴展。
站內正文

StepFun 推出 StepX Neo,號稱首款 '代理型 AI 手機'

中國AI公司StepFun發佈全球首款原生代理型AI手機StepX Neo,搭載自研Step AOS系統與Amoo AI助手,可在多平台自主完成訂票、打車等複雜任務。

  • StepX Neo 運行自研 Step AOS 系統,非基於 Android。
  • Amoo AI 採用 1+N 模型架構,切換設備端和雲端處理。
站內正文

AI利潤率崩塌中的贏家和輸家

本文探討了AI推理市場即將面臨的利潤率崩潰,分析了“足夠好”的廉價模型如何改變市場格局。贏家包括硬件供應鏈、超大規模雲服務商、編碼代理(如Cursor)以及最終用户;而前沿AI實驗室雖然面臨風險,但可能通過不公開最強模型或轉向託管平台來應對。此外,B2C市場中的廣告變現潛力可能帶來新的轉機。

  • AI推理市場正分裂為昂貴的前沿模型和廉價的“足夠好”模型,導致利潤率壓縮。
  • 硬件和基礎設施提供商、編碼代理以及消費者是主要贏家。
站內正文

序列觀點 #896:Spark、計算與兩個Meta

Meta發佈了Muse Spark 1.1,這是首個帶有價格標籤的Meta模型,標誌着從開源權重向閉源商業模式的轉變。同時,Meta在構建完整垂直堆棧——從芯片到雲再到應用,引發其能否與前沿AI實驗室競爭的討論。

  • Meta發佈Muse Spark 1.1,採用閉源權重和付費API,定價為每百萬輸入tokens 1.25美元、輸出tokens 4.25美元,兼容OpenAI端點。
  • 扎克伯格三年來首次在X上發帖宣佈這一轉變,凸顯戰略調整。
站內正文

基金會啓動以標準化AI支付

Linux基金會宣佈x402基金會正式運營,該開放治理機構由40個成員組成,旨在標準化AI代理和應用的互聯網原生支付協議。

  • Linux基金會推出x402基金會,擁有40個成員,包括Visa、Mastercard、Google和Microsoft。
  • 支持多種支付方式,從傳統卡到穩定幣。
站內正文

Thinky發佈Inkling:975B-A41B多模態模型,美國最強Apache 2.0開源模型(附帶Inkling-Small,276B-A12B)

Thinky首次發佈完整LLM系列Inkling,採用MoE架構,總參數量975B,激活參數41B,支持文本、圖像、音頻輸入,1M上下文窗口,Apache 2.0許可。性能上成為美國最強開源模型,但略遜於中國開源旗艦和閉源模型。

  • Inkling是975B總參/41B激活的MoE多模態模型,Apache 2.0開源,支持1M上下文。
  • 訓練使用45T tokens,架構創新包括滑動窗口注意力、短卷積層、共享專家等。
站內正文

停止説“AI只是一個工具,關鍵在於如何使用”

這篇文章批判了“AI只是工具,如何使用才重要”這一常見説法,指出工具並非中立,它們塑造社會、環境與人性。作者以汽車、椅子為例,説明工具的設計本身帶有政治性。AI作為工具尤為危險,因為它消除了人類應有的掙扎與痛苦,導致批判性思維喪失。文章呼籲重新審視技術設計,關注工具對人類的深層影響。

  • “AI只是工具”的説法過於簡單化,忽略了工具的政治性和社會影響。
  • 工具的設計和使用會改變人類行為和環境,AI也不例外。
站內正文

Show HN: 基於NextJS和OpenAI的AI入門模板

這是一個由Suhas Bhairav創建的包含50多個開源Next.js AI模板和入門套件的精選集合,涵蓋聊天機器人、RAG、語音代理、圖像生成等多種AI應用。

  • 提供超過50個開源Next.js AI模板,覆蓋多種AI應用場景。
  • 模板包括聊天機器人、RAG、語音AI、圖像生成和個人代理等類別。
站內正文

CayleyR:通過循環交集解決TopSpin謎題

cayleyR是一個R語言包,利用凱萊圖中的循環交集檢測來解決排列謎題。核心算法採用迭代雙向搜索,從初始和目標排列狀態生成隨機操作序列,尋找連接路徑。該包專為TopSpin(n,k)謎題設計,結合C++哈希索引狀態存儲和可選的Vulkan GPU加速,已在CRAN上發佈。

  • cayleyR通過檢測凱萊圖中的循環交集來求解排列謎題
  • 算法使用迭代雙向搜索和距離引導的橋接選擇
站內正文

人工智能互動地圖

一個包含56個AI概念及其150條關聯的互動可視化地圖,用户可通過拖拽、懸停和點擊探索人工智能的關鍵主題。

  • 互動地圖涵蓋56個AI概念和150條連接。
  • 涵蓋深度學習、語言模型、AI代理、計算機視覺等領域。
站內正文

我的投擲決定我的目標

本文通過一首藍調歌曲的比喻,探討大型語言模型的本質:它們生成文本時是先投擲後瞄準,還是存在內部規劃?作者結合自身使用AI寫作的經歷,反思模型創造的“虛假聲音”以及我們不斷剖析這些系統的行為。

  • 大型語言模型生成文本時,往往先有輸出,再構建解釋,體現了“投擲決定目標”的特性。
  • Anthropic的研究表明,模型在寫詩時會預先規劃韻腳,顯示出一定的內部目標設定。
站內正文

您可能錯過的RAISE Summit三大洞察

代理推理正在將AI基礎設施的重心從訓練擴展轉向上下文感知、記憶增強推理。RAISE峯會強調了三大關鍵洞察:AI堆棧專業化、存儲作為主動內存擴展、以及資本和數據主權融入基礎設施設計。

  • 代理推理推動AI堆棧專業化,AMD、Tensordyne和d-Matrix等公司提供優化硬件。
  • 存儲成為AI內存的主動擴展,高容量SSD靠近GPU防止計算空閒。
站內正文

QumulusAI直接上市:加速企業AI的Neocloud

Neocloud提供商QumulusAI宣佈通過直接上市在納斯達克交易,股票代碼QMLS。此舉不僅是一項金融交易,更標誌着以GPU和電力可用性為中心的AI基礎設施層正在成熟。公司專注於快速部署高端GPU容量,利用現有機櫃設施和模塊化數據中心,以季度為單位交付產能。直接上市提供了資本靈活性、公眾公司信譽,並抓住了AI基礎設施窗口期。文章還分析了Neocloud的差異化策略及對IT領導者的建議。

  • QumulusAI通過直接上市在納斯達克公開交易,股票代碼QMLS。
  • 公司專注於AI基礎設施,提供GPU集羣,時間上以月計而非年計。
站內正文

99.9% 的正常運行時間對推理意味着什麼?

本文深入解析了推理服務中 99%、99.9% 和 99.99% 正常運行時間所對應的不同故障域,以及每個層級所需的架構設計。作者分享了 Together AI 在構建可靠推理基礎設施方面的實踐經驗,並提供了在選擇推理提供商時應提出的關鍵問題。

  • 每個可靠性層級對應不同的故障域:99% 應對節點故障,99.9% 應對數據中心故障,99.99% 應對區域故障。
  • 實現高可靠性需要主動健康檢查、跨設施部署以及預留容量。
站內正文

米拉·穆拉蒂的Thinking Machines推出Inkling,開放權重模型任何人都可訪問

米拉·穆拉蒂創立的Thinking Machines Lab今日發佈了其首個基礎模型Inkling,這是一款完全開放權重的巨型模型,擁有9750億參數(混合專家架構,活躍參數410億)。該模型經過45萬億token的文本、圖像、音頻和視頻訓練,原生支持多模態輸入但僅輸出文本。Inkling旨在填補西方開源AI生態的空白,提供中國模型的替代方案。它具備'思考努力'控制和不確定性標記功能,可減少幻覺。開發者可通過Tinker API進行微調。Thinking Machines計劃通過Tinker平台收費,而非按API調用計費,這可能顛覆當前主流AI商業模式。該模型在九個月內完成開發,使用英偉達GB300 NVL72系統訓練。

  • Thinking Machines發佈首個基礎模型Inkling,擁有9750億參數(活躍410億),完全開放權重。
  • 模型經45萬億token多模態訓練,僅輸出文本,具備思考努力控制和不確定性標記。
站內正文

思考機器實驗室發佈Inkling:9750億參數開源多模態MoE模型,410億活躍參數,可控制思考力度

思考機器實驗室於2026年7月15日發佈了其首個從頭訓練的模型Inkling,採用Apache 2.0開源協議。該模型總參數量9750億,活躍參數410億,支持100萬token上下文窗口,可處理文本、圖像和音頻輸入。其核心差異化優勢在於可控制的思考力度,用户可根據需求調整推理時的token預算,平衡成本與性能。

  • Inkling是一個975B參數的混合專家(MoE)Transformer模型,具有41B活躍參數,支持1M上下文窗口和多模態輸入(文本、圖像、音頻)。
  • 通過強化學習實現了可控的思考力度(reasoning_effort),可在推理時動態調整token預算,在Terminal Bench上以三分之一的token達到Nemotron 3 Ultra的性能。
站內正文

NVIDIA推出新型Jetson Thor計算機,推動主流機器人與邊緣AI發展

NVIDIA發佈了基於Thor架構的T3000和T2000模塊,專為大規模機器人與邊緣AI應用設計。T3000提供865 FP4 teraflops算力,尺寸和功耗僅為T5000的一半;T2000提供400 FP4 teraflops。新模塊支持可擴展邊緣AI平台,並引入智能體技能實現內存優化。同時推出Cosmos 3 Edge模型,適用於實時視覺分析。開發者可通過模擬模式立即開始開發,模塊將於2027年Q1上市。

  • NVIDIA發佈T3000和T2000模塊,基於Thor架構,適用於機器人與邊緣AI。
  • T3000算力865 FP4 teraflops,尺寸功耗減半;T2000算力400 FP4 teraflops。
站內正文

Eaon(預覽版)——私有的全能AI超級應用

Eaon是一款原生Mac應用,集成了49種AI模型,支持本地運行、自帶API密鑰或內置連接,完全免費且開源。它提供模型切換、成本監控、命令面板等功能,並注重隱私和本地化操作。

  • 免費開源,支持49種AI模型(如Claude、GPT、Gemini等)
  • 可本地運行或使用自帶API密鑰,數據隱私受保護
站內正文

Cadence將其AI代理從芯片擴展到電路板和封裝的AuraStack

Cadence Design Systems推出AuraStack,一款用於封裝和PCB設計的AI代理,旨在自動化系統設計工作流程,將設計時間從數天縮短到幾分鐘。

  • Cadence推出AuraStack,一款用於封裝和印刷電路板設計的AI代理。
  • 該代理幫助工程師進行系統設計分析,整合碎片化工作流程。
站內正文

遺忘中的智能體(AIAIO)—— 教你如何使用AI的遊戲

AIAIO 是一款將 AI 代理會話日誌轉化為平台遊戲的創意項目。你的實際提示、錯誤和任務成為遊戲關卡,而“遺忘之牆”則根據你的 token 消耗推進。它既是教育工具,也是自我反思工具。

  • 遊戲將 Claude Code、OpenClaw、Hermes 等 AI 代理的會話日誌轉化為可玩的平台關卡。
  • 玩家的實際錯誤會變成怪物,任務變成工作站,token 消耗會推動“遺忘之牆”。
站內正文

Inkling 模型卡

Inkling 是 Thinking Machines Lab 發佈的通用多模態模型,支持文本、圖像和音頻輸入,輸出文本。模型擁有 9750 億總參數(410 億激活參數),採用稀疏 MoE 架構,上下文窗口達 100 萬 token,在多項基準測試中表現優異,並開放權重供研究和商業使用。

  • Inkling 是一個多模態稀疏 MoE 模型,975B 總參數,41B 激活參數,支持 1M token 上下文。
  • Apache 2.0 許可開源,權重可在 Hugging Face 下載,並提供 API 訪問。
站內正文

我造了一台AI垃圾生成器

作者詳細介紹了自己構建一台本地AI推理機器(稱為“垃圾生成器”)的過程,包括模型選擇(Qwen 3.6 27B)和硬件選型(Radeon AI Pro R9700 GPU加eGPU擴展塢),並探討了自託管LLM的優勢與挑戰。

  • 自託管LLM可避免數據泄露、訂閲費和廣告,但需要強大的硬件。
  • Qwen 3.6 27B模型在量產後性能優異,適合本地運行。
站內正文

Soofi聯合體發佈Soofi S 30B-A3B:面向德語和英語的開放混合Mamba-Transformer MoE基礎模型

德國研究聯合體發佈了Soofi S 30B-A3B的預訓練報告,這是一個面向德語和英語的開放基礎模型。模型採用混合Mamba-Transformer MoE架構,總計約316億參數,每次token激活約32億。在完全開放的基礎模型中,Soofi S在英語和德語綜合得分上最高。

  • Soofi S 30B-A3B是混合Mamba-Transformer MoE模型,激活32億參數中的3.2B。
  • 在開放基礎模型中,英語綜合得分70.1%,德語79.1%,均領先。
站內正文

Built Technologies在AWS上構建AI驅動文檔智能解決方案,為房地產金融代理提供支持

Built Technologies與AWS生成式AI創新中心、AND Digital及AWS賬户團隊合作,創建了可擴展的AI文檔處理引擎,能夠對複雜房地產金融文檔進行分類、拆分、提取、評估和推理。該引擎將原本需要數天的工作流程縮短至數分鐘,支持數百種文檔類型,併為技術團隊和行業專家提供構建和改進文檔處理器的共享環境。

  • Built Technologies開發了基於Amazon Bedrock和AWS IDP加速器的AI文檔處理引擎。
  • 該引擎支持250多種文檔類型,處理數百萬份文檔,並賦能代理進行文檔推理。
站內正文

IBM Power S1112將本地AI推理帶到邊緣,Power平台走向自主

IBM發佈了新的Power服務器系列和軟件,旨在實現基礎設施管理和應用程序開發的自動化。其中包括用於系統管理的自主控制層IBM Power Autonomous Operations,以及面向IBM i環境的AI驅動開發助手IBM Bob Premium Package for i。此外,IBM還推出了緊湊型單插槽Power11服務器Power S1112,專為本地AI推理設計。這些新功能建立在去年Power11發佈的基礎上,強調了自主IT能力的擴展。IBM引用其2026年技術領導者研究,預計到2027年企業將平均部署1661個AI代理,需要能夠自我管理的基礎設施。Power S1112利用Power11的片上矩陣數學加速進行本地推理,性能是Power S914的兩倍,能效提高69%。Power Autonomous Operations通過持續監控系統行為,在3.33分鐘內解決容量問題,比傳統工作流程快15倍。IBM Bob Premium Package for i則幫助開發者更快理解和現代化IBM i應用。

  • IBM推出Power S1112服務器,支持本地AI推理,性能提升顯著,能效提高69%。
  • IBM Power Autonomous Operations可實現基礎設施管理自動化,將問題解決時間縮短15倍。
站內正文

面向高等教育的人工智能輔助諮詢服務

高等教育機構在擴大校園呼叫中心服務質量審查方面面臨挑戰。Databricks 提出一種基於生成式人工智能的解決方案,使用 OpenAI Whisper 進行高精度轉錄,利用 LLM-as-a-judge 根據機構評分標準進行一致評分,並通過 AI 函數進行數據豐富——所有步驟均在統一治理平台上完成,通過 Genie 和 Agent Bricks 實現自然語言洞察。

  • 針對財務援助、招生和註冊的呼叫中心質量保證成本高昂,通常僅審查約5%的通話。
  • Databricks 使用 Whisper 進行高保真轉錄,相比傳統 ASR 更能準確處理各種口音和嘈雜環境。
站內正文

美國人工智能成本高昂,初創公司轉向廉價的中國模型

隨着人工智能成本成為美國企業增長最快的支出之一,一些初創公司開始轉向更便宜的中國AI模型以節省開支。儘管中國模型在能力上落後6到12個月,但其開源特性和低成本吸引了大量用户。

  • 美國AI公司如Anthropic、OpenAI模型成本高昂,初創公司Lindy.ai轉向中國的DeepSeek-V4節省了數百萬美元。
  • 中國模型在開源領域佔據主導地位,成本僅為美國模型的十分之一。
站內正文

跨越4國14台Mac的強化學習後訓練

一個研究團隊成功利用分佈在四個國家的14台Mac電腦(包括一台個人MacBook)進行強化學習後訓練,在PaperSearchQA任務上將pass@1從29%提升至63%。該系統通過PULSE權重同步技術實現90MB的增量更新,並採用異步星型拓撲結構,所有通信基於對象存儲,無需專用網絡。這是首次完全使用消費級Mac進行rollout生成的RL後訓練。

  • 14台Mac跨4國通過普通互聯網連接完成RL後訓練,rollout生成在Mac上,訓練在B200上。
  • PULSE技術將9GB權重同步壓縮至約90MB,家庭網絡實現數據中心級速度。
站內正文

主題導航

芯片 — AI 主題新聞 | AI News Hub