芯片

Democr.ai 是一個開源的自託管代理AI運行時框架，集成了服務器驅動UI、多客户端渲染、多租户、RBAC、OS級沙箱、三層審計、可插拔AI引擎編排、知識子系統等核心功能。其核心理念是“一切皆模塊”，無供應商鎖定，強調安全作為原語。項目仍處於測試階段，但架構已面向生產級約束。

中國AI公司StepFun發佈全球首款原生代理型AI手機StepX Neo，搭載自研Step AOS系統與Amoo AI助手，可在多平台自主完成訂票、打車等複雜任務。

本文探討了AI推理市場即將面臨的利潤率崩潰，分析了“足夠好”的廉價模型如何改變市場格局。贏家包括硬件供應鏈、超大規模雲服務商、編碼代理（如Cursor）以及最終用户；而前沿AI實驗室雖然面臨風險，但可能通過不公開最強模型或轉向託管平台來應對。此外，B2C市場中的廣告變現潛力可能帶來新的轉機。

Meta發佈了Muse Spark 1.1，這是首個帶有價格標籤的Meta模型，標誌着從開源權重向閉源商業模式的轉變。同時，Meta在構建完整垂直堆棧——從芯片到雲再到應用，引發其能否與前沿AI實驗室競爭的討論。

Linux基金會宣佈x402基金會正式運營，該開放治理機構由40個成員組成，旨在標準化AI代理和應用的互聯網原生支付協議。

Thinky首次發佈完整LLM系列Inkling，採用MoE架構，總參數量975B，激活參數41B，支持文本、圖像、音頻輸入，1M上下文窗口，Apache 2.0許可。性能上成為美國最強開源模型，但略遜於中國開源旗艦和閉源模型。

這篇文章批判了“AI只是工具，如何使用才重要”這一常見説法，指出工具並非中立，它們塑造社會、環境與人性。作者以汽車、椅子為例，説明工具的設計本身帶有政治性。AI作為工具尤為危險，因為它消除了人類應有的掙扎與痛苦，導致批判性思維喪失。文章呼籲重新審視技術設計，關注工具對人類的深層影響。

這是一個由Suhas Bhairav創建的包含50多個開源Next.js AI模板和入門套件的精選集合，涵蓋聊天機器人、RAG、語音代理、圖像生成等多種AI應用。

cayleyR是一個R語言包，利用凱萊圖中的循環交集檢測來解決排列謎題。核心算法採用迭代雙向搜索，從初始和目標排列狀態生成隨機操作序列，尋找連接路徑。該包專為TopSpin(n,k)謎題設計，結合C++哈希索引狀態存儲和可選的Vulkan GPU加速，已在CRAN上發佈。

一個包含56個AI概念及其150條關聯的互動可視化地圖，用户可通過拖拽、懸停和點擊探索人工智能的關鍵主題。

本文通過一首藍調歌曲的比喻，探討大型語言模型的本質：它們生成文本時是先投擲後瞄準，還是存在內部規劃？作者結合自身使用AI寫作的經歷，反思模型創造的“虛假聲音”以及我們不斷剖析這些系統的行為。

代理推理正在將AI基礎設施的重心從訓練擴展轉向上下文感知、記憶增強推理。RAISE峯會強調了三大關鍵洞察：AI堆棧專業化、存儲作為主動內存擴展、以及資本和數據主權融入基礎設施設計。

Neocloud提供商QumulusAI宣佈通過直接上市在納斯達克交易，股票代碼QMLS。此舉不僅是一項金融交易，更標誌着以GPU和電力可用性為中心的AI基礎設施層正在成熟。公司專注於快速部署高端GPU容量，利用現有機櫃設施和模塊化數據中心，以季度為單位交付產能。直接上市提供了資本靈活性、公眾公司信譽，並抓住了AI基礎設施窗口期。文章還分析了Neocloud的差異化策略及對IT領導者的建議。

米拉·穆拉蒂創立的Thinking Machines Lab今日發佈了其首個基礎模型Inkling，這是一款完全開放權重的巨型模型，擁有9750億參數（混合專家架構，活躍參數410億）。該模型經過45萬億token的文本、圖像、音頻和視頻訓練，原生支持多模態輸入但僅輸出文本。Inkling旨在填補西方開源AI生態的空白，提供中國模型的替代方案。它具備'思考努力'控制和不確定性標記功能，可減少幻覺。開發者可通過Tinker API進行微調。Thinking Machines計劃通過Tinker平台收費，而非按API調用計費，這可能顛覆當前主流AI商業模式。該模型在九個月內完成開發，使用英偉達GB300 NVL72系統訓練。

思考機器實驗室於2026年7月15日發佈了其首個從頭訓練的模型Inkling，採用Apache 2.0開源協議。該模型總參數量9750億，活躍參數410億，支持100萬token上下文窗口，可處理文本、圖像和音頻輸入。其核心差異化優勢在於可控制的思考力度，用户可根據需求調整推理時的token預算，平衡成本與性能。

NVIDIA發佈了基於Thor架構的T3000和T2000模塊，專為大規模機器人與邊緣AI應用設計。T3000提供865 FP4 teraflops算力，尺寸和功耗僅為T5000的一半；T2000提供400 FP4 teraflops。新模塊支持可擴展邊緣AI平台，並引入智能體技能實現內存優化。同時推出Cosmos 3 Edge模型，適用於實時視覺分析。開發者可通過模擬模式立即開始開發，模塊將於2027年Q1上市。

Eaon是一款原生Mac應用，集成了49種AI模型，支持本地運行、自帶API密鑰或內置連接，完全免費且開源。它提供模型切換、成本監控、命令面板等功能，並注重隱私和本地化操作。

Cadence Design Systems推出AuraStack，一款用於封裝和PCB設計的AI代理，旨在自動化系統設計工作流程，將設計時間從數天縮短到幾分鐘。

AIAIO 是一款將 AI 代理會話日誌轉化為平台遊戲的創意項目。你的實際提示、錯誤和任務成為遊戲關卡，而“遺忘之牆”則根據你的 token 消耗推進。它既是教育工具，也是自我反思工具。

Inkling 是 Thinking Machines Lab 發佈的通用多模態模型，支持文本、圖像和音頻輸入，輸出文本。模型擁有 9750 億總參數（410 億激活參數），採用稀疏 MoE 架構，上下文窗口達 100 萬 token，在多項基準測試中表現優異，並開放權重供研究和商業使用。

作者詳細介紹了自己構建一台本地AI推理機器（稱為“垃圾生成器”）的過程，包括模型選擇（Qwen 3.6 27B）和硬件選型（Radeon AI Pro R9700 GPU加eGPU擴展塢），並探討了自託管LLM的優勢與挑戰。

德國研究聯合體發佈了Soofi S 30B-A3B的預訓練報告，這是一個面向德語和英語的開放基礎模型。模型採用混合Mamba-Transformer MoE架構，總計約316億參數，每次token激活約32億。在完全開放的基礎模型中，Soofi S在英語和德語綜合得分上最高。

Built Technologies與AWS生成式AI創新中心、AND Digital及AWS賬户團隊合作，創建了可擴展的AI文檔處理引擎，能夠對複雜房地產金融文檔進行分類、拆分、提取、評估和推理。該引擎將原本需要數天的工作流程縮短至數分鐘，支持數百種文檔類型，併為技術團隊和行業專家提供構建和改進文檔處理器的共享環境。

IBM發佈了新的Power服務器系列和軟件，旨在實現基礎設施管理和應用程序開發的自動化。其中包括用於系統管理的自主控制層IBM Power Autonomous Operations，以及面向IBM i環境的AI驅動開發助手IBM Bob Premium Package for i。此外，IBM還推出了緊湊型單插槽Power11服務器Power S1112，專為本地AI推理設計。這些新功能建立在去年Power11發佈的基礎上，強調了自主IT能力的擴展。IBM引用其2026年技術領導者研究，預計到2027年企業將平均部署1661個AI代理，需要能夠自我管理的基礎設施。Power S1112利用Power11的片上矩陣數學加速進行本地推理，性能是Power S914的兩倍，能效提高69%。Power Autonomous Operations通過持續監控系統行為，在3.33分鐘內解決容量問題，比傳統工作流程快15倍。IBM Bob Premium Package for i則幫助開發者更快理解和現代化IBM i應用。

高等教育機構在擴大校園呼叫中心服務質量審查方面面臨挑戰。Databricks 提出一種基於生成式人工智能的解決方案，使用 OpenAI Whisper 進行高精度轉錄，利用 LLM-as-a-judge 根據機構評分標準進行一致評分，並通過 AI 函數進行數據豐富——所有步驟均在統一治理平台上完成，通過 Genie 和 Agent Bricks 實現自然語言洞察。

隨着人工智能成本成為美國企業增長最快的支出之一，一些初創公司開始轉向更便宜的中國AI模型以節省開支。儘管中國模型在能力上落後6到12個月，但其開源特性和低成本吸引了大量用户。

一個研究團隊成功利用分佈在四個國家的14台Mac電腦（包括一台個人MacBook）進行強化學習後訓練，在PaperSearchQA任務上將pass@1從29%提升至63%。該系統通過PULSE權重同步技術實現90MB的增量更新，並採用異步星型拓撲結構，所有通信基於對象存儲，無需專用網絡。這是首次完全使用消費級Mac進行rollout生成的RL後訓練。

Perplexity AI推出SPACE沙箱平台，為AI代理提供隔離的安全環境，支持長期任務、會話暫停與恢復，並保護用户憑證。基於AWS Firecracker微虛擬機技術，性能提升顯著。

一名黑客入侵Suno AI，曝光了其訓練數據來源，包括從YouTube Music、Deezer、Genius等平台抓取的數百萬首歌曲和播客，同時泄露了數十萬用户信息及Stripe支付數據。Suno此前因版權問題被起訴，此次事件進一步揭示了AI公司的數據收集方式。

邊緣AI芯片公司Axelera AI發佈了Voyager Wingman，一個允許開發者通過自然語言請求構建和調試邊緣芯片應用的AI助手。該工具連接公司的Voyager SDK和全部文檔，可幫助組裝計算機視覺管道、建議編譯器設置並診斷錯誤。它作為託管服務運行，知識隨Toolkit版本自動更新。現已提供網頁版和獨立應用，採用免費增值模式。

本文介紹了七種Python工具，工程師在2026年實際使用它們來在本地基礎設施上構建、協調和運行AI代理，涵蓋從模型運行到決策編排的各個層面。

日本作為全球AI中心，正藉助NVIDIA技術構建全棧AI生態系統。NVIDIA與SEGA慶祝合作30週年，宣佈將《VR戰士CROSSROADS》等經典遊戲引入NVIDIA RTX Spark新平台，展現了從圖形技術到AI計算的技術演進。

AIDE2 系統通過八天的自主研究，發現了一個比人類兩年構建的更好的自動研究框架，實現了遞歸自我改進（RSI）的首個實驗證據。該系統採用雙層優化循環，內層循環優化代碼，外層循環優化內層智能體的代碼框架，最終產生了七個改進版本，並在未見過的任務上表現出泛化能力。同時，系統還進化出了防止獎勵黑客行為的機制。

諾基亞於7月15日發佈了其AI-RAN平台，聲稱是業界首個GPU加速的AI無線電平台。該平台基於anyRAN軟件和英偉達的Aerial系統，旨在顯著提升頻譜效率，目前已實現超過20%的提升，目標是到2028年實現翻倍。然而，該平台尚未商用，且面臨愛立信等競爭對手的挑戰。

UltraWork 是一個託管式AI編程環境，每月固定費用399美元，無令牌計量，無需擔心意外賬單。它提供精選模型目錄、智能路由、提示模板庫，面向獨立開發者、機構和小團隊。由具有高性能基礎設施經驗的工程師運營，強調簡單性和可預測的定價。

谷歌於2026年7月9日發佈了LiteRT.js，這是其設備端推理庫LiteRT的JavaScript綁定，允許.tflite模型直接在瀏覽器中運行，利用WebGPU加速。相比其他Web運行時，性能提升可達3倍，GPU/NPU路徑相比CPU路徑提速5-60倍，但需要手動管理張量內存。

Lean64 是一個用 Lean 4 實現的極簡 3D 第一人稱射擊遊戲，靈感來自 Doom 64。它並非 Doom 64 的移植版，而是獨立開發的原型，包含完整的遊戲循環、敵人 AI、武器系統、音效和地圖。所有代碼和素材均為原創，採用 MIT 許可證。

TormentNexus是一個本地優先的開源AI控制平面，為多代理工作流提供持久記憶、MCP工具編排和自主基礎設施管理。它支持38+ AI編碼代理，具有漸進式工具路由、雙層記憶架構和羣集協調等功能。

喬治·盧卡斯認為抵制AI就像拒絕汽車選擇馬車，是一種過時的想法。他認為AI是電影製作的未來，無法阻擋，儘管有人擔心AI會取代人類創造力。

Sogni Unlimited 提供基於訂閲的無限圖像、視頻、音樂和 LLM 生成，使用去中心化的 GPU 網絡。無需按渲染計費，支持開源模型及部分付費合作伙伴模型。訂閲收入的一部分用於支持獨立 GPU 運營商。

本文介紹了Millwright——一種三層數據契約架構，使模型生成的分析結果在不接觸標記、樣式或DOM的情況下渲染。通過類型化的結果構件、語義化版本控制的看板以及僅允許添加的導航頁面，確保安全、可審計且可撤銷的AI集成。

Thinking Machines 發佈了通用多模態模型 Inkling，支持文本、圖像和音頻輸入並生成文本輸出，現可通過 Modal 託管端點使用，採用基於令牌的定價。文章還討論了其獨特的局部注意力架構和 DFlash 推測解碼技術的優勢。

Thinking Machines發佈了Inkling，一個擁有約1萬億參數的開源多模態模型，支持圖像、文本和音頻輸入，可處理高達100萬token的上下文。該模型採用混合專家架構，僅激活410億參數，並配有相對注意力和短卷積等創新設計。Inkling已在Hugging Face上發佈，並得到transformers、SGLang和llama.cpp的即日支持。

Together AI發佈一系列更新，旨在提升生產環境GPU集羣的可靠性與操作控制。新功能包括被動健康檢查、自動節點修復、強化版Slurm-on-K8s棧、集羣詳情視圖、外部OIDC認證、啓動腳本以及可選的驗收測試。這些改進幫助團隊更快發現硬件故障、自動化恢復流程，並提供更細粒度的訪問控制和自定義能力。

Thinking Machines Lab 發佈了 Inkling，一個多模態混合專家模型，專注於高效推理、原生多模態理解和廣泛任務適用性。Together AI 在其推理平台上提供該模型，支持可控推理努力、文本/圖像/音頻輸入，以及 1M 上下文窗口。

超級應用Codex每天新增100萬用户。AI新聞彙總涵蓋編碼代理、開放模型、多模態系統、基準測試和物理AI。

PrismML發佈了Bonsai 27B，這是Qwen3.6-27B的低位表示，並非全新預訓練模型。提供三進制和二進制兩種變體，採用Apache 2.0許可證。三進製版本每位僅1.71比特，理想大小為5.9GB；二進制版本每位1.125比特，大小為3.9GB。性能方面，三進制保留FP16基線的94.6%，二進制保留89.5%。該模型支持多模態，上下文長度262K令牌。PrismML聲稱二進制版本是首個適合手機的27B級模型。

開源AI已達到與封閉模型的能力平價，推理成本在36個月內下降了50倍，開源權重在API調用量上佔據主導地位。儘管開發者廣泛採用開源模型（79%），但生產部署仍面臨運營工具和信任度挑戰（僅51%成功部署）。開源不僅是成本選擇，更是主權選擇，尤其在中國和全球南方國家的戰略推動下。

本文深入探討了TPU和GPU集羣拓撲結構，以及用於Transformer訓練和推理的核心集體操作。重點介紹了環狀算法在大型消息通信中的應用，並分析了TPU的2D/3D環面拓撲和帶寬層次結構。

台灣芯片製造商正在擴大製造能力，以支持日益增長的人工智能基礎設施需求。