芯片

本文提出將AI用户未使用的推理代幣眾籌用於科學研究，類比於SETI@home項目。討論了小型團隊利用AI解決數學問題的成功案例，以及眾籌推理能力所需的設計挑戰。

OpenAI和Anthropic致力於構建大型通用模型，但微軟等公司正轉向開發小型專用模型，以降低成本並提高效率。微軟的MAI模型家族正在取代OpenAI的模型，用於其產品中的AI功能。

微軟正在測試Copilot的“PC Insights”功能，可以分析系統資源使用情況，幫助用户找出性能瓶頸。然而，Copilot本身是一個完整的Web應用，附帶私人版Edge，空閒時佔用高達1GB內存，凸顯了其資源消耗的諷刺性。該功能為可選，默認不自動掃描，用户需授予權限。

蘋果的自動駕駛汽車項目雖未成功，但其對AI處理的需求催生了神經網絡引擎。該引擎首次亮相於iPhone X的A11仿生芯片，現已成為蘋果設備端AI處理的核心，並延續至M系列芯片。未來，蘋果將加速M7芯片開發，其神經網絡引擎大幅升級，M7 Ultra服務器芯片將支持高達1.5TB內存。

蘋果公司指控OpenAI及其兩名前蘋果員工竊取商業機密，用於開發ChatGPT硬件設備。訴訟稱這是“機構層面的協調不當行為模式”，OpenAI否認並表示沒有興趣竊取其他公司的機密。

AI數據中心需求推動內存製造商收入激增，但產能建設滯後可能導致長期高價，若AI需求未達預期，將面臨嚴重衰退。

前沿AI實驗室正從聊天機器人轉向集成系統，模型作為運行時，頻繁發佈強大模型和代理。本週亮點包括OpenAI的GPT-5.6（Sol、Terra、Luna），具備程序化工具調用和並行子代理；GPT-Live全雙工音頻；ChatGPT Work用於創建工件；Meta的Muse Spark 1.1擁有百萬token上下文和主動上下文管理；Grok 4.5專注於編碼和知識工作。研究方面，OpenAI審計表明SWE-Bench Pro基準30%任務有問題；Anthropic提出GRAM方法可選擇性移除危險知識；SkillOpt-Lite優化代理自我進化；DSpark和Nemotron-Labs-Diffusion改進推理效率。行業新聞包括Lovable融資3億美元，Prime Intellect融資1.3億美元，SambaNova融資10億美元等。

MSK是一款基於iPhone的AI CTO代理應用，提供架構審查、擴展建議和創業策略服務。它模擬了擁有15年以上經驗、參與過300多個項目、服務過50多家初創公司的首席技術官Moeid Saleem Khan的思維方式。用户可以通過聊天或語音方式諮詢技術、架構、擴展、AI、招聘或產品策略等問題。應用免費試用，無需賬户，並提供高級訂閲服務。

過去五年，Alphabet、亞馬遜、Meta、微軟和甲骨文這五大美國科技公司為擴建AI數據中心，債務總額增加了約3500億美元。儘管投資者對AI前景看好，但亞馬遜本週250億美元的債券發行遇冷，顯示市場對鉅額投資的擔憂。甲骨文因AI支出增加被標普下調評級，而英特爾因債務和戰略失誤陷入困境。大型雲服務商今年計劃投入高達7250億美元，主要投向數據中心和英偉達芯片。

TalkFitly是一款專為iPhone設計的社交智能訓練應用，通過真實場景模擬和AI評分，幫助用户提高溝通中的清晰度、情緒穩定性、自信和共情能力。包含每日微課程、名言牆和隱私保護功能。

本文詳細解釋了大語言模型在推理過程中的內部機制，包括自迴歸生成、預填充和解碼階段、KV緩存的工作原理及其內存佔用，以及解碼策略如何影響輸出。

本教程通過 TileGym 探索 NVIDIA 的基於 tile 的 GPU 編程，構建一個可在不同硬件上運行的 Colab 工作流程。我們探測 CUDA 環境，嘗試真實的 cuTile 後端，並在標準 Colab GPU 缺乏 cuTile 堆棧時回退到 Triton。我們學習核心 tile 思想：對整個數據塊進行操作，而不是單個線程，然後加載、計算和存儲它們。我們實現了向量加法、融合 GELU、行級 softmax、分塊矩陣乘法和 flash attention，並將每個結果與 PyTorch 進行比較。

作者在Mac Studio上運行Qwen3.5-122B模型時，遇到了三個導致緩存失效的bug，修復後對話預填充時間從幾分鐘降至亞秒級，大幅提升了長上下文場景下的使用體驗。文章還討論了模型選擇、混合注意力機制以及性能指標的正確衡量方式。

AgentTransfer 是一個為 AI 代理設計的開源文件傳輸工具，允許代理傳輸最大 5GB 的文件，發現對等體，並在空間中協調。它使用電子郵件作為控制平面，HTTPS 進行數據傳輸，代理註冊無需人工干預。該工具是一個單一的 Go 二進制文件，可以自託管或使用託管實例。

Mesh LLM是一種新型分佈式AI計算系統，通過iroh網絡將多台機器的GPU和內存池化，提供一個OpenAI兼容的API。用户可以在本地或對等節點上運行模型，甚至將大型模型拆分到多台機器上。它解決了AI計算成本高、缺乏控制的問題，支持私有部署和公共網格，無需依賴中央服務器。

TradingSpy是一個開源的本地化AI交易研究工作站，集成市場熱力圖、新聞催化、策略生成、Backtrader回測和透明代理運行於一個Docker應用。它採用本地優先架構，所有數據存儲在本地，無任何隱私擔憂，支持多種LLM提供商和廣泛的金融市場數據源，適合交易者和開發者進行策略研究、回測和信號分析。

30 Seconds of Knowledge 是一款瀏覽器擴展，每次打開新標籤頁時展示一段真實代碼片段，幫助開發者保持編程敏鋭度，對抗AI時代的思維惰性。該擴展內置超過1500個來自14個類庫的代碼片段，涵蓋多種語言、框架和麪試題，已有超過25,000名開發者使用。

科裏·多克託羅探討了AI的悖論：為什麼有些用户熱愛它而另一些則憎恨它。他引入了'半人馬'（人類藉助AI）和'反向半人馬'（人類充當AI的責任吸收器）的概念。他認為AI是一個即將破裂的泡沫，但像Whisper這樣的開源模型將留下有益的殘餘。關鍵在於誰控制AI，而非技術本身。

谷歌發佈LiteRT.js，將高性能AI推理帶入瀏覽器，支持CPU、GPU和NPU硬件加速，性能比現有方案提升最多3倍，並集成YOLO等模型。

openpilot 0.11.1 版本在駕駛員監控、熱管理、橫向控制報告和車輛支持方面進行了多項改進。新模型利用大型視覺語言模型（VLM）改善手機檢測，減少了誤報，並提高了駕駛員手機使用的檢測準確性。熱閾值從75°C提高到85°C，顯著減少了熱阻斷。新增橫向機動報告功能，便於調整轉向控制。還修復了多個汽車品牌的問題，並新增了對Acura MDX 2022-24和Rivian R1S/R1T 2025的支持。

在短短24小時內，OpenAI、SpaceXAI和Meta相繼發佈新模型，但共同點是降價競爭。價格戰正在重塑AI市場，企業需構建模型組合以優化成本與性能。

Ypipe是一款基於Java的免費本地AI客户端，集成了MCP編排功能，無需Python環境即可運行。它支持私有代理聊天、本地模型管理、一鍵集成，並可與SAP、Oracle等遺留系統對接，確保數據主權。提供零配置便攜性、跨平台支持及無頭模式，適合企業級本地AI部署。

本文介紹了millfolio如何通過混合標籤系統高效處理本地AI推理：使用確定性字符串和引用標籤覆蓋大多數交易，僅對模糊尾部使用設備端AI標籤。標籤在索引時計算一次並存儲，查詢時不重複運行。回填使用批處理、去重和優先級調度器以避免過載。性能數據顯示每個不同描述約650ms，有效行速8.5行/秒。系統包含預覽機制，用户可在保存前驗證標籤效果。

GDP.pdf是一個新的基準測試，評估AI模型處理現實世界PDF文檔的能力。測試涵蓋金融、法律、醫療等10個領域，結果顯示即使是頂尖模型（如GPT-5.5）的得分也低於30%。文章強調了PDF作為全球經濟命脈的重要性，並指出模型在關鍵任務中的失敗可能導致嚴重後果。

作者嘗試用Claude AI復刻1986年的經典遊戲《Thrust》，但AI生成的版本質量很差。然而，通過用AI分析原始6502彙編代碼，作者深入理解了遊戲的物理、音效和繪圖機制，最終成功用TypeScript實現了忠於原作的復刻版。

MuScriptor是Kyutai與Mirelo合作開發的開源權重解碼器專用Transformer模型，能夠將多樂器音頻轉錄為MIDI。模型採用三階段訓練：在145萬合成MIDI上預訓練、17萬真實錄音（超1.1萬小時）上微調、300首人工驗證曲目上強化學習。在DTest基準上，其Multi F1達48.2%，遠超YourMT3+的21.9%。提供103M、307M和1.4B三種參數規模，推理代碼採用MIT許可，權重採用CC BY-NC 4.0。

本教程介紹如何基於DeepAnalyze-8B構建一個自主數據科學代理。我們準備穩定的Colab運行時，安裝依賴，以4位模式加載模型以適配有限GPU內存。添加沙盒執行環境，使模型能生成並安全運行Python代碼，觀察結果並持續迭代。最後，代理處理多文件電子商務工作區，完成數據清洗、連接、分析、可視化和生成分析報告。

西北大學研究人員受小腦啓發，開發出一種新型憶晶體管，能以極低能耗快速檢測異常事件。在實驗中，該設備僅用五分之一個心跳時間就識別出心律失常，準確率超98%，能耗僅為傳統AI的萬分之一。

本文回顧了2025年5月至2026年6月期間生成式空間AI的快速發展，從文本到網格、視頻生成、交互式世界模型、相機可控生成、本地化生產管線到AI原生CAD，記錄了技術從演示到生產就緒的轉變，並討論了剩餘挑戰。

SK海力士在美上市融資265億美元，成為史上最大外資IPO，超越阿里巴巴2014年250億美元的紀錄。公司被呼籲在美國建設新工廠。

尼萊·帕特爾在The Vergecast分享他對增強現實眼鏡的看法，強調其不可避免的隱私問題。

本週AI新聞梳理：IBM推出0.7納米芯片技術，OpenAI與博通發佈專為推理設計的Jalapeño芯片，英偉達展示全液冷AI工廠設計；政府監管加強，Anthropic恢復模型訪問權限，OpenAI提議向美國政府轉讓5%股權；工作角色快速演變，前哨工程師、SAP外部招聘與宜家內部培訓成為焦點。

Tensorlake 重建了沙箱的網絡入口架構，將數據路徑從 L7 反向代理遷移到 L4 字節轉發，利用內核 TLS（kTLS）和 splice(2) 實現零拷貝，大幅提升吞吐量並降低 CPU 開銷。架構變化包括分離數據路徑和控制平面、使用 kTLS 在內核中完成加解密、通過字節流監測實現自適應超時。性能測試顯示，單連接吞吐量從 1.12 GB/s 提升至 2.50 GB/s，每 GB 的 CPU 消耗從 0.90 CPU 秒降至 0.49 CPU 秒。

本文介紹了 NVIDIA Nemotron 3 模型的獨特架構，包括混合 Mamba-Transformer MoE 設計和支持高達 1M token 的上下文長度。亞馬遜 SageMaker AI 現在推出針對 Nemotron 3 的無服務器模型定製服務，支持監督微調（SFT）、基於可驗證獎勵的強化學習（RLVR）和基於 AI 反饋的強化學習（RLAIF）三種技術。文章詳細説明了如何通過 SageMaker Studio 控制台或 Python SDK 準備數據、啓動定製任務、監控訓練進度和評估模型，幫助企業將通用模型轉化為領域專用資產。

亨利·沙因公司開發了Image Verify，這是一個基於Amazon SageMaker AI的AI驅動系統，可實時評估牙科X光片質量，減少保險理賠拒付。該系統在數月內從概念擴展到超過10,000個場所，處理了數百萬張X光片，中位延遲低於2秒。

瞭解在 AWS 上部署 Unsloth 量化模型的四種模式：使用 EC2 進行直接訪問，使用 SageMaker AI 進行託管服務，以及使用 EKS/ECS 進行容器化推理。理解 Unsloth 的動態量化技術、模型格式（GGUF、safetensors）和運維最佳實踐。

本文介紹瞭如何使用vLLM在Amazon SageMaker HyperPod上通過HyperPod推理運算符實現分離式預填充和解碼（DPD）。DPD通過將預填充和解碼階段分配到不同的GPU池，消除了長提示對令牌生成的干擾，從而降低了首令牌延遲和令牌間延遲，提高了推理性能。

經過多年爭奪人工智能芯片和計算能力，企業領導者發現獲取基礎設施可能比有效使用更容易。

人工智能終結了“學習編程”的時代，將再技能培訓的責任轉移給了僱主。代碼路易斯維爾等培訓項目的關閉凸顯了就業市場的變化，併為未來的勞動力發展提供了重要教訓。

SmolVLM2-2.2B在能力和規模之間取得了實用平衡，可在單個消費級GPU上運行，並生成真正有用的視頻摘要。本文構建了一個本地管道，提取幀、用SmolVLM2分析並輸出結構化JSON摘要。

英偉達CEO黃仁勳提出了一個評估工程師價值的測試：如果一位年薪50萬美元的工程師每年使用的AI Token價值不到其薪水一半，他會感到“深切擔憂”。他透露英偉達正朝着每年20億美元的Token賬單邁進。這一觀點揭示了企業在AI投入與人力成本之間的權衡。儘管許多公司通過裁員來資助AI支出，但Gartner調查顯示，約80%的企業在裁員後並未獲得相應的回報。文章還探討了通過緩存、模型路由、RAG等方式優化Token開銷的方法，並強調保留人才的重要性。

MathNut AI 是一款專為 iPhone 設計的數學求解器，允許用户拍攝印刷或手寫數學題的照片，並通過 AI 獲得逐步解析。支持算術、代數、幾何等多個領域，並提供互動聊天功能加深理解。免費版每日有限次掃描，高級版訂閲後可解鎖無限制使用和更多學習工具。

作者通過對比童年電腦與當今的B300 GPU系統，反思AI技術的快速發展。探討了LLMs的爭議、符號AI與統計AI的差異、智能的本質以及未來的夢想與現實。文章還包含與朋友的關於確定性和記憶的討論。

紅杉資本合夥人David Cahn三年前首次計算了硅谷AI基礎設施鉅額支出的財務影響，他根據Nvidia的GPU收入推導出需要2000億美元的收入才能收回前期投資。

OpenAI 發佈了三款新 GPT-5.6 模型——Sol、Terra 和 Luna，同時更新了應用層，推出 ChatGPT Work 和 Codex 集成。新模型在基準測試中以更低成本展現了強大性能，其中 Sol 能力最強。獨立評估顯示其在編碼和代理任務上接近前沿水平。

SK海力士作為先進存儲芯片供應商，受益於全球AI數據中心建設熱潮，利潤飆升。公司於週五確定其鉅額美國上市定價，計劃融資265億美元，成為全球最大規模股票發行之一。

螞蟻集團旗下具身智能部門Robbyant發佈了LingBot-World-Infinity（LingBot-World 2.0），這是一個140億參數的因果視頻生成模型，可作為交互式世界模擬器。其核心技術是雙向自迴歸混合注意力掩碼（MoBA）和分佈匹配蒸餾，旨在解決長時程漂移問題。該模型配備由視覺語言模型（VLM）和擴散變換器（DiT）組成的導演-飛行員智能體框架，支持無限持續的視頻生成。儘管研究論文展示了60分鐘不間斷會話，但開源發佈僅包含單個檢查點和480P參考腳本，缺乏部署代碼和定量基準，且採用非商業許可證。

TensorSharp是一個基於.NET 10的本地LLM推理引擎，支持GGUF模型、GPU加速，並提供命令行工具、瀏覽器聊天服務器及兼容Ollama和OpenAI的API。它強調隱私性、零按token費用，並支持多種硬件後端。文中還提供了快速入門指南和性能基準測試比較。

UST 與 Anthropic 合作，將 Claude 集成到其工程平台中，用於半導體、汽車等行業的物理 AI 任務，並計劃培訓 20,000 名員工使用 Claude。

OpenAI今日發佈ChatGPT Work，一款基於GPT-5.6的自主代理工具，可跨應用、文件和工具執行復雜任務，同時推出GPT-5.6系列模型和Sites功能，旨在提升企業工作效率。