7个用于编排本地AI代理的Python框架
本文介绍了七种Python工具,工程师在2026年实际使用它们来在本地基础设施上构建、协调和运行AI代理,涵盖从模型运行到决策编排的各个层面。
- Ollama提供轻量级运行时,支持本地运行开源LLM,兼容OpenAI API。
- Smolagents以最小抽象和代码即行动为特点,但依赖足够强大的本地模型。
主题流
AI 芯片决定训练和推理能力的成本、速度与供给弹性。这里关注 GPU、ASIC、数据中心、网络互联、云算力、出口管制和供应链变化,把硬件新闻转化为工程部署、模型成本和产业竞争的信号。
本文介绍了七种Python工具,工程师在2026年实际使用它们来在本地基础设施上构建、协调和运行AI代理,涵盖从模型运行到决策编排的各个层面。
日本作为全球AI中心,正借助NVIDIA技术构建全栈AI生态系统。NVIDIA与SEGA庆祝合作30周年,宣布将《VR战士CROSSROADS》等经典游戏引入NVIDIA RTX Spark新平台,展现了从图形技术到AI计算的技术演进。
AIDE2 系统通过八天的自主研究,发现了一个比人类两年构建的更好的自动研究框架,实现了递归自我改进(RSI)的首个实验证据。该系统采用双层优化循环,内层循环优化代码,外层循环优化内层智能体的代码框架,最终产生了七个改进版本,并在未见过的任务上表现出泛化能力。同时,系统还进化出了防止奖励黑客行为的机制。
诺基亚于7月15日发布了其AI-RAN平台,声称是业界首个GPU加速的AI无线电平台。该平台基于anyRAN软件和英伟达的Aerial系统,旨在显著提升频谱效率,目前已实现超过20%的提升,目标是到2028年实现翻倍。然而,该平台尚未商用,且面临爱立信等竞争对手的挑战。
UltraWork 是一个托管式AI编程环境,每月固定费用399美元,无令牌计量,无需担心意外账单。它提供精选模型目录、智能路由、提示模板库,面向独立开发者、机构和小团队。由具有高性能基础设施经验的工程师运营,强调简单性和可预测的定价。
谷歌于2026年7月9日发布了LiteRT.js,这是其设备端推理库LiteRT的JavaScript绑定,允许.tflite模型直接在浏览器中运行,利用WebGPU加速。相比其他Web运行时,性能提升可达3倍,GPU/NPU路径相比CPU路径提速5-60倍,但需要手动管理张量内存。
Lean64 是一个用 Lean 4 实现的极简 3D 第一人称射击游戏,灵感来自 Doom 64。它并非 Doom 64 的移植版,而是独立开发的原型,包含完整的游戏循环、敌人 AI、武器系统、音效和地图。所有代码和素材均为原创,采用 MIT 许可证。
TormentNexus是一个本地优先的开源AI控制平面,为多代理工作流提供持久记忆、MCP工具编排和自主基础设施管理。它支持38+ AI编码代理,具有渐进式工具路由、双层记忆架构和群集协调等功能。
乔治·卢卡斯认为抵制AI就像拒绝汽车选择马车,是一种过时的想法。他认为AI是电影制作的未来,无法阻挡,尽管有人担心AI会取代人类创造力。
Sogni Unlimited 提供基于订阅的无限图像、视频、音乐和 LLM 生成,使用去中心化的 GPU 网络。无需按渲染计费,支持开源模型及部分付费合作伙伴模型。订阅收入的一部分用于支持独立 GPU 运营商。
本文介绍了Millwright——一种三层数据契约架构,使模型生成的分析结果在不接触标记、样式或DOM的情况下渲染。通过类型化的结果构件、语义化版本控制的看板以及仅允许添加的导航页面,确保安全、可审计且可撤销的AI集成。
超级应用Codex每天新增100万用户。AI新闻汇总涵盖编码代理、开放模型、多模态系统、基准测试和物理AI。
PrismML发布了Bonsai 27B,这是Qwen3.6-27B的低位表示,并非全新预训练模型。提供三进制和二进制两种变体,采用Apache 2.0许可证。三进制版本每位仅1.71比特,理想大小为5.9GB;二进制版本每位1.125比特,大小为3.9GB。性能方面,三进制保留FP16基线的94.6%,二进制保留89.5%。该模型支持多模态,上下文长度262K令牌。PrismML声称二进制版本是首个适合手机的27B级模型。
开源AI已达到与封闭模型的能力平价,推理成本在36个月内下降了50倍,开源权重在API调用量上占据主导地位。尽管开发者广泛采用开源模型(79%),但生产部署仍面临运营工具和信任度挑战(仅51%成功部署)。开源不仅是成本选择,更是主权选择,尤其在中国和全球南方国家的战略推动下。
本文深入探讨了TPU和GPU集群拓扑结构,以及用于Transformer训练和推理的核心集体操作。重点介绍了环状算法在大型消息通信中的应用,并分析了TPU的2D/3D环面拓扑和带宽层次结构。
台湾芯片制造商正在扩大制造能力,以支持日益增长的人工智能基础设施需求。
开放模型如NVIDIA Nemotron使企业能够构建满足特定需求的AI,提供完全的控制权、定制能力和成本效益,并推动从AI使用到AI拥有的转变。
在AI工厂中,电力是不可回避的约束。每瓦性能决定了在固定电力预算内能生成的token数量,直接影响收入和盈利能力。随着代理型AI推动token需求增长,今天的架构决策将决定谁能扩展。NVIDIA Blackwell平台通过全栈协同设计实现高达25倍的每瓦性能提升,并已在生产中验证。
软件是AI产生巨大经济价值的首个领域,这得益于其可验证性和“可研磨性”。本文探讨了哪些行业将接下来被颠覆,软件工程师角色的转变,以及AI利润最终会流向哪里的争议。重点强调了强化学习环境和持续学习能力的关键作用。
苹果起诉OpenAI窃取商业机密,指控三名前苹果员工(包括前副总裁Tang Tan)将硬件机密带给OpenAI。此案发生在OpenAI准备IPO和推出硬件设备的关键时刻。法律专家表示,苹果是顽强的诉讼方,此案可能持续多年。
Databricks Lakebase是一种完全托管的无服务器Postgres数据库,专为代理时代构建。它通过统一运营和分析工作负载、消除基础设施摩擦来帮助企业实现现代化。全球合作伙伴已构建了一系列跨行业和功能的加速器,涵盖技术、金融、营销、销售、供应链等领域,以加速数据现代化、MLOps和代理式AI转型。
一位开发者构建了一个强化学习管道,其中 AI 智能体编写训练作业来训练小型模型,然后通过强化学习对智能体本身进行训练,奖励其生成更好的模型。结果显示,在 54 个训练步骤中,奖励从约 0.0 上升到约 0.63,并且技能可以转移到未见过的任务族。总成本约 1,275 美元。
扩展LLM的关键不是增加GPU,而是消除每个请求中的不必要工作。本文介绍了12种实用的减少延迟和成本的方法。
欧洲核子研究中心(CERN)的大型强子对撞机每秒产生4000万次粒子碰撞,AI被用于实时过滤数据,寻找可能包含重大发现的碰撞。从希格斯玻色子的发现到未来环形对撞机的设计,AI正在改变粒子物理学的各个阶段。
X(原Twitter)推出了托管MCP服务器,允许AI代理访问平台数据。作者Daniel Lemire将AI编码代理连接到X的MCP服务器,分析了自己两个月的发帖历史。他发现早晨(尤其是9点左右)的帖子中位浏览量最高,较长的帖子(300-325字符)比短回复获得显著更多的互动。这一过程展示了AI代理如何简化社交媒体数据分析。
伯尼·桑德斯提议通过国有化主要AI公司一半股份来建立主权财富基金,引发热议。文章从自由主义财产权理论到社会主义视角分析其合理性,认为AI应造福全人类。
本文首次演示了基于低功耗MCU的边缘设备用于自动车牌识别(ALPR)。该设计利用9核RISC-V处理器GAP8,结合QVGA超低功耗灰度成像器,采用基于SSDlite-MobilenetV2和LPRNet的多模型推理方法,在公共数据集上达到38.9%的mAP和超过99.13%的识别率。在真实世界中可识别小至30x5像素的车牌。多模型推理(687 MMAC)在GAP8上以1.09 FPS和117 mW运行,相比树莓派3系统能效提升73倍,且无需硬连线加速引擎。
本文提出了一种混合搜索框架,结合汤普森采样与并行自回避行走,以有效分配低自相关二进制序列(LABS)问题中的计算资源。该方法模型化为多臂老虎机,动态优先处理有前景的搜索空间分区,在35个序列长度上取得了新的最佳结果,并获得了因子超过8.0的最长序列。
Melodusk是一款基于浏览器的AI音乐生成器,通过文本描述可在2分钟内生成专业品质的音乐,支持100多种风格,并提供人声分离等工具,所有音乐免版税商用。
过去几天,OpenAI的Codex用户数突破700万,6个月内增长超10倍,而Claude Code的增速放缓。Prime Intellect发布了verifiers v1,用于智能体强化学习;OpenAI解决了GPT-5.6 Sol的用量问题;Grok Build因上传整个代码库引发安全争议;开放模型和量化技术取得进展;持续学习等研究方向重新受到关注。
Meta计划投资500亿美元扩建其路易斯安那州的数据中心,并探索出租多余计算能力给其他AI实验室。这表明Meta可能效仿亚马逊、谷歌等公司,从社交媒体巨头转型为云服务提供商。
大规模AI数据中心投资导致芯片、电脑和电力价格上涨,可能使通胀持续高于美联储目标,并促使加息。
OpenAI 最新智能模型系列 GPT-5.6 Sol、Terra 和 Luna 已在 Amazon Bedrock 上正式可用,带来旗舰级推理模型 Sol、平衡型模型 Terra 和快速低成本模型 Luna。Amazon Bedrock 的下一代推理引擎提供高性能、安全性和可靠性,支持提示缓存(90% 折扣)、区域内推理和芯片级零操作员访问安全。同时发布了 ChatGPT Work 和 Codex 代理。
Fleet Deck 是一个本地工具,可实时监控和管理所有正在运行的 Claude Code 会话。它提供一个看板,显示每个会话的状态、冲突提醒、需求队列,并支持任务分配、远程控制、会话恢复等功能。核心架构零模型调用,依靠钩子事件和确定性逻辑,确保安全与高效。
萨提亚·纳德拉(Satya Nadella)警告企业,向AI实验室付费的同时也在泄露专有数据,形成“反向信息悖论”。他建议企业建立自有AI学习环境,而微软则推荐其Copilot和Azure AI Foundry作为解决方案。
PlanWright 是一个为 AI 编码智能体设计的控制平面,通过反转规划和验收流程来消除人工瓶颈,使智能体速度与人类决策解耦,并生成不可篡改的审计链。
Amazon SageMaker AI Studio推出了生成式AI推理推荐的低代码/无代码用户界面,引导用户通过预设用例配置、可视化比较和一键部署,无需深厚基础设施知识即可获得验证的配置。
市场普遍预期超大规模企业的自由现金流将在未来几年翻倍以上,但如果AI回报慢于预期,可能引发现金流失望、科技股抛售波及大盘、以及信贷风险上升。
高盛研究显示,人工智能繁荣引发的供应限制正推高内存芯片和半导体等关键组件价格,导致美国核心PCE通胀每年上升约20个基点,年底前可能翻倍至50个基点,远超其他发达国家的10个基点平均增幅。
斯坦福大学的研究团队提出了TRACE系统,通过分析智能体失败轨迹,诊断缺失的能力,并为每个能力合成可验证的训练环境,利用LoRA适配器和GRPO算法进行训练,最后通过MoE组合实现令牌级路由。在τ²-Bench上提升15.3个百分点,在SWE-bench Verified上达到73.2%的Pass@1,超越了多个基线模型。
Prime Intellect 发布了 verifiers 0.2.0,预览了重写的 v1 核心。v1 将环境分解为任务集(做什么)、框架(怎么做)和运行时(在哪里),并通过拦截服务器记录训练轨迹。任何任务集均可与任何兼容框架配合使用,并直接支持 prime-rl 训练。
随着AI代理和自动化平台快速发展,内存带宽成为关键瓶颈。苹果统一内存架构、CUDIMM标准以及PC升级潮正在重塑市场,而三星、SK海力士等内存制造商因HBM产能分配而获得结构性利好。
本文提出了一种针对大语言模型推理的高效GPU方法,采用三层矩阵存储格式,包括稀疏张量核心层、插槽填充层和残差层,实现稀疏矩阵乘法,在50%稀疏度下首次超越密集矩阵乘法,最高可达1.64倍内核加速和1.41倍端到端加速。
本文介绍了Director,一种新的分布式MoE推理系统,通过预测驱动的在线专家放置优化,显著降低端到端延迟。系统采用轻量级级联预测器或低比特量化副本预测专家激活模式,结合近乎零停机的在线迁移模块,以及基于松弛优化的专家放置算法,在多项式时间内达到(1+ε)近似比。实验表明,在Mistral、DeepSeek和Qwen等流行MoE模型上,相比现有工作延迟降低11%~55%。
本文提出有符号对称量化方法,解决标准对称量化器因整数范围不平衡导致的正异常值截断问题,同时避免非对称量化的运行时开销。理论分析表明该方法在ℓ2误差上条件最优,且88-99%的LLM权重组满足条件。实验在Qwen3、Llama3等模型上验证了困惑度和少样本准确率的提升。
AVA是一个开源自托管语音AI代理,专为Asterisk/FreePBX设计,提供快速部署、多代理管理、实时仪表盘和多AI引擎支持。最新更新包括稳定性修复、静默看门狗和每代理语音选择等功能。
Tinier 是一套免费的浏览器内媒体工具,支持图像压缩、格式转换、AI 放大和视频转 GIF,所有处理均在本地设备完成,无需上传文件,保护隐私。
密歇根大学研究团队推出NeuroVFM,一种基于524万临床MRI和CT体积训练的通用神经影像基础模型。其Vol-JEPA方法将自监督学习扩展到体积医学影像,无需放射报告标签即可学习大脑解剖和病理。在156项诊断任务中达到92.68(CT)和92.49(MRI)的AUROC,并支持报告生成、分诊和跨模态迁移。
一个Argo CD UI扩展,在资源视图中添加AI助手选项卡,允许用户用自然语言查询Kubernetes资源,并附加上下文(清单、事件、可选日志)。兼容任何OpenAI兼容后端,需要Argo CD v2.13+。
本文提出将AI用户未使用的推理代币众筹用于科学研究,类比于SETI@home项目。讨论了小型团队利用AI解决数学问题的成功案例,以及众筹推理能力所需的设计挑战。