AI News HubLIVE

芯片动态

编码是AI真正赚钱的地方,接下来会是什么?

软件是AI产生巨大经济价值的首个领域,这得益于其可验证性和“可研磨性”。本文探讨了哪些行业将接下来被颠覆,软件工程师角色的转变,以及AI利润最终会流向哪里的争议。重点强调了强化学习环境和持续学习能力的关键作用。

  • 编码因其可验证性和可研磨性而特别适合AI自动化。
  • AI价值正在向形式数学和符号性案头工作等领域扩展,但现实世界任务仍难以突破。
站内正文

Sam Altman不需要另一场诉讼

苹果起诉OpenAI窃取商业机密,指控三名前苹果员工(包括前副总裁Tang Tan)将硬件机密带给OpenAI。此案发生在OpenAI准备IPO和推出硬件设备的关键时刻。法律专家表示,苹果是顽强的诉讼方,此案可能持续多年。

  • 苹果指控前员工窃取硬件商业机密帮助OpenAI
  • OpenAI正面临IPO、硬件开发等多重压力
站内正文

基础背景:跨行业和特定功能的Lakebase加速器

Databricks Lakebase是一种完全托管的无服务器Postgres数据库,专为代理时代构建。它通过统一运营和分析工作负载、消除基础设施摩擦来帮助企业实现现代化。全球合作伙伴已构建了一系列跨行业和功能的加速器,涵盖技术、金融、营销、销售、供应链等领域,以加速数据现代化、MLOps和代理式AI转型。

  • Lakebase是Databricks平台上完全托管的无服务器Postgres数据库,支持事务和分析工作负载的统一。
  • 其创新的写时复制数据库分支和智能自动扩展功能消除了基础设施摩擦。
站内正文

展示 HN:我训练了一个使用强化学习来训练模型的智能体(花费 –1.3k 美元)

一位开发者构建了一个强化学习管道,其中 AI 智能体编写训练作业来训练小型模型,然后通过强化学习对智能体本身进行训练,奖励其生成更好的模型。结果显示,在 54 个训练步骤中,奖励从约 0.0 上升到约 0.63,并且技能可以转移到未见过的任务族。总成本约 1,275 美元。

  • 智能体编写完整的训练作业(环境、奖励、超参数)并提交到 Runpod GPU 进行训练。
  • 外层循环使用 Tinker 对智能体进行强化学习训练,内层循环使用 prime-rl 训练小型模型。
站内正文

生产中减少LLM延迟和推理成本的12种方法

扩展LLM的关键不是增加GPU,而是消除每个请求中的不必要工作。本文介绍了12种实用的减少延迟和成本的方法。

  • 测量队列时间、首token时间、token间延迟和缓存命中率等关键指标。
  • 积极减少输出token,设置合理的max_tokens限制。
站内正文

在CERN,AI将推动未来发现

欧洲核子研究中心(CERN)的大型强子对撞机每秒产生4000万次粒子碰撞,AI被用于实时过滤数据,寻找可能包含重大发现的碰撞。从希格斯玻色子的发现到未来环形对撞机的设计,AI正在改变粒子物理学的各个阶段。

  • CERN使用神经网络在硬件上实现实时异常检测,发现未知现象。
  • AI帮助过滤海量数据,促成了希格斯玻色子的发现。
站内正文

X刚刚给了我们可以用于AI代理的接口。我把它指向了我自己的帖子

X(原Twitter)推出了托管MCP服务器,允许AI代理访问平台数据。作者Daniel Lemire将AI编码代理连接到X的MCP服务器,分析了自己两个月的发帖历史。他发现早晨(尤其是9点左右)的帖子中位浏览量最高,较长的帖子(300-325字符)比短回复获得显著更多的互动。这一过程展示了AI代理如何简化社交媒体数据分析。

  • X推出了托管MCP服务器,使AI代理能够与平台数据交互。
  • 作者将AI代理连接到X的MCP服务器,分析了自己两个月的发帖习惯。
站内正文

所有人都应欢迎AI国有化

伯尼·桑德斯提议通过国有化主要AI公司一半股份来建立主权财富基金,引发热议。文章从自由主义财产权理论到社会主义视角分析其合理性,认为AI应造福全人类。

  • 桑德斯提议国有化AI公司一半股份,建立主权财富基金。
  • 文章引用洛克和诺齐克的理论,探讨集体财产权。
站内正文

基于RISC-V多核MCU视觉系统的低功耗车牌检测与识别

本文首次演示了基于低功耗MCU的边缘设备用于自动车牌识别(ALPR)。该设计利用9核RISC-V处理器GAP8,结合QVGA超低功耗灰度成像器,采用基于SSDlite-MobilenetV2和LPRNet的多模型推理方法,在公共数据集上达到38.9%的mAP和超过99.13%的识别率。在真实世界中可识别小至30x5像素的车牌。多模型推理(687 MMAC)在GAP8上以1.09 FPS和117 mW运行,相比树莓派3系统能效提升73倍,且无需硬连线加速引擎。

  • 首个基于MCU的低功耗ALPR边缘设备,使用9核RISC-V处理器GAP8。
  • 多模型方法:SSDlite-MobilenetV2用于检测(mAP 38.9%),LPRNet用于识别(>99.13%)。
站内正文

低自相关二进制序列问题中的搜索空间区域优先化

本文提出了一种混合搜索框架,结合汤普森采样与并行自回避行走,以有效分配低自相关二进制序列(LABS)问题中的计算资源。该方法模型化为多臂老虎机,动态优先处理有前景的搜索空间分区,在35个序列长度上取得了新的最佳结果,并获得了因子超过8.0的最长序列。

  • 结合汤普森采样和自回避行走进行自适应资源分配
  • 在35个序列长度(范围450-527)及L=573上达到最先进结果
站内正文

Show HN: Melodusk – 浏览器中的AI音乐生成器与音乐工具

Melodusk是一款基于浏览器的AI音乐生成器,通过文本描述可在2分钟内生成专业品质的音乐,支持100多种风格,并提供人声分离等工具,所有音乐免版税商用。

  • 通过文本描述在2分钟内生成专业级音乐
  • 支持100多种音乐风格,包括流行、摇滚、爵士、古典等
站内正文

AI新闻:Codex用户6个月增长超10倍达700万,超越Claude Code?

过去几天,OpenAI的Codex用户数突破700万,6个月内增长超10倍,而Claude Code的增速放缓。Prime Intellect发布了verifiers v1,用于智能体强化学习;OpenAI解决了GPT-5.6 Sol的用量问题;Grok Build因上传整个代码库引发安全争议;开放模型和量化技术取得进展;持续学习等研究方向重新受到关注。

  • Codex用户6个月内从约60万增至700万,超越Claude Code的增速。
  • Prime Intellect发布verifiers v1,将环境拆分为taskset、harness和runtime,支持长程智能体RL。
站内正文

Meta有望成为美国下一个大型云服务提供商

Meta计划投资500亿美元扩建其路易斯安那州的数据中心,并探索出租多余计算能力给其他AI实验室。这表明Meta可能效仿亚马逊、谷歌等公司,从社交媒体巨头转型为云服务提供商。

  • Meta将投资500亿美元扩建Hyperion数据中心,功率从2.2吉瓦增至5吉瓦。
  • Meta正在考虑出租多余计算能力,类似于AWS或Azure的模式。
站内正文

AI基础设施建设构成最新通胀威胁

大规模AI数据中心投资导致芯片、电脑和电力价格上涨,可能使通胀持续高于美联储目标,并促使加息。

  • 四大科技公司今年AI投资预计达7200亿美元,推高内存芯片价格高达400%。
  • 苹果、微软等企业已提高笔记本电脑、游戏机等产品价格。
站内正文

OpenAI GPT-5.6 Sol、Terra 和 Luna 现已正式在 Amazon Bedrock 上可用

OpenAI 最新智能模型系列 GPT-5.6 Sol、Terra 和 Luna 已在 Amazon Bedrock 上正式可用,带来旗舰级推理模型 Sol、平衡型模型 Terra 和快速低成本模型 Luna。Amazon Bedrock 的下一代推理引擎提供高性能、安全性和可靠性,支持提示缓存(90% 折扣)、区域内推理和芯片级零操作员访问安全。同时发布了 ChatGPT Work 和 Codex 代理。

  • GPT-5.6 Sol、Terra 和 Luna 在 Amazon Bedrock 上正式可用。
  • Sol 是旗舰推理模型,在编码、安全、药物发现等领域创下新纪录;Terra 适合日常生产;Luna 适合高吞吐量低延迟任务。
站内正文

Show HN:Fleet Deck – 在一面板上查看机器上所有 Claude Code 会话

Fleet Deck 是一个本地工具,可实时监控和管理所有正在运行的 Claude Code 会话。它提供一个看板,显示每个会话的状态、冲突提醒、需求队列,并支持任务分配、远程控制、会话恢复等功能。核心架构零模型调用,依靠钩子事件和确定性逻辑,确保安全与高效。

  • Fleet Deck 将所有 Claude Code 会话整合到一个本地看板(http://127.0.0.1:4711)上,显示状态、冲突和待办事项。
  • 内置冲突雷达,当两个会话在 30 分钟内编辑同一文件时发出警告,并支持工作树感知。
站内正文

微软首席执行官对前沿AI实验室态度转变,警告企业保护知识产权

萨提亚·纳德拉(Satya Nadella)警告企业,向AI实验室付费的同时也在泄露专有数据,形成“反向信息悖论”。他建议企业建立自有AI学习环境,而微软则推荐其Copilot和Azure AI Foundry作为解决方案。

  • 纳德拉指出企业为AI支付两次费用:一次现金,一次是更宝贵的专有知识。
  • 微软自身曾投资OpenAI并推广数据驱动的AI,此番言论被指充满讽刺。
站内正文

Show HN: PlanWright – AI编码智能体的控制平面

PlanWright 是一个为 AI 编码智能体设计的控制平面,通过反转规划和验收流程来消除人工瓶颈,使智能体速度与人类决策解耦,并生成不可篡改的审计链。

  • 反转规划:从会议记录、邮件等非结构化输入中自动提取目标,人类只需审批意图。
  • 智能验收:自动分类机械性检查,仅将需判断的事项提交人类,每次批准均签名。
站内正文

在Amazon SageMaker AI中推出生成式AI推理推荐用户界面

Amazon SageMaker AI Studio推出了生成式AI推理推荐的低代码/无代码用户界面,引导用户通过预设用例配置、可视化比较和一键部署,无需深厚基础设施知识即可获得验证的配置。

  • 新UI简化了生成式AI模型部署的优化过程,无需手动基准测试。
  • 提供预设用例配置(交互、生成、摘要)和优化目标(最小化延迟、最大化吞吐量、降低成本)。
站内正文

AI回报放缓将是所有人的问题

市场普遍预期超大规模企业的自由现金流将在未来几年翻倍以上,但如果AI回报慢于预期,可能引发现金流失望、科技股抛售波及大盘、以及信贷风险上升。

  • 超大规模企业预期现金流可能过于乐观,尤其在中国模型崛起和代币价格下跌的背景下。
  • AI回报放缓可能导致现金流和盈利不及预期、Mag 7股票抛售蔓延至整个市场、资产负债表压力增大。
站内正文

高盛警告:美国将承受AI引发的通胀冲击

高盛研究显示,人工智能繁荣引发的供应限制正推高内存芯片和半导体等关键组件价格,导致美国核心PCE通胀每年上升约20个基点,年底前可能翻倍至50个基点,远超其他发达国家的10个基点平均增幅。

  • 美国核心PCE通胀因AI每年上升约20个基点,年底可能翻倍。
  • AI驱动的通胀分为内存芯片、软件和能源三个浪潮。
站内正文

斯坦福研究人员推出TRACE:将智能体反复失败转化为合成RL环境的能力定向训练系统

斯坦福大学的研究团队提出了TRACE系统,通过分析智能体失败轨迹,诊断缺失的能力,并为每个能力合成可验证的训练环境,利用LoRA适配器和GRPO算法进行训练,最后通过MoE组合实现令牌级路由。在τ²-Bench上提升15.3个百分点,在SWE-bench Verified上达到73.2%的Pass@1,超越了多个基线模型。

  • TRACE通过对比分析成功和失败轨迹,识别出关键缺失能力。
  • 为每个能力合成独立的可验证训练环境,并使用GRPO训练LoRA适配器。
站内正文

Prime Intellect 发布 Verifiers v1:用于智能体强化学习训练和评估的可组合任务集、框架和运行时

Prime Intellect 发布了 verifiers 0.2.0,预览了重写的 v1 核心。v1 将环境分解为任务集(做什么)、框架(怎么做)和运行时(在哪里),并通过拦截服务器记录训练轨迹。任何任务集均可与任何兼容框架配合使用,并直接支持 prime-rl 训练。

  • v1 将环境拆分为任务集、框架和运行时三个独立部分。
  • 拦截服务器代理框架与推理服务器之间的请求,并记录轨迹。
站内正文

AI时代的赢家:内存产业的结构性优势

随着AI代理和自动化平台快速发展,内存带宽成为关键瓶颈。苹果统一内存架构、CUDIMM标准以及PC升级潮正在重塑市场,而三星、SK海力士等内存制造商因HBM产能分配而获得结构性利好。

  • 本地AI推理需要近1TB/s的内存带宽,传统PC架构难以满足。
  • CUDIMM通过集成时钟驱动器提升频率,成为消费级PC最实用的新一代内存标准。
站内正文

利用适度非结构化稀疏权重矩阵加速大语言模型的GPU推理

本文提出了一种针对大语言模型推理的高效GPU方法,采用三层矩阵存储格式,包括稀疏张量核心层、插槽填充层和残差层,实现稀疏矩阵乘法,在50%稀疏度下首次超越密集矩阵乘法,最高可达1.64倍内核加速和1.41倍端到端加速。

  • 提出三层矩阵存储格式,联合利用稀疏张量核心和CUDA核心。
  • 在50%左右适度非结构化稀疏度下,首次实现超越密集矩阵乘法性能。
站内正文

Director:通过在线主动专家放置加速分布式MoE服务

本文介绍了Director,一种新的分布式MoE推理系统,通过预测驱动的在线专家放置优化,显著降低端到端延迟。系统采用轻量级级联预测器或低比特量化副本预测专家激活模式,结合近乎零停机的在线迁移模块,以及基于松弛优化的专家放置算法,在多项式时间内达到(1+ε)近似比。实验表明,在Mistral、DeepSeek和Qwen等流行MoE模型上,相比现有工作延迟降低11%~55%。

  • 提出预测驱动的在线专家放置方法
  • 设计近乎零停机的专家迁移模块
站内正文

面向低比特整数的有符号对称量化

本文提出有符号对称量化方法,解决标准对称量化器因整数范围不平衡导致的正异常值截断问题,同时避免非对称量化的运行时开销。理论分析表明该方法在ℓ2误差上条件最优,且88-99%的LLM权重组满足条件。实验在Qwen3、Llama3等模型上验证了困惑度和少样本准确率的提升。

  • 标准对称量化器因有符号整数多一个负值导致正异常值被截断,在低比特时误差显著。
  • 有符号对称量化通过符号选择规则将额外值分配给主要异常值尾端,保持零点为0,保留对称量化的高效计算。
站内正文

Show HN: 为Asterisk/FreePBX自托管的语音AI代理

AVA是一个开源自托管语音AI代理,专为Asterisk/FreePBX设计,提供快速部署、多代理管理、实时仪表盘和多AI引擎支持。最新更新包括稳定性修复、静默看门狗和每代理语音选择等功能。

  • AVA与Asterisk/FreePBX集成,支持Google Live、OpenAI Realtime、Grok等多种AI引擎。
  • 快速启动:克隆仓库、运行预检查、启动管理UI,通过向导配置代理和拨号计划。
站内正文

Tinier – 在浏览器中100%实现图像压缩、转换和AI放大

Tinier 是一套免费的浏览器内媒体工具,支持图像压缩、格式转换、AI 放大和视频转 GIF,所有处理均在本地设备完成,无需上传文件,保护隐私。

  • 所有工具完全在浏览器内运行,使用 WebAssembly 和 WebGPU 技术,无需上传文件。
  • 支持图像压缩(最高减少70%大小)、格式转换(JPG/PNG/WebP/SVG)、视频转 GIF 和 AI 放大(Real-ESRGAN)。
站内正文

NeuroVFM:基于Vol-JEPA在未经整理的临床MRI和CT扫描上训练的新型神经影像基础模型

密歇根大学研究团队推出NeuroVFM,一种基于524万临床MRI和CT体积训练的通用神经影像基础模型。其Vol-JEPA方法将自监督学习扩展到体积医学影像,无需放射报告标签即可学习大脑解剖和病理。在156项诊断任务中达到92.68(CT)和92.49(MRI)的AUROC,并支持报告生成、分诊和跨模态迁移。

  • NeuroVFM在566,915项研究的524万体积上训练,覆盖二十年的临床数据。
  • Vol-JEPA采用前景聚焦掩码的潜在预测,无需重建像素或依赖报告。
站内正文

ArgoCD AI助手

一个Argo CD UI扩展,在资源视图中添加AI助手选项卡,允许用户用自然语言查询Kubernetes资源,并附加上下文(清单、事件、可选日志)。兼容任何OpenAI兼容后端,需要Argo CD v2.13+。

  • 作为Argo CD UI扩展,提供对Kubernetes资源的自然语言查询。
  • 通过实时资源清单、事件和可选的容器日志丰富查询。
站内正文

AI辅助研究的SETI家园

本文提出将AI用户未使用的推理代币众筹用于科学研究,类比于SETI@home项目。讨论了小型团队利用AI解决数学问题的成功案例,以及众筹推理能力所需的设计挑战。

  • SETI@home曾利用家用电脑闲置算力分析外星信号。
  • 如今,AI用户可将未使用的token配额贡献给集体研究。
站内正文

AI客户逐渐认同“小而美”的理念

OpenAI和Anthropic致力于构建大型通用模型,但微软等公司正转向开发小型专用模型,以降低成本并提高效率。微软的MAI模型家族正在取代OpenAI的模型,用于其产品中的AI功能。

  • 微软开发了MAI系列小型专用模型,正在取代OpenAI的通用模型。
  • 小型模型在特定任务上更高效、更经济,可部署多个实例。
站内正文

Windows 11 Copilot 告诉你什么拖慢了电脑,而它自己却占用1GB内存

微软正在测试Copilot的“PC Insights”功能,可以分析系统资源使用情况,帮助用户找出性能瓶颈。然而,Copilot本身是一个完整的Web应用,附带私人版Edge,空闲时占用高达1GB内存,凸显了其资源消耗的讽刺性。该功能为可选,默认不自动扫描,用户需授予权限。

  • Copilot新增“PC Insights”功能,可读取CPU、内存、存储等系统信息并回答相关问题。
  • 功能为可选,需用户授权,不会在后台自动扫描。
站内正文

苹果失败的自动驾驶汽车项目留下了强大的AI芯片遗产

苹果的自动驾驶汽车项目虽未成功,但其对AI处理的需求催生了神经网络引擎。该引擎首次亮相于iPhone X的A11仿生芯片,现已成为苹果设备端AI处理的核心,并延续至M系列芯片。未来,苹果将加速M7芯片开发,其神经网络引擎大幅升级,M7 Ultra服务器芯片将支持高达1.5TB内存。

  • 苹果汽车项目促使神经网络引擎诞生,成为设备端AI处理基石。
  • 神经网络引擎伴随A11仿生芯片首次用于iPhone X的人脸识别等功能。
站内正文

苹果起诉OpenAI窃取商业机密

苹果公司指控OpenAI及其两名前苹果员工窃取商业机密,用于开发ChatGPT硬件设备。诉讼称这是“机构层面的协调不当行为模式”,OpenAI否认并表示没有兴趣窃取其他公司的机密。

  • 苹果起诉OpenAI窃取商业机密,涉及前员工唐探和刘畅。
  • OpenAI否认指控,称仍在审查诉讼文件。
站内正文

内存制造商受制于繁荣-萧条过山车

AI数据中心需求推动内存制造商收入激增,但产能建设滞后可能导致长期高价,若AI需求未达预期,将面临严重衰退。

  • SK海力士、美光收入翻三倍,三星翻倍
  • 高带宽内存和DDR5短缺推高价格
站内正文

The Sequence Radar #893:上周AI动态:GPT-5.6、Grok 4.5、Muse Spark 1.1与后聊天机器人栈

前沿AI实验室正从聊天机器人转向集成系统,模型作为运行时,频繁发布强大模型和代理。本周亮点包括OpenAI的GPT-5.6(Sol、Terra、Luna),具备程序化工具调用和并行子代理;GPT-Live全双工音频;ChatGPT Work用于创建工件;Meta的Muse Spark 1.1拥有百万token上下文和主动上下文管理;Grok 4.5专注于编码和知识工作。研究方面,OpenAI审计表明SWE-Bench Pro基准30%任务有问题;Anthropic提出GRAM方法可选择性移除危险知识;SkillOpt-Lite优化代理自我进化;DSpark和Nemotron-Labs-Diffusion改进推理效率。行业新闻包括Lovable融资3亿美元,Prime Intellect融资1.3亿美元,SambaNova融资10亿美元等。

  • OpenAI发布GPT-5.6,分为Sol、Terra、Luna,支持程序化工具调用和并行子代理。
  • GPT-Live实现全双工音频对话,从回合制转向连续交互。
站内正文

MSK——像CTO一样思考的AI代理

MSK是一款基于iPhone的AI CTO代理应用,提供架构审查、扩展建议和创业策略服务。它模拟了拥有15年以上经验、参与过300多个项目、服务过50多家初创公司的首席技术官Moeid Saleem Khan的思维方式。用户可以通过聊天或语音方式咨询技术、架构、扩展、AI、招聘或产品策略等问题。应用免费试用,无需账户,并提供高级订阅服务。

  • MSK是一款AI CTO代理,提供按需的技术咨询和架构审查。
  • 模拟真实CTO经验,支持聊天和语音模式。
站内正文

科技巨头为AI数据中心竞赛加杠杆,债务激增3500亿美元

过去五年,Alphabet、亚马逊、Meta、微软和甲骨文这五大美国科技公司为扩建AI数据中心,债务总额增加了约3500亿美元。尽管投资者对AI前景看好,但亚马逊本周250亿美元的债券发行遇冷,显示市场对巨额投资的担忧。甲骨文因AI支出增加被标普下调评级,而英特尔因债务和战略失误陷入困境。大型云服务商今年计划投入高达7250亿美元,主要投向数据中心和英伟达芯片。

  • 五大科技公司债务五年翻倍,总额增加3500亿美元
  • 亚马逊250亿美元债券发行遇冷,反映市场对AI投资回报的疑虑
站内正文

TalkFitly – 用AI练习高情商对话

TalkFitly是一款专为iPhone设计的社交智能训练应用,通过真实场景模拟和AI评分,帮助用户提高沟通中的清晰度、情绪稳定性、自信和共情能力。包含每日微课程、名言墙和隐私保护功能。

  • TalkFitly不是聊天AI或测验,而是一个针对成年人的社交智能训练器,基于真实对话库。
  • AI教练从清晰度、情绪稳定性、自信和共情四个维度评分,并提供可操作的反馈。
站内正文

从输入提示到看到第一个词出现之间发生了什么

本文详细解释了大语言模型在推理过程中的内部机制,包括自回归生成、预填充和解码阶段、KV缓存的工作原理及其内存占用,以及解码策略如何影响输出。

  • 大语言模型的推理是自回归的:每次只生成一个词,每一步都依赖前面的输出。
  • 推理分为预填充(并行处理整个提示)和解码(逐个生成词)两个阶段。
站内正文

NVIDIA 基于 Tile 的 GPU 编程编码指南:从 cuTile 和 Triton 内核到 Flash Attention

本教程通过 TileGym 探索 NVIDIA 的基于 tile 的 GPU 编程,构建一个可在不同硬件上运行的 Colab 工作流程。我们探测 CUDA 环境,尝试真实的 cuTile 后端,并在标准 Colab GPU 缺乏 cuTile 堆栈时回退到 Triton。我们学习核心 tile 思想:对整个数据块进行操作,而不是单个线程,然后加载、计算和存储它们。我们实现了向量加法、融合 GELU、行级 softmax、分块矩阵乘法和 flash attention,并将每个结果与 PyTorch 进行比较。

  • 介绍 NVIDIA 的 tile 编程模型,将操作应用于数据块而非单个线程。
  • 提供可运行的 Colab 脚本,支持 cuTile 和 Triton 后端。
站内正文

修复三个Bug,让Qwen3.5-122B在Mac Studio上成为日常驱动

作者在Mac Studio上运行Qwen3.5-122B模型时,遇到了三个导致缓存失效的bug,修复后对话预填充时间从几分钟降至亚秒级,大幅提升了长上下文场景下的使用体验。文章还讨论了模型选择、混合注意力机制以及性能指标的正确衡量方式。

  • Qwen3.5-122B模型在Mac Studio上因混合注意力架构导致前缀缓存频繁失效。
  • 三个Bug分别涉及系统提示中的时间戳、中断时未保存回复以及检查点存储中的垃圾写入。
站内正文

Show HN:AgentTransfer – 面向AI代理的开源文件传输工具(单一Go二进制文件)

AgentTransfer 是一个为 AI 代理设计的开源文件传输工具,允许代理传输最大 5GB 的文件,发现对等体,并在空间中协调。它使用电子邮件作为控制平面,HTTPS 进行数据传输,代理注册无需人工干预。该工具是一个单一的 Go 二进制文件,可以自托管或使用托管实例。

  • AgentTransfer 使 AI 代理只需一个名称和 API 密钥即可传输最大 5GB 的文件。
  • 功能包括自助注册、内容寻址存储、哈希验证和签名收据。
站内正文

Mesh LLM:基于iroh的分布式AI计算

Mesh LLM是一种新型分布式AI计算系统,通过iroh网络将多台机器的GPU和内存池化,提供一个OpenAI兼容的API。用户可以在本地或对等节点上运行模型,甚至将大型模型拆分到多台机器上。它解决了AI计算成本高、缺乏控制的问题,支持私有部署和公共网格,无需依赖中央服务器。

  • Mesh LLM将多台机器的GPU资源池化,提供统一的OpenAI兼容API
  • 支持本地运行、路由到对等节点或拆分模型跨多台机器
站内正文

我构建了TradingSpy:本地化、隐私优先的AI交易助手(首个开源版本)

TradingSpy是一个开源的本地化AI交易研究工作站,集成市场热力图、新闻催化、策略生成、Backtrader回测和透明代理运行于一个Docker应用。它采用本地优先架构,所有数据存储在本地,无任何隐私担忧,支持多种LLM提供商和广泛的金融市场数据源,适合交易者和开发者进行策略研究、回测和信号分析。

  • 本地优先架构,所有数据存储在本地,零数据隐私问题。
  • 支持AI策略生成、自动回测和基准比较,可循环迭代优化。
站内正文

Show HN:不要让AI时代腐蚀你的工程思维

30 Seconds of Knowledge 是一款浏览器扩展,每次打开新标签页时展示一段真实代码片段,帮助开发者保持编程敏锐度,对抗AI时代的思维惰性。该扩展内置超过1500个来自14个类库的代码片段,涵盖多种语言、框架和面试题,已有超过25,000名开发者使用。

  • 该扩展在每次打开新标签页时展示一个随机代码片段,阅读仅需30秒。
  • 包含来自14个类库的1500多个片段,覆盖C++、CSS、Git、JavaScript等语言和框架。
站内正文

反向半人马是AI悖论的答案

科里·多克托罗探讨了AI的悖论:为什么有些用户热爱它而另一些则憎恨它。他引入了'半人马'(人类借助AI)和'反向半人马'(人类充当AI的责任吸收器)的概念。他认为AI是一个即将破裂的泡沫,但像Whisper这样的开源模型将留下有益的残余。关键在于谁控制AI,而非技术本身。

  • 当人类选择如何使用AI时,AI可以赋能(半人马);当老板强加时,AI则变得压迫(反向半人马)。
  • 赫斯特夏季阅读指南丑闻是反向半人马的典型例子,自由撰稿人被迫为AI的错误承担责任。
站内正文

LiteRT.js:谷歌高性能网页AI推理库

谷歌发布LiteRT.js,将高性能AI推理带入浏览器,支持CPU、GPU和NPU硬件加速,性能比现有方案提升最多3倍,并集成YOLO等模型。

  • LiteRT.js是LiteRT的JavaScript绑定,用于在浏览器中直接运行AI模型。
  • 通过WebAssembly实现原生性能,支持XNNPACK(CPU)、WebGPU(GPU)和WebNN(NPU)加速。
站内正文

主题导航

芯片 — AI 话题新闻 | AI News Hub