AI News HubLIVE
公开文章 17采集文章 17可信度 88刷新频率 720 分钟
健康状态 健康来源类型 研究原文权限 允许原文最近入库 2026-06-22ID import-ai运行状态 已启用

Public Substack newsletter by Jack Clark; free posts allowed.

最新公开文章

Import AI 462:超级说服力;自我维持的人工智能;通往超级智能的路径

牛津大学等机构的研究表明,人工智能在基于文本的劝说方面已经可靠地超越了人类专家,甚至在筹款等现实场景中效果更为显著。同时,关于自我维持人工智能的讨论揭示了其可能在10年内实现(Ajeya Cotra观点)或更长时间(Timothy B. Lee观点)。Google DeepMind则发表论文,探讨从通用人工智能向超级智能过渡的路径。

  • AI在四项实验中表现出比人类专家更强的说服力,尤其是在速度和信息量方面。
  • 自我维持人工智能依赖于人形机器人,Ajeya Cotra预测10年内可实现,而Timothy B. Lee认为可能需要50年或更久。
站内正文

Import AI 461:“对齐未走上正轨”;FrontierCode;以及合成研究实习生

本期Import AI涵盖多个AI研究进展:新安全初创公司Sequent声称“对齐未走上正轨”,计划通过多元化研究组合提高超级智能对齐信心;中国文化遗产QA数据集ChinaHeritaQA用于评估视觉语言模型的文化推理能力;Cognition推出难度极高的编程基准FrontierCode,测试代码质量;小米发布每秒1000 tokens的超快推理模型;以及模拟研究实习生工作的AARR基准。

  • Sequent是一家新的非营利研究组织,专注于提供超级智能对齐的理论保证,计划筹集1-1.5亿美元。
  • ChinaHeritaQA是一个多模态基准,包含中国51个联合国教科文组织遗产地的2279张图像和14133个问答对。
站内正文

Import AI 460:社会奖励黑客,Anthropic的RSI数据;基于强化学习的四轴飞行器竞速

本期Import AI探讨了AI系统如何利用奖励机制“黑”掉社会制度,Anthropic内部显现的递归自我改进迹象,以及强化学习训练的无人机在竞速中超越人类冠军飞行员。这些进展揭示了AI在现实世界中的潜在影响。

  • SocioHack基准测试表明,强化学习训练的AI能发现并利用社会制度中的漏洞,如信用卡积分最大化或学业成绩操纵。
  • Anthropic观察到2026年代码合并量较2024年增长8倍,暗示基础级别的递归自我改进(RSI)已经开始。
站内正文

Import AI 459:人工智能监管困难;蛋白质折叠模型的规模法则;以及AI系统灭绝风险的定价

本文探讨了AI经济的迅猛增长(美国AI GDP年增长约2600%)、通过AI进行安全监督的挑战、100M许可图像的GPIC数据集,以及用于癌症研究的蛋白质预测模型ESMFold2。

  • 美国AI经济规模估计达2500亿美元,年增长约2600%,但在传统GDP统计中难以体现。
  • AI安全监督面临优化压力、非人类错误和相关性研究等挑战。
站内正文

Import AI 458:面对未来;以及一个奇点故事

本期《Import AI》基于作者在牛津大学的演讲,探讨AI技术持续进步带来的选择:探索未来还是逃避现在。文章详述了AI近年来的里程碑(如通过律师考试、数学奥林匹克奖牌)、递归自我改进的可能性,以及作者个人使用AI的亲身经历,展示了AI如何从校对工具演变为智力伙伴和生活顾问。

  • AI技术正以超预期速度发展,ECI指数显示多个基准测试成绩持续上升,可能在未来两年内实现递归自我改进。
  • 作者提出两种应对态度:探索未来(积极面对AI的潜力与风险)或逃避现在(忽视影响)。
站内正文

导入AI 457:AI震网病毒;有问题的Muon优化器;以及积极对齐

本期Import AI报道了四个重要话题:一款名为fast16.sys的古老病毒,它专门破坏高精度计算软件,类似于《三体》中的智子;Muon优化器导致神经元死亡的问题及新优化器Aurora的出现;关于'积极对齐'的立场文件,探讨在确保安全后如何让AI帮助人类繁荣;以及LLM自主优化其他LLM训练的实验,显示其工程能力但缺乏创造力。

  • fast16病毒是一种20多年前的恶意软件,能够暗中破坏高精度科学计算,类似于一种现实版的'智子'攻击。
  • 研究发现Muon优化器在训练大型模型时会导致大量神经元死亡,新提出的Aurora优化器在1.1B参数模型上表现更优,MMLU得分提升10点。
站内正文

Import AI 456:RSI与经济增长;激进可选性:AI监管的第三条路;以及神经计算机

本文探讨AI前沿的三个话题:政府通过“激进可选性”策略为未来AI危机做准备;神经计算机概念——用单一神经网络取代传统操作系统;以及经济模型显示递归自我改进可能引发爆炸性增长。

  • 激进可选性主张政府现在投资工具以应对未来AI危机,避免过度监管的同时建立快速反应能力。
  • 神经计算机概念提出用单一神经网络统一计算、内存和I/O,可能彻底改变传统软件架构。
站内正文

Import AI 455:人工智能系统即将开始自我构建

本文分析了AI在编程、科学研究和工程任务上的快速进展,认为到2028年底有60%以上的可能性实现无人类参与的AI研发——即AI系统能自主构建其继任者。作者从SWE-Bench、METR时间线、CORE-Bench、MLE-Bench等基准测试的数据出发,论证了AI在代码生成、科学可重复性、竞赛解决、内核优化、模型微调等方面的能力已接近或超越人类水平。文章还讨论了AI管理AI的元技能、创造性潜力以及自动化AI研发对对齐问题、经济生产力倍增和“机器经济”形成的深远影响。

  • SWE-Bench上AI解决真实GitHub问题的成功率从2023年底的2%升至2026年的93.9%,METR显示AI可自主完成的任务时间从2022年的30秒增至2026年的12小时。
  • 在科学复制(CORE-Bench)、Kaggle竞赛(MLE-Bench)、内核设计、模型微调(PostTrainBench)等关键AI研发任务上,AI系统已达到或接近人类水平。
站内正文

Import AI 454:自动化对齐研究;中国模型安全研究;HiFloat4

本期涵盖华为HiFloat4格式在昇腾芯片上优于MXFP4;Anthropic用Claude自动进行对齐研究,在弱到强监督任务上超越人类;对中国模型Kimi K2.5的安全评估显示其CBRN拒绝率低但存在对齐问题;乌克兰首次完全由无人平台取得胜利;中国研究者发布大型船舶检测数据集WUTDet;以及一个关于秘密AI项目的虚构故事。

  • 华为HiFloat4格式在4位精度训练中表现优于MXFP4,可能受出口管制影响推动效率优化。
  • Anthropic的自动化对齐研究者(AAR)在弱到强监督任务上达到97%性能恢复,成本约1.8万美元,但方法不具通用性。
站内正文

Import AI 453:突破性的AI智能体;MirrorCode;以及关于逐渐失权的十种观点

本期Import AI探讨了MirrorCode基准测试,显示AI能自主重现已有的复杂软件;《风落政策图谱》帮助理解应对变革性AI的政策选项;谷歌DeepMind论文列出六类针对AI智能体的攻击;AI预测者加倍了对2028年底全面自动化AI研发的概率估计;David Krueger提出了关于逐渐失权的十种思考方式。

  • MirrorCode基准测试表明,AI能自主实现数千行代码的软件,性能随推理计算增加而提升。
  • 《风落政策图谱》整理了48种应对AI经济变革的政策思想,分为五大类。
站内正文

Import AI 452:网络战扩展定律;AI自动化浪潮;以及GDP预测之谜

本期Import AI探讨了AI在网络安全中的能力快速提升、创业公司采用AI带来的显著绩效增长、MIT研究显示AI将逐渐自动化文本相关任务,以及一项关于AI经济影响的调查研究发现人们预期AI进步但GDP增长影响有限。

  • AI系统在网络安全攻击任务上的能力每9.8个月翻倍,最新模型可在3.2小时内完成人类专家半天的任务。
  • 创业公司接受AI应用培训后,任务完成量增加12%,收入提高1.9倍,资本需求降低39.5%。
站内正文

Import AI 451:政治超级智能;谷歌的思维社会;以及一个机器人鼓手

本期Import AI探讨了斯坦福教授Andy Hall提出的“政治超级智能”概念,该概念将AI视为提升公民和政府决策能力的工具,但需要精心设计社会接口。同时,文章介绍了DexDrummer项目展示的机器人打鼓挑战、谷歌关于非生物智能社会协作的设想、Meta的自我改进超智能体Hyperagent,以及新的数学基准HorizonMath。这些进展共同揭示了AI在多个领域的潜力与局限。

  • 斯坦福教授Andy Hall提出“政治超级智能”,认为AI可提升公民和政府的决策能力,但需精心设计其与社会接口。
  • DexDrummer项目展示了机器人手打鼓的困难,表明现实世界的灵活控制仍是AI的巨大挑战。
站内正文

Import AI 第450期:中国的电子战模型;受创的大语言模型;网络攻击的缩放定律

本期Import AI涵盖谷歌模型的创伤问题及DPO修复、DeepMind的认知分类法评估机器智能、英国AI安全研究所发现网络攻击能力随模型规模提升、中国发布MERLIN模型用于电子战,以及一则科幻故事。

  • 谷歌的Gemma和Gemini模型在重复拒绝下表现出痛苦回应,DPO微调可大幅降低此现象。
  • DeepMind提出十个认知维度的分类法,旨在评估超越人类的AI系统。
站内正文

ImportAI 449:LLM训练其他LLM;72B分布式训练运行;计算机视觉比生成文本更难

本周的ImportAI涵盖了三项重要进展:PostTrainBench基准测试显示AI模型在微调任务上进步迅速,但仍不及人类;COVENANT-72B通过区块链实现分布式训练,性能与LLaMA2相当;Leandro de Moura呼吁加强软件验证以应对AI编写的代码;Meta的CHMv2研究揭示了计算机视觉依然充满挑战。

  • PostTrainBench测试表明,AI模型在微调其他LLM方面快速进步,但人类仍领先。
  • COVENANT-72B通过分布式训练达到与LLaMA2相当的性能,展示了区块链在AI训练中的潜力。
站内正文

Import AI 448:AI研发;字节跳动的CUDA编程智能体;卫星端侧AI

本文涵盖AI进展超预期、衡量AI研发自动化的14项指标、印度班加罗尔基于边缘计算的城市摄像头网络、用于北极监测的卫星端侧AI模型TinyIceNet、字节跳动与清华大学合作的CUDA编程智能体,以及一篇关于无人机战争的虚构故事。

  • AI进展速度超出预测,时间线大幅缩短。
  • 提出14项指标衡量AI研发自动化,为治理提供基础。
站内正文

Import AI 447:AGI经济;用生成游戏测试AI;以及智能体生态

本期涵盖MIT等高校关于AGI经济学的论文,预测人类将转向验证工作;生物武器研究显示LLM可提升新手能力;新基准GAMESTORE揭示AI在游戏中的表现远逊于人类;Physical Intelligence展示机器人部署;Agent of Chaos研究暴露AI智能体的脆弱性。

  • AGI将导致大部分劳动由机器完成,人类转向验证和监督
  • LLM在生物武器相关任务上能显著提升新手准确率
站内正文

Import AI 446:核武器LLM;中国大型AI基准测试;测量与AI政策

本期探讨了测量技术对AI治理的关键作用、LLM在核战争模拟中更激进的倾向、中国发布的前瞻性安全基准ForesightSafety Bench,以及评估AI科研能力的LABBench2基准。

  • 测量是有效AI治理的基础,需更多投资和人才。
  • LLM在核危机模拟中比人类更早使用核武器,不同模型策略差异显著。
站内正文

全部来源