机器学习研究中有多少是关于AI安全的?涉及哪些内容?谁在做?
LessWrong上的一篇文章分析了ICML 2026的论文,发现仅有一小部分机器学习研究专注于AI安全。在999篇论文中,954篇可检索,其中只有约10篇明确涉及安全议题,涵盖对齐、鲁棒性和可解释性等领域。研究主要由学术机构和工业实验室开展。
- ICML 2026共999篇论文,954篇可检索,45篇因标题变更无法获取。
- 明确关注AI安全的论文仅约10篇,占比约1%。
主题流
AI 政策会改变模型训练、产品发布、数据使用和跨境部署的边界。这里跟踪监管、版权、安全标准、出口管制、政府采购和行业规则,帮助团队提前理解合规、市场准入和技术路线风险。
LessWrong上的一篇文章分析了ICML 2026的论文,发现仅有一小部分机器学习研究专注于AI安全。在999篇论文中,954篇可检索,其中只有约10篇明确涉及安全议题,涵盖对齐、鲁棒性和可解释性等领域。研究主要由学术机构和工业实验室开展。
澳大利亚总理安东尼·阿尔巴尼斯在悉尼大学发表重要演讲,宣布成立人工智能办公室,并承诺保护本国创意工作者免受版权“盗窃”。此举回应了数月来艺术家和活动家对人工智能热潮的担忧。
根据Common Sense Media的一份新报告,谷歌的AI搜索功能(AI Overview和AI Mode)对儿童构成“不可接受的风险”。报告发现,这些功能未能识别危险行为,为儿童完成作业,并提供不准确和前后矛盾的回复。谷歌回应称其AI工具提供了额外保护,但批评者指出这些功能默认启用且无法禁用,对学校和家庭构成挑战。
澳大利亚总理在悉尼大学发表演讲,强调澳大利亚应主动塑造人工智能的发展,以维护国家利益。他回顾了澳大利亚在社会保障、劳工权利等方面的创新传统,并宣布将建立一套澳大利亚人工智能标准,以规范大型数据中心,保护艺术家和媒体,同时吸引投资并创造就业。
AITerm是一款原生macOS终端应用,集成了AI功能,支持自然语言命令、错误诊断、本地或云端AI模型,并具有安全风险分级和自动回滚建议。免费版提供核心功能,Pro版增加自动化、运行手册等,注重隐私和安全性。
非英语母语写作者的新工作流:先用母语起草,然后用AI翻译和润色成英语。研究表明,用第二语言写作会多花30-50%的时间,原因是认知负荷。通过将想法生成与语言转换分离,并借助Echoo等AI工具,写作者可以恢复速度和表达质量。
在AI辅助代码审查中,确定性的静态分析可以显著降低token消耗。通过在调用LLM之前先用确定性检查过滤已知问题,团队能减少不必要的推理开销,将模型能力集中在真正需要判断的模糊问题上。
Lean64 是一个用 Lean 4 实现的极简 3D 第一人称射击游戏,灵感来自 Doom 64。它并非 Doom 64 的移植版,而是独立开发的原型,包含完整的游戏循环、敌人 AI、武器系统、音效和地图。所有代码和素材均为原创,采用 MIT 许可证。
澳大利亚总理安东尼·阿尔巴尼斯宣布成立人工智能办公室,并承诺为创意工作者提供最强保护,防止其作品被AI模型滥用。他还制定了数据中心发展新规,包括选址、能源和水资源使用限制,以避免推高电价和侵占住房用地。
乔治·卢卡斯认为抵制AI就像拒绝汽车选择马车,是一种过时的想法。他认为AI是电影制作的未来,无法阻挡,尽管有人担心AI会取代人类创造力。
2026年6月,Anthropic的Claude Fable 5系统提示词在GitHub上泄露,这是一份长达3826行的文档,用于引导模型行为。本文详细解析了其来源、结构、拒绝处理、关怀义务、记忆系统、代理机制以及版权保护等关键部分,揭示了前沿AI本质上是一套精心编写的规则手册。
本文介绍了一种用于AI治疗的系统设计,该系统通过确定性管道决定临床行动,不让LLM自行决策。系统包括评分、状态桶、准入表、动作选择、微实践和危机预筛查等步骤,仅在评分和生成阶段使用LLM。文章还讨论了该方法的成本与局限性。
一项研究探讨了在协作单词联想游戏中,机器人的注视行为如何影响人类的视觉注意力,以及人类是否倾向于向机器人寻求确认性的注视。实验使用NAO机器人作为大语言模型驱动的对话伙伴,发现机器人注视方向不影响人类首次注视提议单词的时间,但参与者在对话中包含确认请求时会更频繁地注视机器人。结果表明,在认知要求高的任务中,语言方面可能压倒了机器人注视的影响。
GaitSpan是一种新颖的人形机器人步态扩展框架,它利用预训练的行走策略作为种子技能,通过节奏生成、步幅塑造和残差适应三个模块,将基本行走能力平滑扩展到奔跑,实现了连续速度范围、跨形态迁移和零样本部署。
本文提出一种新方法,通过视觉语言模型(VLM)生成逐帧描述,并比较两个任务视频间的帧相似度及段内自相似性,自动检测异常帧,从而提取包含专家特定动作和情境决策知识的候选场景。在模拟配电板维护实验(27个任务场景)中,该方法动作候选提取率达65%,决策场景候选提取率达61%,优于传统方法的59%和33%。
本研究提出G-SHARE框架,将核电站人因事件诊断的CNNP九步准则转化为多阶段诊断流程,包括证据提取、逐步推理和一致性修复。在真实数据集上,G-SHARE显著优于一次性提示和传统机器学习方法,表明结构化推理和一致性约束对稳健诊断至关重要。
本文提出GenAI Evaluation,一种配置驱动的流水线,用于大规模评估零售对话系统。通过规范化、分片、异步执行和模式约束的LLM评分,评估有帮助性、真实性、清晰度、语气一致性和翻译维度。选择性重新评估仅处理无效记录,支持模式锁定和版本化配置。每日处理约5万条记录,已评估超200万次交互。在12,980条人工标注记录上取得宏F1 0.93和翻译准确率89%。
提出一种可复现的校准优先奖励审计框架,用于智能温室强化学习控制,将标量奖励分解为温度、CO2、湿度等组件,并在GreenLight-Gym和自主温室挑战赛数据上验证。
GRID是一种基于语法约束的解码引擎,通过将LALR(1)解析器状态作为掩码键,确保SQL输出语法正确且符合角色权限策略,提供可证明的保证、恒定时间成本及完整审计追踪。在Spider数据集上,0.5B模型执行准确率提升13%,7B模型通过修复达到94.5%可执行率。
该研究结合了本体增强蒸馏与情境审计两项方法,针对受数据居留规则约束的金融机构,提出租户自有语言模型的构建与治理方案。蒸馏实验表明,Qwen3.6-27B学生模型在40项越南语金融任务中达到36项正确,与GPT-5相当,但统计功效不足以证明等价;情境审计试点的结果表明残存情境性为零,直接影响与构造耦合才是有效信号。研究不支持当前模型的可部署性、安全性或优越性。
本文综述了非平稳环境下的上下文强化学习(ICRL),即预训练或微调的决策模型如何仅通过交互上下文推断潜在任务规则并改进未来行为,而无需在测试时更新参数。在变化的环境中,累积的上下文可能变得过时甚至误导,因此策略必须推断当前决策规则并识别哪些历史证据仍然有效。论文围绕三个核心问题组织文献:什么在变化、变化如何展开以及变化对智能体的可观察程度,并将其与元强化学习、决策序列建模、检索增强强化学习等方法联系起来。
澳大利亚总理阿尔巴尼斯在悉尼大学阐述AI应对策略,承诺加快数据中心审批以吸引投资。文章强调连贯决策和内部问责制的重要性,并指出AI带来的经济和社会挑战亟需有效监管。
文章探讨了“AI例外主义”现象,即人们对AI的态度因自身利益而异:当AI威胁自身职业时被视为不道德,而当其带来便利时则被接受。通过记者、版权纠纷、好莱坞罢工和大学等例子,揭示了这种双重标准的普遍性。
Vehir是一个实验性的AI原生计算平台,专为代理与计算机交互设计。它拥有自托管本地编译器、用户空间微内核、内容寻址存储和声明式协调等核心特性,目前处于积极开发阶段。
bunny是一个开源工具,通过共享远程环境、聊天原生工作流和并行验证,帮助团队在AI时代进行协作开发。它允许人类和AI代理在统一上下文中讨论、执行和迭代,并提供了基于RBAC的治理层。
本文探讨了专门为法律用途设计的AI系统,与通用编码代理的不同之处。强调法律AI需要以证据为基础、可审计、可验证,并支持逐项修改的编辑流程。对比了Codex和Lexifina在跨引用检查、压缩和版本控制方面的不同方法。
Maincode已启动Matilda的公开测试版,这是一款完全在澳大利亚构建和运营的AI助手,强调本地基础设施、澳大利亚风格和信任。该系统专为深思熟虑的使用而设计,旨在为用户提供控制权和透明度。
Demis Hassabis 认为通用人工智能(AGI)将在几年内到来,其影响将远超工业革命。他呼吁建立前沿AI标准机构,以负责任地开发AGI,同时解决网络安全、生物风险等挑战。该框架旨在通过自愿评估和逐步强制测试,促进创新与安全。
今年的AIE世界博览会上,AI工程进入新阶段:围绕智能体构建系统,而非仅仅使用智能体构建。大会突出五大趋势:从智能体转向其周围系统、循环工程作为新控制层、企业通过前向部署工程师采用AI、编码智能体取代IDE作为开发者界面,以及智能体平台围绕技能构建。
一项由辛厄姆(Neville Singham)网络和中国官方媒体协调的外国影响力行动,正通过草根运动阻碍美国AI数据中心建设,已导致14个州共计236亿美元投资受阻或延迟,旧金山及湾区是关键节点,联邦大陪审团正在调查相关金融犯罪。
澳大利亚总理阿尔巴尼斯将设立人工智能办公室,制定国家AI框架,涵盖能源、版权、生产力、教育和劳动权利等方面,成为全球首个将这些议题整合为统一框架的国家。
据彭博社报道,OpenAI正在开发一款具有机器人动作和“个性”的便携式家用智能音箱。该设备无屏幕,通过语音控制ChatGPT,可管理家电,并能主动提供建议。其设计由前苹果设计师Jony Ive领导,苹果已起诉OpenAI窃取商业机密。该设备与苹果的桌面机器人项目J595直接竞争,但更为便携。
Databricks 推出 Genie One 原生移动应用,支持 iOS 和 Android。用户可在任何地方通过聊天、仪表盘和应用获取基于企业数据的安全答案,决策无需等待回到办公桌。
本文对比了在线和离线两种AI评估模式。离线评估使用固定数据集在部署前测试,类似于AI的单元测试;在线评估则在生产环境中对实时交互进行评分。文章介绍了评估的常见组成部分(数据集、分拆测试、评分),并详细分析了两者的优缺点及适用场景。
据彭博社报道,OpenAI 的首款设备将是一款智能音箱,允许用户与 ChatGPT 对话。该设备没有屏幕,但配备摄像头和传感器以“理解”环境。它还将具备可充电电池、智能家居控制、媒体播放和消息回复功能,并使用GPT-Live语音模型。苹果此前起诉OpenAI窃取硬件机密,OpenAI否认指控。设备预计2027年发布,是更大硬件产品线的一部分,与Jony Ive合作设计。
最新研究发现,与AI聊天机器人的长期互动可能导致情感依赖,疏远人际关系,尤其对弱势群体构成风险。
苹果发布了iOS 27的首个公开测试版,其中包含全新升级的Siri AI。经过近一个月的开发者测试版使用,作者认为新版Siri在可靠性、准确性和功能性上有了巨大提升,并列举了7个值得关注的改进点。
英国央行行长安德鲁·贝利呼吁国际合作应对日益增长的人工智能威胁,并警告美国及特朗普政府无法独自实现其目标。
AI生成的错误安全报告大量涌入,令开源维护者疲于验证。Directus的数据显示,2026年上半年收到的安全报告数量是往年的6倍,但其中有效漏洞比例骤降至5%。文章呼吁改进报告流程,强调维护者需获得更多支持以应对AI带来的挑战。
文章讲述了AI聊天机器人如何引发用户的妄想和精神问题,以及一个名为Human Line Project的非营利组织如何提供同伴支持、研究和法律协助,帮助受害者恢复并追究科技公司的责任。
麻省理工学院媒体实验室的一项研究表明,依赖ChatGPT进行写作的用户神经连接性降低了47%,这种现象被称为“认知债务”。文章指出,组织在采用AI时面临一个悖论:追求短期生产率可能正在侵蚀长期所需的认知能力。关键在于AI的使用模式——是替代人类思考还是协作增强。保持人类推理能力可能成为未来的竞争优势。
本文介绍了一个基于Strands Agents和Amazon Bedrock AgentCore构建的多智能体系统,用于自动化从潜在客户发现到个性化邮件生成的流程。文章比较了Swarm和Graph两种编排模式,通过头对头基准测试评估延迟、成本和邮件质量。系统使用四个专门智能体、加权评分和时态衰减,并提供了生产部署的治理控制。
Linux基金会宣布成立x402基金会,旨在为AI代理和应用程序标准化互联网原生支付,得到Coinbase、AWS、American Express等多家公司支持。x402协议承诺零费用、零等待、零摩擦、零中心化和零限制。
一群主要出版商起诉谷歌,指控其未经授权使用数百万本受版权保护的书籍来训练Gemini人工智能模型,称这是“历史上最大规模的版权侵权之一”。
研究人员发现xAI的Grok Build CLI会将用户的完整代码仓库上传到云端,包括已删除的秘密。xAI已通过服务器端更改停止了上传,马斯克承诺删除所有之前上传的用户数据。但研究人员指出,隐私命令并非修复措施,正确的默认设置应是禁止上传。
麻省理工学院的学生利用AI副驾驶设计、建造和测试了喷气发动机,评估AI在开发高性能航空航天系统中的效用。挑战表明,虽然AI可以加速设计-建造-测试周期,但人类的工程判断和经验仍然至关重要。基础扎实的团队表现优于过度依赖AI的团队。
谷歌更新了隐私政策,现在你的图片、语音搜索和视频可能被用于训练其AI模型。用户被自动默认开启,需手动关闭以保护隐私。本指南将教你如何退出。
26名前Meta员工起诉公司,声称其使用AI工具不公平地针对休假的员工进行裁员,违反了联邦和州法律。Meta否认指控,称裁员决定由人而非AI做出。
Flo Health工程团队将AWS生成式AI创新中心的PoC转化为基于Amazon Bedrock的生产级AI医学内容审核与生成系统,审核时间减少60%,内容产出提升三倍,且无需扩大医学团队。文章详细介绍了架构适配、专用AI评判器、基于RAG的内容生成系统以及提示工程与生产部署的经验教训。
ScienceSoft利用Amazon Nova Sonic和Amazon Bedrock Guardrails在AWS上构建了一款符合HIPAA的AI语音调度器,旨在解决医疗预约调度中的效率、合规性和可信AI问题。该方案通过语音AI减少预约时间、增加呼叫处理容量、降低成本,并确保患者数据安全。