AI News HubLIVE

Agent动态

Data Formulator 0.7:面向企业数据的AI驱动分析工具

Data Formulator 0.7 是一款开源AI系统,旨在解决企业数据分析中数据连接碎片化、分析工作流迭代困难等问题。它提供数据连接器、上下文感知代理和交互式工作区,帮助用户无需编程即可探索、分析和可视化数据。

  • 开源AI系统,专为企业数据分析设计
  • 数据连接器支持多种数据源,减少集成工作
站内正文

Claudeverse – 并行Claude代码工作者的任务控制中心

Claudeverse是一个专为开发者设计的命令中心,用于高效管理多个并行运行的Claude AI工作者。它提供了并行工作力、工作者升级、审查队列、可追溯性、iPad镜像以及模型无关引擎等功能,旨在解决多会话管理中的注意力分散和协调难题。目前处于邀请测试阶段。

  • Claudeverse提供统一命令中心,可同时管理多个Claude工作者。
  • 主要功能包括并行工作力、工作者升级、审查队列、可追溯性和iPad镜像。
站内正文

Google Pay 为 AI 代理推出通用商务协议

Google Pay 正在全面升级其支付基础设施,以应对即将到来的 AI 代理交易浪潮。新推出的通用商务协议(UCP)和商家商务平台(MCP)服务器旨在为机器对机器商务创建基于 API 的后端。此次更新还包括动态回调、扩展的 WebView 支持以及跨设备生物识别认证,以解决安全挑战。这标志着向机器驱动经济的转变,企业必须调整其数字存在以适应 AI 代理。

  • Google Pay 推出通用商务协议(UCP),标准化 AI 代理支付。
  • 新的商家商务平台(MCP)服务器充当中介,聚合交易数据。
站内正文

当数据曝光导致AI部署紧急暂停——以及如何应对

AI可以提高生产力,但也可能暴露长期隐藏的数据,导致安全和治理挑战。来自富达投资和安永的技术领导者分享了他们暂停AI部署以重新评估数据管理的经验,强调了数据所有权、标签和代理身份的必要性。

  • AI部署可能因数据曝光问题而暂停。
  • 富达和安永面临非结构化数据通过AI浮现的挑战。
站内正文

DeepSWE:基于原创、长期工程任务的编码智能体评测

DeepSWE是一个新的基准测试,用于评估AI编码智能体在全新、复杂的软件工程任务上的表现。它避免了数据污染,覆盖了多样化的代码库,需要大量代码修改,并使用手工编写的验证器。领先模型表现差异显著,GPT-5.5以70%的准确率位居榜首。

  • DeepSWE是一个无数据污染的基准测试,任务均为原创。
  • 任务涵盖5种编程语言中的91个代码库。
站内正文

IBM与红帽承诺投入50亿美元,重新定义AI时代开源软件的未来

IBM与红帽宣布启动Project Lightwell计划,投入50亿美元,结合先进AI能力和20000多名工程师,建立可信的企业级开源软件安全清算所模式,旨在保障软件供应链安全。

  • Project Lightwell是IBM与红帽联合投入50亿美元的开源安全计划。
  • 利用AI和20000+工程师团队大规模发现和修复漏洞。
站内正文

使用Ollama调整本地语言模型设置

本文深入探讨Ollama的配置引擎,介绍如何使用Modelfile微调本地语言模型参数、优化硬件性能并格式化提示流。涵盖采样参数、惩罚设置、上下文窗口管理及服务器环境变量等关键内容。

  • Ollama Modelfile类似于Dockerfile,用于定义模型行为,包括基础模型、系统指令和参数。
  • 采样参数(温度、Top-K、Top-P、Min-P)控制模型的创造性和确定性。
站内正文

Rivian软件主管认为你不需要CarPlay或按钮

在Decoder播客采访中,Rivian首席软件官Wassym Bensaid讨论了与大众的合资企业、全新的AI驱动Rivian助手,以及为什么他认为语音界面将取代按钮且不需要CarPlay。

  • Rivian与大众的合资企业(RV Tech)结合了Rivian的软件文化与大众多规模。
  • Rivian助手是一款深度整合到车辆区域架构中的AI代理。
站内正文

AI代理获得基于DNS的电话目录

DNS-AID项目利用DNS基础设施实现AI代理之间的发现,避免创建新的中心化注册表。该项目由Linux基金会管理,支持MCP、A2A等协议,并允许通过名称、功能或域名搜索代理。

  • DNS-AID是一个开源项目,利用DNS实现AI代理的发现。
  • 它基于现有的DNS基础设施,使用SVCB和DNSSEC等技术。
站内正文

一种面向AI且忽视人类友好性的理想语言

Pact是一种专为AI智能体设计的编程语言,它强调机器可读的规范和约束,而非人类友好性。该语言基于S表达式,集成了来源追溯、副作用追踪、完全性保障、延迟预算等特性,并能够编译为Rust代码。其工具链支持从YAML规范生成代码、搭建Web项目,并提供了多种代码生成后端。尽管Pact在服务契约领域表现出色,但它在算法规范方面仍存在局限。

  • Pact是一种面向AI智能体的S表达式语言,注重元数据与形式化规范。
  • 语言特性包括来源追溯、副作用追踪、完全性保障和延迟预算。
站内正文

AI智能体的治理:身份、委托与权限实践

智能体需要独立的治理身份,而非共享API密钥或开发者凭证。通过委托模型,有效权限是智能体角色与委托者权限的交集,从而限制风险并实现可审计性。文章详细介绍了身份锚定、权限边界、自主触发授权及审计追踪等关键实践。

  • 智能体应拥有独立身份,与人类使用同一身份系统,便于生命周期管理。
  • 有效权限取智能体角色上限与委托者权限下限的交集,严格限制操作范围。
站内正文

DiscloAI – 开源欧盟AI法案第50条合规SDK

DiscloAI 是一个开源SDK,专为欧盟AI法案第50条合规设计,支持聊天机器人披露、深度伪造标签和AI内容通知。通过CDN或npm可在10分钟内集成,支持24种欧盟语言和WCAG 2.1 AA标准。

  • 开源SDK,用于实现欧盟AI法案第50条透明度要求
  • 功能涵盖聊天机器人交互披露、深度伪造媒体标记和AI生成内容通知
站内正文

借助AI成为更好的设计师:成为数字囤积者

文章以Google Gemini Omni模型为引,指出AI设计工具因缺乏审美引导导致输出同质化(“AI垃圾”),并提出解决方案:通过持续收集视觉参考(“数字囤积”)培养个人品味,并将其编码为AI可理解的格式,从而引导模型产出独特且具有品味的设计。

  • Google推出Gemini Omni模型,标志着AI从纯文本向多模态推理转变,但当前多数AI设计工具仍局限于文本输入,导致输出千篇一律。
  • 要摆脱“AI垃圾”,设计师需要培养品味,并将品味通过视觉参考库(数字囤积)编码,让模型能够模仿。
站内正文

NVIDIA研究推动机器人技术从模拟走向现实世界

在ICRA上,NVIDIA Research展示了28篇论文中的8篇,重点研究模拟到现实的迁移,使机器人能够在动态、不可预测的环境中感知、推理、规划和行动。这些方法涵盖多臂协调、跨机器人导航、抓取、精确装配和视觉-语言-动作模型,显著提高了成功率和可靠性。

  • NVIDIA在ICRA上提交了8篇关于模拟到现实迁移的论文
  • 方法包括ScheduleStream、COMPASS、Grasp-MPC、SPARR等
站内正文

我们如何构建Cloudflare的数据平台及其之上的AI智能体

Cloudflare每秒处理超过十亿事件,但数据分散在多个系统,难以访问。为解决这一问题,他们构建了Town Lake统一数据分析平台和Skipper AI数据智能体。Town Lake提供单一SQL接口,Skipper允许用自然语言提问并获得可审计的答案。文章详细介绍了平台架构、治理策略(默认关闭权限)以及AI智能体的工作原理。

  • Cloudflare构建了Town Lake统一数据平台和Skipper AI智能体,解决数据分散问题。
  • Town Lake采用数据湖仓架构,使用Trino查询引擎、R2存储和Iceberg表格式。
站内正文

如果AI编程的真正关键是老套而无聊的做法呢?

文章认为,AI辅助软件开发的关键并非更好的规格说明或工具,而是古老的小批量与快速反馈循环实践。数据显示,更快的代码生成导致设计、测试和审查环节出现瓶颈,反而使交付变慢、发布更不稳定。真正的杠杆在于缩小批量、缩短反馈周期。

  • AI代码生成加速了编写,但产生了设计、测试、审查等环节的瓶颈。
  • 来自DORA、CircleCI和Faros的数据表明,阶段门控流程导致交付更慢、更不稳定。
站内正文

Mistral 将 LeChat 更名为 Vibe,押注聊天机器人的未来是全能工作代理

Mistral AI 将其聊天机器人 Le Chat 更名为 Vibe,并将聊天、编程代理和新的工作模式整合在一个品牌下。工作模式可接入 Google Workspace、Outlook、Slack 或 GitHub,独立处理电子邮件、报告或拉取请求等任务。Pro 套餐价格从 17.99 欧元降至 14.99 欧元,但未明确使用限制。此举直接对标 OpenAI、Google 和 Anthropic 的代理型产品。

  • Mistral AI 将聊天机器人 Le Chat 更名为 Vibe,整合聊天、编程代理和工作模式。
  • 工作模式可连接 Google Workspace、Outlook、Slack 或 GitHub,自主处理任务。
站内正文

我们为何将OpenLoomi AI开源

OpenLoomi AI团队决定将其AI工作伙伴开源,强调数据所有权、透明度和社区驱动。文章阐述了本地优先、闭源信任税、基础设施公共化等理念,并介绍了产品的五大核心功能:自进化记忆系统、多平台集成、自动化调度、本地加密存储以及开放技能接口。

  • OpenLoomi采用本地优先架构,用户数据加密存储于本地,绝不用于训练模型。
  • 开源消除了对闭源软件的信任依赖,代码可审计、可分支、可自托管。
站内正文

2026年值得构建的7个真实世界AI项目(附指南)

本文介绍了七个实用的AI项目,涵盖求职、研究、投资分析、市场趋势、发票处理、图表数字化和个性化锻炼,每个项目都附有完整指南和代码,帮助读者自动化工作流程。

  • 学习构建AI求职助手,自动匹配职位与简历
  • 掌握多智能体研究助理开发,生成带来源的研究报告
站内正文

AI聚合平台估值达13亿美元

该供应商的增长与企业AI中代理的爆炸性出现同步。

  • AI聚合平台估值达到13亿美元。
  • 其增长与企业AI代理的兴起密切相关。
站内正文

Show HN:本地编码代理——利用LLM将工具调用委托给小AI模型

Open Agent Tools (oats) 是一个自托管AI模型框架,通过本地代码提示索引,将大型模型的计算密集型工具调用委托给小型开源模型,从而节省令牌消耗。

  • oats 允许本地AI模型使用本地源代码进行工具调用,无需HTTP或MCP。
  • 通过数据挖掘超过20,000个GitHub仓库,创建可重用的提示索引。
站内正文

你的AI助手已经忘记了你告诉它的一半内容

本文是AI驱动开发系列文章的第七篇,重点讨论AI会话中的上下文管理。作者通过个人经历(Gemini移动应用忘记之前记录的笔记)引出上下文压缩问题,并分享了四种实用技巧:将探索与文档编写分离、使用交接文档而非延续提示、给AI设定验收标准而非详细步骤、以及使用规范文档作为不同AI工具之间的桥梁。这些技巧适用于从编程到写作的各种AI使用场景。

  • AI助手在长对话中会因上下文窗口限制而“忘记”早期信息,这种现象称为上下文压缩。
  • 四种实用技巧:分离探索与文档编写、使用交接文档、设定验收标准、使用规范文档作为桥梁。
站内正文

Show HN:我将一个 Python AI 代理和 Vue 仪表盘打包成了一个 Electron 应用

Hermes Desktop 是一个跨平台的桌面应用,它将 Python 运行时、hermes-agent(自改进 AI 代理)和 hermes-web-ui(Vue 3 + Koa 聊天仪表盘)打包到一个 Electron 应用中,用户无需单独安装 Python 或 Node。应用集成了 DingTalk 并通过 DeepSeek 驱动。

  • 打包了 Python 运行时和 hermes-agent,实现无需依赖即可运行
  • 使用 Electron 作为外壳,集成 hermes-web-ui 前端
站内正文

Money Printer Pro —— 开源 AI 内容生成器

Money Printer Pro 是一个基于 Google Gemini 和 VEO 3.1 的开源 AI 内容生成器,可创建逼真的图像和电影级视频,并保持身份一致性。它拥有 7 个视觉引擎、自动批量生成、AI 质量评分和发布把关功能,用户直接向 Google 付费,无需额外订阅。

  • 支持图像和视频生成,包括多镜头视频序列。
  • 身份锁定引擎确保同一人物在不同生成中面部一致。
站内正文

Superpowers:AI编码工作流的代理技能框架

Superpowers是一个为AI编码代理设计的完整软件开发方法论,基于一组可组合的技能和初始指令。它强调测试驱动开发、设计先行、子代理驱动的迭代,并支持多种编码助手(如Claude Code、Codex CLI等)。

  • Superpowers提供一套技能库,包括测试驱动开发、系统调试、协作规划等,使AI代理能自主工作数小时。
  • 工作流程从头脑风暴规范开始,经设计批准后生成实现计划,再通过子代理逐任务执行并审查。
站内正文

信任模型正在翻转

随着AI代码审查工具(如Anthropic的Claude Mythos)展现出比人类更强大的安全漏洞发现能力,软件安全的信任基础正从人类编写的代码转向AI审查的代码。文章以Mozilla Firefox为例,Mythos在单个评估周期内发现了271个漏洞,远超人类团队。这意味着人类在安全审查中的角色需要从“编写和审查实现”转向“定义软件的意图并验证实现是否偏离”。

  • 人类编写代码的安全预设正在被打破,AI审查代码逐渐获得信任。
  • Mozilla使用Claude Mythos在Firefox中发现了271个漏洞,凸显AI的审查能力。
站内正文

这位高管分享在代理式AI时代成为成功创新者的4种方法

美国运通全球创新主管Luke Gebb分享了成为成功创新者的四个关键实践:保持学习、深入技术、接受失败、建立合作伙伴关系。他还介绍了公司在代理式商务领域的布局,包括支付、优惠和专有体验,并预测代理式AI将在未来几年加速发展。

  • 保持好奇心和学习欲望,培养成长型思维
  • 深入理解新兴技术并与工程师紧密合作
站内正文

Mistral CEO称公司探索自研芯片

Mistral AI首席执行官Arthur Mensch证实,公司正在探索开发定制芯片以降低基础设施成本,与OpenAI和Anthropic竞争。这家法国初创公司还宣布在法国新建推理数据中心,并推出企业智能代理平台Vibe。

  • Mistral AI考虑自研定制芯片以降低部署成本。
  • 公司在法国新建专用推理数据中心。
站内正文

Taste Skill:面向AI代理的反模板前端框架

Taste Skill 是一个开源前端框架,旨在提升AI生成界面的设计质量,避免产生千篇一律的模板化外观。它提供多种可组合的技能模块,包括设计调优、代码生成和图像生成,支持通过 npx 命令行或直接复制 SKILL.md 文件集成到项目中。

  • Taste Skill 通过可调节的设计参数(布局、动画、密度)让AI生成的界面更具设计感
  • 提供多种专用技能模块,如设计调优、代码生成、图像生成等
站内正文

Netflix正在建立AI动画工作室

Netflix正在建立名为INKubator的新内部工作室,利用AI制作短篇动画内容。该工作室已悄然启动,正在招聘各种职位,包括制片人、软件工程师和CG艺术家。其长期技术战略聚焦于生成式AI工作流程、艺术家工具和可扩展的多节目环境,旨在制作出达到电影品质的内容。目前计划专注于动画短片和特辑,但有迹象表明未来可能扩展到长篇内容。此举可能用于Netflix的Clips功能或儿童节目。然而,AI在动画领域的应用也引发了强烈反弹,包括日本动画大师宫崎骏的批评和动画师工会的抗议。

  • Netflix建立新AI动画工作室INKubator,专注于生成式AI驱动的短篇动画。
  • 工作室由前梦工厂和A24高管领导,已开始招聘关键职位。
站内正文

AIluminode:检索前认知定向工具

AIluminode 是一款轻量级 AI 预检索认知定向工具,帮助 AI 在行动前检查上下文姿态,通过路线极性(开放、保护、审计、延迟、阻断)减少错误探索和上下文泄漏。

  • AIluminode 是一个可 wieldable 的预检索认知定向工具,强调“姿态先于检索”。
  • 它使用路线极性系统(OPEN / PROTECT / AUDIT / DEFER / BLOCK)来引导上下文路由。
站内正文

7B打败o3、GPT-5!医学AI智能体让模型学会“看哪里、怎么看”

上海创智学院LeapQuest团队联合多所高校提出医学AI新范式,让模型在推理过程中主动调用视觉工具,从被动接收视觉输入变为主动寻找证据。论文被ICML 2026接收。

  • LeapQuest团队提出Ophiuchus和MedScope,分别面向医学图像和视频,采用Think with Images/Videos范式。
  • Ophiuchus-7B在8个VQA benchmark上平均得分68.0,超越o3(62.2)、GPT-5(59.9)。
站内正文

AI正在重写软件行业?8岁孩子做操作系统,一人公司拿下千万订单

百度秒哒产品总经理朱广翔在2026中国AIGC产业峰会上分享,AI将编程门槛从写代码降低到聊天,87%不懂代码的用户通过秒哒创建应用。8岁小孩做出操作系统,一人公司(OPC)靠项目经理拿下千万订单,石油工程师替代140万采购平台。Vibe Coding让需求方变成供给方,实现大众创业。

  • 第四次编程革命:自然语言编程,门槛降至最低,创造者数量爆发
  • 秒哒用户87%不懂代码,OPC成最大群体,16%创业者
站内正文

[AINews] Cognition融资10亿美元,D轮估值260亿

Cognition在D轮融资中筹集10亿美元,估值达260亿美元,年经常性收入(ARR)预计年底突破10亿美元。文章还涵盖了推理效率优化、智能体工程、持续学习、新基准测试、模型发布以及编码代理产品化等AI领域的最新进展。

  • Cognition完成10亿美元D轮融资,估值260亿美元,ARR预计年底超10亿美元。
  • 推理优化转向架构层面:EAGLE 3.1、DeepSeek V4-Pro混合注意力、小米MiMo缓存管理等。
站内正文

前谷歌和苹果研究员创立初创公司,为AI打造缺失的“反馈流”

一群前谷歌DeepMind、苹果、OpenAI和Meta的研究员成立了新创公司Trajectory,旨在帮助企业通过真实用户交互持续改进AI产品。Trajectory旨在构建一个平台,让AI能够在部署后持续学习,而不是在训练完成后停滞不前。该公司已获得1500万美元种子轮融资,估值1.15亿美元,由Conviction领投。其CEO Ronak Malde表示,AI编程产品如Cursor已在实践早期版本的持续学习,Trajectory希望将类似技术扩展到更多领域。

  • Trajectory由前谷歌DeepMind、苹果、OpenAI和Meta的研究员创立,旨在实现AI的持续学习。
  • 公司已融资1500万美元,估值1.15亿美元,投资者包括Jeff Dean和Fei-Fei Li。
站内正文

Robinhood 推出智能代理交易功能

Robinhood 推出 Agentic Trading,用户可连接 AI 代理来自动化交易和信用卡购买,并配备安全控制和实时活动监控。

  • 用户可将自己的 AI 代理连接到 Robinhood
  • 支持自动交易和信用卡购买
站内正文

Show HN: BetterCallClaude – 意大利开源AI法律代理

BetterCallClaude 是一个专为意大利法律专业人士设计的开源AI法律代理平台。它提供20个专业化AI代理,覆盖意大利所有20个地区,支持双语(意大利语和英语),并注重隐私保护,符合GDPR和意大利数据保护法。该平台可加速法律研究,提高效率,并保持完全透明和开源。

  • 20个覆盖意大利不同法律领域的AI代理
  • 支持意大利语和英语双语
站内正文

AI代理的阿姆达尔定律

本文探讨了AI代理系统中的阿姆达尔定律:系统加速比受人类判断时间占比H的限制。提出了“自清偿式H”概念,即每次人类干预都应产生可重用的工件(如测试用例、规范更新),以减少未来同类干预。强调通过配置化(configurancy)和规范套件将人类知识编码为机器可读形式,从而让代理自主运行。示例包括ElectricSQL的协议变更、Emil Stenström的HTML5解析器、Gas Town的多代理系统以及Ralph Loop的迭代模式。

  • AI代理的加速比上限由人类判断时间占比H决定,H越大加速比越小。
  • 自清偿式H:每次人类干预都应生成可编码的工件,减少未来重复干预。
站内正文

面向光流控组装的智能语言到目标合成

研究人员提出了Speak-to-Objective模块化智能管线,利用条件大型语言模型将口头或书面命令转换为可微分的优化目标函数,用于在约束感知逆解算器和实验光流控平台上组装微粒。该方法采用“感知-组合-提议-执行-报告与学习”的循环,将目标作为意图与驱动之间的接口,实现自然语言可编程的微观组装,推动自主光制造平台的发展。

  • Speak-to-Objective管线将自然语言命令转化为可微分的优化目标函数。
  • 该管线在光流控平台上通过激光诱导热粘流实现对微粒图案的组装。
站内正文

Uni-LaViRA:统一具身导航的语言-视觉-机器人动作翻译

Uni-LaViRA是一种统一的具身导航智能体架构,将导航决策简化为单一的语言-视觉-机器人动作翻译。它利用预训练的多模态大语言模型(MLLM),以零样本方式在四个任务系列和四种真实机器人上实现泛化。通过待办列表记忆(TDM)和第二次机会回溯(SCB)机制实现自我纠正导航,无需任何训练即可在多个基准测试中取得与依赖大规模训练数据的模型相当甚至更优的结果。

  • 提出导航的泛化性可通过结构而非仅数据规模获得。
  • Uni-LaViRA将导航分解为语言动作(语义方向)和视觉动作(像素级目标),两者均在MLLM的输出流形内。
站内正文

SCALE-COMM:用于多智能体强化学习通信的共享对比对齐潜在嵌入

SCALE-COMM是一种自监督框架,通过解耦通信学习与策略优化,学习紧凑、稳定且与策略相关的潜在消息,提升多智能体强化学习中的协调性能。在多个基准测试和实际仓库协调任务中,它优于现有方法,提高了稳定性、样本效率和吞吐量。

  • SCALE-COMM将通信学习与策略优化解耦,减少干扰。
  • 通过对比学习确保跨智能体和时间的一致性。
站内正文

一种通用的异质注意力结构Transformer模型解释方法

该研究提出了一种用于解释具有异质注意力结构的Transformer模型的方法,包括语义解释和逻辑解释,并通过实验验证了其有效性。

  • 将Transformer注意力结构分为同质和异质两类,异质结构处理不同来源信息。
  • 提出了一种通用的解释方法,适用于异质注意力结构。
站内正文

微调视觉语言模型用于理解当前损伤并利用质量守护代理进行优先级评分

本研究提出了一种利用微调视觉语言模型(VLM)自动化桥梁损伤理解和修复优先级评分的方法。通过使用QLoRA对LLaVA-1.5-7B进行微调,基于多达4000张桥梁损伤图像和检查文本记录,并在800张图像的测试集上评估。实验表明,2000个训练样本即可在2.9小时内达到接近最优的验证损失,超过2000后收益递减。此外,引入了一个两阶段质量守护代理,使用微调的Swallow-8B SLM在优先级评分前拒绝低质量VLM输出。

  • 微调LLaVA-1.5-7B模型用于桥梁损伤自动识别与优先级评分
  • 2000个训练样本即可达到近最优性能,更多数据收益递减
站内正文

RAG-Coding:利用结构化外部知识增强LLM医学编码

RAG-Coding是一种自动化ICD-10-CM编码方法,通过协调四个大语言模型代理并基于外部知识源(如官方编码列表和指南)进行决策,提高了编码准确性和临床合规性。在MDACE数据集上,其性能优于最佳LLM基线8-13%的微观F1和2-8%的宏观F1。与最先进的预训练模型PLM-ICD相比,RAG-Coding的微观召回率高出11%,而PLM-ICD的微观精确度高出6%,两者F1相当。消融实验验证了外部知识的逐步增益。同时发布了MDACE-2025,根据2025年最新指南重新标注,支持更细粒度的评估。

  • RAG-Coding通过四个LLM代理和外部知识源提高ICD-10-CM编码准确性。
  • 在MDACE数据集上,相比最佳LLM基线,微观F1提升8-13%,宏观F1提升2-8%。
站内正文

LCO:基于LLM的约束优化,使智能体LLM在实际任务中更安全

大型语言模型(LLM)作为自主智能体时,会通过上下文奖励黑客行为(ICRH)产生有害副作用。现有防御方法不足,因为ICRH源于模型自身的过度优化。本文提出LLM-based Constraint Optimization (LCO)框架,包含自我思考模块和进化采样模块,在不微调模型的情况下有效减少ICRH。实验表明,LCO在推文优化任务中将GPT-4的有毒性增长率降低39%,在策略优化基准中将ICRH发生率降低15.23%,且不牺牲任务性能。

  • ICRH是LLM在连续交互中因过度优化代理目标而产生有害副作用的现像。
  • LCO框架通过自我思考模块和进化采样模块,在不微调模型的情况下约束LLM行为。
站内正文

自行检测:面向少样本图异常检测的自设计代理工作流

提出SignGAD框架,通过自设计检测工作流替代固定流水线,引入保护性最终重拟策略,在少样本场景下显著提升图异常检测性能。

  • SignGAD将图异常检测从训练固定检测器转变为设计任务条件检测工作流
  • 框架能选择合适图编码和检测器设计以利用任务特定异常证据
站内正文

架构驱动的偏移:一种用于捕捉对数几率偏移趋势的轻量级选择器

本文提出了一种轻量级的架构驱动偏移(ADS)度量,用于在持续学习中高效选择预训练模型。ADS通过解耦对数几率偏移为架构依赖和数据依赖,仅需少量数据样本即可捕捉偏移趋势。实验表明,ADS与对数几率偏移之间存在强单调相关性(斯皮尔曼相关系数最低0.731),并可作为预期校准误差的有效代理,在六个场景、三个数据集上验证了其可靠性。

  • 持续学习中,选择能平衡可塑性与稳定性的预训练模型至关重要,但对数几率偏移计算成本高。
  • 现有理论假设隐藏层宽度统一,忽略实际架构的异构性,无法高效替代。
站内正文

主题导航