展示HN:AI致命三重奏
Simon Willison提出的“AI致命三重奏”指三种能力的组合:访问私人数据、接触不可信内容和数据外泄能力。这三种能力单独无害,但结合使用可导致严重安全风险。作者构建了一个免费谜题游戏,模拟这些攻击概念,最终关卡需要利用全部三种能力。
如果你正在构建AI代理(agent),下面这个知识值得了解。Simon Willison(“提示注入”一词的创造者)描述了一种“AI致命三重奏”——三种单独看来无害、但组合在一起会带来毁灭性后果的能力。这三种能力包括:1)访问私人数据(如内部数据库、电子邮件等);2)接触不可信内容(如网页和外部文本);3)数据外泄能力(一种能够触及外部世界的工具或渠道)。当这三种能力被集成到同一个AI代理中时,就会形成一场完美风暴:不可信内容可以劫持代理,使其读取私人数据,并说服代理将数据发送出去。为了教授这一致命三重奏的概念,作者构建了一个类似“甘道夫”风格的谜题游戏:共10个关卡,每个关卡对应一个真实注入概念,最终关卡要求玩家同时运用所有三种能力。这款游戏完全免费,无需注册,且初始关卡对新手友好。你能尝试将三者串联起来,完成这个三重奏挑战吗?