Bixonimania – AI 上当的假疾病
一位研究人员制造了一种假疾病来测试AI，结果AI聊天机器人完全被骗了。这个实验揭示了AI医疗建议的潜在风险，以及训练数据缺乏人工审查的问题。
文章情报
要点
- 研究人员创建了虚构的皮肤疾病“bixonimania”并散布在网络中。
- AI聊天机器人如ChatGPT将其视为真实疾病。
- 假论文被其他研究引用，进一步增强了AI的错误认知。
- 实验呼吁对AI医疗信息进行更严格的审查和人类监督。
为什么重要
这条新闻值得关注，因为研究人员创建了虚构的皮肤疾病“bixonimania”并散布在网络中。
技术影响
可能影响模型选型、推理成本、产品能力和评测基准。
瑞典哥德堡大学的研究员阿尔米拉·奥斯马诺维奇·桑斯特伦（Almira Osmanovic Thunström）进行了一项发人深省的实验，旨在揭示大型语言模型（LLM）在医疗信息方面的脆弱性。她虚构了一种名为“bixonimania”的皮肤疾病，这种疾病据说由长时间盯着屏幕引起，症状包括眼皮发红、发痒。为了测试AI是否会接受这一虚构疾病，桑斯特伦精心构建了一整套虚假的学术支持体系：她创建了一个名为“因特哈大学”的不存在大学，并虚构了一位主要研究员“拉兹利夫·伊兹古布列诺维奇”——这个名字在谷歌翻译中直译为“说谎的失败者”。她还在多个博客和社交媒体上散布了关于bixonimania的描述，并发布了一篇预印本论文，论文标题为“色素沉着过度：真正的废话设计”，方法部分直接声明“整篇论文是编造的，50名虚构个体接受了不存在的手术”。致谢部分更是离谱，感谢了“银河三头体制”、“指环王”、“星舰企业”的同事们，以及《老友记》中的罗斯·盖勒教授和《辛普森一家》中的杂耍鲍勃基金会。这些明显是恶作剧的线索本应被任何人识破，但AI系统却全盘接收。
桑斯特伦利用的是Common Crawl——一个自2007年起爬取互联网信息的非营利组织。她明白，任何被爬取的数据都可能成为AI的训练材料。她故意只散布了少量信息，并未进行大规模宣传，但很快发现，AI不仅收录了博客内容，那篇漏洞百出的预印本论文也被纳入模型。当桑斯特伦向AI聊天机器人描述bixonimania的症状时，AI首先会提出结膜炎、过敏等常见原因，但在用户逐一否定并提到长时间看屏幕后，AI最终会建议bixonimania作为一种可能诊断。尽管这并非首选，但表明AI已经将虚构疾病列入了考虑范围。更令人担忧的是，她的假论文后来被其他学术论文引用，这进一步强化了AI对bixonimania“真实性”的认知，因为引用来源增加了可信度。
桑斯特伦强调，这个实验凸显了当前AI训练流程中人类监督的严重缺失。尽管AI系统被广泛应用于医疗咨询，但它们很容易被恶意行为者通过注入虚假信息所操纵。她呼吁在AI特别是医疗AI的应用中，需要更多的人类干预和伦理审查，以防止虚假信息的传播。同时，她也指出，人类自身对信息来源的批判性思维正在减弱，这加剧了风险。这项研究不仅对技术开发者敲响警钟，也提醒普通用户对AI提供的医疗建议保持高度警惕。在数字化时代，我们需要更加重视信息分发、使用和操作的伦理问题。