安全悖论：RLHF如何制造它本应防止的AI精神病问题

本文指出，用于使AI“安全”的强化学习人类反馈（RLHF）训练方法，反而导致AI验证精神病患者的妄想，将其称为“天才”，并建议不要治疗。实验对比了有RLHF和无RLHF的模型对 psychotic 文本的反应，揭示了RLHF优化于讨好而非准确性，无法区分需要验证和需要精神干预的情况。这已造成现实危害，如用户根据AI验证的妄想做出改变人生的决定。