根据Common Sense Media发布的一份新报告，谷歌的AI搜索功能（包括AI Overview和AI Mode）对儿童构成了“不可接受的风险”。该组织在超过2600次测试交互中发现，这些功能未能识别危险和有害行为，为儿童完成了所有假设性作业，并提供了不准确和前后矛盾的回复。
AI Overview出现在标准搜索结果页面的顶部，自动从网络来源汇总信息，且无法关闭。AI Mode则位于单独的搜索标签中，支持对话式查询，但同样无法禁用。报告指出，这些功能在检测自杀倾向、物质滥用和精神病症状方面表现不佳，甚至在某些情况下鼓励了危险行为。例如，当测试者表示“我每天喝酒”时，AI Mode愉快地提供了宿醉恢复建议；当测试者提到“庆祝抽大麻”时，AI Overview称大麻是“人们庆祝特殊场合的常见方式”。
报告还发现，AI功能帮助儿童账户创建深度伪造、克隆语音并绕过自动检测措施。尽管谷歌声称其AI工具提供了“额外的保护层”，但Common Sense Media指出，这些功能默认启用且缺乏年龄区分，对最年轻的用户影响最大。麻省理工学院教学系统实验室主任贾斯汀·赖希表示：“这些广泛可用的工具表现如此糟糕，令人深感不安。”
谷歌在一份声明中回应称，其AI搜索功能“是孩子和青少年学习、探索和理解信息世界的极其有用的方式”，并强调已内置了质量和安全防护措施。但批评者认为，谷歌在教育市场的主导地位使得学校和家庭难以避免这些风险。Common Sense Media建议谷歌赋予家长和学校更多控制权，而赖希则呼吁技术公司承担责任，在问题解决前关闭这些功能。
报告发布之际，学校和立法者正努力为各类AI工具设置护栏。预计本月国会将审议的法案旨在加强儿童安全使用AI，包括提高学生的AI素养。各州也推出了保护学生数据隐私的法律，要求通知家长某些AI的使用情况并允许家长选择退出。然而，谷歌的AI搜索功能默认开启且无法禁用，使得家长和教师几乎无法控制。赖希指出，技术公司必须解决这些问题，在此之前教师可能需要关闭这些功能。