大规模治理AI以应对欺诈、合规和自动化

随着组织争相采用人工智能，它们面临一个关键挑战：如何在推动增长和效率的同时，不损害合规性或暴露敏感数据。从零售客户获取到高风险合规操作，企业必须谨慎平衡野心与监督。

美国国家标准与技术研究院（NIST）与美国商务部共同制定了AI风险管理框架（AI RMF），这是一个官方的美国政府框架，旨在更好地管理与AI相关的个人、组织和社会风险。它强调AI系统应值得信赖、有效、可靠且具有弹性，组织必须在整个生命周期内实施治理、持续监控和控制来管理AI风险。

NIST强调，治理应该是主动的，贯穿AI生命周期，并根据领域和风险容忍度进行定制。它还建议明确角色、持续监控和人类参与的控制，以确保AI安全地交付价值。

Emerj编辑总监Matthew DeMello与TD银行内部风险、分析和检测负责人Naveen Kumar进行了对话，探讨组织如何有效部署AI工具，平衡创新与治理，并衡量实际业务影响。本文分析了成功采用AI的两个核心见解：根据业务领域匹配AI风险偏好，以及实施逐步数据分类以降低AI风险。

首先，关于匹配AI风险偏好，Naveen指出AI模型中的幻觉问题可以通过在提示中提供真实上下文来缓解。他强调目标不是通用人工智能，而是针对组织内特定用例构建的非常目的性的AI。他认为这应该是基于角色的，当用户提示系统时，访问权限根据职能进行限制：HR看到HR信息，调查人员看到被标记的员工，财务数据对无关人员保持不可见。Naveen将基于角色的AI比作“礼貌的保安”，只根据角色提供信息。他还指出，AI的使用严重依赖于领域，在合规方面需要更加保守。

其次，实施逐步数据分类，Naveen建议将数据标记为安全、敏感或关键，并在初始AI迭代中避免使用关键数据，以管理风险同时建立有用性。他强调了分阶段的方法，从狭窄定义的AI系统开始，限制数据可用性。在后期，才能让AI访问关键数据源。他举例说明，在可疑活动报告的情况下，AI可以支持流程，但不应完全端到端运行，必须有人类参与循环。他建议根据速度和精确度来思考：低风险警报可以由AI处理，但超过特定阈值的警报需要人工审查。

Naveen还提到，AI代理越来越被视为“准人类”或像员工一样，因此应该以与人类相同的方式去风险化：他们使用什么数据、接触什么、影响什么、谁审查他们的工作、谁批准。他分享了一个例子，企业环境中机器人的名字以员工命名，如“Naveen_AI_bot”，出现在聊天中并学习用户活动。这凸显了人类和AI之间界限的模糊，同样的护栏应适用于两者。

最终，正确的平衡取决于领域和用例。在某些情况下，AI应被定位为效率层或初稿，而不是完全自主的端到端解决方案。