AI治理挑战：如何负责任地扩展 | Cohere

AI治理对于帮助企业安全、一致且大规模地采用AI至关重要。但随着AI使用在整个企业中扩展，组织的治理框架与团队实际使用AI的方式之间可能出现不匹配。本文探讨了常见的AI治理挑战和失败模式，并概述了企业可以采取的应对步骤。

为什么AI治理随着采用规模扩大而变得更难

当AI使用仅限于少量受控试点时，治理更容易管理。在那个阶段，组织知道哪些团队参与其中，使用了哪些数据，预期用例是什么，以及谁负责审查。当AI采用扩展到这些受控环境之外时，监督变得更加复杂。例如，最初批准用于低风险内部任务的工具可能最终被用于更高风险的客户面向工作；供应商产品可能在企业的初始采购或安全审查后添加AI功能；或者员工可能在组织制定明确的可用规则之前开始使用公开可用的AI工具。在这种情况下，风险并非AI使用本身，而是组织可能失去对AI使用位置、谁对其负责以及是否有适当控制措施的可见性。

AI治理问题在实践中的表现

AI治理问题通常出现在适用于早期AI使用的规则、审查流程和所有权模型对于更广泛的业务采用来说过于狭窄时。以下是一些示例。

治理成为一次性的审批步骤

当用例在启动前经过审查但未随着其目的、用户或风险状况的变化而重新评估时，AI治理可能会削弱。假设一个内部LLM应用被批准用于全公司的常规起草、总结和头脑风暴。随着时间的推移，客户服务团队的成员开始使用同一工具批量生成个性化的客户回复邮件——包含关于退款、账户条款或政策问题的回复。如果这种扩展使用未经过审查以确保适当的控制措施到位，客户可能会基于未经验证的不正确指导做出决策。

所有权在团队之间不明确

AI治理通常依赖于来自业务、技术、法律、合规、安全和数据团队的输入。当特定系统或用例的所有权未明确分配时，每个团队可能会假设其他团队负责关键的治理决策，包括用例是否合适、系统可以访问或处理哪些数据、如何审查输出，以及出现问题时谁负责响应。

控制措施与用例风险不匹配

如果治理要求未与每个用例的风险状况相匹配，可能变得过于宽松或过于严格。低风险用途可能受到过度审查，而高风险用途却在没有适当的人工监督、访问限制、文档或监控的情况下推进。

员工AI使用变得难以追踪

当团队采用AI工具或功能的速度快于治理流程时，员工AI使用可能变得难以追踪。这可能通过公共AI应用、AI浏览器扩展或现有工作软件中内置的新AI功能发生。

敏感数据在没有适当控制的情况下使用

敏感数据风险不仅限于员工将信息复制到公共AI工具中。当AI系统连接到内部数据源而没有适当的访问、保留、检索、日志记录或下游使用控制时，也可能出现风险。例如，一个内部AI搜索助手可能连接到包含客户合同、HR文件或机密战略文档的文档库。如果系统没有强制执行管理底层文件的相同权限，员工可能会检索或生成他们不应访问的信息的摘要。

如何应对AI治理挑战

有效的AI治理依赖于采用实际的操作流程。目标是使治理足够具体，以指导团队审查、部署和使用AI系统的方式，同时保持适应性。

建立AI使用的可见性

维护AI清单可以让治理团队了解整个组织中AI的使用情况。它提供了优先审查、识别高风险用途以及确定需要更明确指导的领域的实用基础。

定义所有权和升级路径

清晰的所有权有助于防止AI治理成为共同关注但没有明确问责的问题。这通常涉及定义谁负责每个AI系统，包括谁管理日常使用，谁批准可能影响风险的变更，以及谁确保新的或扩展的使用在成为常规之前经过审查。

应用基于风险的控制

企业应根据AI系统的使用方式、可以访问或处理的数据、输出可能产生的影响以及适用的法律、法规或合同要求来确定哪些控制措施是必要的。

随时间监控、记录和更新治理

AI治理应包括持续跟踪系统使用方式和性能的机制。企业还应考虑维护哪些治理记录，如风险审查、批准、控制要求、事件或政策更新。目标是使治理基于AI系统在实际中的行为，而不是仅依赖初始审查时的假设。

最终思考

没有企业能提前预见所有可能的AI治理挑战。但问题在于组织是否建立了必要的可见性、所有权和反馈循环来从这些变化中学习。当治理被视为一个持续适应AI使用现实的过程时，团队可以更早发现差距，加强控制，并支持更广泛的AI采用，而不让监督落后。这也说明了提供商治理的重要性。在Cohere，我们在模型开发和部署中应用了强大的治理实践，并提供持续支持，帮助我们的企业客户负责任地部署AI产品。