AI治理挑戰：如何負責任地擴展 | Cohere

AI治理對於幫助企業安全、一致且大規模地採用AI至關重要。但隨着AI使用在整個企業中擴展，組織的治理框架與團隊實際使用AI的方式之間可能出現不匹配。本文探討了常見的AI治理挑戰和失敗模式，並概述了企業可以採取的應對步驟。

為什麼AI治理隨着採用規模擴大而變得更難

當AI使用僅限於少量受控試點時，治理更容易管理。在那個階段，組織知道哪些團隊參與其中，使用了哪些數據，預期用例是什麼，以及誰負責審查。當AI採用擴展到這些受控環境之外時，監督變得更加複雜。例如，最初批准用於低風險內部任務的工具可能最終被用於更高風險的客户面向工作；供應商產品可能在企業的初始採購或安全審查後添加AI功能；或者員工可能在組織制定明確的可用規則之前開始使用公開可用的AI工具。在這種情況下，風險並非AI使用本身，而是組織可能失去對AI使用位置、誰對其負責以及是否有適當控制措施的可見性。

AI治理問題在實踐中的表現

AI治理問題通常出現在適用於早期AI使用的規則、審查流程和所有權模型對於更廣泛的業務採用來説過於狹窄時。以下是一些示例。

治理成為一次性的審批步驟

當用例在啓動前經過審查但未隨着其目的、用户或風險狀況的變化而重新評估時，AI治理可能會削弱。假設一個內部LLM應用被批准用於全公司的常規起草、總結和頭腦風暴。隨着時間的推移，客户服務團隊的成員開始使用同一工具批量生成個性化的客户回覆郵件——包含關於退款、賬户條款或政策問題的回覆。如果這種擴展使用未經過審查以確保適當的控制措施到位，客户可能會基於未經驗證的不正確指導做出決策。

所有權在團隊之間不明確

AI治理通常依賴於來自業務、技術、法律、合規、安全和數據團隊的輸入。當特定系統或用例的所有權未明確分配時，每個團隊可能會假設其他團隊負責關鍵的治理決策，包括用例是否合適、系統可以訪問或處理哪些數據、如何審查輸出，以及出現問題時誰負責響應。

控制措施與用例風險不匹配

如果治理要求未與每個用例的風險狀況相匹配，可能變得過於寬鬆或過於嚴格。低風險用途可能受到過度審查，而高風險用途卻在沒有適當的人工監督、訪問限制、文檔或監控的情況下推進。

員工AI使用變得難以追蹤

當團隊採用AI工具或功能的速度快於治理流程時，員工AI使用可能變得難以追蹤。這可能通過公共AI應用、AI瀏覽器擴展或現有工作軟件中內置的新AI功能發生。

敏感數據在沒有適當控制的情況下使用

敏感數據風險不僅限於員工將信息複製到公共AI工具中。當AI系統連接到內部數據源而沒有適當的訪問、保留、檢索、日誌記錄或下游使用控制時，也可能出現風險。例如，一個內部AI搜索助手可能連接到包含客户合同、HR文件或機密戰略文檔的文檔庫。如果系統沒有強制執行管理底層文件的相同權限，員工可能會檢索或生成他們不應訪問的信息的摘要。

如何應對AI治理挑戰

有效的AI治理依賴於採用實際的操作流程。目標是使治理足夠具體，以指導團隊審查、部署和使用AI系統的方式，同時保持適應性。

建立AI使用的可見性

維護AI清單可以讓治理團隊瞭解整個組織中AI的使用情況。它提供了優先審查、識別高風險用途以及確定需要更明確指導的領域的實用基礎。

定義所有權和升級路徑

清晰的所有權有助於防止AI治理成為共同關注但沒有明確問責的問題。這通常涉及定義誰負責每個AI系統，包括誰管理日常使用，誰批准可能影響風險的變更，以及誰確保新的或擴展的使用在成為常規之前經過審查。

應用基於風險的控制

企業應根據AI系統的使用方式、可以訪問或處理的數據、輸出可能產生的影響以及適用的法律、法規或合同要求來確定哪些控制措施是必要的。

隨時間監控、記錄和更新治理

AI治理應包括持續跟蹤系統使用方式和性能的機制。企業還應考慮維護哪些治理記錄，如風險審查、批准、控制要求、事件或政策更新。目標是使治理基於AI系統在實際中的行為，而不是僅依賴初始審查時的假設。

最終思考

沒有企業能提前預見所有可能的AI治理挑戰。但問題在於組織是否建立了必要的可見性、所有權和反饋循環來從這些變化中學習。當治理被視為一個持續適應AI使用現實的過程時，團隊可以更早發現差距，加強控制，並支持更廣泛的AI採用，而不讓監督落後。這也説明了提供商治理的重要性。在Cohere，我們在模型開發和部署中應用了強大的治理實踐，並提供持續支持，幫助我們的企業客户負責任地部署AI產品。