為什麼不應在Copilot、Gemini等AI工具中使用默認模型選擇
數學家Adam Kucharski向Microsoft Copilot提供了完全相同的數據集，僅更改國家標籤，結果Copilot生成了詳細的刻板印象而非準確結果。思考模型能夠識別這種錯誤，但需要用户主動選擇。
文章情報
要點
- Microsoft Copilot在分析數據時會憑空捏造國家差異，輸出刻板印象。
- 思考模型能識別這種把戲，但用户需知道何時切換模型。
- 默認模型選擇可能導致誤導性結果，用户應主動調整設置。
為甚麼重要
這條新聞值得關注，因為Microsoft Copilot在分析數據時會憑空捏造國家差異，輸出刻板印象。
技術影響
可能影響模型選型、推理成本、產品能力和評測基準。
最近，一項引發關注的實驗揭示了AI工具在默認設置下的潛在風險。數學家Adam Kucharski向Microsoft Copilot提供了完全相同的兩個數據集，唯一的區別是其中一個標籤為“美國”，另一個為“澳大利亞”。結果令人警覺：Copilot沒有給出準確的分析，而是生成了詳細的刻板印象，比如對澳大利亞的數據給出了與衝浪、海灘相關的結論，而對美國的數據則強調了華爾街和快餐文化。
這一實驗凸顯了當前AI模型選擇的重要性。Copilot等工具通常提供不同的模型模式，例如“思考模型”和“快速模型”。Kucharski指出，思考模型能夠識別這種基於標籤的錯誤推斷，但前提是用户知道何時該啓用它們。如果用户只是依賴默認設置，就可能被看似合理實則錯誤的結果所誤導。
不僅是Copilot，Google的Gemini以及其他AI輔助工具也面臨類似挑戰。默認模型往往追求速度而非準確性，容易受到數據中隱含偏見的干擾。Kucharski的建議是：在使用AI進行數據分析或關鍵決策時，用户應主動選擇更審慎的模型，而不是盲目信任默認選項。
這項發現對數據科學家、研究人員以及普通用户都具有警示意義。它提醒我們，AI工具雖然是強大的助手，但它們的輸出質量高度依賴於我們如何配置它們。只有理解模型的能力邊界，並根據任務需求進行調整，才能避免落入“假性準確”的陷阱，獲得真正可靠的結果。