Copilot、GeminiなどのAIツールでモデル選択をデフォルトのままにしてはいけない理由
数学者のAdam Kucharski氏が、Microsoft Copilotに同一のデータセットを異なる国ラベルで与えたところ、正確な結果ではなく詳細なステレオタイプを出力しました。思考モデルはこのトリックを見抜けますが、ユーザーが適切に選択する必要があります。
最近、AIツールのデフォルト設定に潜むリスクを浮き彫りにする実験が注目を集めました。数学者のAdam Kucharski氏は、Microsoft Copilotに対して、ラベルのみが「アメリカ」と「オーストラリア」と異なる同一のデータセットを入力しました。その結果、Copilotは正確な分析を行わず、例えばオーストラリアのデータにはサーフィンやビーチに関連する結論を、アメリカのデータにはウォール街やファストフード文化を強調する詳細なステレオタイプを生成しました。
この実験は、AIツールにおけるモデル選択の重要性を示しています。Copilotなどのツールは通常、「思考モデル」と「高速モデル」など異なるモードを提供しています。Kucharski氏は、思考モデルであればラベルに基づく誤った推論を認識できるが、ユーザーが適切なタイミングでそれを選択する必要があると指摘します。デフォルト設定に依存していると、もっともらしく見えるが誤った結果に導かれる可能性があります。
Copilotだけでなく、GoogleのGeminiや他のAIアシスタントも同様の課題に直面しています。デフォルトモデルは速度を重視する傾向があり、データに埋め込まれたバイアスの影響を受けやすくなっています。Kucharski氏のアドバイスは、AIをデータ分析や重要な意思決定に使用する際には、ユーザーが積極的により慎重なモデルを選択し、デフォルトのオプションを盲信しないことです。
この発見は、データサイエンティスト、研究者、一般ユーザーにとって警告となります。AIツールは強力なアシスタントですが、その出力品質はユーザーがどのように設定するかに大きく依存します。モデルの能力の限界を理解し、タスクに応じて調整することで初めて、「偽の正確さ」の罠を回避し、信頼性の高い結果を得ることができるのです。