機械学習モデルは通常、人間がラベル付けした例から世界を認識することを学ぶ。このプロセスには、ラベル付けを行う人が開始前にカテゴリについて明確で安定した定義を持っているという前提がある。停止標識やゴールデンレトリバーのような客観的カテゴリでは境界が明確で普遍的に認識されているため、この前提は成り立つ。しかし実際の応用では、視覚システムが人間経験の主観的な「グレーゾーン」を扱うことがしばしば求められる。例えば「健康的な食品」を識別する分類器の訓練、『感動的な芸術作品』のキュレーション、コンテンツモデレーションの支援などである。こうした領域ではカテゴリの境界は普遍的でも静的でもなく、文化的文脈、個人の哲学、運用ポリシーの変化に応じて変わり得る。さらに、人間は自分自身の心の中であっても、主観的概念の完全な仕様から始まることはほとんどなく、直感的なアイデアから出発し、現実の例に遭遇する中で境界や例外、ニュアンスを発見していく。従来の訓練ワークフローはこの概念の進化を考慮せず、ユーザーの心的モデルがまだ揺れ動いている段階でも固定ラベルの提供を強制していた。
このギャップを埋めるため、Google ResearchはAgile Deliberation（アジャイル・ディリベレーション）フレームワークを導入した。これは主観的AI分類器の作成を反復的な対話として捉える。人間を静的なデータラベラーとして扱うのではなく、AIシステムを協調パートナーとし、ユーザーが自分の定義を「熟議」して研ぎ澄ますのを支援する。人間の曖昧さを先に解消することで、より効果的で堅牢、かつ整合性の取れたAIシステムを体系的に構築する。研究コミュニティへの貢献として、基盤となるコードとアルゴリズムはGitHubでオープンソース化されている。
この研究の重要な差別化点は、ライブユーザー体験に焦点を当てていることだ。標準的な静的AIベンチマークでは主観的概念を捉えられないため、シミュレーションテストを回避し、18回のライブセッション（各1.5時間）でAgile Deliberationを評価した。これにより、人間が知的システムと組んだときに意図がどのように動的に進化するかを直接観察・測定できた。その結果、Agile Deliberationは手動プロンプトエンジニアリングを境界画像への直接フィードバックに置き換えることで、ユーザーの疲労と不安を大幅に軽減し、標準ベースラインを上回る一貫性の高い高性能AIモデルを生み出した。
仕組み：熟議の2段階
Agile Deliberationは、主観的概念を定義する複雑なタスクを「概念スコーピング」と「概念反復」の2つの構造化段階に分割する。これらの段階が相まって、曖昧なアイデアをAIモデルへの高精度な指示ブループリントに変換する。
第1段階：概念スコーピング
「健康的な食品」のような広範なトピックに直面すると、人間の直感は事前にすべてのルールを列挙するのに苦労する。概念スコーピング段階では、システムがユーザーを導き、包括的な概念をサブ概念の階層構造と明示的な除外項目に分解する。例えば、単一の広範なラベルを使う代わりに、「健康的な食品」を「サラダ」「グレインボウル」「赤身タンパク質」などのポジティブなサブカテゴリに分解する。同時に「加工食品」や「未加工の生食材」などの明示的な除外項目を定義する。これにより、モデルの理解の基礎となる初期構造化ベースラインが形成される。
第2段階：概念反復
初期構造が確立されると、フレームワークは静的計画から能動的テストへ移行する。従来の機械学習は、人間のアノテーターが完全なルールセットを既に持つ「オラクル」であると仮定する。Agile Deliberationはこの前提を覆し、協調的精緻化に焦点を当てる。
この段階は、機械の訓練効率を最大化するために情報量の多いデータポイントを取得する手法として伝統的に使われてきたアクティブラーニングから着想を得ている。しかし、単に機械の不確実性を最小化するために例を選ぶのではなく、Agile Deliberationは視覚言語モデル（VLM）を用いて、現在のテキストベースの定義に挑戦する意味的に境界にある画像を能動的にマイニングして提示する。例えば、システムは「健康的な食事」の概念に挑戦するためにフルーツスムージーの画像を提示し、ユーザーに決断を迫る。生の果物を含む健康的な飲み物なのか、それとも高糖分のため除外される加工食品なのか。
こうした曖昧なエッジケースに直面することで、ユーザーは自分の隠れた前提を反省し、真の意図を明確にし、ポリシールールを更新する。この人間のフィードバックは直接自動プロンプト最適化ループに送られ、VLMの分類境界がユーザーの洗練された定義と連動して変化する。
実験
主観的視覚分類器の評価には根本的な課題がある。静的で客観的なグラウンドトゥルースが存在しないため、事前ラベル付きデータセットでのオフライン評価では、熟議プロセス中にユーザーの概念の心的モデルが変化するにつれてフレームワークがどれだけ適応するかを測定できない。
この動的特性を捉えるため、機能プロトタイプを構築し、ライブユーザー研究で評価した。18回のライブユーザーセッション（各1.5時間）を実施し、参加者は学習バイアスを防ぐためランダムな順序でシステムと代替ベースラインを操作した。
システムの限界をテストするため、2つの複雑で高度に主観的な領域を選んだ。
健康的な食品：個人の健康哲学、食事制限、文化的背景が高度に多様で主観的な視点を生む領域。
ペイ・トゥ・プレイ：専門家レベルのニュアンスと特定の文脈を捉える必要がある現実のコンテンツモデレーション課題。オンラインエンターテインメントやゲーミングで、誤解を招く金銭的またはデジタル報酬を約束するクリックベイト画像を識別する。
Agile Deliberationを3つの一般的なパラダイムと比較した。
ゼロショット分類器：標準的な「ワンアンドダン」アプローチ。ユーザーは初期プロンプトを書くが、エッジケースを見たり、モデルが境界を誤解したときに適応したりする方法がない。
モデリングコラボレーター：AIエージェントが独自に概念を分解しようとする自動トップダウンアプローチ。基準を自動生成するが、ユーザーをループから排除し、そのロジックを導いたり修正したりする方法がない。
手動熟議：面倒な力ずくの現状。ユーザーはスプレッドシートでデータを調べ、異常を見つけるために検索クエリを推測し、生のプロンプトを手作業で書き直す。
結果
ライブユーザーセッションは、Agile Deliberationがユーザー体験を大幅に改善しつつ、より高性能な分類器モデルを生み出すことを示した。
一貫性と性能の向上
構造化された熟議プロセスを経験した参加者は、時間の経過とともにラベリングの一貫性が有意に高いことがわかった。境界の曖昧さを早期に解消することで、標準ベースラインを大幅に上回る分類器を構築した。これらの性能向上は、最も挑戦的な主観的画像で最も顕著だった。これはまさに、従来の分類器がデフォルトの汎用AI仮定に依存し、ユーザーの明示的で微妙な意図を反映しないために失敗する領域である。
盲点の解消
専門家参加者は、システムが効果的な診断ツールとして機能したと報告した。意図的に混乱を招く境界画像を提供することで、AIシステムは初期定義の「盲点」を発見するのを助けた。曖昧な実世界の例を提示されるまで予期しなかったシナリオを明らかにした。
認知的疲労の軽減
ライブ研究の重要な発見は、手動プロンプトエンジニアリングの認知的負担だった。研究は、手動概念熟議中にエッジケースを発見する可能性のある検索用語を予測しようとすると、ユーザーが顕著な認知的疲労を経験することを示した。さらに、1つの誤りを修正するためにテキストプロンプトを手動で調整すると、既に修正した分類器の他の部分の性能を意図せず低下させるかもしれないという持続的な不安を報告した。
Agile Deliberationは、重い計算処理を引き受けることでこの摩擦に対処する。ユーザーはプロンプトエンジニアである必要はなく、キュレーションされた境界画像ギャラリーを見て自然なフィードバックを提供するだけでよい。システムはその意図をシームレスに吸収し、基盤モデルを自動的に更新する。
その結果、Agile Deliberationを使用した参加者は、ストレス、フラストレーション、精神的消耗が有意に少ないと報告し、全参加者が手動方法よりもAgile Deliberationを好むと表明した。
結論
最終的に、Agile Deliberationはヒューマン・イン・ザ・ループ機械学習のパラダイムを、AIシステムが人間のラベルから一方的に学ぶだけの一方通行から、人間とAIが共に概念を洗練する双方向の協働へと移行させる。
機械学習システムが複雑な実世界の社会的タスクを扱うためにますます展開される中、その境界が微妙な主観的概念を反映することを保証することは不可欠である。信頼と安全チームがより安全なコンテンツモデレーションフィルターを構築できるようにするにせよ、キュレーターがデジタルコレクションを形作るのを支援するにせよ、科学者が複雑な視覚データを分類するのを支援するにせよ、Agile Deliberationは人間とAIの整合性のための基盤を提供する。
基盤となるアクティブラーニング技術とスコーピングおよびクラスタリングアルゴリズムの技術実装の詳細については、論文を読み、GitHubのオープンソース実装を確認されたい。開始するには、この記事で紹介した「健康的な食品」の例を歩くインタラクティブなColab/Jupyterデモを参照されたい。そこから、主題専門家である任意の領域（誤解を招くクリックベイトのフラグ付けなど）に適応したり、自分の主観的な好みや基準に基づくパーソナライズ分類器を構築したりできる（『感動的な芸術作品』のキュレーションなど）。