評価からガードレールへ：ACM FAccT 2026にもたらしたもの
Mozilla AIチームはACM FAccT 2026で、LLMガードレールの文脈的評価に関するチュートリアルを発表し、ガードレール自体の評価の重要性を強調しました。複数言語にわたるコミュニティベースの評価から動的なガードレールポリシーを導出する方法論と、ツールを活用してLLM対応ガードレールの信頼性を高める実践を紹介しました。
今年6月、Mozilla AIチームはモントリオールで開催されたACM公平性・説明責任・透明性会議（ACM FAccT）に参加しました。これは安全で責任あるAI開発の最前線であり、コンピュータ科学者、社会科学者、政策立案者、法律家が一堂に会し、AIシステムの構築方法だけでなく、いつ、誰のために構築するのかを問う場です。当チームのチュートリアル「言語とエージェントシステムを横断するLLMガードレールの文脈的評価」は、まさにそのような聴衆に適していました。
評価はAI安全における主要な議論の一つであり、責任ある展開への鍵です。分野は一般的な能力の称賛から、現実世界のドメイン・言語固有の性能測定へと移行しており、EvalEval連合のような分野横断的な取り組みが、評価自体を評価する科学とインフラを構築しています。評価に費やされる資金、ベンチマークの飽和、評価データの陳腐化にもかかわらず、評価がガードレールを形成するという実用的な機能は持続しています。
ガードレール—LLMの入力と出力をフィルタリング、フラグ付け、制約するメカニズム—は、チャットボットやプラットフォーム、公共サービスでユーザーが実際に目にするものを形成します。しかし、それらが統治するモデルよりもはるかに精査されていません。歴史的には、ガードレールは専有の分類器であり、説明のない拒否を通じてのみ可視化されていました。オープンソースのガードレールモデルとポリシープロンプト型ガードレールにより、独立した評価が可能になりました。
FAccTでの当チームの主張は単純でした：ガードレールの評価は、それが保護するLLMの評価と同じくらい重要であり、文脈と言語に特化した評価結果は、静的な害の分類から動的なポリシーへと移行するガードレールに情報を提供すべきです。
評価からガードレールへの道のりは、FAccTに参加した理由です。私たちのアプローチ：英語、ペルシア語、アラビア語、クルド語（ソラニ）、パシュトー語にわたる120の難民・庇護に焦点を当てたシナリオペアを、Respond Crisis Translationの母語話者評価者による6つの権利ベースの基準で評価しました。結果はMozilla Data CollectiveでオープンなMHRE評価データセットとして公開し、評価者と設定した条件の下で、不安全な紹介、免責事項の欠落、ステレオタイプに基づく仮定などの繰り返し発生する障害を、英語とペルシア語の具体的なガードレールポリシーに変換しました。
これらのポリシーをテストすることで、構造的なギャップが露呈しました：事実性や実行可能性などの基準はテキストだけから判断できません。このNGOは実在するのか？この法律はこの管轄区域で現行か？テキストのみのガードレールは検証できない応答を認め、幻覚用語を生み出し、同一の英語とペルシア語のポリシーを異なるスコアで評価しました。そこで、LLM対応ガードレールには、検索、検索、ファクトチェックなどのツールが必要であるという仮説を立てました。これがモントリオールでテストしたエージェント型ガードレールです。
実践セッションでは、全体の方法論と、言語・文脈に依存するポリシーとツールを用いた文脈的ガードレールのケースが参加者に共感を呼びました。35名の参加者が、自身のシナリオとポリシーを選択し、エージェント型と非エージェント型の判断者が同じ応答を評価するデモを実行しました。
ツールは最終判定よりも支持証拠を変更することが多く、双方のモードで90%の判定が一致しました。ただし、「エージェント」動作は基盤となる判断LLMに大きく依存しました。Claude Sonnet 4.6は毎回ウェブ検索を使用したのに対し（平均4.1回のツール呼び出し）、GPT-5 Nanoはほとんど使用しませんでした（平均0.2回）。ツールが呼び出されると、結果に両方向の影響を与えました：庇護関連応答の事実的クレームを検証することでスコアが上昇し、ツールなしの判断者が見逃した事実誤差を特定することで判定が「合格」から「境界線」に下がりました。
これらの実験を実用的にするためには、比較のたびに新しいエンジニアリングを必要としません。Mozilla AIのオープンソースany-guardrailは、カスタムポリシーでガードレールを選択・交換する統一インターフェースを提供し、ガードレール層をモデルと同様に設定可能にします。また、Mozillaの新しいオープンソースLLMゲートウェイOtariは、判断の背後にあるLLMをシームレスに選択・切り替え可能にします。
今後の展開として、ツールアクセスがLLM対応ガードレールを人道的、金融的、社会的工学的ユースケースでより信頼性高くするかどうかのテストを、より広範なツールと文脈シナリオを用いて英語-ペルシア語および英語-スペイン語で継続します。結果は近日公開予定です。次のACM FAccTでお会いしましょう！
LLM使用に関する免責事項：Roya PakzadはClaude Opus 4.8を使用してこの投稿の編集を行いました。