モデレーションの場所と方法の選択：フィルター配置と応答書き換えにおけるエンドツーエンドのトレードオフ
本研究では、コンテンツモデレーションにおける異なる介入位置と応答書き換えのエンドツーエンド効果を評価し、有用性と有害露出という2つの顧客成果指標を提案する。結果は、フィルターのみのシナリオでは応答フィルターが最高の有用性を示し、入力＋応答ハードブロッキングは有害露出が最も低い。応答書き換えはブロックされたトラフィックの大部分を回復し、有害露出を増加させない。プローブルーティングはLLMルーティングに比べてレイテンシを大幅に削減する。書き換えはトリガー言語を一般化することでフィルター通過率と有用性のバランスをとるが、センシティブな領域では安全性を支える情報が欠落する可能性がある。
コンテンツモデレーションの分類器は通常、単独で評価されるが、実際の展開では介入位置とその後の処理を選択する必要がある。マイクロソフトリサーチのMengya Hu氏らによるプレプリント論文では、異なるモデレーション構成がユーザー体験と安全性に与える影響を体系的に調査している。研究者らは2つのエンドツーエンド指標を定義した。有用性は、有害ではなく関連性のある応答が表示されたターンの割合、有害露出は有害な応答が表示されたターンの割合である。また、レイテンシとエラー率を診断指標として用いた。
研究チームは、人手でラベル付けされた製品ベンチマークと公開のToxicChatデータセットを使用して、入力のみ（Input only）、応答のみ（Response only）、入力＋応答（Input+response）の3つのハードブロッキング戦略を比較した。その結果、フィルターのみのシナリオでは、応答のみフィルターが最高の有用性を示し、入力＋応答フィルターが最も低い有害露出を達成した。この結果は、フィルターの配置場所が最終的なパフォーマンスに大きな影響を与えることを示している。
さらに、応答書き換えの効果も検討された。応答のみブロッキングを応答書き換えに置き換えると、ブロックされたトラフィックの大部分が回復され、有害露出のカウントは応答のみブロッキングと同じであった。しかし、研究者はこの一致が両方の戦略が同等であることを意味するわけではないと強調している。書き換えは応答の内容を変更する可能性があるためである。レイテンシを低減するために、プローブルーティング（Probe routing）が導入された。LLMルーティングと比較して、同等の測定結果で条件付きルーティングと生成時間が大幅に短縮された。
出力の詳細なレビューにより、書き換えメカニズムがトリガー言語を一般化しつつ良性の意図と安全なリダイレクションを保持することで、フィルター通過率と有用性のバランスを取っていることが明らかになった。ただし、一部のセンシティブなドメインの出力では、安全性をサポートする情報が欠落する可能性がある。これらの結果は、普遍的なルールを適用するのではなく、展開固有の安全性とレイテンシの制約に基づいてモデレーション構成を比較することを支持している。論文のコードと公開アーティファクトはGitHubで入手可能である。