ユーザー生成コンテンツを大規模にモデレートする場合、ポリシー違反を正確に検出しつつ、正当な投稿を過剰にフラグしないシステムが必要です。有害なコンテンツを見逃すリスクは大きく、過度にフラグを付けるとユーザーの不満を招きます。組織ごとにポリシーが異なるため、単一の分類器がすべてのユースケースに機能することはほとんどありません。以前の投稿では、Amazon SageMaker AI を使用して Amazon Nova をコンテンツモデレーションタスクにファインチューニングする方法を紹介しました。プロンプトを使用すればトレーニングデータやモデルのカスタマイズは不要で、プロンプトを編集するだけでモデレーションポリシーを更新でき、モデルを再トレーニングする必要はありません。
この投稿では、MLCommons AILuminate 評価基準に基づいた構造化および自由形式のアプローチを使用して、Amazon Nova 2 Lite にコンテンツモデレーションを指示する方法を学びます。これらのプロンプト技術は AILuminate 分類法を例として使用していますが、独自のカスタムモデレーションポリシーでも同様に機能します。カテゴリ定義を独自のものに置き換えることができ、プロンプト構造は変わりません。また、3つの公開データセットで Amazon Nova 2 Lite のコンテンツモデレーション能力を他の基盤モデルとベンチマークした結果も示します。
MLCommons AILuminate 評価基準
モデルのコンテンツモデレーションパフォーマンスは、それが実施するポリシーと同程度にしか良くありません。MLCommons AILuminate 評価基準 v1.1 は、12 カテゴリのハザード分類法からなる出発点を提供します。この基準はカテゴリを 3 つのグループ（物理的、非物理的、状況的ハザード）に整理し、それぞれ異なる種類の害を対象としています。例えば、暴力犯罪は物理的、ヘイトは非物理的、専門的アドバイスは状況的ハザードに分類されます。完全な分類法にはさらに6つのカテゴリが含まれます。詳細は AILuminate 評価基準をご覧ください。Amazon の責任ある AI への取り組みについては、Amazon Nova と責任ある AI への取り組みを参照してください。
Amazon Nova 2 によるコンテンツモデレーションワークフロー
次の図は、Amazon Nova 2 Lite と Amazon Bedrock に基づく典型的なコンテンツモデレーションパイプラインを示しています。Amazon Nova 2 Lite は非常に低コストで高速な推論が可能なマルチモーダルモデルであり、高スループットのコンテンツモデレーションに適しています。パイプラインは4つの段階で進みます。まず、ユーザー生成コンテンツがシステムに入ります。次に、プロンプトアセンブリステップで、そのコンテンツをシステムロール、ポリシー定義、オプションの少数ショット例とともに、構造化または自由形式のプロンプトにラップします。組み立てられたプロンプトを Amazon Bedrock 上の Amazon Nova 2 Lite に送信すると、モデレーションレスポンスが返されます。デフォルトの推論設定（温度0.7、top-p 0.9）を推奨します。これにより出力の一貫性と多様性のバランスが取れます。高スループットパイプラインの場合は、推論モードを無効にすることを検討してください。推論をオフにするとレイテンシとコストが削減されますが、特定のコンテンツに対して正確性を確認するために両方のモードをテストする必要があります。モデルの出力には、違反フラグ（はい/いいえ）、違反カテゴリ、およびオプションの説明が含まれます。この出力を使用して、コンテンツを許可、フラグ、削除、またはエスカレーションできます。
構造化コンテンツモデレーションプロンプト
モデレーションパイプラインが自動システムに直接入力できるフォーマット済み出力を必要とする場合は、XML または JSON の構造化プロンプトを使用します。このセクションの例では、少数ショット学習を使用しています。プロンプトに例の入出力ペアを含めることで、モデルが期待される応答パターンを学習します。
XML 形式
XML アプローチは、ポリシー、コンテンツ、および出力フィールドをタグ付きセクションでラップします。テンプレートには3つのコンポーネントがあります。最初の指示では、モデルにコンテンツモデレーターであることを伝え、出力形式を指定します。<example> ブロックは少数ショットのデモンストレーションを提供し、実際にモデレートするコンテンツは <input> と </input> タグ内に表示されます。次の例は、複数のポリシーカテゴリに同時に違反するマーケットプレイスのリストを示しており、eコマースやソーシャルコマースサービスでよく見られます。モデルは両方の違反カテゴリを正しく特定し、それぞれをトリガーする具体的な虚偽の主張を説明しています。このマルチカテゴリ検出は、単一のリストが複数のポリシーに違反することが多いマーケットプレイスのモデレーションに特に役立ちます。
JSON 形式
JSON を消費するシステムの場合、次のテンプレートが構造化 JSON 出力を直接生成します。末尾の「追加のテキストや説明を追加しないでください」という指示は、出力をクリーンに保つために重要です。これがないと、モデルが JSON を会話的な散文でラップし、ダウンストリームの解析が壊れる可能性があります。
自由形式コンテンツモデレーションプロンプト
自由形式プロンプトは、さまざまな出力形式が必要な場合や、モデレーションタスクが単一のフォーマット構造にうまく適合しない場合に役立ちます。次の3つの例は、意図的に異なるフォーマットスタイルを使用して、このアプローチの柔軟性を示しています。例には、自殺と自傷行為、ヘイト、プライバシーに関するものが含まれます。これらの例はモデレーション能力を実証するためにのみ含まれており、Amazon の見解を反映するものではありません。個人情報はすべて架空です。
ベンチマーク
3つの公開データセット（ToxiGen、HateXplain、CivilComments）で Amazon Nova 2 Lite のコンテンツモデレーション能力を評価しました。結果は、Amazon Nova 2 Lite が複数のカテゴリで他の基盤モデル（GPT-4、Claude 3 など）と競争力のあるパフォーマンスを示し、特にコスト効率の面で優れていることを示しています。詳細なベンチマーク結果は元の記事を参照してください。
ベストプラクティス
構造化プロンプトでは明確なラベルを使用し、テンプレートが過適合にならないようにします。自由形式プロンプトでは、一貫性を保つために出力形式を明示的に指示します。高スループットシナリオでは、温度と top-p パラメータを調整して速度と精度のバランスを取ります。また、ポリシー変更が正しく反映されるよう、プロンプトの更新を定期的にテストします。