AIモデルの解釈可能性を高める3つの方法
この記事では、機械学習モデルの予測を解釈可能にする具体的な3つの手法（SHAP、LIME、Integrated Gradients）を解説します。同じ顧客離反予測モデルを使い、大域的・局所的解釈の違いと、従来の特徴重要度スコアの限界、各手法の使い分けを説明します。
正確に予測できるモデルと、その推論理由を説明できるモデルは、別の成果です。そして今や、説明できないままでは不十分になりつつあります。例えば、解約予測モデルが5年間利用している忠実な顧客を高リスクと判定したとしても、誰も理由を説明できなければ、上司にも顧客にも、そして規制当局にも説明できない判断になってしまいます。EU AI法第13条は、ハイリスクAIシステムに、利用者が出力を解釈できるだけの透明性を求めており、解釈可能性は研究テーマから実運用上の要件へと変わりつつあります。
この記事では、ブラックボックスから現実の答えを引き出す具体的な手法として、SHAP、LIME、Integrated Gradients の3つを解説します。全体を通して同じ顧客離反予測モデルを使います。同じデータで勾配ブースティング木をまず使い、後で同じデータで学習した小規模ニューラルネットワークも扱うため、各手法が同じ問題を説明していることが明確になります。
モデルの解釈可能性は、大域的解釈と局所的解釈の2つに分かれます。大域的解釈は、データセット全体でモデルがどのように振る舞うか、つまり平均的にどの特徴が重要か、どの方向に影響するかを問います。局所的解釈は、より実務的に重要な問い、すなわち「なぜこの顧客に対して、いま、この予測を出したのか」を扱います。平均的に重要な特徴が分かっても、なぜ特定の長期顧客が解約リスクに分類されたのかは説明できません。
従来の方法は、scikit-learnのアンサンブルモデルが持つ .feature_importances_ 属性を読むか、線形モデルの係数を確認するのが一般的です。1行のコードでランキングが得られ高速ですが、「全体での平均」しか示せず、1件ごとの予測理由は説明できません。また、カーディナリティの高い特徴を過大評価する偏りがあり、その変数が実際により予測的だからではなく、単に分割点が多いから重要に見えることがあります。さらに、この属性を持たないモデル、例えばニューラルネットワークや混合アンサンブル、外部の黒箱APIでは使えません。
1つ目はSHAPです。シャープレイ値に基づき、各特徴の予測への貢献を公平に配分します。全体的な要約と個別予測の説明を、一貫した理論的枠組みで得られます。この記事の例では、同じ顧客について、サポートチケット数が解約方向への最大の正の貢献を示し、在籍期間や月額契約タイプはその逆に「留まる」方向へ寄与しました。ツリーモデルではTreeSHAPにより高速に計算できます。
2つ目はLIMEです。予測したいデータの近傍で入力にランダムな摂動を加え、単純な代替モデルを学習して局所的な近似を行います。同じ顧客に対し、SHAPと同じく、サポートチケットの多さが解約リスクを高め、長期在籍と年契約はその逆という説明が得られます。LIMEの利点は速度です。SHAPの汎用変種のようにモデル全体を評価する必要がなく、遅延制約の厳しいリアルタイムシステムや、SHAPに高速な専用説明器がないモデルに適します。一方、ランダムな摂動に依存するため、同じ説明を2回実行すると重みが少し変わることがあります。
3つ目はIntegrated Gradientsです。最初の2つはモデルをブラックボックスとして扱いますが、それが任意のモデルに使える利点である一方、モデル内部の構造を利用できません。Integrated Gradientsは、ニューラルネットワークのような微分可能なモデル専用に設計されています。中立なベースラインから実際の入力へ直線的にたどり、各ステップで出力の各特徴に対する勾配を累積します。この記事では、同じデータで学習した小規模NNを使い、正規化後の全特徴の平均値をベースラインに、n_steps=200で計算しました。収束デルタは0.0006でほぼゼロとなり、帰属結果が信頼できることを確認できました。同じ顧客について、サポートチケット数が最大の正の帰属を示し、在籍期間と契約タイプは「残留」方向に寄与しました。
この3つは、単純にどれが優れているかという競争関係ではなく、制約に応じて選ぶべきものです。ツリーモデルで、一貫した理論に基づく大域と局所の説明を両方得たいならSHAP。計算量や遅延が厳しい場合、またはSHAPの高速版がないモデル型で手早い局所説明が必要ならLIME。モデルがニューラルネットワークや微分可能モデルなら、その構造を活用できる唯一の手法としてIntegrated Gradientsを選びます。
従来の特徴重要度スコアは間違いではありませんが、不完全です。1つの予測も説明できず、すべての特徴タイプで均等に信頼できるわけでもなく、実運用されるモデルの多くでは存在すらしません。SHAP、LIME、Integrated Gradientsは、それぞれ異なる方法でそのギャップを埋めます。規制当局、困惑する顧客、あるいは自分のチームから問われる前に、手法を選べる習慣をつけることが大切です。この記事の離反例はそれを具体的に示しています。3つの手法が、3つの異なるメカニズムで、同じ顧客に対して同じ誠実な答えを出しました。それは、本当に信頼できるモデルが検査の下で示すべき姿です。