確率論は機械学習の基盤ですが、初心者にはしばしば退屈な「野菜」のように扱われます。実際には、確率は機械学習に必要な数学的基礎を提供するだけでなく、その核心的な考え方が分野全体に浸透しています。この記事では、直感的な方法で10の重要な確率概念を説明し、モデルが不確実性の中でどのように意思決定を行うかを理解する助けとします。
1. 確率変数 確率変数とは、まだ観測されていない結果に依存する値を指します。機械学習では、特徴量、ラベル、誤差、出力など、ほぼすべてが確率変数です。慣例として、確率変数は大文字（X, Y）で表記され、具体的な観測値は小文字（x, y）で表記されます。例えば、スパム分類器ではラベルYは1（スパム）または0（非スパム）の値を取ります。モデルの目標は、入力Xが与えられたときのラベルの条件付き確率P(Y|X)を推定することです。
2. 確率分布 確率分布は、確率変数がどのような値をとり、その頻度はどの程度かを示します。離散変数の場合、全確率の合計は1になります。連続変数の場合、確率密度関数の曲線下の面積が1になります。一般的な分布には、ベルヌーイ分布（二値分類）やガウス分布（連続値）があります。機械学習モデルは多くの場合、確率分布を学習します。例えば、分類器はP_θ(y|x)を推定します。ここでθはモデルのパラメータです。
3. 期待値、分散、標準偏差 期待値（平均）は、多数回の試行で期待される平均的な値です。分散はデータのばらつきを測定し、標準偏差は分散の平方根で、元のデータと同じ単位を持ちます。モデル評価では、平均誤差だけでは異なるモデルのばらつきを見逃す可能性があるため、分散と標準偏差が重要です。
4. 条件付き確率 条件付き確率は、特定の情報が与えられた後にイベントが発生する確率です。モデルは無条件に予測するのではなく、観測された特徴に基づいて条件付き予測を行います。例えば、「無料」という単語を含むメールがスパムである確率P(スパム | 「無料」を含む)は、全体のスパム確率よりもはるかに高くなる可能性があります。
5. ベイズの定理 ベイズの定理は、新しい証拠に基づいて事前の信念を更新する方法を提供します。公式はP(A|B) = P(B|A)P(A)/P(B)です。スパム検出では、「無料」という単語の出現尤度を使用して、メールがスパムである確率を更新します。ベイズ的な考え方は、ナイーブベイズ分類器やベイズニューラルネットワークなどに広く応用されています。
6. 同時分布、周辺分布、条件付き分布 同時分布P(X,Y)は、複数の変数が同時に発生する確率を表します。周辺分布P(X)は、Yについて合計することで得られます。条件付き分布P(Y|X)は、同時分布を周辺分布で割ることで得られます。変数が独立であれば、P(X,Y)=P(X)P(Y)が成り立ちます。ナイーブベイズ分類器は特徴量の条件付き独立を仮定しますが、実際にはうまく機能します。
7. 尤度と最尤推定 尤度関数は、与えられたパラメータの下で観測データが生じる確率を測ります。最尤推定（MLE）は、観測データの尤度を最大化するパラメータ値を探します。実際の実装では、対数尤度を最大化します（これは交差エントロピー損失の最小化と等価です）。分類器を訓練するとき、私たちは暗黙的にMLEを実行しています。
8. 標本抽出、大数の法則、中心極限定理 標本平均は観測値の平均です。大数の法則は、標本サイズが十分に大きければ標本平均が母平均に近づくことを保証します。中心極限定理は、標本平均の分布が正規分布に近づくことを示します。これらの原理は、標本から母集団への推論の理論的基盤を提供します。
9. 確率密度関数と累積分布関数 確率密度関数（PDF）は連続変数の相対的な尤度を表し、累積分布関数（CDF）は変数がある値以下になる確率を与えます。これらの関数はモデル評価や予測区間の生成に重要です。
10. エントロピー エントロピーは確率変数の不確実性を測ります。エントロピーが高いほど不確実性が高く、低いほど確実です。機械学習では、分類タスクにおいて予測分布と真の分布の差を測る交差エントロピー損失関数がよく使われます。
これらの概念を理解することで、機械学習はブラックボックスではなく、確率的推論に基づくエレガントなシステムとして見えるようになるでしょう。