機率論是機器學習的基石，但常被初學者視為枯燥的“蔬菜”。事實上，機率不僅為機器學習提供了必要的數學基礎，而且其核心思想貫穿於整個領域。本文以直觀的方式解釋了十個關鍵的機率概念，幫助你理解模型如何在不確定的情況下做出決策。
1. 隨機變數 隨機變數是一個基本概念，其值依賴於未觀察到的結果。在機器學習中，特徵、標籤、誤差和輸出都是隨機變數。通常，大寫字母（如X、Y）表示隨機變數，小寫字母（如x、y）表示具體觀測值。例如，在垃圾郵件分類器中，標籤Y可以是1（垃圾郵件）或0（非垃圾郵件）。模型的目標是學習給定輸入X下Y的機率分佈P(Y|X)。
2. 機率分佈 機率分佈描述了隨機變數可能取值的機率。對於離散變數，所有機率之和為1；對於連續變數，機率密度函式下的面積為1。常見分佈包括伯努利分佈（用於二分類）和高斯分佈（用於連續值）。機器學習模型通常學習一個機率分佈，例如分類器估計P_θ(y|x)，其中θ是模型引數。
3. 期望、方差與標準差 期望（均值）是隨機變數長期平均的值。方差衡量資料的離散程度，標準差是方差的平方根，單位與原始資料相同。在評估模型時，平均誤差可能掩蓋不同模型的變異性，因此方差和標準差至關重要。
4. 條件機率 條件機率是給定某些資訊後事件發生的機率。模型通常不是無條件地預測，而是基於觀測特徵進行條件預測。例如，P(垃圾郵件|包含“免費”一詞)的數值通常遠高於整體垃圾郵件機率。
5. 貝葉斯定理 貝葉斯定理描述瞭如何根據新證據更新先驗信念。其公式為P(A|B) = P(B|A)P(A)/P(B)。在垃圾郵件檢測中，利用“免費”一詞出現的似然來更新郵件是垃圾郵件的機率。貝葉斯思想廣泛應用於樸素貝葉斯分類器、貝葉斯神經網路等。
6. 聯合、邊緣與條件分佈 聯合分佈P(X,Y)描述了多個變數同時發生的機率。邊緣分佈P(X)透過對Y求和得到。條件分佈P(Y|X)可由聯合分佈除以邊緣分佈得到。變數獨立時，P(X,Y)=P(X)P(Y)；樸素貝葉斯分類器雖假設特徵條件獨立，但實際表現優異。
7. 似然與最大似然估計 似然函式衡量在給定引數下觀測資料的機率。最大似然估計（MLE）尋找使似然最大化的引數值。實踐中常最大化對數似然，這等價於最小化交叉熵損失。訓練分類器時，我們實際上在執行MLE。
8. 抽樣、大數定律與中心極限定理 樣本均值為觀測值的平均。大數定律保證樣本量足夠大時，樣本均值接近總體均值。中心極限定理說明樣本均值的分佈近似正態。這些原理為從樣本推斷總體提供了理論依據。
9. 機率密度與累積分佈 機率密度函式（PDF）描述連續變數在某個點的相對可能性，累積分佈函式（CDF）給出變數小於某值的機率。這些函式在模型評估和生成預測區間中很重要。
10. 熵 熵衡量隨機變數的不確定性。高熵表示高不確定性，低熵表示確定性。在機器學習中，交叉熵損失函式常用於分類任務，它衡量預測分佈與真實分佈的差異。
理解這些概念後，你會發現機器學習不再是黑盒，而是基於機率推理的優雅系統。