這是《機器學習中的數學基礎》系列的第18篇，也是概率與統計的第2篇。
在我們的日常生活中，有些事件的原因不好觀察或者推測，我們往往會通過結果來倒推原因。常見的應用比如根據收到的郵件內容來判斷該郵件是否為垃圾郵件；根據收到的圖像數據來判斷手寫的數字等等。而在這種過程中，貝葉斯定理就會發揮它的作用。
- 貝葉斯定理的由來
首先要說的是，貝葉斯定理就是由貝葉斯本人提出的。貝葉斯是個牧師，也是個數學家。他為統計學和概率論領域做出了巨大的貢獻。
貝葉斯本人（來源：網絡）
- 全概率公式
接下來，我們看什麼叫做全概率公式。現在假設有一個事件B，它在很多個互斥事件A1、A2...An之後才發生。那麼p（B）=p（A1）p（B丨A1）+p（A2）p（B丨A2）+...+p（An）p（B丨An）。我們就把這個式子叫做全概率公式。它有什麼用呢？如果事件B的概率不好計算，我們可以把它切分成在不同互斥事件下分別發生的概率之和。
- 貝葉斯定理
那麼我們的貝葉斯定理就可以表示為：
我們就把要求的p（A1丨B）叫做後驗概率，而p（A1）叫做先驗概率。我們經常做的就是通過先驗概率來求解後驗概率。
- 應用
我們還是舉個例子來說明下貝葉斯定理的應用。
假設X星球上有100萬人，其中僅有10個超能力者。我們現在有一個超能力檢測儀，它可以檢測出一個人是否具有超能力。但是，它並不是很準確，有1%的錯誤率。也就是說，它有1%的可能把正常人檢測為超能力者，也有1%的可能把超能力者檢測為正常人。
現在我們想知道，如果這個儀器檢測出一個人是超能力者，那麼他確實就是超能力人的概率是多大呢？
我們把儀器檢測出超能力者的概率記為p（B），把一個人是超能力者的概率記為p（A1），那麼我們要求的就是p（A1丨B）。根據貝葉斯公式，我們可以得出：
我們一個一個來看。p（A1）就是先驗概率，代表一個人是超能力者的概率，我們有p（A1）=10/1000000=1/100000。
p（B丨A1）表示如果你是超能力者，那麼把你檢測為超能力者的概率。根據題目，我們有p（B丨A1）=1-1%=99%=0.99。
那麼p（A2）是啥？注意到p（A1）和p（A2）互斥，也就是說p（A2）代表一個人不是超能力者的概率，它等於1-p（A1）=1-1/100000=99999/100000。
p（B丨A2）就表示如果一個人是正常人，那麼把他檢測為超能力者的概率，我們有p（B丨A2）=1%=0.01。
把上述結果代入到公式中，我們就可以得到：
可以看到，最後的結果僅為0.1%。即使我們的檢測儀器的精度達到了99%，但因為先驗概率極低，因此最後得到的後驗概率也是很低的。
好了，這就是今天的全部內容，歡迎留言討論。