貝葉斯機率

貝氏機率（英語：Bayesian probability）是由貝氏定理所提供的一種對概率的解釋，它採用將概率定義為某人對一個命題信任的程度的概念。貝氏定理同時也建議貝氏定理可以用作根據新的資訊導出或者更新現有的置信度的規則。

歷史

貝氏定理和貝氏機率以托馬斯·貝葉斯（1702－1761）命名，他證明了現在稱為貝氏定理的一個特例。術語貝葉斯卻是在1950年左右開始使用，很難說貝葉斯本人是否會支持這個以他命名的概率非常廣義的解釋。拉普拉斯證明了貝氏定理的一個更普遍的版本，並將之用於解決天體力學、醫學統計中的問題，在有些情況下，甚至用於法理學。但是拉普拉斯並不認為該定理對於概率論很重要。他還是堅持使用了概率的經典解釋。

弗蘭克·普倫普頓·拉姆齊在《數學基礎》（1931年）中首次建議將主觀置信度作為概率的一種解釋。拉姆齊視這種解釋為概率的頻率解釋的一個補充，而頻率解釋在當時更為廣泛接受。統計學家Bruno de Finetti於1937年採納了拉姆齊的觀點，將之作為概率的頻率解釋的一種可能的代替。L. J. Savage在《統計學基礎》（1954年）中拓展了這個思想。

有人試圖將「置信度」的直觀概念進行形式化的定義和應用。最普通的應用是基於打賭:置信度反映在行為主體願意在命題上下注的意願上。

當信任有程度的時候，概率計算的定理測量信任的理性程度，就像一階邏輯的定理測量信任的理性程度一樣。很多人將置信度視為經典的真值（真或假）的一種擴展。

哈羅德·傑弗里斯, Richard T. Cox, Edwin Jaynes和I. J. Good研探了貝氏定理。其他著名貝氏定理的支持者包括約翰·梅納德·凱恩斯和B.O. Koopman。

變種

術語主觀概率, 個人概率, 認知概率和邏輯概率描述了通常成為貝葉斯學派的思想中的一些。這些概念互相重疊，但有不同的側重。這裏提到的一些人物不會自稱是貝葉斯學派的。

貝氏機率應該測量某一個體對於一個不確定命題的置信程度，因此在這個意義下是主觀的。有些自稱貝葉斯學派的人並不接受這種主觀性。客觀主義學派的主要代表是Edwin Thompson Jaynes和哈羅德·傑弗里斯。也許現在還在世的主要客觀貝葉斯學派人物是杜克大學的James Berger。Jose Bernardo和其他一些人接受一定程度的主觀性，但相信在很多實際情況中有使用"先驗參照（reference priors）"的需要。

邏輯（或者說，客觀認知）概率的推崇者，例如哈羅德·傑弗里斯、魯道夫·卡爾納普, Richard Threlkeld Cox和Edwin Jaynes, 希望將能夠在兩個有相同關於某個不確定命題的真實性相關的資訊的人計算出同樣的概率的技術規律化。這種概率不和個人相關，而只和認知情況相關，因此位於主觀和客觀之間。但是，他們推薦的方法有爭議。批評者對這個聲稱發起挑戰，在關於相關事實的資訊缺乏的時候，更偏好某一個置信度是有現實依據的。另一個問題是迄今為止的技術對於處理實際問題還是不夠的。

貝氏機率和頻率概率

貝氏機率和統計概率相對，它從確定的分佈中觀測到的頻率或者在樣本空間中的比例來導出概率。

頻率學派和貝葉斯學派對於「在應用中，某個隨機事件的概率該如何被賦值？」這個問題有着不同的看法：頻率主義者根據隨機事件發生的頻率，或者總體樣本裏面的發生的個數來賦值概率；貝葉斯主義者則根據未知的命題來賦值概率。這樣的理念導致貝葉斯主義者有更多的機會使用貝葉斯定理。

採用統計概率的統計和概率的理論由費雪、埃貢·皮爾森和耶日·內曼在20世紀上半葉發展起來。安德雷·科摩哥洛夫也採用頻率概率來通過勒貝格積分為測度論中的概率奠定數學基礎（《概率論基礎》(1933年)）。Savage, Koopman, 沃德·亞伯拉罕和其他一些學者自1950年以來發展了貝氏機率。

貝葉斯學派和頻率學派在概率解釋上的分歧在統計學實踐上有重要的結果。例如，在用同樣的數據比較兩個假設的時候，假設測試理論基於概率的頻率解釋，它允許基於錯誤推出數據更支持另外那個模型/假設的概率來否定或接受一個模型/假設（虛無假設）。出現這種錯誤的概率稱為一類誤差，它要求考慮從同樣的數據源導出的假想的數據集合要比實際觀測到的數據更為極端。這個方法允許論斷'或者兩個假設不同或者觀測到的數據是誤導性的集合'。相對應的是，貝葉斯方法基於實際觀測到的數據，因此能夠對於任何數量的假設直接賦予後驗概率。對於代表每個假設的模型的參數必須賦予概率的要求是這種直接方法的代價。

應用

自1950年代以來，貝氏定理和貝氏機率通過考克斯定理, Jaynes的最大熵原理以及荷蘭書論證得到了廣泛的應用。在很多應用中，貝葉斯方法更為普適，也似乎較頻率概率能得出更好的結果。貝葉斯因子也和奧卡姆剃刀一起使用。數學應用請參看貝葉斯推論和貝氏定理。

有些人將貝葉斯推論視為科學方法的一種應用，因為通過貝葉斯推論來更新概率要求從對於不同假設的初始信任度出發，採集新的資訊（例如通過做試驗），然後根據新的資訊調整原有的信念。調整原有的信念可以意味着（更加接近）接受或者推翻初始的假設。

貝葉斯技術最近被應用於垃圾郵件的過濾上。貝葉斯垃圾郵件過濾器採用電子郵件的一個參考集合來定義什麼最初被認為是垃圾郵件。定義了參考之後，過濾器使用參考中的特點來將新的郵件判定為垃圾郵件或有效郵件。新電子郵件作為新的資訊出現，並且如果用戶在垃圾郵件和有效郵件的判定中發現錯誤，這個新的資訊會更新初始參考集合中的資訊，以期將來的判定可以更為精確。參看貝氏推論和貝葉斯過濾。

概率之概率

對於貝氏機率解釋曾有過的一個批評是一個單獨的概率賦值不能給出信念的真實性——也即，它有多少科學實證。考慮如下的這些情況：

1. 你有一個裝了白球和黑球的盒子，但是不知道它們的數量
2. 你有一個盒子，你從中取了n個球，一半黑，一半白
3. 你有一個盒子，你知道有同樣數量的黑球和白球

下一個取出的球是黑球的貝氏機率對於所有三種情況都是0.5。凱恩斯稱這為「證據的權重」問題。一個反映這些證據支持的區別的方法是對於這些概率本身賦予概率（所謂的「元概率」）如下：

1. 你有裝了白球和黑球的盒子，但是不知道數量情況

令$\theta =p$代表下一球為黑的概率為$p$這一命題，一個貝氏機率論者會賦予一個Β先驗分布：

$\forall \theta \in [0,1]$

$P(\theta )=\mathrm {B} (\alpha _{B}=1,\alpha _{W}=1)={\frac {\Gamma (\alpha _{B}+\alpha _{W})}{\Gamma (\alpha _{B})\Gamma (\alpha _{W})}}\theta ^{\alpha _{B}-1}(1-\theta )^{\alpha _{W}-1}={\frac {\Gamma (2)}{\Gamma (1)\Gamma (1)}}\theta ^{0}(1-\theta )^{0}=1$

假設取出的球用二項式分佈建模，則後驗分布$P(\theta |m,n)$，在取出m個黑球和n個白球之後依然是一個Β分佈，其參數$\alpha _{B}=1+m$, $\alpha _{W}=1+n$。Β分佈的參數的一個直觀的解釋是兩個事件的設想記數。細節參看Β分佈。

2. 你有一個盒子，你已經從中取了N個球，黑白各半

令$\theta =p$ 代表下一球為黑的概率為$p$這一命題，一個貝氏機率論者會賦予一個Β先驗分布，$\mathrm {B} (N/2+1,N/2+1)$。$\theta$的最大後驗概率是$\theta _{MAP}={\frac {N/2+1}{N+2}}$，恰好就是拉普拉斯逐次法則。

3. 你有一個盒子，並且你知道黑球和白球的數量相等

這個情況下，貝氏機率論者會定義先驗概率為$P\left(\theta \right)=\delta \left(\theta -{\frac {1}{2}}\right)$。

其它貝氏機率論者辯解說概率不一定要是精確的數字。

因為頻率解釋中沒有元概率的容身之地，頻率論者必須用其它方式表達證據支持。Cedric Smith和Arthur Dempster分別發展了上下極限。Glenn Shafer進一步發展了Dempster的理論，現在它被稱為Dempster-Shafer理論。

爭議

頻率概率論者對屬於可能有很多不同的解釋。在這些解釋中，什麼是可能的不依賴於觀察者的喜好，而是將事件作為可以應用統計分析的工具的某個聚合的成員。

雖然沒有理由不在不同的上下文中使用一個詞的不同解釋（意義）

參看

• 概率解釋
• 頻率概率
• 不確定性
• 推理
• 貝葉斯推理
• 貝氏定理
• 末日論證，貝葉斯推理的有爭議的一個應用
• 最大熵熱力學 - 貝葉斯觀點的熱力學
• 睡美人問題
• 數學哲學

外部連結及參考

• On-line textbook: Information Theory, Inference, and Learning Algorithms, by David MacKay, has many chapters on Bayesian methods, including introductory examples; arguments in favour of Bayesian methods (in the style of Edwin Jaynes); state-of-the-art Monte Carlo methods, message-passing methods, and variational methods; and examples illustrating the intimate connections between Bayesian inference and data compression.
• A nice on-line introductory tutorial to Bayesian probability （頁面存檔備份，存於互聯網檔案館） from Queen Mary University of London
• Jaynes, E.T. (1998) Probability Theory : The Logic of Science （頁面存檔備份，存於互聯網檔案館）.
• Bretthorst, G. Larry, 1988, Bayesian Spectrum Analysis and Parameter Estimation（頁面存檔備份，存於互聯網檔案館） in Lecture Notes in Statistics, 48, Springer-Verlag, New York, New York;
• http://www-groups.dcs.st-andrews.ac.uk/history/Mathematicians/Ramsey.html （頁面存檔備份，存於互聯網檔案館）
• David Howie: Interpreting Probability, Controversies and Developments in the Early Twentieth Century, Cambridge University Press, 2002, ISBN 0-521-81251-8
• Colin Howson and Peter Urbach: Scientific Reasoning: The Bayesian Approach, Open Court Publishing, 2nd edition, 1993, ISBN 0-8126-9235-7, focuses on the philosophical underpinnings of Bayesian and frequentist statistics. Argues for the subjective interpretation of probability.
• Wing-Ho Shum, Kwong-Sak Leung, and Man-Leung Wong. Learning functional dependency networks based on genetic programming. In ICDM05, Proceedings of IEEE International Conference on Data Mining, pages 232-230, 2005.
• Luc Bovens and Stephan Hartmann: Bayesian Epistemology. Oxford: Oxford University Press 2003. Extends the Bayesian program to more complex decision scenarios (e.g. dependent and partially reliable witnesses and measurement instruments) using Bayesian Network models. The book also proofs an impossibility theorem for coherence orderings over information sets and offers a measure that induces a partial coherence ordering.
• Jeff Miller "Earliest Known Uses of Some of the Words of Mathematics (B)"
• James Franklin The Science of Conjecture: Evidence and Probability Before Pascal（頁面存檔備份，存於互聯網檔案館）, history from a Bayesian point of view.
• Paul Graham "Bayesian spam filtering"（頁面存檔備份，存於互聯網檔案館）
• novomind AG "Outlook categorizing tool based on Bayesian filtering"
• Howard Raiffa Decision Analysis: Introductory Lectures on Choices under Uncertainty. McGraw Hill, College Custom Series. (1997) ISBN 0-07-052579-X
• Devender Sivia, Data Analysis: A Bayesian Tutorial. Oxford: Clarendon Press (1996), pp. 7-8. ISBN 0-19-851889-7
• Henk Tijms: Understanding Probability, Cambridge University Press, 2004
• Is the portrait of Thomas Bayes authentic? Who Is this gentleman? When and where was he born?（頁面存檔備份，存於互聯網檔案館） The IMS Bulletin, Vol. 17 (1988), No. 3, pp. 276-278
• Bayesian Spam Filter （頁面存檔備份，存於互聯網檔案館） for Microsoft Outlook