概念
P(A|B) = P(AB)/P(B)
條件概率
示例:就是 事件A 在另外一個事件 B 已經發生條件下的發生 概率。條件概率表示為 P( A| B),讀作“在 B 條件下 A 的概率”。
概率測度:如果事件 B 的概率 P(B) > 0,那麼 Q(A) = P(A | B) 在所有事件 A 上所定義的函數 Q 就是概率測度。 如果 P(B) = 0,P(A | B) 沒有定義。 條件概率可以用決策樹進行計算。
聯合概率
:表示兩個事件共同發生的概率。 A 與 B 的聯合概率表示為 P(AB) 或者 P( A, B)。
邊緣概率
:是某個事件發生的概率,而與其它事件無關。邊緣概率是這樣得到的:在聯合概率中,把最終結果中不需要的那些事件合并成其事件的全概率而消失(對離散随機變量用求和得全概率,對連續随機變量用積分得全概率)。這稱為 邊緣化( marginalization)。 A的邊緣概率表示為 P( A), B 的邊緣概率表示為 P( B)。
需要注意的是,在這些定義中 A 與 B 之間不一定有 因果或者 時間順序關系。 A 可能會先于 B 發生,也可能相反,也可能二者同時發生。 A 可能會導緻 B 的發生,也可能相反,也可能二者之間根本就沒有因果關系。例如考慮一些可能是新的信息的概率條件性可以通過 貝葉斯定理實現。
基本定理
定理1
設A,B 是兩個事件,且A不是不可能事件,則稱為在事件A發生的條件下,事件B發生的條件概率。一般地,,且它滿足以下三條件:
(1)非負性;(2)規範性;(3)可列可加性。
定理2
設E 為随機試驗,Ω 為樣本空間,A,B 為任意兩個事件,設P(A)>0,稱為在“事件A 發生”的條件下事件B 的條件概率。
上述乘法公式可推廣到任意有窮多個事件時的情況。
設A1,A2,…An為任意n 個事件(n2)且P(A1A2…An-1)>0,則P(A1A2…An)=P(A1)P(A2|A1)…P(An|A1A2…An-1)
定理3(全概率公式1)
設B1,B2,…Bn是一組事件,若(1)BiBj≠j,i≠j,i,j=1,2,…,n;(2)B1∪B2∪…∪Bn=Ω 則稱B1,B2,…Bn樣本空間Ω的一個部分,或稱為樣本空間Ω 的一個完備事件組。
定理4(全概率公式2)
設事件組B1,B2是樣本空間Ω 的一個劃分,且P(Bi)>0(i=1,2,…n),則對任一事件B,有
定理5(貝葉斯公式)
設A1,A2,…An…是一完備事件組,則對任一事件B,P(B)>0,有
統計獨立性
當且僅當兩個随機事件A與B滿足P(A∩B)=P(A)P(B)的時候,它們才是統計獨立的,這樣聯合概率可以表示為各自概率的簡單乘積。同樣,對于兩個獨立事件A與B有P(A|B)=P(A)以及P(B|A)=P(B)
換句話說,如果A與B是相互獨立的,那麼A在B這個前提下的條件概率就是A自身的概率;同樣,B在A的前提下的條件概率就是B自身的概率。
互斥性
當且僅當A與B滿足 P(A ∪B)=P(A)+P(B)且 P(A∩B)=0, 的時候,A與B是 互斥的。因此,換句話說,如果B已經發生,由于A不B
在同一場合下發生,那麼A發生的概率為零;同樣,如果A已經發生,那麼B發生的概率為零。
其它
如果事件B的概率(B) > 0,那麼Q(A) =P(A|B) 在所有事件A上所定義的函數Q就是概率測度。 如果(B) = 0,P(A|B) 沒有定義。 條件概率可以用 決策樹進行計算。
謬論
條件概率的 謬論是假設P(A|B) 大緻等于P(B|A)。數學家John Allen Paulos 在他的《數學盲》一書中指出醫生、律師以及其他受很好教育的非統計學家經常會犯這樣的錯誤。這種錯誤可以通過用實數而不是概率來描述數據的方法來避免。 P(A|B) 與P(B|A)的關系如下所示:下面是一個虛構但寫實的例子,P(A|B) 與P(|A)的差距可能令人驚訝,同時也相當明顯。
若想分辨某些個體是否有重大疾病,以便早期治療,我們可能會對一大群人進行檢驗。雖然其益處明顯可見,但同時,檢驗行為有一個地方引起争議,就是有檢出假陽性的結果的可能:若有個未得疾病的人,卻在初檢時被誤檢為得病,他可能會感到苦惱煩悶,一直持續到更詳細的檢測顯示他并未得病為止。而且就算在告知他其實是健康的人後,也可能因此對他的人生有負面影響。
這個問題的重要性,最适合用條件機率的觀點來解釋。
設人群中有1%的人罹患此疾病,而其他人是健康的。我們随機選出任一個體,并将患病以disease、健康以well表示: P
(disease) = 1% = 0.01 andP
(well) = 99% = 0.99. 假設檢驗動作實施在未患病的人身上時,有1%的機率其結果為假陽性(陽性以positive表示)。意即:P
(positive | well) = 1%,而且P(negative | well) = 99%. 最後,假設檢驗動作實施在患病的人身上時,有1%的機率其結果為假陰性(陰性以negative表示)。意即:P(negative | disease) = 1%且P(positive | disease) = 99%。 現在,由計算可知:
是整群人中健康、且測定為 陰性者的比率。
是整群人中得病、且測定為 陽性者的比率。
是整群人中被測定為假陽性者的比率。
是整群人中被測定為假陰性者的比率。
進一步得出:
是整群人中被測出為陽性者的比率。
是某人被測出為陽性時,實際上真的得了病的機率。
這個例子裡面,我們很輕易可以看出 P(positive|disease)=99% 與 P(disease|positive)=50% 的差距:前者是你得了病,而被檢出為陽性的條件機率;後者是你被檢出為陽性,而你實際上真得了病的條件機率。由我們在本例中所選的數字,最終結果可能令人難以接受:被測定為陽性者,其中的半數實際上是假陽性。