[ML개론] (18) Review on Probability

본격적으로 Bayesian Network를 다루기에 앞서 확률론에 대한 기본적인 정의를 복습해보자. 

확률은 빈도주의학파, 베이지언에 따라 그 정의가 다르다. 우선 빈도주의학파의 관점에선 확률이란 특정 event인 A=True가 지속적으로 발생했을 때, 이를 Law of Large Number에 의해 특정 확률로서 믿을 수 있단 것이다. 가령 가위바위보를 10000번 했을 때, 무승부를 제외한 가위의 승률이 33%인 것이 이에 해당한다.

 

조건부확률은 B=True인 event가 관측되었을 때, A=True일 확률을 뜻한다. 수식에서 볼 수 있듯이 사건이 관측되었기 때문에 확률세계는 B=True라는 국소지역으로 축소된다. 

결합확률은 event A, B가 동시에 발생할 확률을 뜻한다. 

 

결합확률은 조건부확률을 통해서 factorization이 가능하다.

가령 P(A,B,C,D=P(A|B,C,D)P(B,C,D)인데, 이는 A,B,C,D가 모두 일어날 확률은 B,C,D가 동시에 일어날 확률과 B,C,D가 일어났는데 A가 일어날 확률의 곱과 같다는 뜻이 된다. 이 때 P(B,C,D) 또한 결합확률이기 때문에 factorization이 가능하고, 이를 계속 breakdown해나가면 아래의 식처럼 표기 가능하다. 

 

위 도표는 binomial distribution을 가진 3가지 event에 대해 가능한 모든 경우의수를 나열한 것이다. 결합확률분포는 discrete한 경우 이처럼 표현가능하다. 위 예시에서 만약 P(I=T)만 찾으려면 E, G에 상관없이 I=T인 case만 모두 찾은 뒤 그 확률을 더해주면 된다.

 

마지막으로 독립의 개념이 존재한다. 

독립은 P(A|B)=P(A)로 설명 가능하다. 원래 조건부확률은 가능세계가 U에서 B로 제한하는 기능을 하는데, 이 경우 B의 발생여부가 A의 확률에 전혀 영향을 주지 않는다. 이 때 우리는 B와 A를 독립의 관계에 놓여있다고 정의한다. 가령 동전뒤짚기를 하는데 1차시도, 2차시도, 3차시도의 P(H)는 서로간의 영향을 주지 않는다. 이 때 1차, 2차, 3차시도의 Head가 뜰 확률은 상호 독립의 관계에 놓여있다고 말한다. 

두번째는 marginal independence의 개념이다. Marginal independence는 사실 independence와 그 개념이 유사한데, A가 전진할 확률과 B가 전진하는 것을 관측했을 때 A가 전진할 확률이 상이하다면 A는 B에 대해 marginally dependent한 관계가 된다. 

Conditional independnece는 A가 C에 대해 condtionally dependent할 때, B에 대한 정보의 추가가 A의 conditional prob에 영향을 주지 않는다면 A,B는 conditionally independent하다고 말할 수 있다.