기계학습/ML26 [ML개론] (2) MAP & Bayes Theorem MAP를 이해하기 위해선 Bayes Theorem을 살펴볼 필요가 있다. Bayes Thm은 위 식을 의미한다. H는 기존의 Hypothesis를, E는 경험을 통해 획득한 Evidence를 뜻한다. 따라서 P(H)는 prior knowledge를 뜻한다. 반면에 P(H|E)는 Evidence로 sample space를 좁힌 뒤의 P(H) 확률을 뜻한다. 쉽게 풀어말하자면 Evidence를 취득한 뒤의 Posterior probability인 것이다. Bayesianism의 등장은 확률에 대한 관점의 변화와도 같았다. Frequentism(빈도주의)에 의하면 P(H)=1/2는 100번 동전 던졌을 때 50번 앞면이 나오는 경우로 해석되지만, Bayesian은 동전의 앞면이 나왔다는 주장, 가설의 '신뢰도.. 2022. 1. 10. [ML개론] (1) MLE & Fisher Information MLE는 특정 pdf를 따르는 것으로 알려진 Sample set X가 주어졌을 때, 이를 기반으로 pdf의 parameter theta를 구하는 추정법이다. 만약 X가 위 예시와 같이 {1,4,5,6,9}로 주어졌을 때 이 Sample set은 pdf2보다는 pdf1에서 유래되었을 확률이 높다. 따라서 우리는 pdf1의 parameter를 확률적으로 추정할 수 있다. 이 때 p(x|θ)를 각 x=1, ... , x=9일때마다 곱해준 것을 P(x|θ)로 정의한다. θ로 미분해주어 P를 최대로 만드는 θ값을 추정한다. 그러나 통상적으로 양변에 log를 취해준 L(x|θ)를 사용한다. P와 L 함수가 모양새는 달라도 log를 취해줬을 때 monotously increasing하기 떄문에 대소관계는 동일하다. .. 2022. 1. 10. 이전 1 2 3 다음 반응형
