ML개론1 [ML개론] (1) MLE & Fisher Information MLE는 특정 pdf를 따르는 것으로 알려진 Sample set X가 주어졌을 때, 이를 기반으로 pdf의 parameter theta를 구하는 추정법이다. 만약 X가 위 예시와 같이 {1,4,5,6,9}로 주어졌을 때 이 Sample set은 pdf2보다는 pdf1에서 유래되었을 확률이 높다. 따라서 우리는 pdf1의 parameter를 확률적으로 추정할 수 있다. 이 때 p(x|θ)를 각 x=1, ... , x=9일때마다 곱해준 것을 P(x|θ)로 정의한다. θ로 미분해주어 P를 최대로 만드는 θ값을 추정한다. 그러나 통상적으로 양변에 log를 취해준 L(x|θ)를 사용한다. P와 L 함수가 모양새는 달라도 log를 취해줬을 때 monotously increasing하기 떄문에 대소관계는 동일하다. .. 2022. 1. 10. 이전 1 다음 반응형
