최대 우도 추정 ( Maximum Likelihood Estimation , MLE )

통계에서 최대 우도 추정 ( Maximum Likelihood Estimation , MLE )은 관측치가 주어진 통계모델의 매개 변수 ( θ )를 추정하는 방법이다 . MLE 는 관측치가 주어질 때 우도 함수 ( Likelihood Function ) 를 최대화하는 θ 값을 찾으려고 시도한다 .

조금 더 자세히 이야기 해보자. 관측치(Observation), X=(x1, x2, x3, …, xn)가 있다. 그리고 이 데이터는 θ로 Parameterize된 어떤 분포를 가지고 있다. 이를 확률 밀도 함수 ( Probability Density Function )로 표현하면 f(x|θ)가 된다. 예를 들어, 함수 f가 표준정규 분포라면 θ는 평균은 0, 표준편차는 1를 가지게 된다. 그리고 Likelihood는 다음과 같이 표현 할 수 있다.

Maximum Likelihood Estimation (MLE)는 θ를 추정하는 방법 중 하나로, Likelihood를 최대로 만드는 값으로 선택하는 것이고, MLE는 다음과 같은 방식으로 값을 찾는다.

만약 관측치가 i.i.d. ( independent and identical distributed ) 하다면,

가 되며, 여기에 log를 씌우면 덧셈이 된다. log는 단조증가함수이므로, log를 취했을 때 최대값을 가지는 지점과 원래 최대값을 가지는 지점의 순서를 보존하는 기능을 하고, 이는 곱셈에서 덧셈으로 수식을 단순화 시켜준다. 그래서 많은 경우에 Likelihood가 아니라 Log Likelihood를 사용해 Parameter Estimation을 한다.