[ML] Log Likelihood (로그 가능도)

 우선 Likelihood에 대해 되짚어보면 Likelihood (가능도) 는 특정 사건이 일어날 확률, 정성적 용어 (qualitative terms) 를 사용하면 백분율 확률 (percent probability) 또는 빈도 (frequency) 를 나타낸다. 연속된 확률 분포인 연속 확률 분포와 discrete한 이산 확률 분포 모두 수식으로 나타내면 흡사하며 해당 사건들이 발생할 확률은 곱한 것으로 아래와 같아 나타낼 수 있다.

Maximum Likelihood 는 Likelihood 중 가장 높은 값을 말하며 수식은 아래와 같다.

여기에 Log를 취한 것이 Log Likelihood로 Log를 취하게 되면 곱셈이 덧셈으로 대체될 수 있기에 연산이 단조로워지고 이는 컴퓨터 역시 좀 더 단조로운 연산을 할 수 있게 만들어준다는 이점이 있다.

참고 블로그에선 도표와 함께 더 자세한 설명을 확인할 수 있다.

 

참고

- https://ocro.stanford.edu/enterprise-risk-management-erm/key-definitions/definition-likelihood

- https://paul-hyun.github.io/nlp-tutorial-02-04-negative-log-likelihood/