[ML] N-Gram Language Models - 1 (Backoff, Interpolation)

N-Gram Language Model에서 발견되지 않은 n-gram에 대한 확률 0을 다루는 두 가지 기술에 대해 알아보자. 두 전략 모두 가능한 모든 n-gram이 0이 아닌 확률을 갖도록 하여 Language Model의 견고성(robustness)와 정확성(accuracy)를 향상시키도록 설계되었으며, 이는 학습 데이터가 희소하거나 불완전한 경우에 유용하다. backoff는 데이터가 누락된 경우 더 간단한 모델로 단계적으로 축소하는 방법을 제공하며, interpolation은 다양한 모델 복잡성의 정보를 혼합해 더 많은 정보를 바탕으로 예측할 수 있도록 한다.

 

1. Backoff
   : 이 전략은 모델이 학습 데이터에서 볼 수 없었던 n-gram을 발견할 때 사용된다. 확률을 0으로 할당하는 대신, 모델은 더 낮은 차수의 n-gram (예: trigram에서 bigram)으로 "backoff"한다.
   
   
2. Interpolation
   : Interpolation은 서로 다른 n-gram 차수 (예: unigram, bigram, trigram) 의 확률을 결합해 다음 단어의 확률을 추정하는 방법이다.