Daniel's blog

Hidden Markov Model의 몇 가지 용어에 대해 알아보자. Emission Probability (Observation Probability, 방출 확률, 관측 확률) : Hidden state (variables, 변수)를 관측 변수(observation variables)와 연관시키는 것으로, 특정 hidden state가 주어졌을 때 특정 visible state (obsevation, 관측)를 관찰할 확률을 의미 Prior Probability (사전 확률) : observation (관측)을 보기 전에 특정 상태에 있을 화률 (HMM의 맥락에서 초기 상태 분포(initial state distribution)라고도 함) Transition Probability (전환 확률) : 한 h..

N-Gram Language Model에서 발견되지 않은 n-gram에 대한 확률 0을 다루는 두 가지 기술에 대해 알아보자. 두 전략 모두 가능한 모든 n-gram이 0이 아닌 확률을 갖도록 하여 Language Model의 견고성(robustness)와 정확성(accuracy)를 향상시키도록 설계되었으며, 이는 학습 데이터가 희소하거나 불완전한 경우에 유용하다. backoff는 데이터가 누락된 경우 더 간단한 모델로 단계적으로 축소하는 방법을 제공하며, interpolation은 다양한 모델 복잡성의 정보를 혼합해 더 많은 정보를 바탕으로 예측할 수 있도록 한다. Backoff : 이 전략은 모델이 학습 데이터에서 볼 수 없었던 n-gram을 발견할 때 사용된다. 확률을 0으로 할당하는 대신, 모델은..