[ML] N-Gram Language Models - 1 (Backoff, Interpolation)

N-Gram Language Model에서 발견되지 않은 n-gram에 대한 확률 0을 다루는 두 가지 기술에 대해 알아보자. 두 전략 모두 가능한 모든 n-gram이 0이 아닌 확률을 갖도록 하여 Language Model의 견고성(robustness)와 정확성(accuracy)를 향상시키도록 설계되었으며, 이는 학습 데이터가 희소하거나 불완전한 경우에 유용하다. backoff는 데이터가 누락된 경우 더 간단한 모델로 단계적으로 축소하는 방법을 제공하며, interpolation은 다양한 모델 복잡성의 정보를 혼합해 더 많은 정보를 바탕으로 예측할 수 있도록 한다. Backoff : 이 전략은 모델이 학습 데이터에서 볼 수 없었던 n-gram을 발견할 때 사용된다. 확률을 0으로 할당하는 대신, 모델은..
기술(Tech, IT)/머신 러닝(Machine Learning) 2023. 12. 13. 12:16
1
공지사항
최근에 올라온 글
최근에 달린 댓글
Total
Today
Yesterday
링크
TAG more
«   2025/01   »
일 월 화 수 목 금 토
1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30 31
글 보관함
반응형