[ML] TF-IDF - 2

앞선 포스팅(https://danielcs.tistory.com/184)에서 살펴봤듯이 TF-IDF는 컬렉션 또는 말뭉치(corpus)에서 단어가 문서에 얼마나 중요한지를 반영하는 데 사용되는 수치 통계다. 정보 검색 및 텍스트 마이닝에서 가장 널리 사용되는 용어 가중치 체계 중 하나다. 기본 개념은 모든 문서에서의 빈도와 빈교해 특정 문서에서 얼마나 자주 사용되는지에 따라 용어에 가중치를 부여하는 것이다. 이는 특정 문서에 더 고유한 단어를 강조하는 데 도움이 된다.

 

계산하는 방법을 간단하게 살펴보고, 예시를 통해 이해해보자.

• TF (Term Frequency): 한 문서에 한 단어가 얼마나 자주 등장하는지를 측정
  : TF (t, d) = 문서 d에 용어 t의 등장하는 횟수 / 문서 d의 모든 단어의 수
• IDF (Inverse Document Frequency): 용어가 전체 corpus에서 얼마나 중요한지 측정
  : IDF (t, D) = log (corpus D의 모든 문서의 수 / 용어 t가 등장하는 문서의 수)
• TF-IDF (t, d, D) = TF (t, d) * IDF (t, D)

 

예시:

• Doc1: The sky is blue.
• Doc2: The ocean is blue.
• Doc3: The sun is bright.
  
  

1. Doc1의 "blue"에 대한 TF
   1. Doc1에서 "blue"의 등장 횟수 = 1
   2. Doc1의 총 단어의 숫자 = 4
   3. TF ("blue", Doc1) = 1 / 4 = 0.25
2. "blue"의 IDF
   1. 총 문서의 수 = 3
   2. "blue"를 포함하는 문서의 수 = 2 (Doc1과 Doc2)
   3. IDF ("blue") = log (3 / 2) = 0.176
3. Doc1의 "blue"에 대한 TF-IDF 
   1. TF-IDF ("blue", Doc1) = 0.25 * 0.176 = 0.044

위 TF-IDF score를 통해 전체 corpos에서 Doc1의 "blue"의 중요한 정도를 해석할 수 있다. TF-IDF가 높을 수록 해당 문서에서 더 중요하다고 해석하면 된다.