[ML] Multinomial Naive Bayes (다항 분포 나이브 베이즈) - 2

Multinomial Naive Bayes에 대해 다시 한 번 간단히 짚어보고, 예시를 살펴보자.

Multinomial Naive Bayes는 불연속 데이터에 적합한 Naive Bayes classifier의 변형으로, 텍스트 분류의 맥락에서 단어 수 또는 TF-IDF score 같은 기능과 함께 자주 사용된다.

 

• 문제
  : 영화 리뷰를 "Positive"와 "Negative"로 분류
  
  
• Training Data
  : "I love this movie. It's amazing!" - Positive
  "A wonderful film with great characters" - Positive
  "I really disliked this move." - Nagative
  "Such a waste of time." - Negative
  
  
• Test Data
  : "A great film with amazing characters."

 

• 솔루션
  • Text Preprocessing (텍스트 전처리):
    
    • 모든 텍스트를 소문자로 변환
    • 텍스트를 토큰화해, 단어로 분할
    • stopwords (중단어) 제거 및 stemming/lemmatization (어간/의미화) 적용
      
      
  • Feature Extraction (특징 추출)
    : Bag of Words (BoW)나 TF-IDF를 사용해 리뷰를 vector로 변환
    
    
  • Multinomial Naive Bayes를 training
    : Training Data를 이용해 Bayes 식에 필요한 확률을 계산
    
    
  • 새로운 리뷰의 카테고리 예측
    • 같은 Feature Extraction 기법을 적용해 새로운 리뷰를 vector 형태로 변환
    • Multinomial Naive Bayes 식을 사용해 두 카테고리(Positive/Negative)에 대한 확률을 계산
    • 가장 높은 확률을 보이는 카테고리로 리뷰를 분류

 

Bag of Words를 feature로 적용해 계산해보자. training data를 통해 아래와 같이 우선 계산할 수 있다.

• P (Positive) = 2 / 4 = 0.5
• P (Negative) = 2 / 4 = 0.5

 

"Positive" 카테고리의 "great"이라는 단어를 살ㅍ벼조:

• Positive 리뷰에서 "great" 등장 횟수 = 1
• Positive 리뷰의 전체 단어 수 = 10
• P ("great" | Positive) = 1 / 10 = 0.1

 

이와 같은 방법으로 우리는 새로운 리뷰의 각 단어에 대한 Positive, Negative의 확률을 각각 계산할 수 있다.

각 카테고리에 대한 새로운 리뷰의 확률을 아래와 같다.

• P (Positive | Review) = P ("a" | Positive) * P ("great" | Positive) * p ("film" | Positive) * ... * P (Positive)
• P (Negative | Review) = P ("a" | Negative ) * P ("great" | Negative ) * p ("film" | Negative ) * ... * P (Negative )

(마지막 P (Positive) 또는 P (Negative)를 곱하는 것은 사전 확률 (prior probability)를 고려해야 되기 때문)

 

계산된 P (Positive | Review)가  P (Negative | Review) 보다 크면 Positive로 분류, 반대면 Negative로 분류가 된다.