[ML] Multinomial Naive Bayes (다항 분포 나이브 베이즈) - 1

Multinomial Naive Bayes는 classification tasks, 특히 NLP 및 text analysis에 널리 사용되는 머신 러닝 알고리즘이다. 이는 Bayes' theorem과 조건부 독립 가정의 특성에 기반한 Naive Bayes 알고리즘의 확장판이다.

 

Multinomial Naive Bayes의 원리는 아래와 같다.

• Bayes' Theorem
  : 이 알고리즘의 핵심은 이벤트와 관련이 있을 수 있는 조건에 대한 사전 지식을 바탕으로 특정 이벤트가 발생할 확률을 계산하는 Bayes' Theorem에 의존한다. classification의 맥락에서 이 알고리즘은 주어진 입력이 특정 클래스에 속할 확률을 계산하는 데 도움이 된다.
  
  
• Multinomial Distribution (다항 분포)
  : Multinomial Naive Bayes은 text data와 같이 단어 묶음으로 표현할 수 있는 데이터를 위해 특별히 설계됐다. 이러한 유형의 데이터에서는 각 문서가 각 단어의 개수로 이뤄진 벡터로 표현되며, 단어 등장이 다항식 분포에 의해 생성된다고 가정한다.
  
  
• Conditional Independence Assumption (조건부 독립 가정)
  : 표준 Naive Bayes' 알고리즘과 마찬가지로 Multinomial Naive Bayes 역시 단어의 개수와 같은 조건부 독립이라는 특징을 가정한다. 즉, 같은 문서 내에서 한 단어의 존재 여부가 다른 단어의 존재 여부에 영향을 미치지 않는다는 뜻이다. 이는 실제로는 맞지 않을 수 있는 단순화한 가정이지만, text classification에서 종종 잘 작동한다.
  
  
• Parameter Estimation (매개변수 추정)
  : Multinomial Naive Bayes는 classification에 필요한 매개변수를 추정한다. 여기에는 training data의 각 클래스의 이전 클래스와 단어 등장의 조건부 확률들이 포함돼있다.
  
  
• Classification (분류)
  : 새로운 input (예: 문서 또는 텍스트)를 분류하기 위해 알고리즘은 Bayes' theorem을 사용해 각 클래스에 속하는 input의 사후 확률을 계산한 다음 사후 확률이 가장 높은 클래스를 예측된 클래스로 선택한다.

 

Multinomial Naive Bayes는 스팸 메일 탐지 (spam email detection), 감성 분석 (sentiment analysis), 주제 분류 (topic categorization)과 같은 text classfication 작업에 일반적으로 사용된다. 이 방법은 간단하고 계산 효율이 높으며 데이터의 독립성 가정이 심각하게 위반되지 않는 경우 잘 작동한다. 그러나 특징 간의 관계가 더 복잡하거나 고차원 데이터를 다루는 경우에는 딥러닝 접근 방식과 같은 더 복잡한 모델만큼 성능이 좋지 않을 수 있다.