[ML] Vecotrizer (벡터화 기법)

NLP에서 단어, 구문 또는 전체 문서를 벡터로 변화하는 대표적인 기술로 Count Vectorizer, TF-IDF, Word2Vec, GloVe가 있다. 각각에 대해 알아보자.

 

1. Count Vectorizer (카운트 벡터라이저)
   
   1. 설명
      : 텍스트 데이터를 표현하는 방법으로, 각 문서 (또는 텍스트 세그먼트)에 대해 각 단어의 발생 횟수를 계산해 각 요소가 어휘의 단어에 해당하는 벡터로 문서를 표현한다. 벡터의 길이는 어휘의 크기이며, 각 요소의 값은 문서에서 해당 단어의 개수다.
   2. 사용 사례
      : 텍스트 분류, 클러스터링 등을 위한 고전적인 머신 러닝 모델에서 주로 사용된다.
   3. 특징
      : 단어 간의 의미론적 의미나 관계를 포착하지 않고, 의미는 비슷하지만 형태가 다른 단어(예: run과 running)는 별개의 던어로 취급된다.
2. TF-IDF (Term Frequency-Inverse Document Frequency)
   1. 설명
      : 단순한 개수 벡터화에 비해 향상된 기능으로, Counter Vectorizer는 모든 단어에 동일한 중요성을 부여하는 반면, TF-IDF는 데이터 세트의 모든 문서와 비교해 특정 문서에서 단어의 중요도에 따라 가중치를 부여한다.
   2. 사용 사례
      : 텍스트 분류, 정보 검색 및 텍스트 마이닝 작업
   3. 특징
      : "and", "the"와 같이 매우 빈번한 단어의 중요도를 낮추고 특정 문서에 중요한 단어의 중요도를 높인다.
3. Word2Vec
   1. 설명
      : 단어의 분산 표현(또는 embedding)을 학습하는 신경망 기반 모델이다. 의미적으로 유사한 단어를 벡터 공간에 가깝게 배치해 단어 간의 semantic meaning (의미)와 관계를 파악한다. 크게 두 가지 아키텍쳐가 있는데, Skip-Gram과 Continuous Bag of Words (CBOW)가 있다.
   2. 사용 사례
      : 텍스트 분류, 의미 유사도 계산, 추천 시스템 등 단어의 의미를 이해함으로써 이점을 얻을 수 있는 모든 작업
   3. 특징
      : 비슷한 의미를 가진 단어는 벡터 공간에서 가까운 벡터를 갖는다. 예를 들어, "king(왕)"과 "monarch(군주)"는 서로 가깝다.
4. GloVe (Gloval Vectors for Word Representation)
   1. 설명
      : word embeddings를 얻는 방법 중의 하나다. 단어 동시 발생 행렬(word co-occurrence matrix)을 인수 분해하는 것을 기반으로 한다. 주어진 corpus에 대한 글로벌 통계 정보를 캡쳐하는 것을 목표로하는 반면, Word2Vec은 로컬 컨텍스트에 더 중점을 둔다.
   2. 사용 사례
      : Word2Vec과 마찬가치로 단어의 의미를 이해하는 데 도움이 되는 작업에 사용된다.
   3. 특징
      : 단어 벡터를 얻는 두 가지 주요 방법, 즉 행렬 인수분해와 로컬 컨텍스트 윈도우 방법의 장점을 결합한 것으로, Word2Vec과 마찬가지로 의미적으로 유사한 단어는 서로 가까운 벡터를 갖는다.

앞서 살펴본 내용을 요약하자면, Count Vectorizer와 TF-IDF는 sparse high-dimensional vectors를 생성하는 방법으로, 단어 발생 횟수 계산을 기반으로 하는 반면, Word2Vec과 GloVe는 저차원 벡터에서 단어 간의 의미 관계를 포착하는 고밀도 word embeddings 방법이다.