[ML] Corpus (코퍼스, 말뭉치)

NLP (Natural Language Processing, 자연어 처리) 연구를 위해 특정한 목적을 가지고 언어의 표본을 추출한 집합. 예를 들어, 아래의 Corpus가 사용되는 문맥을 살펴보자.

 

TF-IDF (Terms Frequency-Inverse Document Frequency) 는 "Corpus (말뭉치)"라고 불리는 문서 모음과 비교해 문서에서 단어의 중요도를 평가하는 데 사용되는 통계적 척도다. 한 문서에서는 흔하지만 말뭉치 전체에서는 드물게 사용되는 단어가 중요할 가능성이 높다는 것이 기본 개념.

 

TF-IDF stands for "Term Frequency-Inverse Document Frequency." It's a statistical measure used to evaluate the importance of a word in a document relative to a collection of documents, often called a "corpus". The idea behind TF-IDF is that words that are common in one document but rare in the corpus as a whole are likely to be important.

 

참고

- https://ko.wikipedia.org/wiki/%EB%A7%90%EB%AD%89%EC%B9%98