[ML] NLP Data Cleaning의 필요성

NLP에서 Data Cleaning은 중요한 preprocessing (전처리 단계) 로 아래와 같은 이유로 필요하다.

 

• Noise Reduction (노이즈 감소)
  : raw 테스트 데이터는 종종 많은 'noise'를 포함하고 있다. 여기에는 관련 없는 문자, HTML 태그, URL 또는 기타 필수적이지 않은 정보가 포함된다. cleaning은 이러한 noise를 제거해 알고리즘이 관련 기능에만 집중할 수 있도록 도와준다.
• Standarization (표준화)
  : 텍스트 데이터는 다양한 소스에서 가져올 수 있으면 대소문자 형식, 다양한 날짜 형식 또는 대체 철자법 등 불이치가 있을 수 있다. 텍스트를 cleaning하고 standaizing하면 동일한 용어나 문구가 균일하게 표현돼 모델의 정확도가 향상된다.
• Handling Special Characters (특수 문자 처리)
  : 특수 문자, 이모티콘, 구두점은 일부 NLP 작업에서 중요한 의미를 갖지 않는다. 이러한 문자를 제거하거나 변환하면 데이터를 단순화하는 데 도움이 된다.
• Reducing Dimensionality (차원 감소)
  : 불필요한 문자나 단어 (일반적인 stop words) 를 제거하면 데이터의 차원을 줄여 계산 속도를 높이고 특정 알고리즘의 효율성을 개선할 수 있다.
• Lemmatization/Stemming (형태소화/어근화)
  : 단어는 다양한 형태로 존재한다 (예: run, running, ran). 이러한 단어들을 기본 형태나 어근 형태로 줄임으로써 알고리즘이 별개의 단어가 아닌 동일한 단어의 변형으로 취급하도록 한다.
• Improving Model Performance (모델 성능 개선)
  : 정리되고 잘 처리된 데이터는 일반적으로 더 정확하고 빠르게 학습할 수 있는 모델을 생성한다. 정리하지 않으면 모델이 노이즈와 관련 없는 세부 정보를 학습해 보이지 않는 새로운 데이터에 대한 일반화 기능이 저하될 수 있다.
• Handling Ambiguities (모호성 처리)
  : 언어는 본질적으로 모호하다. 단어는 문맥에 따라 여러 가지 의미를 가진다. cleaning 및 preprocessing에는 단어의 의미를 명확히 하는 데 도움이 되는 기술이 포함될 수 있다.
• 리소스 효율성
  : 관련 없는 콘텐츠를 제거하고 텍스트 데이터를 필수 구성 요소로 줄임으로써 컴퓨팅 리소스를 절약하여 모델 학습 및 추론 시간을 단축할 수 있다.
• 더 나은 분석
  : NLP의 탐색적 데이터 분석(exploratory data analysis)의 경우, 깨끗한 데이터는 명확한 인사이트를 제공한다. 예를 들어, 단어 빈도를 시각화할 때 일반적이지만 정보가 없는 stop words를 제외할 수 있다.
• Tokenization (토큰화)
  : cleaning은 종종 텍스트를 단어나 하위 단어와 같이 더 작은 조각으로 분할하는 토큰화와 함께 진행된다. 적절하게 정리된 데이터는 더 효과적으로 토큰화할 수 있다.

본질적으로 NLP에서 텍스트 데이터를 cleaning하면 데이터 분석, 특징 추출, 모델링 등 모든 후속 작업을 위한 강력한 토대를 마련할 수 있다. 데이터의 질이 높아지므로 모든 NLP 작업에서 얻을 수 있는 성능과 인사이트를 극대화할 수 있다.