[ML] NLP Data Cleaning의 필요성

NLP에서 Data Cleaning은 중요한 preprocessing (전처리 단계) 로 아래와 같은 이유로 필요하다. Noise Reduction (노이즈 감소) : raw 테스트 데이터는 종종 많은 'noise'를 포함하고 있다. 여기에는 관련 없는 문자, HTML 태그, URL 또는 기타 필수적이지 않은 정보가 포함된다. cleaning은 이러한 noise를 제거해 알고리즘이 관련 기능에만 집중할 수 있도록 도와준다. Standarization (표준화) : 텍스트 데이터는 다양한 소스에서 가져올 수 있으면 대소문자 형식, 다양한 날짜 형식 또는 대체 철자법 등 불이치가 있을 수 있다. 텍스트를 cleaning하고 standaizing하면 동일한 용어나 문구가 균일하게 표현돼 모델의 정확도가 향상된..
기술(Tech, IT)/머신 러닝(Machine Learning) 2023. 10. 18. 07:15
1
공지사항
최근에 올라온 글
최근에 달린 댓글
Total
Today
Yesterday
링크
TAG more
«   2025/01   »
일 월 화 수 목 금 토
1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30 31
글 보관함
반응형