티스토리

Daniel's blog

검색하기

블로그 홈

Daniel's blog

danielcs.tistory.com/m

Daniel803 님의 블로그입니다.

구독자: 1

방명록 방문하기

주요 글 목록

[Machine Learning] Federated Learning (연합 학습) Federated Learning은 로컬 데이터 샘플을 보유한 여러 분산형 edge device 또는 server에서 모델을 교환하지 않고도 학습할 수 있는 머신 러닝 접근 방식이다. 중앙 서버와 같은 한 곳에서 모든 데이터를 수집하는 대신 데이터가 저장된 곳으로 모델을 보내 로컬에서 학습한 다음 학습한 내용(예: model updates 또는 gradients)만 중앙 서버나 aggregator로 다시 보낸다. 이 프로세스는 원시 데이터가 디바이스를 벗어나지 않고 집계된 insight만 공유되므로 사용자 개인정보를 보호하는 데 도움이 된다. 특히 의료(환자 데이터), 금용(거래 기록) 또는 IoT(사물 인터넷) 디바이스와 같이 데이터 개인 정보 보호가 중요한 시나리오에서 유용하다. 또한 네트워크를 통해.. 공감수 0 댓글수 0 2024. 5. 5.
[ML] Hidden Markov Model (HMM, 은닉 마르코프 모델) - 2 Hidden Markov Model의 몇 가지 용어에 대해 알아보자. Emission Probability (Observation Probability, 방출 확률, 관측 확률) : Hidden state (variables, 변수)를 관측 변수(observation variables)와 연관시키는 것으로, 특정 hidden state가 주어졌을 때 특정 visible state (obsevation, 관측)를 관찰할 확률을 의미 Prior Probability (사전 확률) : observation (관측)을 보기 전에 특정 상태에 있을 화률 (HMM의 맥락에서 초기 상태 분포(initial state distribution)라고도 함) Transition Probability (전환 확률) : 한 h.. 공감수 0 댓글수 0 2023. 12. 13.
[ML] N-Gram Language Models - 1 (Backoff, Interpolation) N-Gram Language Model에서 발견되지 않은 n-gram에 대한 확률 0을 다루는 두 가지 기술에 대해 알아보자. 두 전략 모두 가능한 모든 n-gram이 0이 아닌 확률을 갖도록 하여 Language Model의 견고성(robustness)와 정확성(accuracy)를 향상시키도록 설계되었으며, 이는 학습 데이터가 희소하거나 불완전한 경우에 유용하다. backoff는 데이터가 누락된 경우 더 간단한 모델로 단계적으로 축소하는 방법을 제공하며, interpolation은 다양한 모델 복잡성의 정보를 혼합해 더 많은 정보를 바탕으로 예측할 수 있도록 한다. Backoff : 이 전략은 모델이 학습 데이터에서 볼 수 없었던 n-gram을 발견할 때 사용된다. 확률을 0으로 할당하는 대신, 모델은.. 공감수 0 댓글수 0 2023. 12. 13.
[ML] Word Embeddings - 2 Word Embeddings의 구체적인 예시와 어떻게 사용되는지를 알아보자. 구체적 예시 Word2Vec : "king", "queen", "man", "woman" 라는 단어가 있다고 가정해보자. 학습된 Word2Vec 모델에서 Embedding은 다음와 같이 나타낼 수 있다. "king": [0.2, -0.1, 0.4] "queen": [0.21, -0.09, 0.41] "man": [-0.4, 0.3, -0.1] "woman": [-0.39, 0.31, -0.09] "king"과 "queen"이 "man"과 "woman"과 마찬가지로 유사한 벡털르 가지고 있음을 알 수 있다. GloVe :"computer", "keyboard", "flower", "rose" 라는 단어가 있다고 가정해보자. 이는 .. 공감수 1 댓글수 2 2023. 11. 29.
[ML] Word Embeddings - 1 Word Embeddings은 비슷한 의미를 가진 단어들이 비슷한 표현을 갖도록 하는 단어 표현의 한 유형이다. 이는 ML 알고리즘이 처리할 수 있도록 텍스트 데이터를 숫자 형식으로 변환하는 NLP의 기본 테크닉이다. 설명 Numerical Represenatation (숫자 표현) : Word Embeddings은 단어를 실수 벡터로 변환한다. 어휘의 각 단어는 고차원 공간(일반적으로 수백 차원)의 벡터에 매핑된다. Capturing Semantic Meaning (의미론적 포착) : 이러한 벡터는 단어의 의미를 포착하도록 설계돼있다. 비슷한 문맥에서 사용되는 단어는 비슷한 Embedding을 갖는 경향이 있다. 예를 들어, "king"과 "queen"은 Embedding 공간에서 가깝다. Contex.. 공감수 0 댓글수 0 2023. 11. 28.
[ML] RNN과 POS tagging RNN(Recurrent Neural Network)과 POS (Part-of-speech) tagging의 관계에 대해 알아보자. 순차적 데이터 모델링 : RNN은 특히 NLP의 문장과 같이 순차적 데이터를 포함하는 작업에 적합하다. POS tagging은 본질적으로 시쿼스(또는 문장)의 각 단어에 tag가 할당되는 sequence labeling 작업이다. 컨텍스트 인식 : POS tagging에 RNN을 사용할 때의 주요 이점 중 하나는 숨겨진 상태(hidden state)를 통해 컨텍스트를 유지할 수 있다는 점이다. 이를 통해 POS tag를 할당할 때 문장 내 단어의 문맥을 고려할 수 있으며, 이는 문맥에 따라 여러 단어가 서로 다른 tag를 가질 수 있기 때문에 매우 중요하다. End-to-e.. 공감수 0 댓글수 0 2023. 11. 3.
[ML] RNN (Recurrent Neural Network) RNN 또는 순환 신경망은 시계열(time series, 일정 시간 간격으로 배치된 데이터들의 수열), 주식 가격 및 NLP 텍스트와 같은 데이터 시퀀스에서 패턴을 인식하기 위해 설계된 인공 신경망 (Artificial Neural Network)의 한 유형이다. 이러한 네트워크의 "순환, 반복적(recurrent)" 특성은 RNN의 아키텍처에서 비롯되는데, 정보가 지속될 수 있는 루프(loop)를 가지고 있어 입력 데이터 포인트의 순서와 컨텍스트가 중요한 작업에 매우 적합하다. RNN과 관련된 몇 가지 주요 특징 및 개념에 대해 알아보자. Memory Cells (메모리 셀) : Feed-Forward 네트워크와 같은 전통적인 신경망은 이전 입력에 대한 메모리가 없다. 반면, RNN은 메모리 셀을 가지.. 공감수 0 댓글수 0 2023. 11. 2.
[ML] POS tagging (Part-of-speech, 품사) NLP에서 POS는 단어가 문법적 기능(syntactic functions)에 따라 할당되는 카테고리를 의미한다. 예를 들어, 영어 문법에서 단어들은 Noun(명사), Verb(동사), Adjective(형용사), Adverb(부사), Pronoun(대명사), Preposition(전치사), Conjunction(접속사), Interjection(감탄사)와 같은 클래스로 분류된다. POS tagging은 텍스트의 각 단어에 해당하는 품사로 표시(labeling)하는 작업이다. 이는 named entity recognition (명명된 엔티티 인식), parsing, sentiment analysys 같은 하위 작업에 유용하다. POS tagging을 위한 다양한 알고리즘과 도구가 있으며, rul-base.. 공감수 0 댓글수 0 2023. 11. 1.
[ML] Multinomial Naive Bayes (다항 분포 나이브 베이즈) - 2 Multinomial Naive Bayes에 대해 다시 한 번 간단히 짚어보고, 예시를 살펴보자. Multinomial Naive Bayes는 불연속 데이터에 적합한 Naive Bayes classifier의 변형으로, 텍스트 분류의 맥락에서 단어 수 또는 TF-IDF score 같은 기능과 함께 자주 사용된다. 문제 : 영화 리뷰를 "Positive"와 "Negative"로 분류 Training Data : "I love this movie. It's amazing!" - Positive "A wonderful film with great characters" - Positive "I really disliked this move." - Nagative "Such a waste of time." - N.. 공감수 0 댓글수 0 2023. 10. 31.
[ML] Vecotrizer (벡터화 기법) NLP에서 단어, 구문 또는 전체 문서를 벡터로 변화하는 대표적인 기술로 Count Vectorizer, TF-IDF, Word2Vec, GloVe가 있다. 각각에 대해 알아보자. Count Vectorizer (카운트 벡터라이저) 설명 : 텍스트 데이터를 표현하는 방법으로, 각 문서 (또는 텍스트 세그먼트)에 대해 각 단어의 발생 횟수를 계산해 각 요소가 어휘의 단어에 해당하는 벡터로 문서를 표현한다. 벡터의 길이는 어휘의 크기이며, 각 요소의 값은 문서에서 해당 단어의 개수다. 사용 사례 : 텍스트 분류, 클러스터링 등을 위한 고전적인 머신 러닝 모델에서 주로 사용된다. 특징 : 단어 간의 의미론적 의미나 관계를 포착하지 않고, 의미는 비슷하지만 형태가 다른 단어(예: run과 running)는 별개.. 공감수 0 댓글수 0 2023. 10. 30.
[ML] Naive Bayes Naive Bayes는 분류(classification) 작업에 특히 적합한 확률론적 머신 러닝 classfier로, 스팸 이메일 탐지, 감성 분석, 텍스트 분류와 같은 NLP (Natural Language Processing, 자연어 처리) 작업에 자주 적용된다. Naive Bayes의 기본 아이디어는 event와 관련이 있을 수 있는 조건에 대한 사전 지식을 바탕으로 event의 확률을 설명하는 Bayes' theorem (베이즈 정리)에 뿌리를 두고 있다. NLP에서 'event'는 종종 텍스트의 범주 또는 클래스 (class) (예를 들어, '스팸' 또는 '스팸 아님')을 의미하며, '조건 (condition)'은 텍스트에 특정 단어가 있는지 또는 없는지를 의미한다. Bayes' theorem은.. 공감수 0 댓글수 0 2023. 10. 29.
[ML] TF-IDF - 2 앞선 포스팅(https://danielcs.tistory.com/184)에서 살펴봤듯이 TF-IDF는 컬렉션 또는 말뭉치(corpus)에서 단어가 문서에 얼마나 중요한지를 반영하는 데 사용되는 수치 통계다. 정보 검색 및 텍스트 마이닝에서 가장 널리 사용되는 용어 가중치 체계 중 하나다. 기본 개념은 모든 문서에서의 빈도와 빈교해 특정 문서에서 얼마나 자주 사용되는지에 따라 용어에 가중치를 부여하는 것이다. 이는 특정 문서에 더 고유한 단어를 강조하는 데 도움이 된다. 계산하는 방법을 간단하게 살펴보고, 예시를 통해 이해해보자. TF (Term Frequency): 한 문서에 한 단어가 얼마나 자주 등장하는지를 측정 : TF (t, d) = 문서 d에 용어 t의 등장하는 횟수 / 문서 d의 모든 단어의 .. 공감수 0 댓글수 0 2023. 10. 28.
[ML] Viterbi Algorithm (비터비 알고리즘) Viterbi Algorithm은 특히 Markov information sources (마르코프 정보 소스) 및 Hidden Markov Model (HMM, 은닉 마르코프 모델)의 맥락에서 관찰된 사건의 연속으로 나타나는 가장 가능성이 높은 숨겨진 상태의 연속성 - Viterbi path 라고도 함 - 을 찾는 데 사용되는동적 프로그래밍 (Dynamic programming) 알고리즘이다. 이 알고리즘은 Andrew Vitervi가 통신에 사용되는 Convolutional Codes (컨볼루션 코드, 합성 부호) 를 디코딩하기 위한 방법으로 도입했다. 이후 sequence alignment (서열 정렬)을 위한 Bioinformatics (생물정보학), 음성 인식 등 다양한 분야에 적용됐다. 아래는 .. 공감수 0 댓글수 2 2023. 10. 23.
[ML] Hidden Markov Model (HMM, 은닉 마르코프 모델) - 1 HMM은 시간에 따른 시스템을 나타내는 통계 모델이다. 상태를 직접 관찰할 수 없기 때문에 "hidden" 이라고 불리며, 대신 이러한 은닉 상태에 대한 정보를 제공하는 순서 (sequence)를 관찰한다. HMM은 일반적으로 음성 인식, 자연어 처리, 생물 정보학 (bioinformatics에서 단백질 2차 구조 예측 등)과 같은 다양한 곳에 사용된다. HMM의 주 구성 요소는 아래와 같다. States (상태) : 이는 모델의 "hidden" 부분이다. states는 무엇이든 나타낼 수 있지만 직접 관찰하지는 않는다. 대신 관찰한 데이터에서 state를 추론한다. 예를 들어, 음성 인식 시스템에서 states는 phoenemes (한 언어의 음성체계에서 단어의 의미를 구별 짓는 최소의 소리 단위)에 .. 공감수 1 댓글수 0 2023. 10. 22.
[ML] NLP Data Cleaning의 필요성 NLP에서 Data Cleaning은 중요한 preprocessing (전처리 단계) 로 아래와 같은 이유로 필요하다. Noise Reduction (노이즈 감소) : raw 테스트 데이터는 종종 많은 'noise'를 포함하고 있다. 여기에는 관련 없는 문자, HTML 태그, URL 또는 기타 필수적이지 않은 정보가 포함된다. cleaning은 이러한 noise를 제거해 알고리즘이 관련 기능에만 집중할 수 있도록 도와준다. Standarization (표준화) : 텍스트 데이터는 다양한 소스에서 가져올 수 있으면 대소문자 형식, 다양한 날짜 형식 또는 대체 철자법 등 불이치가 있을 수 있다. 텍스트를 cleaning하고 standaizing하면 동일한 용어나 문구가 균일하게 표현돼 모델의 정확도가 향상된.. 공감수 0 댓글수 0 2023. 10. 18.
[ML] TF-IDF - 1 TF-IDF (Term Frequency-Inverse Document Frequency)는 information retrieval (정보 검색) 및 text mining (텍스트 마이닝)에 사용되는 수치 통계로, 문서 모음 (일반적으로 corpus, 말뭉치)과 관련해 문서 내 용어(단어 또는 구문)의 중요성을 나타낸다. TF-IDF 벡터화는 텍스트 문서 모음을 해당 용어의 TF-IDF 점수를 기반으로 숫자 벡터로 변환하는 데 사용되는 기법이다. NLP 및 text analysis에 널리 사용된다. TF-IDF에 대해 하나하나 알아보자. TF (Term Frequency, 용어 빈도) : Term Frequency는 문서에서 용어가 얼마나 자주 나타나는지를 측정한다. 이는 문서에서 용어가 나타나는 횟수를.. 공감수 0 댓글수 2 2023. 10. 17.
[ML] Multinomial Naive Bayes (다항 분포 나이브 베이즈) - 1 Multinomial Naive Bayes는 classification tasks, 특히 NLP 및 text analysis에 널리 사용되는 머신 러닝 알고리즘이다. 이는 Bayes' theorem과 조건부 독립 가정의 특성에 기반한 Naive Bayes 알고리즘의 확장판이다. Multinomial Naive Bayes의 원리는 아래와 같다. Bayes' Theorem : 이 알고리즘의 핵심은 이벤트와 관련이 있을 수 있는 조건에 대한 사전 지식을 바탕으로 특정 이벤트가 발생할 확률을 계산하는 Bayes' Theorem에 의존한다. classification의 맥락에서 이 알고리즘은 주어진 입력이 특정 클래스에 속할 확률을 계산하는 데 도움이 된다. Multinomial Distribution (다항 분.. 공감수 0 댓글수 0 2023. 10. 17.
[ML] Optimization method (최적화 알고리즘) 최적화 알고리즘의 목적은 cost function (비용 함수) 을 최소화 (또는 최대화) 해 모델에 가장 적합한 파라미터를 찾는 것으로, Gradient Descent (경사 하강법), Stochastic Gradient Descent (확률적 경사 하강법), Newton's Method, Adam, RMSProp 등이 있다. 최적화 알고리즘이 모델에서 맞는 역할은 cost function 의 정보를 기반으로 모델 파라미터를 조정하거나 업데이트 하는 방법을 결정하는 것이다. 대표적인 최적화 알고리즘을 알아보자. 1. Batch Gradient Descent (배치 경사 하강법, 일괄 경사 하강법) : * 전체 데이터 세트를 사용해 gradient (기울기) 를 계산한다. * convex loss sur.. 공감수 0 댓글수 0 2023. 10. 11.
[ML] t-SNE (t-Stochastic Neighbor Embedding) - 2 예시를 통해 t-SNE를 이해해보자. 특징에 기반해 동물 유형을 시각화 하는 예시다. 다양한 동물의 데이터 집합이 있고 각 동물에 대해 체중, 키, 수명, DNA 유사성 등 100개의 서로 다른 특징을 측정해 100차원 공간을 만든다고 가정해보자. 우리의 목표는 이러한 특징을 기반으로 국소적 유사성을 유지하면서 2D 공간에서 이러한 동물들이 서로 어떻게 관련되어 있는지를 시각화 하는 것이다. 고차원 유사성 : "고양이"라는 한 동물을 선택해 보자. 데이터 세트의 다른 모든 동물에 대해 해당 동물이 얼마나 "고양이"와 유사한지를 나타내는 확률을 계산하고, 이 유사성은 100차원 공간에서 "고양이"와 다른 모든 동물 사이의 유클리트 거리를 기반으로 한다. 예를 들어, "고양이"와 "호랑이"와 같은 두 동물이.. 공감수 0 댓글수 2 2023. 10. 6.
[ML] t-SNE (t-Stochastic Neighbor Embedding) - 1 이전 포스팅에서 설명한 SNE (Stochastic Neighbor Embedding) 의 업그레이트 버전으로, 고차원 데이터의 축소 및 시각화를 위해 설계된 Machine Learning 알고리즘이다. 특히, 기본 구조를 고차원으로 인식하기 어려울 수 있는 데이터 집합을 시각화하는 데 적합하다. 고안된 동기 : PCA 같은 차원 축소를 위한 많은 기법이 있지만, t-SNE는 특히 로컬 구조를 보존하도록 설계됐다. 즉, 고차원 공간에서 서로 가까운 점은 저차원 공간에서도 가깝게 유지되는 경향이 있다. 동작 방식 : 고차원 공간에서 쌍별 유사성 (pairwise similarities) 를 계산하는 것으로 시작한 다음, 고차원 포인트 쌍에 대한 확률 분포를 구성해 유사한 포인트가 선택될 확률이 높아지도록 .. 공감수 0 댓글수 0 2023. 10. 5.
[ML] SNE (Stochastic Neighbor Embedding) 고차원 데이터의 차원 축소 및 시각화를 위해 많이 사용되는 t-SNE (Machine Learning 알고리즘)을 살펴보기에 앞서, 이전 버전이라고 할 수 있는 SNE (Stochastic Neighbor Embedding)에 대해 알아보자. SNE는 t-SNE와 마찬가지로, 고차원 데이터의 차원 축소 및 시각화를 위한 기법으로, 주요 목표는 고차원 공간에서 저차원 공간으로 데이터를 매핑할 때 로컬 구조를 보존하는 것이다. 고차원 공간과 저차원 공간의 두 가지 확률 분포 사이의 차이를 최소화 하여 이를 수행한다. 동작 방식 : 고차원 공간의 각 데이터 포인트 쌍에 대해 SNE는 해당 포인트의 유사성을 나타내는 조건부 확률을 계산한다. 이 작업은 특정 지점을 중심으로 Gaussian centered을 사용.. 공감수 0 댓글수 0 2023. 10. 4.
[ML] TF-IDF (Terms Frequency-Inverse Document Frequency) TF-IDF (Terms Frequency-Inverse Document Frequency) 는 흔히 "말뭉치"라고 불리는 문서 모음과 비교해 문서에서 단어의 중요도를 평가하는 데 사용되는 통계적 척더로, 한 문서에서는 흔하지만 전체 말뭉치에서는 드문 단어가 중요할 가능성이 높다는 것이 TF-IDF의 기본 개념이다. TF-IDF는 두 가지로 구성되는데 바로 TF (Terms Frequency, 용어 빈도) 와 IDF (Inverse Document Frequency, 역문서 빈도) 다. TF : 문서에서 용어가 얼마나 자주 나타나는지를 측정한다. IDF : 모든 문서에서 단어가 얼마나 드물거나 흔한지를 측정한다. 많은 문서에 나타나는 단어는 적은 문서에서 나타나는 단어보다 IDF가 낮다. TF-IDF =.. 공감수 0 댓글수 0 2023. 10. 3.
[ML] Corpus (코퍼스, 말뭉치) NLP (Natural Language Processing, 자연어 처리) 연구를 위해 특정한 목적을 가지고 언어의 표본을 추출한 집합. 예를 들어, 아래의 Corpus가 사용되는 문맥을 살펴보자. TF-IDF (Terms Frequency-Inverse Document Frequency) 는 "Corpus (말뭉치)"라고 불리는 문서 모음과 비교해 문서에서 단어의 중요도를 평가하는 데 사용되는 통계적 척도다. 한 문서에서는 흔하지만 말뭉치 전체에서는 드물게 사용되는 단어가 중요할 가능성이 높다는 것이 기본 개념. TF-IDF stands for "Term Frequency-Inverse Document Frequency." It's a statistical measure used to evaluate .. 공감수 0 댓글수 0 2023. 10. 2.
[ML] Log Likelihood (로그 가능도) 우선 Likelihood에 대해 되짚어보면 Likelihood (가능도) 는 특정 사건이 일어날 확률, 정성적 용어 (qualitative terms) 를 사용하면 백분율 확률 (percent probability) 또는 빈도 (frequency) 를 나타낸다. 연속된 확률 분포인 연속 확률 분포와 discrete한 이산 확률 분포 모두 수식으로 나타내면 흡사하며 해당 사건들이 발생할 확률은 곱한 것으로 아래와 같아 나타낼 수 있다. Maximum Likelihood 는 Likelihood 중 가장 높은 값을 말하며 수식은 아래와 같다. 여기에 Log를 취한 것이 Log Likelihood로 Log를 취하게 되면 곱셈이 덧셈으로 대체될 수 있기에 연산이 단조로워지고 이는 컴퓨터 역시 좀 더 단조로운 연산.. 공감수 0 댓글수 0 2023. 9. 23.
[ML] P-value (유의 확률, Probability value) 위키피디아에 따르면 P-value에 대한 정의는 아래와 같고, 다른 곳 역시 비슷하다. : In null-hypothesis significance testing, the p-value is the probability of obtaining test results at least as extreme as the result actually observed, under the assumption that the null hypothesis is correct. : 통계적 가설 검정에서 유의 확률 (significance probability, asymptotic significance) 또는 p-값 (p-value, probability value)은 귀무가설이 맞다고 가정할 때 얻은 결과보다 극단적인 .. 공감수 0 댓글수 0 2023. 9. 20.
[ML] Marginal Probability (주변 확률) Marginal probability refers to the probability of an event occurring without considering the outcomes of another related event. It's essentially the probability of a single event, disregarding the presence or absence of some other event. Marginal probability (주변 확률은) 관련된 다른 이벤트의 결과에 상관없이 특정 이벤트가 발생할 확률을 말한다. 아래 수식을 참고해 이해해보자. 확률 변수 X와 Y가 있을 때 X에서 a가 발생했을 때를 나타내는 P (X = a) 라는 단독 확률을 Marginal prob.. 공감수 0 댓글수 0 2023. 9. 15.
[ML] Joint Probability (결합 확률) 2개의 이상의 사건이 동시에 일어날 확률을 말한다. 서로 다른 사건 X와 Y가 있을 때 두 사건이 동시에 일어날 확률은 P(X, Y) 또는 P(X ∩ Y)로 나타낸다. 이 때, 사건 X와 Y는 독립 사건 (Independent)여야 한다. 종속 사건 (Dependent) 일 시엔 사용이 불가하다. 참고 - https://velog.io/@claude_ssim/%ED%99%95%EB%A5%A0%ED%86%B5%EA%B3%84-Joint-Probability-Marginal-Probability-Conditional-Probability - https://excelsior-cjh.tistory.com/193 공감수 0 댓글수 0 2023. 9. 13.
[ML] Tesseract (테서랙트) tesseract image.png output.txt Tesseract 공식 GitHub에 따르면 아래와 같다. : Tesseract는 오픈 소스 OCR 엔진으로 Apache 2.0 License 하에 이용이 가능하다. Tesseract는 command line을 통해 바로 사용이 가능하며, API를 사용해 이미지로부터 텍스트 추출도 가능하다. 광범위한 연어를 지원하고. Tesseract는 빌트인 GUI는 없지만, 여러 3rdParty에서 이용이 가능하다. Tesseract에 대한 외부 툴이나 래퍼, 트레이닝 프로젝트는 AddOns에 나열돼있다. Tesseract는 Aparche 2.0 License 하에 당신의 프로젝트에서도 사용이 가능하다. 모든 기능을 갖춘 API가 있으며, 안드로이드와 아이폰을 .. 공감수 0 댓글수 0 2023. 7. 17.
[ML] OCR(Optical Character Recognition, 광학 문자 인식) AWS에서 설명하는 OCR은 아래와 같다. : OCR은 이미지 파일의 텍스트를 기계가 읽을 수 있는 텍스트 포맷으로 변환하는 과정을 말한다. 예를 들어, 당신이 어떤 양식이나 영수증을 스캔한다면, 당신의 컴퓨터는 이를 이미지 파일로 저장할 것이다. 당신은 텍스트 에디터로 이 이미지 파일을 수정, 검색 또는 단어 개수 세기 등을 할 수 없다. 하지만 당신이 ocr을 이용해 이 이미지 파일을 텍스트 문서로 변환해 텍스트 데이터로 저장한다면 수정이나 검색 등이 가능하다. : Optical Character Recognition (OCR) is the process that converts an image of text into a machine-readable text format. For example, i.. 공감수 0 댓글수 0 2023. 7. 13.
[ML] Calinski-Harabasz Index (칼린스키-하라바츠 인덱스) Calinski-Harabasz Index는 Variance Ration Criterion (VRC) 라고도 알려져 있으며 직역하자면 분산 비율 기준이다, 데이터에서 최적의 클러스터 수를 결정하기 위한 평가 지표로. 1974년 칼린스키와 하라바츠가 제안했다. 평가 지표는 Internal Validation 기법과 External Validation 기법이 있는데 데이터에 label이 없을 시 Internal Validaiton 기법을 사용할 수 있으며 여기에는 Calinski-Harabasz Index 외에 Silhoutte Score, Davies-Bouldin Index 등이 있다. 이 지표는 클러스터 간 분산 합계와 클러스터 내 분산 합계의 비율을 기반으로 한다. 직관적으로, 이 비율은 클러스터 내.. 공감수 0 댓글수 0 2023. 6. 27.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.