Daniel's blog

예시를 통해 t-SNE를 이해해보자. 특징에 기반해 동물 유형을 시각화 하는 예시다. 다양한 동물의 데이터 집합이 있고 각 동물에 대해 체중, 키, 수명, DNA 유사성 등 100개의 서로 다른 특징을 측정해 100차원 공간을 만든다고 가정해보자. 우리의 목표는 이러한 특징을 기반으로 국소적 유사성을 유지하면서 2D 공간에서 이러한 동물들이 서로 어떻게 관련되어 있는지를 시각화 하는 것이다. 고차원 유사성 : "고양이"라는 한 동물을 선택해 보자. 데이터 세트의 다른 모든 동물에 대해 해당 동물이 얼마나 "고양이"와 유사한지를 나타내는 확률을 계산하고, 이 유사성은 100차원 공간에서 "고양이"와 다른 모든 동물 사이의 유클리트 거리를 기반으로 한다. 예를 들어, "고양이"와 "호랑이"와 같은 두 동물이..

이전 포스팅에서 설명한 SNE (Stochastic Neighbor Embedding) 의 업그레이트 버전으로, 고차원 데이터의 축소 및 시각화를 위해 설계된 Machine Learning 알고리즘이다. 특히, 기본 구조를 고차원으로 인식하기 어려울 수 있는 데이터 집합을 시각화하는 데 적합하다. 고안된 동기 : PCA 같은 차원 축소를 위한 많은 기법이 있지만, t-SNE는 특히 로컬 구조를 보존하도록 설계됐다. 즉, 고차원 공간에서 서로 가까운 점은 저차원 공간에서도 가깝게 유지되는 경향이 있다. 동작 방식 : 고차원 공간에서 쌍별 유사성 (pairwise similarities) 를 계산하는 것으로 시작한 다음, 고차원 포인트 쌍에 대한 확률 분포를 구성해 유사한 포인트가 선택될 확률이 높아지도록 ..

고차원 데이터의 차원 축소 및 시각화를 위해 많이 사용되는 t-SNE (Machine Learning 알고리즘)을 살펴보기에 앞서, 이전 버전이라고 할 수 있는 SNE (Stochastic Neighbor Embedding)에 대해 알아보자. SNE는 t-SNE와 마찬가지로, 고차원 데이터의 차원 축소 및 시각화를 위한 기법으로, 주요 목표는 고차원 공간에서 저차원 공간으로 데이터를 매핑할 때 로컬 구조를 보존하는 것이다. 고차원 공간과 저차원 공간의 두 가지 확률 분포 사이의 차이를 최소화 하여 이를 수행한다. 동작 방식 : 고차원 공간의 각 데이터 포인트 쌍에 대해 SNE는 해당 포인트의 유사성을 나타내는 조건부 확률을 계산한다. 이 작업은 특정 지점을 중심으로 Gaussian centered을 사용..