[ML] SNE (Stochastic Neighbor Embedding)

고차원 데이터의 차원 축소 및 시각화를 위해 많이 사용되는 t-SNE (Machine Learning 알고리즘)을 살펴보기에 앞서, 이전 버전이라고 할 수 있는 SNE (Stochastic Neighbor Embedding)에 대해 알아보자.

 

SNE는 t-SNE와 마찬가지로, 고차원 데이터의 차원 축소 및 시각화를 위한 기법으로, 주요 목표는 고차원 공간에서 저차원 공간으로 데이터를 매핑할 때 로컬 구조를 보존하는 것이다. 고차원 공간과 저차원 공간의 두 가지 확률 분포 사이의 차이를 최소화 하여 이를 수행한다.

 

1. 동작 방식
   : 고차원 공간의 각 데이터 포인트 쌍에 대해 SNE는 해당 포인트의 유사성을 나타내는 조건부 확률을 계산한다. 이 작업은 특정 지점을 중심으로 Gaussian centered을 사용해 수행된다. 저차원 공간에서도 Gaussian으로 유사한 조건부 확률을 계산한다. 이 알고리즘은 각 포인트에 대한 고차원 확률 분포와 저차원 확률 분포 사이의 Kullback-Leiber (KL) divergence를 최소화한다. 이 차이는 한 확률 분포가 어떻게 분기되는지와 두 번째 예상 확률 분포와는 어떻게 다른지를 측정한다.
   
   
2. 한계와 t-SNE의 필요성
   * Crowding Problem
   : SNE를 실제 데이터에 적용했을 때 종종 "Crowding Problem"라는 현상이 발생한다. 간단히 말해, 고차원 공간의 점들이 저차원 공간으로 압축될 때 멀리 떨어진 클러스터는 서로 모여들고 가까운 점들은 서로 밀어내는 경향이 있다. 이로 인해 데이터의 고유한 구조가 손실돼 시각화에 좋지 않을 수 있다.
   - Cost Function의 대칭성
   : SNE의 Cost Function은 고차원과 저차원의 조건부 확률과 관련해 대칭적이지 않아 최적화에 어려움을 겪는다.

저차원 공간에서 Gaussian 대신 Student's t-distribution 을 사용하면 Crowding Prblem 을 완화할 수 있다. t-distribution은 더 무거운 tails(꼬리)를 가져, 멀리 떨어진 점들은 더 멀리 모델링 할 수 있다. Cost Function의 비대칭성 역시 t-SNE를 통해 더욱 안정되고 나은 시각화를 생성할 수 있다. 즉, SNE가 차원 축소 시 로컬 구조를 보존할 수 있는 기반을 마련하고, t-SNE는 그 한계를 개선해 고차원 데이터를 시각화하는 데 널리 사용됐다.

 

참고

- https://proceedings.neurips.cc/paper_files/paper/2002/file/6150ccc6069bea6b5716254057a194ef-Paper.pdf

- https://medium.com/swlh/review-sne-stochastic-neighbor-embedding-data-visualization-ef75880da6f7