[ML] Disentangled Representation Learning(DRL)

 Cornell Univesity(코넬 대학교)의 한 Computer Science 수업 자료에 설명된 Disentalged Representation Learning에 대한 설명이다.

 

: Disentagled Representation Learning은 관찰 가능한 데이터에 숨어있는 기저 요인을 식별하고 얽힘을 풀 수 있는(disentangling) 모델을 표현 형태로 학습하는 것을 목표로 한다. 기저 요인의 변형을 의미를 갖는 변수로 분리하는 것은 설명 가능한 데이터 표현을 학습하는 데 도움이 되며, 이는 인간이 사물이나 관계를 관찰할 때 의미 있는 이해하는 과정을 모방한 것이다. 일반적인 학습 전략으로서, DRL은 컴퓨터 비전, 자연어 처리, 데이터 마이닝과 같은 광범위한 시나리오에서 모델의 설명 가능성, 제어 가능성, 견고성 및 일반화 능력을 향상시키는 데 그 위력을 입증해 왔다. 

 

: Disentangled Representation Learning (DRL) aims to learn a model capable of identifying and disentangling the underlying factors hidden in the observable data in representation form. The process of separating underlying factors of variation into variables with semantic meaning benefits in learning explainable representations of data, which imitates the meaningful understanding process of humans when observing an object or relation. As a general learning strategy, DRL has demonstrated its power in improving the model explainability, controlability, robustness, as well as generalization capacity in a wide range of scenarios such as computer vision, natural language processing, data mining etc. 

 

 한 AI 단체(DeepAI)는 Disentangled Representation Learning에 대해 아래와 같이 설명하고 있다.

 

: Disentangled Representation Learning은 비지도 학습 기법으로 각 특징(feature)를 엄밀하게 정의된 변수로 분해하거나 풀어내 별도의 차원으로 인코딩한다. 이것의 목표는 "고차원" 및 "저차원"추론을 모두 사용해 인간의 빠른 직관 과정을 모방하는 것이다. 예를 들어, 사람의 이미지를 처리하는 예측 네트워크는 키나 옷과 같은 "고차원적인" 특징(feature)를 사용해 성별을 결정한다. 이 모델의 생성 네트워크 버전은 사진 저장 데이터 베이스에서 사람의 이미지를 생성해 각 사람의 키, 팔다리 길이, 셔츠의 종류, 바지의 종류, 신발의 종류와 같은 별도의 저차원 특징(feature)으로 세분화한다.

 

:Disentangled representation is an unsupervised learning technique that breaks down, or disentangles, each feature into narrowly defined variables and encodes them as separate dimensions. The goal is to mimic the quick intuition process of a human, using both “high” and “low” dimension reasoning. For example, in a predictive network processing images of people, “higher dimensional” features such as height and clothing would be used to determine sex. In a generative network version of that model designed to produce images of people from a stock photo database, these would be broken down into separate, lower dimensional features. Such as: total height of each person, length of arms and legs, type of shirt, type of pants, type of shoe, etc…

 

참고

- https://arxiv.org/abs/2211.11695

- https://deepai.org/machine-learning-glossary-and-terms/disentangled-representation-learning