[CG] Tensor (텐서)

Tensor 라는 용어가 Computer Graphics와 Machine Learning을 공부하면 자주 접하게 되는데 알아보자.

 

Tensor는 스칼라, 벡터, 행렬의 개념을 더 높은 차원으로 일반화한 수학적 객체다. Tensor는 다차원 숫자 배열로 생각할 수 있으며, 차원 수는 종종 Tensor의 순위 (rank) 또는 순서 (order) 로 불린다.

 

• 0th-order tensor (0차 텐서)
  : 스칼라로, 하나의 숫자에 불과하다.
• 1th-order tensor (1차 텐서)
  : 숫자의 배열이 벡터다. 예를 들어, [3, 4, 5] 배열은 3D 공간에서 벡터를 나타낸다.
• 2nd-order tensor (2차 텐서)
  : 2차원 숫자 배열인 행렬이다.
• 3rd-order tensor and higher (3차 텐서 이상)
  : 다차원 숫자 배열로, 데이터의 '큐브 (cube)' 또는 고차원 구조로 시각화 되는 경우가 많다.

Tensor는 물리학, 공학, 컴퓨터 과학 등 다양한 분야에서 널리 사용되는데 각 맥락에서 이해해보자.

 

• 물리학
  : Tensor는 공간의 물리적 특성을 설명하는 데 사용된다. 예를 들어, 물질에 가해지는 응력은 2차 Tensor를 사용해 설명할 수 있다.
• 머신 러닝 (Machine Learning), 딥 러닝 (Deep Learning)
  : TensorFlow, PyTorch와 같이 딥 러닝 라이브러리의 기본 요소다. 이 맥락에서 Tensor는 종종 다차원 데이터 배열을 나타낸다. 예를 들어, 이미지는 높이, 너비, 색상이라는 채널에 해당하는 치수를 가진 3차 Tensor로 표현될 수 있다.
• 미분 기하학 (Differential Geometry)
  : Tensor는 미분 가능한 다양체의 특성을 연구하는 데 사용되며 일반 상대성 이론에서 중요한 역할을 한다.

특히 computational setting (계산) 에서 Tensor로 작업할 때 더하기, 축소, 텐서 곱 (tensor product) 등 다양한 연산을 수행할 수 있다. 이러한 연산은 Tensor를 사용하는 분야에서 중요한 역할을 하는 경우가 많다.