[CV] Image Segmentation (이미지 분할)

Image Segmentation은 이미지를 단순화하거나 분석하기 쉬게 하기 위해 이미지를 여러 세그먼트 또는 영역으로 나누는 컴퓨터 비전의 중요한 작업이다. 각 세그먼트는 색상, 질감, 강도 또는 기타 속성 등 유사한 특성을 공유하는 픽셀 그룹을 나타낸다. 세그멘테이션은 배경에서 관심 있는 물체나 영역을 분리하거나 이미지 내에서 서로 다른 물체를 분리하는 데 도움이 된다. Image Segmentation은 많은 컴퓨터 비번 응용에서 기본적인 역할을 하며, 기계가 시각 정보를 보다 효과적으로 이해하고 처리할 수 있도록 도와준다.

 

Image Segmentation의 유형:

1. Semantic Segmenatation (의미적 분할)
   1. Semantic Segmentation 에서는 이미지의 각 픽셀이 특정 클래스로 분류된다. 특정 글래스 (예: 하늘, 사람, 도로 등)에 속하는 모든 픽셀이 함께 그룹화된다.
   2. 예: 자동차와 보행자가 있는 이미지에서 Semantic Segmentation은 모든 픽셀을 "자동차", "보행자" 또는 "배경"으로 레이블을 지정한다.
   3. 사용 사례: 자율 주행 (도로, 차량, 보행자 감지), 의료 영상(장기나 종양 식별).
2. Instance Segmentation (인스턴스 분할)
   
   1. Instance Segmentation은 각 픽셀을 분류할 뿐만 아니라 동일한 객체 클래스의 여러 인스턴스를 구분함으로써 의미론적 분할보다 한 단계 더 나아간다.
   2. 예: 사람이 많은 경우, Instance Segmentation은 모든 사람이 같은 클래스 (예: '사람')에 속하더라도 각 사람을 고유한 인스턴스로 식별하고 분리한다.
   3. 사용 사례: 개체 수 세기, 로봇 공학 (특정 개체 조작), 이미지 편집
3. Panoptic Segmentation (파놉틱 분할)
   1. Panoptic Segmentation은 Semantic Segmentation과 Instance Segementation의 조합이다. 이미지의 모든 픽셀에 Semantic Label을 할당하는 동시에 다양한 객체 인스턴스를 구분한다.
   2. 사용 사례: 복잡한 환경에서의 장면 이해
4. Edge-based Segmenetation (엣지 기반 세분화)
   1. 이 방법은 Edge Detection 기술을 사용해 이미지에서 개체 간의 경계를 찾는다. 감지된 Edge는 개체 경계의 윤곽을 그려 세그먼트를 형성하는 데 사용된다.
   2. 사용 사례: 모양 감지(Shape Detection), 물체 인식(Object recognition)
5. Region-based Segmentation (영역 기반 세분화)
   1. Region-growing 방법은 seed point로 시작해 일부 유사성 기준(예: pixel intensity)에 따라 인전합 픽셀을 영역에 추가한다.
   2. Split-and-merge 방법은 동질성을 기준으로 이미지를 여러 영역으로 나누고 유사한 특성을 가진 영역을 병합한다.
   3. 사용 사례: 위성 이미지 분석, 의료 영상
6. Thresholding (임계값)
   
   1. Thresholding은 가장 간단한 형태의 세분화이다. 임계값을 기준으로 픽셀을 분리한다. 임계값을 설정하면 임계값을 초과하는 모든 픽셀은 한 영역으로 그룹화되고 나머지는 다른 여역으로 그룹화된다.
   2. 사용 사례: Binary image segmentation, 문서 스캔 (배경에서 텍스트 ㅜㅂㄴ리)
7. Clustering-base Segmentation (클러스터링 기반 세분화)
   1. K-means 클러스터링 기반 방법에서는 픽셀이 특징 유사성 (색상, 강도 등)에 따라 클러스터로 그룹화된다. 각 클러스터는 서로 다른 세그먼트를 나타낸다.
   2. 사용 사례: 색상 기반 이미지 세분화, 자연스러운 이미지 분석

Image Segmentation의 응용 분야

1. Medical Imaging (의료 영상)
   : 진단, 치료 계획 및 모니터링에 도움이 되는 MRI, CT 또는 X-ray 이미지에서 종양을 세분화한다.
2. Autonomous Vehicles (자율주행 차량)
   : 도로, 보행자, 차량 및 기타 물체를 세분화하여 안전한 주행 결정을 내릴 수 있도록 지원합니다.
3. Object Detection and Recognition (물체 감지 및 인식)
   : 이미지에서 물체를 분리하여 물체 감지 또는 인식이 더 쉬워지도록 한다.
4. Satellite Image Analysis (위성 이미지 분석)
   : 위성 이미지에서 숲, 도시 지역, 수역, 농경지 등 다양한 유형의 토지 지형을 세분화한다.
5. Face Recognition (얼굴 인식)
   : 얼굴 감지 및 인식을 위해 배경에서 눈, 코, 입과 같은 얼굴 특징을 세분화한다.

Image Segmentation 방법

1. 고전적인 방법
   1. Thresholding
      : 픽셀 강도 값에 기반한 Binary segmentation
   2. Edge Detection
      : Edge detectors (예, Sobel, Canny)를 사용해 객체 경계 찾기
   3. Region Growing
      : 픽셀 유사성을 기반으로 Seed point에서 영역 화장
   4. Watershed Segmentation
      : 이미지를 픽셀 강도가 높이를 나타내는 지형도로 취급하고 "flooding"을 기준으로 영역을 분리
2. 최신 딥 러닝 기반 방법
   1. Fully Convolutional Networks (FCNs)
      : 이러한 네트워크는 픽셀 단위의 분류를 생성할 수 있으므로 Semantic segmentation와 같은 작업에 적합
   2. U-Net
      : Symmetric encoder-decorder 구조를 사용해 분할된 영역을 추력하는 생물의학 이미지 분할에 널리 사용되는 아키텍처
   3. Mask R-CNN
      : Mask prediction branch (마스크 예측 분기)를 추가해 더 빠른 R-CNN을 확장하는 인스턴스 분할을 윟나 최첨단 아키텍처

Image Segmentation의 도전 과제

1. Complex scenes
   : 겹치는 오브젝트, 오클루전 (맞물림, 폐색 등) 또는 서로 다른 오브젝트에서 유사한 텍스처/색상 처리
2. Scale variations
   : 동일한 이미지에서 서로 다른 배율로 나타나는 물체는 세그멘테이션을 어렵게 만들 수 있음
3. Noise
   : 노이즈가 많거나 조명이 어두운 이미지는 segmentation 품질을 방해할 수 있음