[CV] Parameter VS. Hyperparameter

Parameter (매개변수, 파라미터) 와 Hyperparameter (하이퍼파라미터) 는 서로 다른 역할을 한다. Parameter는 트레이닝 중에 학습되는 반면, Hyperparmeter는 학습 전에 설정돼 모델의 트레이닝 방법을 제어한다. 더 자세히 알아보자.

 

Parameter

• 정의
  : Parameter는 학습 데이터로부터 학습되는 모델의 내부 변수다. 이러한 값은 학습 과정에서 최적화 기법(예: 신경망의 역전파 - backpropagation in neural networks)을 통해 조정된다.
• 예시
  • 신경망의 가중치 및 편향 (Weights and biases in a neural network)
  • CNN (컨볼루션 신경망)의 필터 가중치
  • 의사 결정 트리의 의사 결정 임계값
• 사용법
  : Parameter는 학습 중에 모델이 자동으로 학습해 손실 함수 (Loss function)를 최소화하거나 모델의 성능을 최적화한다.

Hyperparameter

• 정의
  : Hyperparameter는 학습 과정이 시작되기 전에 설정되는 외부 구성이다. Parameter와 달리 모델이 학습하는 것이 아니라 학습 과정을 제어하는 데 사용된다.
• 예시
  • 학습 속도 (Learning rate)
  • 신경망의 레이어 수
  • CNN에서 컨볼루션 필터의 크기
  • Batch size 또는 Epoch 횟수
  • Dropout rate 또는 L2 페널티와 같은 정규화 매개변수 (Regularization Parameter)
• 사용법
  : Hyperparameter는 최상의 모델 성능을 얻기 위해 실험 (수동 튜닝, 그리드 검색 또는 무작위 검색과 같은 자동화된 방법)을 통해 튜닝하는 경우가 많다.