[Machine Learning] Federated Learning (연합 학습)

Federated Learning은 로컬 데이터 샘플을 보유한 여러 분산형 edge device 또는 server에서 모델을 교환하지 않고도 학습할 수 있는 머신 러닝 접근 방식이다. 중앙 서버와 같은 한 곳에서 모든 데이터를 수집하는 대신 데이터가 저장된 곳으로 모델을 보내 로컬에서 학습한 다음 학습한 내용(예: model updates 또는 gradients)만 중앙 서버나 aggregator로 다시 보낸다. 이 프로세스는 원시 데이터가 디바이스를 벗어나지 않고 집계된 insight만 공유되므로 사용자 개인정보를 보호하는 데 도움이 된다.

 

특히 의료(환자 데이터), 금용(거래 기록) 또는 IoT(사물 인터넷) 디바이스와 같이 데이터 개인 정보 보호가 중요한 시나리오에서 유용하다. 또한 네트워크를 통해 대량의 데이터를 전송할 필요성을 줄여주므로 저대역폭 환경에서도 유용할 수 있다.

 

Federated Learning은 여러 디바이스에서 모델 일관성 보장(ensuring model consistency across devices), 이질적인 데이터 배포 처리(dealing with heterogeneous data distributions), 통신 오버헤드 관리(managing communication overhead)와 같은 고유한 과제를 안고 있다. 하지만 개인 정보 보호와 효율적인 분삭 학습의 잠재력으로 인해 머신 러닝 분야에서 활발한 연구와 개발이 이루어지고 있는 분야다.