빠르고 효율적인 연합학습을 위한 잠재공간 정보 공유 기술

초록

연합학습에서 각 클라이언트는 자신의 로컬(local) 데이터를 사용해 모델을 훈련한 후 서버가 이를 취합한다. 이때, 로컬 데이터 분포가 글로벌(global) 데이터 분포와 크게 다른 경우 각 로컬 모델 최적화 경로가 글로벌 목적함수에 정렬되지 않는, 클라이언트 드리프트(client drift)현상이 발생한다. 본 논문은 이러한 문제를 해결하기 위해 잠재공간에서의 정보를 클라이언트 사이에 교환하는 새로운 연합학습 기술을 제안한다. 제안한 잠재공간 정보 공유 기술은 연합학습 기본 알고리즘인 FedAvg 대비, 약 4%의 추가 통신 비용만으로 최고 11.3% 더 높은 CIFAR-10 검증 정확도를 달성했다. 이러한 실험 결과를 통해 잠재공간에서의 정보 공유가 연합학습을 효과적으로 가속하고, 모델 정확도를 향상함을 입증한다.