태스크 점진 학습에서의 적대적 생성 신경망과 베이지안 신경망을 활용한 모델 재생성

초록

지속적인 학습이 가능한 인간과는 대조적으로 딥러닝 모델은 학습하는 태스크가 점진적으로 들어오는 상황에서 기존의 성능을 유지하는데 상당한 어려움을 갖는다. 본 논문에서는 신경망 재생성 기반의 새로운 태스크 점진 학습 방법인 ParameterGAN을 제안한다. 제안된 방법은 적대적 생성 학습을 활용하여 사전 학습한 베이지안 신경망의 파라미터와 유사한 분포를 가지는 신경망 자체를 재생성하고, 유사 리허설(pseudo-rehearsal) 방식을 통해 치명적 망각 없이 과거 모든 시점의 신경망을 재생성하여 지속학습을 가능하게 한다. 다양한 실험을 통해 재생성한 파라미터로 구성된 합성 모델의 성능이 사전 학습된 모델의 성능에 준함을 확인하고, 태스크 점진 학습 상황인 Split-MNIST, Permuted-MNIST 벤치마크 실험에서 제안 방법이 기존의 다른 방법보다 더욱 우수한 성능을 보임을 확인한다.

키워드