GAN에서의 점진학습을 위한 잠재벡터 저장 기반 리허설 방법

초록

인간과 달리 딥러닝 모델에게 다수의 태스크에 대한 순차적 학습은 어려운 문제이다. 이는 비단 분류모델뿐만 아니라 GAN과 같은 생성모델도 해당한다. GAN 지속학습 연구에서 주로 사용하는 Generative Replay 방식은 직전 태스크까지 학습된 GAN이 생성한 이미지를 새로운 태스크 학습 시 함께 사용하는데, 비교적 어려운 태스크에 속하는 CIFAR10에 대해서 좋은 품질의 이미지를 생성하지 못한다. 따라서 실제 이미지의 일부를 저장하는 리허설 기반 방법을 고려해볼 수 있는데, 실제 이미지는 큰 차원을 가지기 때문에 제한된 메모리에 많은 양을 저장할 수 없다. 본 논문에서는 기존 리허설 기반 방식에서 이미지를 저장하는 대신에 GAN의 입력이 되는 잠재벡터를 저장하는 지속학습 방법 LactoGAN과 LactoGAN+를 제안한다. 그 결과 같은 메모리에 더 많은 이미지 정보의 저장이 가능하게 되어 기존 GAN 지속학습 방법들에 비해 더 우수한 결과를 보임을 확인하였다.

키워드