메모리 효율적인 파라미터 생성 기반 지속학습

초록

파라미터 생성 기반 지속학습은 이전 태스크에 대한 안정성 유지에는 탁월하지만, 새로운 태스크에 대한 적응력이 부족하여 점진적으로 파라미터 생성 능력이 저하되는 문제에 직면한다. 또한, 파라미터 생성 모델(메타모델)의 최적 크기를 사전에 설정하기 어려워 메모리 효율성 문제가 발생할 수 있다. 본 논문은 이를 해결하기 위해 두 가지 기법을 제안한다. 첫째, Chunk Save & Replay 기법은 생성형 신경망의 취약한 부분들을 선별적으로 저장 및 재생하여 파라미터 생성 모델의 다양성을 유지하면서도 메모리를 효율적으로 사용할 수 있도록 한다. 둘째, Automatically Growing GAN 기법은 학습 태스크에 따라 파라미터 생성 모델의 메모리를 자동으로 확장하여 제한된 자원 환경에서 메모리를 효과적으로 활용할 수 있게 해준다. 실험 결과, 모델의 성능 하락을 최소화하면서 메모리 사용량을 크게 감소시킬 수 있었으며 신경망의 성능이 저하되었을 때 회복할 수 있는 능력을 입증하였다.

키워드