응답기반의 클래스별 적응형 온도지식 증류를 이용한 경량 딥러닝모델개발

초록

최근 컴퓨터 비전 모델의 성능이 급속도로 향상되고 있다. 하지만 모델의 파라미터 수가 증가하여 모바일 환경에서는 자원의 제약으로 모델 크기와 연산 시간을 최적화하는 경량화 연구가 필요하다. 경량화를 위한 효과적인 방법 중 하나인 지식 증류는 잘못된 확률적 지식까지 증류하는 문제를 가진다. 본 논문은 클래스별 적응형 온도 지식 증류를 통해 잘못된 확률적 지식을 증류하는 문제를 해결하고, 더 정제된 지식을 학생 모델에 전달하는 방법을 제안한다. 실험 결과, 제안한 방법이 기존 지식 증류 기법들보다 우수한 성능을 보임을 알 수 있다.