점진적 필터 가지치기와 적응형 응답 증류 기반경량 이미지 초해상도

초록

저해상도 이미지를 고해상도 이미지로 변환하는 이미지 초해상도(SR) 기법은 딥러닝의 발전과 함께 비약적인 성능 향상을 이루었다. 그러나 변환기 모델, 확산 모델과 같은 최신 기법들은 막대한 연산량을 요구하여 경량화에 대한 필요성이 증가하고 있다. 이를 해결하기 위해 모델 가지치기와 지식 증류 기반의 다양한 경량화 연구가 활발히 이루어지고 있으며, 최근에는 두 기법을 연계하여 효율성과 성능을 동시에 향상시키려는 시도가 이루어지고 있다. 본 논문에서는 SR 모델 경량화를 위해 모델 가지치기와 지식 증류를 순차적으로 적용하는 두 단계 학습 프레임워크를 제안한다. 먼저, 필터 제거 범위와 구조 보존의 균형을 고려한 점진적 지역 필터 가지치기로 효과적인 모델 경량화를 수행하고, 이어서 기존 L1 응답 증류 방식의 한계를 보완한 마스크 기반 적응형 응답 증류를 통해 중요 정보 중심의 효과적인 지식 전달을 실현한다. 제안한 프레임워크는 다양한 벤치마크 SR 데이터셋에서 기존 경량 SR 모델 대비 우수한 성능과 효율성을 동시에 달성함을 실험을 통해 검증하였다.

키워드