데이터 없는 비전 트랜스포머 경량화에서 희소 모델 인버전의 효과적인 강건성 향상 방법론

초록

모델 인버전은 원본 학습 데이터 없이, 사전 학습된 모델로부터 반복적인 최적화를 통해 합성 입력을 복원하는 데이터 없는 학습에서 널리 사용되는 기법이다. 그러나 최신 비전 트랜스포머에 이를 적용할 경우, 고비용의 셀프 어텐션 메커니즘으로 인해 큰 계산적 부담이 발생하게 된다. 이를 중요하지 않은 패치들을 모두 제거함으로써 효율성을 향상시키는 희소 모델 인버전이 제안되었다. 하지만 데이터가 없는 상황에서 검증 데이터의 부재로 인한 학습 불안정성의 증폭은 여전히 해결해야 할 문제로 남아 있다. 검증 데이터가 없는 환경에서는 모델의 정확도가 불확실해지고, 변동성이 커지므로, 모델의 강건성 향상이 필수적이다. 본 논문에서는 데이터 없는 환경에서 생성되는 이미지의 품질과 다양성을 일관되게 유지하여, 정확도에 대한 표준편차를 낮추고 강건성을 향상시키는 방법을 제안한다. 제안한 Adaptive AEM은 패치 제거 이후의 중요도를 재조정해 엔트로피 최소화를 촉진시킨다. 실험 결과, 제안한 방법으로 생성된 이미지를 사용하면 이전 방법론에 비해 데이터 없는 양자화에서는 최대 72%, 데이터 없는 지식 증류에서는 최대 49%까지 정확도의 표준편차를 줄여 모델을 강건하게 만들 수 있음을 입증한다.

키워드