스케치 조건에서 ControlNet 피처를 보정하는 사전 학습 확산 모델 디코더 기반 이미지 생성 기법

초록

최근 확산 모델의 발전으로 텍스트 또는 이미지 조건을 활용한 사용자 제어 이미지 생성이 가능해졌다. 그러나 스케치를 조건으로 사용할 경우, 애매한 선묘와 제한된 페어 데이터로 인해 일반화 성능이 저하되는 문제가 존재한다. 본 연구에서는 사전 학습된 확산 모델의 지식을 활용하여, 불완전한 스케치 제어 신호를 보정하는 기법을 제안한다. 제안 기법은 FID-I, CLIP score, LPIPS 등 다양한 지표에서 기존 기법 대비 최대 18.1% 성능 향상을 달성하였으며, 정량적·정성적으로 모두 우수한 결과를 나타낸다.

키워드