색상 제어 MLP 어댑터를 적용한 Stable Diffusion 기반 2D 실내 리라이팅 시스템

초록

최근 인테리어 디자인 플랫폼들이 AR 및 3D 렌더링 기술을 빠르게 도입하고 있으나, 기존 온라인 시뮬레이터와 AR 서비스가 제공하는 조명 미리보기 기능은 광학 효과가 반영되지 않아 실제 공간의 분위기를 체감하는 데 한계가 있다. 본 논문에서는 이러한 현실감의 격차를 해소하기 위해 AI 기반 2D 실내 리라이팅 시스템을 제안한다. 제안한 시스템은 이미지 전체의 스타일을 변환하는 대신 실제 조명 기구 위치에 광원을 적용하는 조명 기구 기반 리라이팅을 수행하며, 사용자 경험 향상을 위해 다중 색상 조명 변경을 지원한다. Latent-Intrinsics와 확산 모델을 기반으로 램프 객체에 특화되도록 U-Net의 Cross-attention을 미세 조정하고, 안정적인 색상 주입을 위해 학습된ControlNet과 Color Adaptor를 적용하였다. 실험 결과, 기존 베이스라인 모델 대비 우수한 색상재현력과 RMSE와 LPIPS 성능이 약 2.5배, SSIM은 약 1.2배 향상되었다. 연구 결과는 AR 기반 인테리어 서비 스를 위한 정교한 조명 미리보기 기술로 활용되기를 기대한다.

키워드