피부 병변 분류를 위한 VLP 모델의 지식 이전

초록

최근 심층신경망의 높은 인지능력은 항공, 전자, 컴퓨터 비전 등 다양한 분야에 적용되고 있다. 전문가 의 부족 및 조기진단이 중요한 피부 병변 분류에서 또한 활용하려는 시도가 증가하고 있다. 그러나, 데이터 셋의 부족으로 인해 성능 향상에 한계가 존재하여, 이를 지식 전이 기법으로 해결하고자 하였다. 하지만, 이또한 특정 도메인의 데이터를 학습할 때, 동일한 가중치를 부여하여 유사도를 계산하기 때문에 의료 분야에서의 활용이 제한적이다. 본 논문에서는 VLP 모델을 피부 병변 분류 과제에 지식 이전하기 위한 DE-VLM (Domain-Enhanced Vision-Language Model)을 제안한다. DE-VLM은 프롬프트에 도메인의 정보를 삽입하여 영상과 동일한 크기의 벡터로 생성한 후 합쳐 분류기에 입력된다. DE-VLM은 기존의 VLP 모델을 지식이전한 방법보다 약 35% 더 높은 분류 성능을 보였다.