흉부 X선 판독소견서 생성을 위한 재귀적 개선 프레임워크

초록

흉부 X선 판독소견서 생성은 해부학 구조의 중첩과 모호한 시각 정보로 인해 일반적인 자연 이미지 captioning보다 어렵다. 기존 방법들은 객체 탐지나 ROI 전처리와 같은 추가 정보를 활용하지만, 이는 추가 annotation 비용과 이식성 저하를 초래할 수 있다. 본 논문에서는 영상-판독소견서 pair만으로 학습된 기본 모델의 special token logit을 신뢰도 점수로 활용하여 문장 후보를 선별하고 반복적으로 갱신하는 재귀적 개선 프레임워크를 제안한다. MIMIC-CXR 데이터셋 실험 결과, 제안한 방법은 기존 방법 대비 임상 관련 평가에서 우수한 성능을 보였다.

키워드