금융 감성 분석을 위한 Mamba 기반 어댑터 구조

초록

금융 텍스트 감성 분석은 투자 판단과 시장 예측에 매우 중요한 분야이며, 최근 대규모 언어 모델(LLM)의 발전과 도메인 특화 모델의 등장으로 인해 높은 분석 성능을 달성하고 있다. 하지만 금융 텍스트는 전문 용어와 숫자 정보가 많아, 적절한 구조로 처리하지 않으면 일반 도메인 모델보다 성능이 저하될 수 있다. 본 논문에서는 FinBERT 파라미터를 동결한 뒤, Mamba 기반 어댑터와 게이팅 네트워크를 도입하여 효율적으로 금융 텍스트를 학습하는 방법을 제안한다. Financial PhraseBank 데이터셋에서 정확도 91.03%, F1 스코어 0.9017을 달성하여 기존 최고 모델(LSTM-XGBoost) 대비 정확도 6.18%p, F1 0.0721 향상을 보였고, FiQA 2018 Task1에서는 정확도 66.06%, F1 0.6394로 각각 3.64%p, 0.0393 개선하였다. 이는 전면 미세튜닝 FinBERT 및 다른 PEFT 기법들을 능가하는 성능이다.

키워드