트랜스포머 정책을 활용한 강화학습 기반 포트폴리오 최적화

초록

전통적인 포트폴리오 최적화는 학계와 산업계 모두에 큰 영향을 미쳤다. 그러나 이러한 접근은 실제 시장에 활용하기에 여러 제약 조건이 필요하다. 최근 인공지능 기술이 급격히 발전함에 따라 포트폴리오 최적화 분야에서도 인공지능을 활용한 연구가 활발히 진행되고 있으며, 그 중 FinRL이 주요 도구로 널리 활용되고 있고, EIIE 모델이 안정적인 성능을 보이고 있다. 그러나 해당 모델은 포트폴리오 자산군과 시간 정보를 파악하는 데 구조적 한계를 지니고 있다. 본 연구에서는 이러한 한계를 극복하기 위해 트랜스포머 구조를 접목하고자 하였다. 제안된 기법은 트랜스포머 인코더의 구조적 특성을 활용하여 금융 시장 정보를 효과적으로 이해하고, 강화학습 에이전트가 최적의 행동을 도출할 수 있도록 돕는다. 실험 결과, 제안된 기법을 적용함으로써 기존 모델 대비 유의미한 성능 향상을 확인하였으며, 비교 실험을 통해 최적의 모델을 제시한다.

키워드