에피소드 랜덤화 및 액션 노이즈를 통한 강화학습 기반의 포트폴리오 최적화 성능 향상

초록

포트폴리오 최적화는 투자 관리 위험을 감소시키고 수익을 극대화하기 위해 필수적이다. 최근 인공 지능 기술이 급격히 발달하면서 다양한 분야에서 이를 활용하기 위해 연구 중이며, 특히 금융 분야에서는 강화학습을 적용하기 위한 연구가 활발히 진행되고 있다. 그러나 대부분의 연구들이 과거 금융 데이터의 반복 학습으로 인한 에이전트 과적합 문제를 해결하지 못하고 있다. 이에 본 연구에서는 강화학습 기반의 포트폴리오 최적화에서 에피소드 랜덤화 및 액션 노이즈를 통해 과적합을 완화하는 기법을 제안한다. 제안된 기법은 에피소드마다 학습 데이터 기간을 랜덤화하여 다양한 시장 상황을 경험하게 함으로써 데이터 증폭의 효과와 액션 노이즈 기법을 활용하여 에이전트가 특정 상황에 대응할 수 있게 탐색을 촉진한다. 실험 결과 제안 기법을 적용하였을 때 기존 강화학습 에이전트보다 성능이 향상되었음을 확인할 수 있었으며 비교 실험을 통해 다양한 조건에서 제안하는 기법 모두 성능 향상에 기여하였음을 확인하였다.

키워드