수중 릴레이 통신을 위한 PPO 기반 AUV 경로 최적화

초록

최근 수중 통신(UWC)은 신호 감쇠, 다중경로, 복잡한 수중 지형으로 인해 안정적인 통신 품질 확보가 어렵다. 이를 해결하기 위해 자율 수중 이동체(AUV)을 이동형 릴레이로 활용하는 연구가 진행되고 있으며, AUV의 경로는 통신 성능을 결정하는 핵심 요소이다. 기존의 다중스테이지 DQN 기반 방법은 긴 경로 환경에서 성능을 향상시켰으나, 경로 분할과 고정된 학습 구조에 의존함에 따라 시작 위치나 환경 변화에 따른 성능 편차가 존재한다. 본 연구에서는 경로 분할 없이 단일 정책이 전체 경로를 최적화하는 Reachable PPO를 제안한다. 제안 방법은 매 스텝 도달 가능 영역의 정보를 반영하여 전역적인 관점에서 행동을 선택하도록 설계되었으며, 이를 통해 기존 방법의 한계를 해소한다. 시뮬레이션 결과, 제안 방법은 다양한 시작점과 해저 지형 조건에서 다중스테이지 DQN 대비 일관되게 최적 경로를 도출하는 성능을 보였다.

키워드