동적인 파일 요청 패턴에 적응하는 심층 강화 학습 기반 캐시 적중률 향상 기법

초록

엣지 캐싱에서 캐시 적중률(hit ratio)을 높이는 것은 제한된 캐시 용량 내에서 파일 요청을 효과적으로 처리하고 네트워크 및 시스템 자원을 최적화하기 위해 중요하다. 본 연구에서는 심층 강화 학습(Deep Reinforcement Learning, DRL)을 기반으로 한 파일 캐시 관리 방법을 제안한다. 제안된 방법은 제한된 캐시 자원을 효율적으로 활용하여 동적인 파일 요청 패턴에 적응하고, 캐시 적중률을 개선함으로써 데이터 접근 성능을 향상시키는 것을 목표로 한다. 특히, 근위 정책 최적화(Proximal Policy Optimization, PPO) 알고리즘을 활용하여 캐시 교체 정책을 지능적으로 관리하고, 연속적인 액션 공간의 복잡성을 효과적으로 처리한다. PPO 네트워크는 캐싱 결정을 위한 액션 공간, 파일 접근 패턴의 변화를 반영하는 관찰 공간, 그리고 다양한 캐싱 전략의 비용 및 이익을 평가하는 보상 모델로 구성된다. 실험 결과, 제안된 방법은 기존 탐욕 알고리즘 대비 캐시 적중률을 최소 2.28%, 최대 16.25%까지 향상시키며, 제한된 캐시 환경에서 DRL 기반 접근법의 실효성을 입증하였다.

키워드