Soft Actor-Critic 기반 계층형 메모리 시스템에서의 적응형 메모리 관리 기법

초록

본 논문은 계층형 메모리 시스템에서 발생하는 페이지 마이그레이션 오버헤드와 자원 경합 문제를 해결하기 위해 강화학습 기반의 동적 제어 프레임워크를 제안한다. 기존의 단일 메트릭 기반 정책은 워크로드 접근 패턴과 시스템이 급변하는 환경에서 최적 운영점을 지속적으로 추적하기 어렵다. 이를 극복하기 위해 본 연구는 다변량 상태 공간을 설계하여 시스템의 동적 변화를 보다 빠르게 반영하도록 하였다. 또한 Soft Actor-Critic(SAC)을 활용하여 처리량 향상, 혼잡도 억제, 제어 진동 완화를 함께 고려한 다목적 비용 인지형 보상 함수를 기반으로 커널의 승격 속도 제한을 동적으로 조정한다. 실제 Linux 커널 환경에서 평가한 결과, 제안 기법은 워크로드 접근 패턴 변화 시 평형점 수렴 시간을 기존 대비 약 15.6% 단축하였으며, 평균 처리량을 1.93% 향상시켰다. 특히 극심한 자원 경합 상황에서도 불필요한 마이그레이션을 1.47% 억제하여 시스템을 보다 안정적으로 유지할 수 있음을 보였다.

키워드