머신러닝 기법을 적용한 하드웨어 데이터 프리페치 기법 구현

초록

프리페치 기법은 프로세서와 메모리 사이에서 발생하는 메모리 지연시간을 숨기고 성능 격차를 해소하기 위한 방법 중 하나로 프로세서가 자주 사용하는 데이터나 앞으로 사용할 데이터를 예측하고 캐시에 미리 올린다. 이는 프로세서의 메모리 접근 패턴이 길고 복잡해질수록 하드웨어의 구조가 복잡해지고, 매우 많은 저장 공간을 요구한다. 머신러닝 기반의 프리페치 기법인 LSTM (Long Short-Term Memory) 프리페치 기법은 LSTM 머신러닝 알고리즘을 이용하여 학습과 예측을 수행한다. 그러나 LSTM이 예측을 위해 필요로 하는 파라미터의 수가 많기 때문에 많은 파라미터 저장 공간을 요구한다. 본 논문에서는 프리페치의 예측기로서 RNN의 변형 알고리즘인 GRU (Gate Recurrent Unit)을 사용하고 워크로드의 메모리 접근 패턴을 GRU에서 학습하여 다음 접근 주소를 예측하는 프리페치 기법을 제안한다. 제안하는 기법은 우수한 예측 성능을 가진다. 파라미터의 개수를 줄였기 때문에 프리페처 설계시 파라미터를 읽고 쓰기 위한 저장 공간을 줄일 수 있다. 이는 다이면적을 크게 줄여 높은 에너지 소비 효율을 얻게 한다. 또한 예측을 위한 연산과정과 프리페치 주소를 생성하는 시간을 크게 줄인다.

키워드