정수 연산만을 사용하는 하드웨어 친화적인 양자화된 CNN 구현

초록

최근 컴퓨터 비전 분야에서 CNN을 이용한 연구가 우수한 성능을 보여줌에 따라 보편적인 연구방법으로 자리 잡았다. 하지만 높은 성능을 얻기 위해서는 많은 수의 파라미터와 높은 연산 복잡도를 갖는 CNN 모델이 필요하다. 이러한 모델은 하드웨어 자원 사용량에 제한이 있는 환경에서는 적합하지 않다. 따라서 CNN 모델의 구조를 유지한 채 정밀도를 낮추어 연산 복잡도 및 메모리 사용량을 최적화할 수 있는 양자화 연구가 활발히 진행되고 있다. 하지만 대부분의 양자화 기법은 성능을 유지하기 위해 부동 소수점 스케일 인자를 사용하는 등 하드웨어 친화적이지 않은 방법들이 사용되었다. 따라서 본 논문에서는 하드웨어 친화적인 양자화 기법을 적용하여 양자화 인식 훈련을 수행하였고 양자화 인식 훈련으로 학습된 부동 소수점 파라미터를 정수 파라미터로 변환하였다. 그리고 오직 정수 연산만을 사용하는 기본 연산 블록들을 CNN으로 구성 및 계층 별 정밀도를 검증하는 기법을 제안한다. 8-bit로 양자화된 파라미터를 이용하여 정수 연산만을 사용하는 CNN의 성능을 CIFAR-10 데이터 세트로 평가한 결과, 부동 소수점 대비 파라미터 개수는 1/4로 줄었지만 정확도 하락은 0.71% 이하인 것을 확인하였다. 또한 기존의 양자화 인식 추론 기법과 비교하였을 때 추가적인 부동 소수점 연산기 대신 정수 연산기만을 사용하여 연산 복잡도를 낮출 수 있었으며 정확도 하락은 0.13% 이하인 것을 확인하였다.

키워드