딥러닝 기반의 순방향 전파형 가중치 양자화 기법

초록

여러 분야에서 뛰어난 성능을 보이는 딥러닝은 뉴럴 네트워크의 은닉 계층을 늘려 깊은 네트워크 구조를 형성할 수 있다. 이에 따라 복잡한 데이터를 쉽게 분류할 수 있으나, 가중치 수 증가로 인해 학습 연산량 및 메모리가 증가한다. 이처럼 많은 연산과 메모리가 필요한 딥러닝은 일반적으로 클라우드 상으로 학습하나, 클라우드는 사용자와의 통신상태가 원활해야 하며 서비스 비용에 대한 부담감 및 개인정보 유출에 대한 위험성을 가진다. 이러한 문제를 해결하기 위해서 딥러닝을 임베디드 디바이스에 탑재해야 하며 온디바이스 탑재를 위한 네트워크 경량화가 필요하다. 경량화 기법으로는 프루닝 기법과 양자화 기법이 널리 사용되고 있으며 기존 양자화 기법은 비지도 학습 중 하나인 K-means를 사용하여 각 계층의 가중치들을 군집화하여 대푯값을 결정한다. K-means 기법에서 군집의 개수를 의미하는 K는 시행착오 방법을 통해 설정해야 하며 이에 따른 오버헤드가 발생한다. 또한, 기존 양자화 기법은 네트워크 각 계층의 연결 관계를 무시한 채 독립적으로 양자화한다. 우리는 연산 오버헤드 문제를 해결하기 위해 가중치들의 통계적 정보를 이용한 즉각적 가중치 양자화 기법을 제안하고 네트워크 각 계층의 의존관계를 고려하여 순차 적으로 양자화함으로써 향상된 학습 성능을 보여준다.

키워드