상세 보기
양자화 후 학습에서의 레이어에 적응적인 그래디언트 클리핑
Layer-adaptive Gradient Clipping in Quantization-Aware Training
- 박지훈;
- 송병철
초록
기존의 양자화는 배치 정규화 레이어를 폴드하므로 정규화 효과를 사용하지 못하여 정확도 감소가 발생한다. 본 논문에서는 이 정확도 저하를 해결하기 위해 양자화 후 학습에 그래디언트 클리핑을 적용하여 안정적인 성능을 이끌어냈으며 각 레이어에 적응적으로 그래디언트 클리핑을 위한 입력값으로 랜덤 클리핑 벡터를 취하는 MLP를 추가한 신경망을 제안한다.
키워드
Quantization-Aware training; Gradient clipping; Layer-adaptive
- 제목
- 양자화 후 학습에서의 레이어에 적응적인 그래디언트 클리핑
- 제목 (타언어)
- Layer-adaptive Gradient Clipping in Quantization-Aware Training
- 저자
- 박지훈; 송병철
- 발행일
- 2023-08
- 유형
- Y
- 저널명
- 전자공학회논문지
- 권
- 60
- 호
- 8
- 페이지
- 37 ~ 40