온디바이스 AI 추론을 위한 IREE 컴파일러 기반RISC-V SoC 아키텍처 설계 및 구현

초록

온디바이스 추론 수요가 증가함에 따라, 다양한 모델을 경량 하드웨어에서 실행할 수 있는 컴파일러 기반 SoC 설계가 주목받고 있다. 그러나 기존 ONNX-MLIR, NEST-C 기반 연구는 하드웨어별 코드 생성을 요구하고 특정 네트워크에 최적화되는 경향이 있어, 범용성과 유지보수성에 한계가 있다. 본 연구에서는 IREE 컴파일러가 산출한 VM Bytecode를 직접 해석 실행하는 RISC-V 기반 SoC를 설계하였다. 제안 SoC는 C로 구현한 인터프리터를 Rocket Core에서 구동하며, 공통 VM Bytecode와 ukernel 호출 경로를 활용해 하드웨어 재설계 없이 컴파일러 확장과 연산자 추가를 수용한다. 또한 온칩 RAM을 최소화하고 대규모 데이터는 호스트 메모리를 활용하여 엣지 자원 제약을 충족시켰다. 성능 평가는 Zynq ZC706 FPGA 상에서 MUL, MMT, MNIST 모델을 대상으로 Rocket Core의 데이터 캐시의 용량 변화가 추론 성능에 미치는 영향을 분석하였다. 1KB 캐시 크기 대비 최대 약 28.8%의 성능 향상이 관찰되었으며, 데이터 크기와 접근 패턴에 따라 캐시 용량 효과는 제한적으로 나타났다. 이를 통해 IREE 기반 컴파일러–하드웨어 결합 구조의 타당성을 확인하고, 온디바이스 추론에서 메모리 및 캐시 계층이 성능을 좌우하는 핵심 요소임을 실증하였다.

키워드