딥러닝 애플리케이션의 캐싱 및 오프로딩을 지원하는 엣지 서버의 설계 및 구현

초록

클라우드 환경 하의 딥러닝 애플리케이션 서비스의 응답속도를 향상시키기 위해 클라이언트와 근거리에 있는 엣지 환경에서 빠른 응답시간이 요구되고 있다. 하지만 제한된 자원과 전력을 가진 임베디드 디바이스에서 서비스를 안정적으로 제공하기에는 많은 문제점이 존재한다. 따라서, 본 논문에서는 딥러닝 애플리케이션 서비스를 제공하기 위해 임베디드 디바이스들로 클러스터 엣지 서버를 구현하고 서비스 캐싱을 사용한 작업 처리와 엣지 서버의 자원부족으로 인한 서비스 중단에 대비한 데이터센터로의 태스크 오프로딩을 구현하였다. 실험결과 각 딥러닝 서비스 모듈인 이미지ML과 스칼라ML에 대한 엣지 응답시간은 각각 323ms, 228ms이며 엣지의 대역폭 활용은 0.38Mbyte, 0.027Mbyte로 측정되었다.