스마트 팩토리 구축을 위한 동적인 환경에서의 DQN 강화학습 기반 로봇 최적 이동 경로 탐색

초록

스마트 팩토리에서 사용되는 로봇들은 대부분 사용자가 원격 조종하거나, 라인 트레이서 기법으로 대부분 출시되어 상용화 되었다. 이 로봇들은 지정된 공정 위치 또는 알람 경보가 작동된 위치로 이동하여 부속품을 전달하거나 수리를 하는 데 사용된다. 하지만 이러한 방법들은 수시로 변하는 공정 라인 배치와 고장 발생 위치에 의해기존의 알고리즘을 적용하기 어렵다는 문제가 있다. 본 논문에서는 이러한 문제를 해결하기 위해 상황 변화에 능동적이고 유연하게 대처할 수 있는 강화학습 모델을 제안한다. 제안하는 모델은 강화학습 알고리즘의 하나인 심층Q-네트워크를 이용한 모델로써 공장 내부 구조를 촬영한 이미지를 받아 현재 로봇의 위치에 대한 최적의 이동 경로를 도출해 낸다. 해당 방법을 통해 본 논문에서 제시하는 상황 변화에 능동적이고 유연하게 대처할 수 있는 시스템을 구축할 수 있다. 또한, 해당 시스템을 이용하면 에너지 절감 및 생산성 향상에 큰 기여를 할 수 있게 된다. 모의실험 결과 학습하지 않은 새로운 환경에서도 최적의 경로로 이동하는 결과를 보임으로써 제안된 방법이공장 내부의 구조 및 상황들을 고려하여 효율적으로 최적 경로를 도출하는 것을 확인하였다.

키워드