Q-learning Based Ad-Hoc Network Formation Strategy for Wireless Nodes with Random Mobility Models
Nayoung Kim, Minhae Kwon, Hyunggon Park · 한국통신학회논문지 · 2021
분산형 네트워크는 고정된 네트워크 기반 망의 도움 없이 다수의 노드가 자율적으로 네트워크를 형성하고 유지할 수 있으며, 기반 시설에 구애받지 않고 다양한 환경에 적용할 수 있다는 장점이 있다. 그러나 모바일 기기의 수가 늘어남에 따라 최적의 네트워크를 구축하기 위한 계산 복잡도가 높아지고, 모바일 기기의 이동성으로 인해 네트워크 처리율을 안정적으로 유지하기 어렵다는 한계점이 존재한다. 또한, 모바일 기기의 경우, 일반적으로 배터리 기반으로 동작하기 때문에 제한된 배터리 용량 내에서 이동을 위한 모터 제어 에너지 소모량과 데이터 송수신을 위한 에너지 소모량을 모두 해결해야 한다는 어려움이 있다. 본 논문에서는 Q-learning 기반의 강화학습을 사용한 모바일 애드혹 네트워크 구축 알고리즘을 제시한다. 제안하는 방안은 랜덤하게 이동하는 노드들로 구성된 네트워크에서 중앙 제어 없이 전력 소모를 최소화하는 동시에 네트워크 처리율을 최대로 유지하는 것을 목표로 노드를 학습시킨다. 시뮬레이션 결과를 통해 제안한 알고리즘이 네트워크 크기와 이동 모델과 관계없이 항상 높은 네트워크 처리율을 유지할 뿐만 아니라 에너지 소비를 최소화할 수 있음을 확인하였다.