Mobil robot için pekiştirmeli öğrenme tabanlı yerel yol planlaması


Tekerek M., Aydemir H.

Interdisciplinary Conference on Mechanics, Computers and Electrics, Ankara, Türkiye, 27 - 28 Kasım 2021, ss.197-201

  • Yayın Türü: Bildiri / Tam Metin Bildiri
  • Basıldığı Şehir: Ankara
  • Basıldığı Ülke: Türkiye
  • Sayfa Sayıları: ss.197-201
  • Yozgat Bozok Üniversitesi Adresli: Evet

Özet

Bir mobil robotun belirli bir hedef konuma gitmesi için farklı yöntemler kullanılmaktadır. Bu yöntemler, çevrimiçi ve çevrimdışı senaryolar için farklı şekillerde çalışır. Çevrimdışı senaryoda bir kez ortam haritası oluşturulur ve bu harita üzerinde hedefe ulaşmak için sabit yol planlaması yapılır. A* ve RRT (Rapidly-Exploring Random Tree) gibi yol planlama algoritmaları, çevrimdışı yöntemlere örnektir. Buradaki en belirgin durum, yüklenen haritanın değişen koşulları için yolu yeniden planlama ihtiyacıdır. Çevrimiçi senaryoda ise robot, sensörlerden gelen algılanan verileri kullanarak harita kullanmadan dinamik olarak belirli bir hedefe hareket eder. Online sistemlerde SFM (Social Force Model) gibi yaklaşımlar kullanılmaktadır. Bununla birlikte, bu yöntemler çok fazla dinamik algılama verisi gereksiniminden muzdariptir. Bu nedenle, çevrimdışı sistemlerde yeniden planlama ve haritalama ihtiyacı ve çevrimiçi sistemlerde çeşitli sistem tasarım gereksinimlerinin otonom mobil robot araştırmalarının odaklandığı konular olduğu söylenebilir. Son zamanlarda, derin sinir ağı destekli Q-Learning yöntemleri, mobil robot navigasyonunda bahsedilen sorunlara yeni ortaya çıkan bir çözüm olarak kullanılmaktadır. Bu çalışmada, derin Q-Learning (DQN) ve Derin DQN mimarilerine sahip makine öğrenmesi algoritmaları, otonom bir mobil robotun engellerden kaçınmak için yol planlamasını gerçekleştirmek üzere yukarıda sunulan problemlerin çözümü için değerlendirilmiştir.

Different methods are used for a mobile robot to go to a specific target location. These methods work in different ways for online and offline scenarios. In the offline scenario, an environment map is created once, and fixed path planning is made on this map to reach the target. Path planning algorithms such as A* and RRT (Rapidly-Exploring Random Tree) are the examples of offline methods. The most obvious situation here is the need to re-plan the path for changing conditions of the loaded map. On the other hand, in the online scenario, the robot moves dynamically to a given target without using a map by using the perceived data coming from the sensors. Approaches such as SFM (Social Force Model) are used in online systems. However, these methods suffer from the requirement of a lot of dynamic sensing data. Thus, it can be said that the need for re-planning and mapping in offline systems and various system design requirements in online systems are the subjects that focus on autonomous mobile robot research. Recently, deep neural network powered Q-Learning methods are used as an emerging solution to the aforementioned problems in mobile robot navigation. In this study, machine learning algorithms with deep Q-Learning (DQN) and Deep DQN architectures, are evaluated for the solution of the problems presented above to realize path planning of an autonomous mobile robot to avoid obstacles.