Reinforcement Learning based positive phototaxis of mobile robot with minimal sensing

Abstract

In this thesis a Q-learning based reinforcement learning algorithm was created to perform gradient following behavior in the form of phototaxis with a mobile robot. The framework was made to work under minimal sensing which used a single sensor for reward value tracking. To learn preferences over active and passive phases of movement, a four-state space was used by the algorithm. The proposed methodology contrasts previous approaches by using a single sensor instead of multiple, and by relying on learned control instead of direct motor control. The algorithm was tested in both simulation and an experimental setup to determine robustness and to test the generalization of the algorithm. The results were evaluated based on the robot’s movement towards the highest reward point and a one meter goal area around the peak. After arrival the robot spent majority of its time near the peak, and it learned to move towards its current heading when oriented towards the highest reward area. The results demonstrated consistent gradient following behavior for phototaxis with only a single sensor in both simulated and experimental environments. In the future this algorithm should be researched further by filtering sensor readings, attempting different parameter combinations, and experimenting with the usage of multiple agents or reward sources.

Tässä diplomityössä testattiin Q-oppimiseen perustuvaa vahvistusoppimisalgoritmia gradientin seuraamiseen fototaksian muodossa mobiilirobotilla. Runko toimii minimaalisen sensoritekniikan avulla, joka käytti yhtä sensoria palkinnon arvon seuraamiseen. Algoritmi käytti neljän tilan tila-avaruutta oppiakseen mieltymyksiä, milloin valita aktiivinen tai passiivinen vaihe liikkeelle. Ehdotettu menetelmä eroaa edellisistä lähestymistavoista käyttäen yhtä sensoria usean sijaan ja käyttämällä opittua ohjausta suoran moottoriohjauksen sijaan. Algoritmin häiriönsietokyvyn määrittämiseksi sekä sen yleistettävyyden testaamiseksi muissa ympäristöissä, se testattiin sekä simulaatiossa että kokeellisessa ympäristössä. Saadut tulokset arvioitiin perustuen robotin liikkeeseen kohti korkeinta palkintopistettä, ja yhden metrin kokoista maalialuetta huipun ympärillä. Robotti vietti suurimman osan ajastaan huipun läheisyydessä saapumisen jälkeen ja oppi liikkumaan kohti nykyistä kulkusuuntaansa, kun se oli kohti korkeinta palkintoaluetta. Tulokset osoittivat fototaksisen gradientin seurannan olevan mahdollista yksittäisellä sensorilla sekä simuloiduissa että kokeellisissa ympäristöissä. Tulevaisuudessa algoritmia tulisi tutkia suodattamalla sensorin lukemia, testaamalla erilaisia parametrien yhdistelmiä, ja kokeilemalla useamman agentin tai palkintolähteen käyttämistä.