Vehicle Collision Detection based on Synthetic Data using Deep Learning
Jokela, Timo (2021-05-21)
Vehicle Collision Detection based on Synthetic Data using Deep Learning
Jokela, Timo
(21.05.2021)
Julkaisu on tekijänoikeussäännösten alainen. Teosta voi lukea ja tulostaa henkilökohtaista käyttöä varten. Käyttö kaupallisiin tarkoituksiin on kielletty.
avoin
Julkaisun pysyvä osoite on:
https://urn.fi/URN:NBN:fi-fe2021092747183
https://urn.fi/URN:NBN:fi-fe2021092747183
Tiivistelmä
Computer vision and deep learning methods that process visual data have considerably improved during the last decade. This progress has also affected the development of so-called autonomous vehicles, which are able to act independently in the traffic.
One notable hindrance facing any deep learning application is the amount of quality data that is available. Data means the corpus of information from which the models learn new skills. Lack of good data is often the most significant hurdle a deep learning project faces.
When considering autonomous vehicles and traffic generally, this problem is particularly evident in a collision context, as there is very little accident data available for public use and research, particularly when the data should be both consistent and of good quality. This thesis presents a solution in which real data is substituted with data that is generated in a video game environment.
The solution proposed in this thesis can learn collision detection by looking at the synthetic data and then apply the learned information in detecting real collisions. The presented solution consists of three phases. The first two phases are object detection and object tracking which are used to identify and follow vehicles moving the video footage using deep learning. Information obtained in these phases is then transferred to the third phase, a collision detector, which attempts to infer if the tracked vehicle is moving normally or if it is participating in a collision.
Initial results indicate a promising although limited connection between synthetic and real-world data, and the proposed model is able to slightly surpass the performance of a trivial baseline. However, the generated synthetic training data is not entirely representative of its real-world counterpart, which results in some of the collision events being very difficult to detect properly. Konenäkö ja visuaalista dataa käsittelevät koneoppimismenetelmät ovat kehittyneet merkittävästi kuluneen vuosikymmenen aikana. Tämä edistys on myös näkynyt myös niin kutsuttujen autonomisten ajoneuvojen tuotekehityksessä, eli kehitettäessä liikennevälineitä, jotka kykenevät toimimaan liikenteessä itsenäisesti.
Eräs merkittävä hidaste mille tahansa koneoppimisen sovellutukselle on saatavilla olevan laadukkaan datan määrä. Datalla tarkoitetaan sitä tietoaineistoa, jonka avulla koneoppimisen mallit oppivat uusia taitoja. Laadukkaan aineiston puute on usein merkittävin este, jonka moni koneoppimiseen liittyvä projekti kohtaa.
Autonomisista ajoneuvoista sekä yleisesti liikenteestä puhuttaessa edellä mainittu koskee erityisesti onnettomuuksia, joista ei juurikaan ole tarjolla yhdenmukaista ja hyvälaatuista dataa julkista käyttöä ja tutkimusta varten. Tämä opinnäytetyö esittelee ratkaisun, jossa todellinen onnettomuusdata korvataan videopeliympäristössä luodulla datalla.
Tutkielmassa esiteltävä ratkaisu kykenee oppimaan törmäyksen tunnistuksen keinotekoisesta datasta ja sen jälkeen soveltamaan opittua tietoa todellisiin törmäyksiin. Tutkielman ratkaisu koostuu kolmesta erillisestä osa-alueesta. Kaksi ensimmäistä osa-aluetta ovat kohteiden tunnistaminen ja seuranta, joiden avulla jäljitetään videoaineistossa liikkuvia ajoneuvoja. Tiedot liikkuvista ajoneuvoista siirretään törmäyksiä tunnistavalle mallille, joka pyrkii päättelemään, liikkuuko seurattava ajoneuvo normaalisti vai onko se osallisena törmäyksessä.
Mallinnukset tuottavat lupaavia tuloksia, mutta yhteys keinotekoisen ja todellisen datan välillä jää osin vaillinaiseksi. Esitetty törmäyksiä tunnistava malli onnistuu hienoisesti parantamaan tuloksia verrattuna triviaaliin vertailukohtamalliin. Keinotekoinen data ei kuitenkaan täysin vastaa todellisia törmäyksiä, mistä johtuen mallin on erittäin vaikea tunnistaa joitakin törmäystilanteita täsmällisesti.
One notable hindrance facing any deep learning application is the amount of quality data that is available. Data means the corpus of information from which the models learn new skills. Lack of good data is often the most significant hurdle a deep learning project faces.
When considering autonomous vehicles and traffic generally, this problem is particularly evident in a collision context, as there is very little accident data available for public use and research, particularly when the data should be both consistent and of good quality. This thesis presents a solution in which real data is substituted with data that is generated in a video game environment.
The solution proposed in this thesis can learn collision detection by looking at the synthetic data and then apply the learned information in detecting real collisions. The presented solution consists of three phases. The first two phases are object detection and object tracking which are used to identify and follow vehicles moving the video footage using deep learning. Information obtained in these phases is then transferred to the third phase, a collision detector, which attempts to infer if the tracked vehicle is moving normally or if it is participating in a collision.
Initial results indicate a promising although limited connection between synthetic and real-world data, and the proposed model is able to slightly surpass the performance of a trivial baseline. However, the generated synthetic training data is not entirely representative of its real-world counterpart, which results in some of the collision events being very difficult to detect properly.
Eräs merkittävä hidaste mille tahansa koneoppimisen sovellutukselle on saatavilla olevan laadukkaan datan määrä. Datalla tarkoitetaan sitä tietoaineistoa, jonka avulla koneoppimisen mallit oppivat uusia taitoja. Laadukkaan aineiston puute on usein merkittävin este, jonka moni koneoppimiseen liittyvä projekti kohtaa.
Autonomisista ajoneuvoista sekä yleisesti liikenteestä puhuttaessa edellä mainittu koskee erityisesti onnettomuuksia, joista ei juurikaan ole tarjolla yhdenmukaista ja hyvälaatuista dataa julkista käyttöä ja tutkimusta varten. Tämä opinnäytetyö esittelee ratkaisun, jossa todellinen onnettomuusdata korvataan videopeliympäristössä luodulla datalla.
Tutkielmassa esiteltävä ratkaisu kykenee oppimaan törmäyksen tunnistuksen keinotekoisesta datasta ja sen jälkeen soveltamaan opittua tietoa todellisiin törmäyksiin. Tutkielman ratkaisu koostuu kolmesta erillisestä osa-alueesta. Kaksi ensimmäistä osa-aluetta ovat kohteiden tunnistaminen ja seuranta, joiden avulla jäljitetään videoaineistossa liikkuvia ajoneuvoja. Tiedot liikkuvista ajoneuvoista siirretään törmäyksiä tunnistavalle mallille, joka pyrkii päättelemään, liikkuuko seurattava ajoneuvo normaalisti vai onko se osallisena törmäyksessä.
Mallinnukset tuottavat lupaavia tuloksia, mutta yhteys keinotekoisen ja todellisen datan välillä jää osin vaillinaiseksi. Esitetty törmäyksiä tunnistava malli onnistuu hienoisesti parantamaan tuloksia verrattuna triviaaliin vertailukohtamalliin. Keinotekoinen data ei kuitenkaan täysin vastaa todellisia törmäyksiä, mistä johtuen mallin on erittäin vaikea tunnistaa joitakin törmäystilanteita täsmällisesti.