NeRFin kypsyminen lisätyn todellisuuden teknologiaksi

Abstract

NeRF eli Neural Radiance Field on viime vuosina paljon mielenkiintoa ja jatkotutkimusta herättänyt kuvaa renderöivä neuroverkko. Kuvasuuntaisena tekniikkana se on erityisen kiinnostava tapauksissa, joissa renderöitävän näkymän geometriaa ei tunneta, mahdollistaen sekä rekonstruktion että renderöinnin samalla verkolla diskreetistä kuva-aineistosta huolimatta. Muun muassa tämä dualistinen rooli on innostanut tutkimusta, jossa etsitään vastausta siihen, saadaanko NeRFistä lisätyn todellisuuuden teknologia. Erityisesti tilanteissa, kun objektisuuntaista renderöintiä ei ole mahdollista tai tarkoituksenmukaista käyttää, on mielenkiintona usein selvittää, saadaanko kuvasuuntainen renderöintitekniikka toimimaan auttavasti. Tarkka rekonstruktio on laskennallisesti huomattavan vaativaa, kun taas reaaliaikainen interaktio vaatisi sulavaa ruudunpäivitysnopeutta. Renderöinnin suorituskykyä on parannettu hyödyntämällä tietokonegrafiikan parista aiemmin tuttuja menetelmiä. Miten hyvin kaksi vastakkaisiin suuntaan kilpailevaa tavoitetta saadaan sovitettua yhteen? Mallin tekemien rekonstruktioiden todellista suorituskykyä laajamittaisessa käytössä ei tunneta vielä kovin hyvin. Alkuperäisen mallin sisäinen toteutus nojaa implisiittiseen radianssin ja tiheyden vektorikenttään, joka renderöidään jatkuvalla näkymäfunktiolla. On havaittu, että alkuperäisen NeRF-mallin sisäinen toteutus ei ole tehokas eikä riittävän tarkka tapa esittää näkymää. Erityisesti kehittyneiden valaistusilmiöiden ja hienovaraisen geometrian kontekstissa mallilla on haasteita, ja jatkotutkimuksissa on etsitty tähän tarkoituksenmukaisempia keinoja. Mikäli mallin koulutuksen edetessä etsitään myös tarkempaa geometrista tietoa näkymästä, voidaan sen katsoa lähentävän se kuva- ja objektisuuntaista renderöintiä, avaten ovea tulevaisuuden mielenkiintoisille sovelluksille, missä esimerkiksi voidaan tunnistaa kuvasta elementtejä ja editoida sitä neuroverkolla ilman ihmisen tai renderöintimoottorin väliintuloa. Tutkielmassa pohditaan, miten hyvin mallin esittämät jatkotutkimukset tasapainoilevat kahden vahvasti eri suuntaan kilpailevien tavoitteiden välillä, hyödyntäen niin tietokonegrafiikan kuin neuroverkkojen uutta tutkimusta sekä vanhempaakin teoriaa. Tutkielma keskittyy niin alkuperäisen mallin kuin jatkotutkimusten algoritmiikkaan, ja keskeisinä kysymyksinä onkin miten vaadittavaa laskentaa ja osin myös muistivaativutta saadaan kohtuullistettua niin, että lopullinen kuva on niin lähellä reaaliaikaista fotorealismia kuin mahdollista.