Transformer-arkkitehtuuri generatiivisessa tekstinluonnissa

Abstract

Transformer-arkkitehtuuri on syväoppimisen malli, jota hyödynnetään erityisesti luonnollisen kielen käsittelyssä (engl. Natural Language Processing, NLP). Sen ydin perustuu huomiontimekanismiin, joka mahdollistaa syötteen rinnakkaisen käsittelyn. Toisin kuin perinteiset neuroverkkopohjaiset mallit, jotka käsittelevät syötteen vaiheittain, transformer voi käsitellä laajoja tekstikokonaisuuksia samanaikaisesti. Tämä tekee siitä erityisen hyödyllisen monimutkaisten kielellisten riippuvuuksien hallinnassa ja pitkien tekstien generoinnissa.

Tutkielman tavoitteena on tarkastella transformer-arkkitehtuurin keskeisiä ominaisuuksia ja sen roolia generatiivisessa tekstinluonnissa. Erityisesti keskitytään vertailemaan transformer-arkkitehtuuria perinteisiin neuroverkkopohjaisiin malleihin, kuten toistuviin neuroverkkoihin (engl. Recurrent Neural Network, RNN). Lisäksi analysoidaan transformerin etuja ja haasteita erityisesti suomen kielen käsittelyssä, jossa kieliopilliset rakenteet ja pitkät kielelliset riippuvuudet asettavat vaatimuksia kielen mallintamiselle. Osana tutkimusta suoritetaan myös soveltava koe, jossa testataan eri ennakkoon koulutettujen transformer-mallien suorituskykyä suomen kielen käsittelyssä ja tuottamisessa. Kokeen tavoitteena on arvioida mallien kykyä käsitellä suomen kielen erityispiirteitä sekä tuottaa sujuvaa ja kieliopillisesti oikeellista tekstiä.

Tutkimuksen tulokset osoittavat transformerin tarjoavan merkittäviä etuja perinteisiin malleihin nähden ja osoittavat sen soveltuvuuden erityisesti monimutkaisten kielellisten tehtävien hallintaan generatiivisessa tekstinluonnissa.