Pitkä lähimuisti takaisinkytketyissä neuroverkoissa - Kautiala, Ilmari (My University, 2022)
Tässä työssä esitellään neuroverkkoarkkitehtuuri pitkä lähimuisti, jonka tarkoitus on lieventää katoavan gradientin ongelmaa takaisinkytketyissä neuroverkoissa. Neuroverkkojen ymmärtämiseksi on hyvä tietää joitain asioita koneoppimisesta. Aluksi käydään läpi yleisellä tasolla koneoppiminen ja siinä käytettäviä matemaattisia työkaluja. Käydään läpi koneoppimisen osat data, malli ja kustannusfunktio. Malleista otetaan tarkempään käsittelyyn tavallinen neuroverkko ja takaisinkytketty neuroverkko. Takaisinkytkettyjen neuroverkkojen ongelmana on asioiden muistaminen pitkien aikavälien yli. Näytetään, miksi näin tapahtuu, jos gradientti suppenee tai hajaantuu. Tavallisista ja takaisinkytketyistä neuroverkoista tarjotaan numeerinen esimerkki. Pitkän lähimuistin suoritusta vertaillaan muihin arkkitehtuureihin luonnollisen kielen luokittelutehtävässä.
Keywords: koneoppiminen, neuroverkko, gradienttimenetelmä, vastavirta-algoritmi, takaisinkytkentä, pitkä lähimuisti