Pitkä lähimuisti takaisinkytketyissä neuroverkoissa
Kautiala, Ilmari (2022-07-19)
Pitkä lähimuisti takaisinkytketyissä neuroverkoissa
(19.07.2022)
Julkaisu on tekijänoikeussäännösten alainen. Teosta voi lukea ja tulostaa henkilökohtaista käyttöä varten. Käyttö kaupallisiin tarkoituksiin on kielletty.
suljettu
Julkaisun pysyvä osoite on:
https://urn.fi/URN:NBN:fi-fe2022080452850
https://urn.fi/URN:NBN:fi-fe2022080452850
Tiivistelmä
Tässä työssä esitellään neuroverkkoarkkitehtuuri pitkä lähimuisti, jonka tarkoitus on lieventää katoavan gradientin ongelmaa takaisinkytketyissä neuroverkoissa. Neuroverkkojen ymmärtämiseksi on hyvä tietää joitain asioita koneoppimisesta.
Aluksi käydään läpi yleisellä tasolla koneoppiminen ja siinä käytettäviä matemaattisia työkaluja. Käydään läpi koneoppimisen osat data, malli ja kustannusfunktio. Malleista otetaan tarkempään käsittelyyn tavallinen neuroverkko ja takaisinkytketty neuroverkko.
Takaisinkytkettyjen neuroverkkojen ongelmana on asioiden muistaminen pitkien aikavälien yli. Näytetään, miksi näin tapahtuu, jos gradientti suppenee tai hajaantuu. Tavallisista ja takaisinkytketyistä neuroverkoista tarjotaan numeerinen esimerkki. Pitkän lähimuistin suoritusta vertaillaan muihin arkkitehtuureihin luonnollisen kielen luokittelutehtävässä.
Aluksi käydään läpi yleisellä tasolla koneoppiminen ja siinä käytettäviä matemaattisia työkaluja. Käydään läpi koneoppimisen osat data, malli ja kustannusfunktio. Malleista otetaan tarkempään käsittelyyn tavallinen neuroverkko ja takaisinkytketty neuroverkko.
Takaisinkytkettyjen neuroverkkojen ongelmana on asioiden muistaminen pitkien aikavälien yli. Näytetään, miksi näin tapahtuu, jos gradientti suppenee tai hajaantuu. Tavallisista ja takaisinkytketyistä neuroverkoista tarjotaan numeerinen esimerkki. Pitkän lähimuistin suoritusta vertaillaan muihin arkkitehtuureihin luonnollisen kielen luokittelutehtävässä.