Pitkä lähimuisti takaisinkytketyissä neuroverkoissa
Ladataan...
941.04 KB
suljettu
Julkaisu on tekijänoikeussäännösten alainen. Teosta voi lukea ja tulostaa henkilökohtaista käyttöä varten. Käyttö kaupallisiin tarkoituksiin on kielletty.
Lataukset1
Pysyvä osoite
Verkkojulkaisu
DOI
Tiivistelmä
Tässä työssä esitellään neuroverkkoarkkitehtuuri pitkä lähimuisti, jonka tarkoitus on lieventää katoavan gradientin ongelmaa takaisinkytketyissä neuroverkoissa. Neuroverkkojen ymmärtämiseksi on hyvä tietää joitain asioita koneoppimisesta.
Aluksi käydään läpi yleisellä tasolla koneoppiminen ja siinä käytettäviä matemaattisia työkaluja. Käydään läpi koneoppimisen osat data, malli ja kustannusfunktio. Malleista otetaan tarkempään käsittelyyn tavallinen neuroverkko ja takaisinkytketty neuroverkko.
Takaisinkytkettyjen neuroverkkojen ongelmana on asioiden muistaminen pitkien aikavälien yli. Näytetään, miksi näin tapahtuu, jos gradientti suppenee tai hajaantuu. Tavallisista ja takaisinkytketyistä neuroverkoista tarjotaan numeerinen esimerkki. Pitkän lähimuistin suoritusta vertaillaan muihin arkkitehtuureihin luonnollisen kielen luokittelutehtävässä.