Aktivointifunktioiden vaikutus neuroverkkojen suorituskykyyn

Abstract

Tutkielma tarkastelee neuroverkkojen aktivointifunktioiden ominaisuuksia ja niiden vaikutusta neuroverkon oppimisprosessiin. Tarkastelu keskittyy sigmoid-, hyperbolinen tangentti- ja ReLU-funktioihin, jotka ovat yleisesti käytettyjä aktivaatiomekanismeja neuroverkoissa. Aluksi tutkielmassa esitellään neuroverkkojen rakenne ja historia, minkä jälkeen siirrytään neuroverkkojen oppimisprosessin tarkasteluun. Seuraavaksi analysoidaan aktivointifunktioiden suotuisia ja epäsuotuisia ominaisuuksia, erityisesti optimoinnin näkökulmasta. Lopuksi käsitellään tarkemmin sigmoid-, hyperbolinen tangentti- ja ReLU-funktiot, ja toteutetaan esimerkki lämpötilan ennustamisesta eteenpäin kytketyllä neuroverkolla, jossa verrataan eri aktivointifunktioiden vaikutuksia. Esimerkistä käy ilmi, että ReLU on tehokkain ja tarkin aktivointifunktio, kun taas hyperbolinen tangentti ja sigmoid vaativat pidemmän koulutusajan saavuttaakseen vastaavan ennustustarkkuuden. Tutkielman tulokset osoittavat, että aktivointifunktion valinnalla on merkittävä vaikutus neuroverkon suorituskykyyn.