Parametritehokkaat hienosäätömenetelmät neuroverkoissa
avoin
Julkaisu on tekijänoikeussäännösten alainen. Teosta voi lukea ja tulostaa henkilökohtaista käyttöä varten. Käyttö kaupallisiin tarkoituksiin on kielletty.
Lataukset114
Pysyvä osoite
Verkkojulkaisu
DOI
Tiivistelmä
Tutkielmassa tarkastellaan parametritehokkaita hienosäätömenetelmiä (engl. Parameter Efficient Fine-Tuning, PEFT), kuten LoRA ja QLoRA, joita hyödynnetään suurten neuroverkkojen hienosäädössä erityisesti luonnollisen kielen käsittelyn sovelluksissa. Tutkimuksen päätavoitteena on arvioida näiden menetelmien suorituskykyä ja resurssitehokkuutta verrattuna perinteiseen hienosäätöön. Tulokset osoittavat, että PEFT-menetelmät vähentävät merkittävästi laskennallisia resursseja ja muistinkulutusta, säilyttäen tai jopa parantaen mallien tarkkuutta. Menetelmien heikkouksina havaittiin kuitenkin matalan asteen pullonkaula ja kvantisoinnin rajoituksia, jotka vaikuttavat mallien tarkkuuteen erityisesti suurilla parametrimäärillä
ja laajalla koulutusdatalla. Tutkielman löydökset korostavat PEFT-menetelmien potentiaalia tehdä mallien hienosäädöstä huomattavasti resurssitehokkaampaa, mutta herättävät myös kysymyksiä hienosäädön tulevaisuuden tarpeellisuudesta.