Harjaregression ja lasson bayesiläinen tulkinta

Abstract

Tilastollisessa mallintamisessa tavoitteena on sovittaa aineistoon malli, joka kuvaa mahdollisimman hyvin aineiston selittävien muuttujien suhdetta aineiston vastemuuttujaan. Hyvä malli noudattaa opetuksessa käytettyä aineistoa niin hyvin, että sen tekemät päätelmät uusista havainnosta ovat mahdollisimman tarkkoja, mutta ei kuitenkaan niin hyvin, että malli oppii aineistossa esiintyvää satunnaisuutta. Näin saattaa käydä esimerkiksi silloin, kun sovitettava malli on hyvin monimutkainen. Mallin sanotaan olevan ylisovittunut, kun verrattain yksinkertaisempi malli tuottaisi parempia, vähemmän virheellisiä tuloksia. Mallin ylisovittumista voidaan välttää erilaisia regularisointimenetelmillä, jotka pyrkivät yksinkertaistamaan sovitettavaa mallia.

Lineaarinen regressiomalli olettaa nimensä mukaisesti, että aineiston selittävien muuttujien suhde vastemuuttujaan on lineaarinen. Lineaarista mallia sovitettaessa pyritään muodostamaan estimaatit regressiokertoimille, jotka kuvaavat selittävien muuttujien suhdetta vastemuuttujaan. Yleinen tapa estimoida regressiokertoimet on pienimmän neliösumman menetelmä, joka perustuu jäännösneliösumman minimointiin.

Harjaregressio ja lasso ovat menetelmiä lineaarisen regressiomallin regularisoimiseksi. Ne minimoivat sakotettua jäännösneliösummaa, jossa jäännösneliösumman lisäksi minimoidaan sakkotermiä, joka kutistaa mallin regressiokertoimia. Regularisoinnin voimakkuutta säätelee sakkotermin säätöparametri. Kun kertoimien vaikutusta rajoitetaan, malli yksinkertaistuu ja ylisovittuminen vähenee. Harjaregressio säilyttää kaikki selittävät muuttujat mallissa, mutta lasso voi kutistaa osan kertoimista tasan nollaksi.

Harjaregressiota ja lassoa vastaavat regressiokertoimet voidaan muodostaa myös bayesiläisittäin MAP-estimoinnilla. Harjaregressiota vastaavat MAP-estimaatit saadaan, kun mallin priorijakaumana käytetään normaalijakaumaa, jonka keskiarvo on nolla ja varianssi riippuu regularisoinnin säätöparametrista. Lassoa vastaavat MAP-estimaatit saadaan, kun mallin priorijakaumana käytetään Laplace-jakaumaa, jonka lokaatio on nolla ja skaala riippuu säätöparametrista.