Suomenkielisten tarjouspyyntöjen luokittelu luonnollisen kielen prosessoinnin avulla

Abstract

Tämän tutkielman aiheena on julkisten hankintailmoitusten käsittely tekoälyn avulla. Idea on syntynyt tarpeesta nopeuttaa ilmoitusten käsittelyprosessia, joten ajatuksena on, että tekoäly voisi tuoda lisää tietoa sen suhteen, mitkä ilmoituksista ovat kiinnostavia, ja näin rajata tutkittavaa joukkoa pienemmäksi. Ilmoituksen kiinnostavuus perustuu pääasiassa ilmoituksen tekstiin, joten neuroverkko katsottiin sopivaksi malliksi käsittelemään ilmoituksia. Neuroverkkojen matemaattisen taustan ja teorian lisäksi tutkielmassa perehdytään luonnollisen kielen käsittelyn periaatteisiin, eli miten tekoälylle voidaan välittää tekstiaineistoa sen ymmärtämässä muodossa, ja metodeihin, esimerkiksi sanasäkkiin,joka kuvaa tiettyjen sanojen esiintymismääriä. Luonnollisen kielen käsittelyn teoria koskee pääasiassa englannin kieltä, joten tutkielmassa käydään myös läpi suomen kielen mahdollisia haasteita ja niistä käytyä keskustelua, esimerkiksi aiemmissa progradu -tutkielmissa. Aineisto on peräisin yritykseltä, ja se on vahvasti epätasapainoinen luokkien suhteen, joten tutkielmassa esitellään myös erilaisia tapoja käsitellä vahvasti epätasapainoista aineistoa, esimerkiksi SMOTE-metodi ja aliotanta. Näiden suhteen perehdytään myös siihen, kumpi toimii paremmin tekstiaineiston tapauksessa. Tutkielman pääpaino on kuitenkin tekoälyn ja neuroverkkojen perusteissa. Matemaattisen teorian lisäksi esitellään toimintaperiaate, erilaisia tasoja ja niiden toimintaa ja käyttöä sekä yleisimpiä valintoja esimerkiksi aktivointifunktion suhteen. Tutkielmassa syvennytään erityisesti sellaisiin neuroverkon arkkitehtuureihin, joista on hyötyä tekstiaineiston käsittelyssä, kuten toistuvat ja kiertävät neuroverkot. Tutkielman analyysiosiossa vertaillaan kolmen eri neuroverkon kykyä luokitella hankintailmoituksia kiinnostaviin ja epäkiinnostaviin ja mitä eroja neuroverkkojen päätelmissä on. Lopuksi esitellään ajatuksia siitä, miten tutkielmaa tullaan hyödyntämäänja jatkokehittämään yrityksessä.