Tutkimus ChatGPT:llä luotujen käännösten laadusta

Abstract

Tekoälyohjelmistot ovat kehittyneet paljon viime vuosien aikana. Myös niiden käyttö on yleistynyt niin yrityksissä kuin yksityisihmisillä. Suomen kielellä uusia malleja on tutkittu verrattain vähän, vaikka laajan käytön vuoksi on tärkeää ymmärtää, mihin tekoäly pystyy ja mitkä ovat sen heikkoudet. Tässä tutkielmassa tutkitaan, miten suosioon noussut ChatGPT onnistuu kääntämisessä englanti-suomi-kieliparilla.

ChatGPT hyödyntää GPT-3.5-kielimallia, joka on koulutettu vastaamaan käyttäjän antamaan kehotteeseen. GPT-kielimalli on arkkitehtuuriltaan transformer ja hyödyntää itsehuomiomekanismia. Tämä mahdollistaa esimerkiksi tekstissä kaukana toisistaan olevien osien välisten riippuvuuksien huomioimisen. Kääntämisessä itsehuomiomekanismi voi parantaa käännöksen laatua, koska konteksti huomioidaan.

Tutkimuksen käännösaineistoksi on kerätty 20 uutisartikkelia: 10 suomenkielistä ja 10 englanninkielistä. Uutisartikkelit syötetään ChatGPT:lle kerran ja kehotteessa pyydetään ohjelmistoa tuottamaan käännös. Tämän jälkeen tuotetut käännökset pisteytetään käyttäen MQM-pisteytysmenetelmää. MQM-menetelmässä virheet jaetaan tyypeittäin ja vakavuusasteittain. Jaottelun avulla niille lasketaan numeerinen virhearvo. Mitä suurempi tai vakavampi virhe, sitä suurempi on virheen virhearvo.

Tuotetuista käännöksistä käy ilmi, että ChatGPT tekee käännöksissään toistuvia virheitä. Yleisimpiä virhetyyppejä ovat suorat sanasta sanaan käännökset. Virheet johtavat epäidiomaattisiin ilmauksiin, jotka vaikeuttavat tekstin ymmärtämistä. Virheitä tapahtuu enemmän käännettäessä englannista suomeksi. Kummankaan kielen käännöksiä ei voisi käyttää ilman ihmisen tekemiä muokkauksia. Käännöksiä voisi kuitenkin hyödyntää alustavan käännösversion luomiseen tai saadakseen yleiskuvan tekstistä.