Artifcial Intelligence in Design: User Experience optimisation using a Large Language Model

Abstract

Artificial intelligence (AI) is already used within numerous applications for creative work. Subsequently, interest in utilising AI in supporting user experience (UX) workflows has increased. Research into how this can be achieved has focused on bespoke AI tools and on AI models trained for a specific task. Research has not focused on evaluating the viability of off-the-shelf large language models (LLM) for such tasks. UX serves a fundamental role in ensuring that a product is efficient and easy to use. Therefore, the efficacy of more accessible AI tools for UX work should be investigated more. To this objective, two website designs for an e-commerce store were created. One made entirely by a human, and another one that is an improved version of it using an LLM. These two designs were then tested against each other by having test subjects complete tasks on them. The results show significant improvement in user error rate and perceived aesthetic quality in the LLM-improved version.

Tekoälyä käytetään jo lukuisissa luovan työn sovelluksissa. Tästä johtuen on myös syntynyt kiinnostusta tekoälyn soveltamiseen käyttäjäkokemuksen työnkulkuihin. Tutkimus tämän saavuttamiseksi on ollut rajoittunut räätälöityihin tekoälytyökaluihin, sekä tiettyihin tehtäviin koulutettuihin tekoälymalleihin. Tutkimus ei ole keskittynyt sen arvioimiseen, miten etukäteen koulutetut suuret kielimallit soveltuvat tällaisiin tehtäviin. Käyttäjäkokemuksella on keskeinen rooli tuotteen tehokkuuden ja helppokäyttöisyyden takaamisessa. Tämän vuoksi on oleellista tutkia enemmän tekoälytyökalujen, joihin useammilla on pääsy, tehokkuutta käyttäjäkokemuksen kehittämisen tehtävissä. Tämän vuoksi kehitettiin kaksi käyttöliittymää verkkokaupalle. Yksi käyttöliittymä oli kokonaan ihmisen suunnittelema, ja toinen käyttöliittymä oli ensimmäisestä käyttöliittymästä suurta kielimallia käyttäen paranneltu versio. Näitä kahta käyttöliittymää verrattiin pyytämällä testihenkilöitä suorittamaan niitä käyttäen tehtäviä. Näiden testien tulokset osoittavat, että suurella kielimallilla paranneltu käyttöliittymä oli vähemmän altis käyttäjävirheille, sekä esteettisesti miellyttävämpi.