Facial Expression Recognition in Improving User Experience
avoin
Julkaisu on tekijänoikeussäännösten alainen. Teosta voi lukea ja tulostaa henkilökohtaista käyttöä varten. Käyttö kaupallisiin tarkoituksiin on kielletty.
Pysyvä osoite
Verkkojulkaisu
DOI
Tiivistelmä
The utilization of AI in emotion-aware systems has been a rising trend in the latest years. With emotion-aware systems and interfaces user experience can be improved, and different modalities can help in achieving this improvement. Facial expression recognition is an AI based technology, and its output is a type of signal that can be used in user interface adaptation. The research methods for this thesis were a literature review and an empirical study utilizing an adaptive web application with two integrated facial expression recognition models. The study collected data on detected facial expressions, accuracy in performing tasks in the application, and on how user interface adaptation affected the performance accuracy of the participants and the facial expression recognition models. 25 participants were included in the study, and after completing the tasks in the application the participants filled a survey reflecting on their emotions throughout the experiment. The literature review and conducted study show that emotion-aware adaptive applications can be designed successfully with cloud-based APIs, but there is still a need for more research in the field. The performance of the two facial expression recognition models varied greatly, and improvements in the abilities of detecting faces and recognizing more emotions is something to research more in the future. An adaptive user interface improved the user experience of around 20% of the participants, and 10% stated that the user interface was the main factor for positive emotions felt through the experiment.
Tekoälyn hyödyntäminen tunteita tunnistavissa järjestelmissä on ollut nousussa viime vuosina. Tunteita tunnistavat järjestelmät ja tunteiden tunnistamista hyödyntävät käyttöliittymät voivat luoda paremman käyttökokemuksen, ja tämä voidaan saavuttaa hyödyntämällä erilaisia antureita ja kanavia aistikokemusten välittämiseen. Ilmeiden tunnistus on teknologia, joka hyödyntää erityisesti tekoälyä, näihin erikoistuneiden mallien antamia tuloksia voidaan hyödyntää käyttöliittymien mukauttamiseen. Tämän opinnäytetyön tiedonhakumenetelmät olivat kirjallisuuskatsaus sekä empiirinen tutkimus, jossa käytettiin itseohjelmoitua web-sovellusta. Web-sovelluksessa hyödynnettiin kahta eri ilmeiden tunnistukseen kykenevää tekoälymallia. Työn tutkimuksessa kerättiin dataa mallien tunnistamista ilmeistä ja niiden oikeellisuudesta, sovelluksesta löytyvien tehtävien suorittamisen tarkkuudesta, sekä mukautuvan käyttöliittymän vaikutuksista tehtävien suorittamiseen sekä ilmeidentunnistusmallien toimivuuteen. Tutkimukseen osallistui 25 henkeä, ja web-sovelluksen tehtävien suorittamisen jälkeen osallistujat täyttivät kyselyn, jossa he kertoivat tunteista ja tuntemuksista, joita he kokivat tutkimuksen tehtävien suorittamisen aikana. Kirjallisuuskatsaus sekä tutkimus osoittavat, että sovelluksia, jotka pystyvät tunnistamaan tunteita, pystytään suunnittelemaan ja ohjelmoimaan pilvipohjaisten API:en avulla, mutta tällä alalla tehdyt tutkimukset ovat vähäisiä, minkä vuoksi näyttöä hyödyllisyydestä ja parhaista tavoista hyödyntää teknologiaa tarvitaan lisää. Tutkimuksessa käytettyjen mallien tulokset ja suorituskyky vaihtelivat keskenään paljon, erityisesti oikeiden tunteiden tunnistamisessa kumpikaan malli ei suoriutunut täydellisesti. Lisää tutkimusta tarvitaan siitä, miten mallit saadaan tunnistamaan kasvot ja tunteet oikein, sekä siitä, miten ne pystyvät jatkossa tunnistamaan useampia tunteita. Mukautuva käyttöliittymä paransi käyttökokemusta noin 20%:lla osallistujia, ja 10% osallistujista sanoi käyttöliittymän vaikuttaneen heihin eniten positiivisesti tutkimuksen aikana.