Deepfake user personas for good - from maleficent to helping users

Abstract

This dissertation explores the emerging role of deepfake personas in human–computer interaction and marketing, investigating their usability, user perceptions, and ethical considerations in design tasks. While deepfake technology is often associated with malicious use, this study shifts the focus toward deepfakes’ constructive potential, particularly in the creation of deepfake user personas – AI-generated video representations that embody persona attributes such as goals, needs, and behavioral traits. These deepfake personas offer a novel way to enhance user-centered design by providing potentially more immersive, emotionally engaging, and humanlike representations of target users. However, challenges such as the uncanny valley effect, emotional and demographic biases, and technical inconsistencies raise questions about the credibility and inclusiveness of deepfake personas. The dissertation consists of five empirical studies addressing key research gaps, including comparisons between deepfake, human, and conventional persona modalities, the effects of deepfake distortions, glitches, on user perceptions of and behavior with deepfakes, and the demographic and emotional diversity of commercially available deepfake avatars. Applying both qualitative and quantitative methods, the dissertation provides insights into how users perceive deepfake personas, how deepfake persona perceptions affect users’ task performance, and how design and marketing professionals might responsibly implement deepfake personas. The findings reveal that while DFs can improve empathy and engagement, their effectiveness depends on technical quality, ethical transparency, and alignment with user expectations. By investigating deepfake personas across experimental and observational contexts, this dissertation contributes to the academic understanding of persona use in digital environments and proposes practical guidelines for ethically and effectively integrating deepfake technology into design workflows.

<b>Deepfake-käyttäjäpersoonat hyvän asialla – pahantahtoisuudesta käyttäjien avuksi</b>

Tämä väitöskirja tarkastelee deepfake-persoonien kasvavaa roolia ihmisen ja tietokoneen välisessä vuorovaikutuksessa sekä markkinoinnissa. Tutkimus selvittää deepfake-persoonien käytettävyyttä, käyttäjäkokemuksia ja eettisiä näkökulmia suunnittelutehtävissä. Vaikka deepfake-teknologia yhdistetään usein haitalliseen käyttöön, tässä tutkimuksessa huomio on deepfake-teknologian rakentavassa potentiaalissa, erityisesti deepfake-käyttäjäpersoonien luomisessa. Deepfake-käyttäjäpersoonilla tarkoitetaan tekoälyn luomia videohahmoja, jotka ilmentävät käyttäjäpersoonien ominaisuuksia, kuten tavoitteita, tarpeita ja käyttäytymismalleja. Deepfake-käyttäjäpersoonat tarjoavat uuden tavan vahvistaa käyttäjäkeskeistä suunnittelua tarjoamalla käyttäjistä mahdollisesti immersiivisempiä, tunteellisesti puhuttelevampia ja inhimillisempiä esityksiä. Samalla deepfake-käyttäjäpersooniin liittyy kuitenkin haasteita, kuten outo laakso -ilmiö, tunteelliset ja demografiset vinoumat sekä tekniset epäjohdonmukaisuudet, jotka herättävät kysymyksiä deepfake-käyttäjäpersoonien uskottavuudesta ja inklusiivisuudesta. Väitöskirja koostuu viidestä empiirisestä tutkimuksesta, jotka vastaavat keskeisiin tutkimusaukkoihin. Näihin kuuluvat muun muassa vertailu deepfake-, ihmispohjaisten ja perinteisten persoonamuotojen välillä, deepfake-häiriöiden ja virheiden vaikutukset käyttäjien havaintoihin ja toimintaan sekä kaupallisten deepfake-avatarien demografinen ja emotionaalinen monimuotoisuus. Laadullisia ja määrällisiä menetelmiä hyödyntäen väitöskirja tarjoaa uutta tietoa siitä, miten käyttäjät kokevat deepfake-käyttäjäpersoonat, miten nämä kokemukset vaikuttavat tehtävistä suoriutumiseen ja kuinka suunnittelu- ja markkinointialojen ammattilaiset voivat ottaa deepfake-käyttäjäpersoonat käyttöön vastuullisesti. Tulokset osoittavat, että deepfake-käyttäjäpersoonat voivat parantaa empatiaa ja sitoutumista, mutta deepfake-käyttäjäpersoonien vaikuttavuus riippuu teknisestä laadusta, eettisestä läpinäkyvyydestä ja käyttäjien odotusten täyttymisestä. Tarkastelemalla deepfake-käyttäjäpersoonia sekä kokeellisissa että havainnoivissa konteksteissa väitöskirja syventää akateemista ymmärrystä deepfake-käyttäjäpersoonien käytöstä digitaalisissa ympäristöissä ja esittää käytännön suosituksia deepfake-teknologian eettisestä ja tehokkaasta hyödyntämisestä suunnitteluprosesseissa.