Principles of social perception: Investigating perceptual and neural mechanisms with cinematic stimuli

Abstract

Sociability is central to humans. Every day, people engage in complex social interactions, perceiving others and the dynamics of these interactions to interpret situations accurately and respond appropriately. Despite the importance of social perception, the fundamental principles governing how individuals perceive the surrounding social world remain largely unresolved.

This thesis investigates the principles of social perception. Three independent studies were carried out to explore the social perceptual cascade, beginning with visual perception, progressing through neural processing, and culminating in social perceptual inference. Study I investigated how people rapidly infer social situations. Study II mapped the functional organization of social perception in the human brain. Study III analyzed how external perceptual features guide visual attention during social scenes.

In Study I, altogether 2,254 participants evaluated the presence of 138 social features in 234 movie clips and 468 images rich in social contents. Dimension reduction analyses were conducted to establish the basic dimensions underlying social scene evaluations. Study II involved functional magnetic resonance imaging (fMRI) of 97 participants as they viewed 96 short movie clips depicting social scenes, aiming to map the brain’s functional organization for social perception. Study III investigated the relationship between perceptual features of movie stimuli and eye-tracking parameters (pupil size, gaze orientation, and blinking behavior) across three movie-viewing eye-tracking studies (166 participants, 193 minutes of movie stimuli), revealing how visual attention is guided by perceptual features in social scenes.

The results indicate that visual attention is predominantly guided by simple external features, such as human faces and visual motion, while high-level emotional arousal modulates pupillary responses. Subsequently, occipitotemporal brain network is involved in processing social perceptual information, and social situations are ultimately evaluated along eight basic dimensions of social perception.

<b> Sosiaalisen havaitsemisen periaatteet: Havainto- ja aivomekanismien selvittäminen elokuvien avulla</b>

Sosiaalisuus on keskeinen osa ihmisten elämää. Päivittäin osallistumme monimutkaisiin sosiaalisiin vuorovaikutustilanteisiin, joissa havainnoimme toisiamme ja vuorovaikutusta tilanteiden tulkitsemiseksi. Vaikka sosiaalinen havaitsemisen on tärkeää jokapäiväisessä elämässä, perusperiaatteet siitä, miten ihmiset havaitsevat sosiaalista ympäristöä, ovat suurelta osin tuntemattomia.

Tässä väitöskirjassa tutkittiin sosiaalisen havaitsemisen periaatteita. Toteutimme kolme itsenäistä osatyötä koko sosiaalisen havaintoketjun tutkimiseksi. Sosiaalinen tiedonkäsittely alkaa aistihavainnoista, joista aivoissa muokataan sosiaalisia havaintoja. Ensimmäinen osatyö selvitti millaisia sosiaalisia havaintoja ihmiset tekevät sosiaalisissa tilanteissa. Toinen osatyö selvitti sosiaaliseen havaitsemiseen liittyviä aivomekanismeja. Kolmannessa osatyössä tutkimme, miten ulkoiset ärsykkeet ohjaavat ihmisen katsetta ja laajempaa visuaalista tarkkaavaisuutta sosiaalisissa tilanteissa.

Osatyössä I yhteensä 2254 tutkittavaa arvioi 138 sosiaalisen piirteen esiintymistä sosiaalisia tilanteita esittävissä 234 elokuvaleikkeessä ja 468 kuvassa. Moniulotteisen havaintoaineiston avulla selvitimme sosiaalisen havaitsemisen pääulottuvuudet, ja niiden yleistyvyyden riippumattomissa havaintoaineistoissa. Osatyössä II tutkimme 97 henkilön aivotoimintaa funktionaalisella magneettikuvantamisella (fMRI) sosiaalisia tilanteita esittävien elokuvaleikkeiden aikana, kartoittaaksemme sosiaaliseen havaitsemiseen liittyvät aivoverkostot. Osatyössä III tutkimme ihmisten silmänliikkeitä elokuvien katselemisen aikana kolmessa riippumattomassa aineistossa (166 tutkittavaa, 193 minuuttia elokuvia) tavoitteenamme selvittää, miten ulkoiset ärsykkeet ja havainnot ohjaavat visuaalista tarkkaavaisuutta sosiaalisissa tilanteissa.

Tulokset osoittavat, että pääosin yksinkertaiset havainnot, kuten ihmisten kasvojen tai liikkeen havaitseminen, ohjaavat visuaalista tarkkaavaisuutta sosiaalisissa tilanteissa. Pupillin kokoon vaikuttaa myös tilanteiden aiheuttamat tunnereaktiot. Aivoissa sosiaalisten havaintojen käsittelyyn liittyy laaja aivojen takaosien aivoverkosto, ja lopulta sosiaalisia tilanteita arvioidaan kahdeksan perusulottuvuuden kautta.