Exploring motivational effects of a mathematics serious game

Abstract

Abstract:

This dissertation examines the motivational effects of a mathematics serious game called the Number Navigation Game (NNG) amongst upper elementary school students in Finland and Mexico. The aims of the studies concern the NNG’s impact on motivation as measured through the expectancy-value framework, with special emphasis on the development of students’ situational interest during gameplay and individual interest toward mathematics. The role of factors such as game experience and the voluntary vs. compulsory nature of different play contexts is also explored. As this research was undertaken in the context of a larger project (CUMA) investigating the game’s effectiveness in enhancing mathematical skills, some attention is also paid to the game’s impact on mathematical learning outcomes. The results of three original empirical studies in which the game was implemented at the upper primary school level are reported. Study I presents the results of a large-scale experiment carried out in Finland amongst fourth-to sixth-grade students. The students were randomly assigned by class to either an experimental or control group. The experimental group (n= 642) played the NNG as part of their regular mathematics class for a ten-week period, while the control group (n= 526) continued with traditional textbook-based learning. The students completed various mathematical tests and questionnaires on their motivation and game experiences both before and after the intervention. The results revealed the game had a positive effect on learning outcomes, but that there was a slight decrease in the motivation expectancy values of the experimental group. Game experiences were mostly negative, which indicates room for improvements in game design. There was some variation in these experiences by gender, specifically regarding students’ feelings of competence and challenge, but in any case, game experiences did not play a role in either learning outcomes or motivation expectancy values. Study II concentrated on a subsample of participants from the first study, namely n= 212 fifth-grade students who, although they served as a control group for Study I, later played the NNG for a six-week period. These students’ individual interest toward mathematics was measured before and after playing the game, while their situational interest toward the game was measured on-task throughout five sessions. The results indicate that prior interest toward mathematics predicts initial situational interest. Growth curve mixture model analyses revealed a three-class model of situational interest trajectories, showing that the students’ interest develops differently throughout the intervention. The results indicated that the game was able to trigger and maintain the interest of most (73.9%) although not all participants. Some students’ interest was never triggered by the game (26.1%).In cases in which interest was triggered but not maintained by the game (15.9%),this had a negative impact on students ´ individual interest toward mathematics. At the moment it seems the game is beneficial to students who already have an interest toward the subject matter. In Study III, fifth-grade students from Mexico were randomly sorted by class into one of two play context groups: the voluntary group (n= 579) or the school group (n= 482). The school group played the NNG as part of their regular mathematics lessons. Students in the volunteer group received a copy of the game and were instructed that they could play in their free time if they so desired. Pre-and post-tests and questionnaires were completed before and after the intervention. The aim was to find out the effects of play context on game experiences, game performance, learning outcomes, and motivation expectancy values, and to explore to what extent students would play voluntarily, and how those who chose to play differed from those who did not by gender, pre-test mathematical skills, and motivation expectancy values. The results revealed that students in the voluntary group who played had higher prior mathematics interest and advanced mathematical skills than students in the voluntary group who did not play; interest toward digital games did not play any role in terms of whether students in the voluntary group played or not. While some students in the voluntary group did not play the game, their interest toward mathematics did not decrease after the intervention. Voluntary play had a positive effect on advanced mathematical skills compared to students from the school group. As for game performance, students in the school group played for longer, completed more in-game mathematical tasks, and had more enjoyable game experiences than students in the volunteer group did. Playing the NNG had a positive effect on mathematical skills regardless of play context. Motivation expectancy values remained mostly unchanged regardless of play context. The results from the three studies provide further evidence that motivation, as measured through the expectancy-value framework, is largely stable, and that serious games are not particularly successful in increasing student motivation toward a subject. Improvements in game design could result in improvements in experiences when playing the NNG, although it seems that game experiences do not play a role in either motivation or learning outcomes. The context in which a serious game is implemented, or the amount of freedom students have in playing does not seem to make a difference to motivational gains, either. The game is, however, able to trigger and maintain the situational interest of most students, although it seems that students who have a high prior interest toward mathematics are the ones who benefit. On the other hand, the game mechanism is successful at enhancing students’ mathematical skills. In this sense, serious games offer many possibilities as additional tools for teaching, but it is important that games be carefully selected for their proven learning outcomes rather than because they are assumed to be motivating for all students.

Tiivistelmä:

Väitöskirjassa tutkittiin matematiikkaan kohdistuvan Number Navigation Game -oppimispelin (NNG), vaikutusta suomalaisten ja meksikolaisten yläkouluoppilaidenmotivaatioon. Tutkimuksen tavoitteena oli analysoida Number Navigation Game -pelinmotivaatiovaikutuksia expectancy–values –teorian näkökulmasta painottaen erityisesti oppilaiden tilannekohtaisen kiinnostuksen kehitystä pelaamisen aikana ja heidän henkilökohtaista kiinnostustaan matematiikkaan kohtaan. Lisäksi tutkittiin pelikokemuksen ja pelikontekstiin liittyvien tekijöiden, kuten pelaamisen vapaaehtoisuuden tai pakollisuuden, vaikutusta motivaatioon. Tutkimus on osa laajaa oppimispelien vaikutusta matematiikan oppimiseen selvittävää CUMA-tutkimusprojektia, joten tutkimuksessa otettiin huomioon myös Number Navigation Game -pelin vaikutus matematiikan oppimistuloksiin. Tutkimus koostuu kolmesta osatutkimuksesta, joihin osallistui alakoulun ylempien luokkien oppilaita. Ensimmäinen osatutkimus toteutettiin Suomessa neljännellä, viidennellä ja kuudennella luokalla. Koeryhmä (n= 642) pelasi Number Navigation Game -peliäosana matematiikan tuntejaan kymmenviikkoisen jakson ajan, kun taas kontrolliryhmä (n= 526) jatkoi tavallista opetussuunnitelman mukaista ja oppikirjaan tukeutuvaa opiskelua. Aineisto kerättiin motivaatiota ja pelikokemusta kartoittavilla kyselyillä ja matemaattisilla testeillä ennen pelikokeilua ja sen jälkeen. Tulokset osoittivat, että pelillä oli positiivinen vaikutus oppimistuloksiin, mutta koeryhmän motivaatio laski hieman. Pelikokemukset olivat suurimmaksi osaksi negatiivisia, mikä on osoitus tarpeesta kehittää Number Navigation Game -pelin pelillisiä ominaisuuksia. Näissä kokemuksissa oli jonkin verran hajontaa sukupuolen mukaan, erityisesti liittyen oppilaiden mielipiteisiin kompetenssin ja haasteellisuuden kokemuksista, mutta kaiken kaikkiaan pelikokemukset eivät olleet yhteydessä oppimistuloksiin eikä motivaatioon. Toinen osatutkimus keskittyi ensimmäisen osatutkimuksen kontrolliryhmän osallistujien osa-otokseen eli viidesluokkalaisiin (n= 212), jotka myöhemmin pelasivat Number Navigation Game- peliä kuusiviikkoisen jakson ajan. Oppilaiden henkilökohtaistakiinnostusta matematiikkaa kohtaan mitattiin ennen pelin pelaamista ja sen jälkeen. Lisäksi heidän tilannekohtaista kiinnostustaan peliä kohtaan mitattiin tehtävän aikana viidellä peilikerralla. Tulokset osoittivat, että aiempi henkilökohtainen kiinnostus matematiikkaa kohtaan ennustaa alkutilanteen tilannekohtaista kiinnostusta. Tilastollinen Growth mixture -analyysi paljasti kolmiluokkaisen tilannekohtaisen kiinnostuksen kehityskaaren mallin, joka osoitti, että oppilaiden tilannekohtainen kiinnostus kehittyi eri tavoin intervention aikana. Tulokset osoittivat, että peli pystyy herättämäänja pitämään yllä tilannekohtaisen kiinnostuksen suurimmalla osalla osallistujista, joskaan ei kaikilla. Joidenkin oppilaiden tilannekohtainen kiinnostus ei koskaan herännyt peliä pelatessa. Niille oppilaille, joissa peli herätti kiinnostuksen, mutta ei pitänyt sitä yllä, pelillä oli negatiivinen vaikutus henkilökohtaiseenkiinnostukseen matematiikkaa kohtaan. Tulosten valossa vaikuttaa siltä, että peli on hyödyllinen oppilaille, jotka ovat jo kiinnostuneita matematiikasta. Kolmannessa tutkimuksessa meksikolaiset viidesluokkalaiset jaettiin kahteen pelaamisryhmään: vapaaehtoiseen ryhmään(n= 579) tai kouluryhmään(n= 482). Kouluryhmä pelasi NNG-peliä osana tavallisia matematiikan opintojaan. Vapaaehtoisessa ryhmässä oppilaat saivat kopion pelistä ja heille kerrottiin, että he voivat pelata peliä vapaa-ajallaan, josniin tahtovat. Tarkoituksena oli selvittää pelikontekstin vaikutukset pelikokemuksiin, pelisuoriutumiseen sekä matematiikan oppimiseen ja motivaatioon. Lisäksi selvitettiin kuinka paljon oppilaat pelaisivat vapaaehtoisesti, ja kuinka he, jotka päättivät pelata, erosivat sukupuolen, koetta edeltävien matemaattisten taitojen ja motivaation osalta heistä, jotka eivät pelanneet. Tulokset osoittivat, että aiempi matemaattinen kiinnostus ja edistyneet matemaattiset taidot vaikuttavat oppilaiden halukkuuteen pelata vapaaehtoisesti, kun taas kiinnostus digitaalisia pelejä kohtaan ei vaikutanut halukkuuteen pelata. Vapaaehtoisesti pelaamatta jättäminen ei kuitenkaan vaikuta kiinnostukseen matematiikkaa kohtaan. Oppilaat, jotka pelasivat vapaaehtoisesti, kehittyivät vaativissa matemaattisissa taidoissa koulussa pelannutta ryhmää enemmän. Kouluryhmän oppilaat pelasivat pidempään, suorittivat enemmän pelinsisäisiä matemaattisia tehtäviä ja nauttivat kokemuksestaan enemmän kuin oppilaat vapaaehtoisryhmässä. Number Navigation Game -pelinpelaamisella on positiivinen vaikutus matemaattisiin taitoihin riippumatta pelikontekstista. Motivaatio pysyy suurimmaksi osaksi muuttumattomana pelikontekstista riippumatta. Osatutkimustentulokset tarjoavat lisätodisteita siitä, että motivaatio on suurimmaksi osaksi vakaata ja että oppimispelit eivät auta oppilaiden motivaation parantamisessa oppiainetta kohtaan. Pelin jatkokehittelyllä voidaan parantaa Number Navigation Game-peliin liittyviä pelikokemuksia. Toisaalta näyttää siltä, että pelikokemukset eivät vaikuta motivaatioon eivätkä oppimistuloksiin. Konteksti, jossa oppimispeliä pelataan tai vapauden määrä, joka oppilailla on pelatessa, ei näytä myöskään vaikuttavan motivaation vahvistumiseen. Toisaalta pelimekaniikka onnistuu parantamaan oppilaiden aritmetiikan taitoja. Se onnistuu myös herättämään ja pitämään yllä kiinnostuksen valtaosalla oppilaista. Tässä mielessä oppimispelit tarjoavat monia mahdollisuuksia opetuksen lisätyökaluina. On kuitenkin tärkeää ,että pelit valitaan huolellisesti niiden todistettujen oppimisvaikutusten perusteella sen sijaan, että niiden avulla pyrittäisiin ratkaisemaan motivaatio-ongelmia.