Beyond Skill-Based Rating Systems : Analysing and Evaluating Player Performance
Visti, Aleksi (2017-09-19)
Beyond Skill-Based Rating Systems : Analysing and Evaluating Player Performance
Visti, Aleksi
(19.09.2017)
Tätä artikkelia/julkaisua ei ole tallennettu UTUPubiin. Julkaisun tiedoissa voi kuitenkin olla linkki toisaalle tallennettuun artikkeliin / julkaisuun.
Turun yliopisto
Tiivistelmä
Being competitive is a core element of human nature and rating systems are a great tool for satisfying the need of ranking players for the skills they demonstrate. But the games of today, video games especially, have left rating systems behind in their evolution, making it more and more unlikely that players are evaluated fairly for their performances. Many video games keep logs of multitudes of actions made within each match and often present them to players during and after matches, and it seems simply wasteful when that data is not used for anything.
The goal of this thesis is to gain a deep understanding of several variations of rating systems and the environments they are used in, and to use that information to build and test a new feature for rating players. The implementation designed in this thesis applies a performance analysation and evaluation system to the skill-based rating system known as TrueSkill. With the help of a ready-made skill-based rating system it is possible to quickly test and iterate the effects the newly applied implementation has on the ratings of players and the rating system as a whole. In addition to using TrueSkill as a reference point, a dataset is gathered with the help of volunteers in order to generate authentic results. The implementation is designed to utilize these gathered results and use as much performance related data as allowed by the methods available. The resulting implementation is based on rewarding those who performed well in a game, but lost, and not on punishing those who performed poorly.
Based on the findings of this study, creating a competent system that is based, at least partly, on the performances made within a match is not beyond the scope of success. A rating system that tracks individual performances within a team setting and rewards players that perform exceptionally well promotes player enjoyment and makes it worth striving for the performing well even in situations that seem unwinnable. Halu kilpailla on yksi ihmisluonteen peruspiirteistä, mikä käy ilmi myös pelitilanteissa. Luokittelujärjestelmät toimivat hyvinä työkaluina tyydyttämään tarvetta selvittää pelaajien paremuusjärjestys heidän taitojensa perusteella. Nykypäivän pelit, erityisesti videopelit, ovat kuitenkin menneet kehityksessään perinteisten luokittelujärjestelmien ohi, ja pelaajien luokittelu saattaa jäädä epäoikeudenmukaiseksi heidän suorituksiinsa nähden. Useat videopelit tallentavat tietoja pelaajien toiminnasta otteluiden aikana, ja esittävät nämä tiedot myös avoimesti pelaajille ottelun edetessä tai heti sen päätyttyä. Pelaajista saattaakin tuntua turhauttavalta, jos esillä olevaa tietoa ei huomioida ja käytetä hyödyksi esimerkiksi pelaajien suoritusten arvioinnissa.
Tämän tutkielman tavoitteena on ymmärtää erilaisia luokittelujärjestelmiä sekä muunnelmia ja ympäristöjä, joissa niitä käytetään. Tähän ymmärrykseen pohjautuen tutkielmassa kehitetään ja testataan uutta tapaa luokitella pelaajia. Tässä tutkielmassa suunniteltu pelaajien suoritusten analysointi- ja arviointijärjestelmä sisällytetään vanhempaan, pelaajien taitoihin perustuvaan luokittelujärjestelmään, TrueSkilliin. Tämän valmiin luokittelujärjestelmän avulla on mahdollista nopeasti testata ja iteroida toteutuksen vaikutuksia pelaajien luokitteluun ja itse luokittelujärjestelmään. Tutkielmassa käytetty data on kerätty vapaaehtoisten osallistujien avulla, jotta järjestelmän toteutuksesta on saatu mahdollisimman autenttinen. Tehty toteututus on saavutettu hyödyntämällä osallistujien tuloksista mahdollisimman paljon heidän suorituksiinsa liittyvää informaatiota. Lopullinen toteutus perustuu häviäjien palkitsemiseen heidän suorituksensa sen ansaitessa, kuitenkaan rankaisematta voittajia.
Tämän tutkimuksen tulosten perusteella voidaan sanoa, että vähintäänkin osittain pelaajien suorituksiin perustuvan järjestelmän luominen on täysin mahdollista. Suoritusanalyysin sisältävä luokittelujärjestelmä, joka seuraa yksittäisen pelaajan suoritusta joukkueessa ja joka palkitsee erityisen hyvin suoriutuneet pelaajat, lisää pelaajatyytyväisyyttä ja rohkaisee hyvän suorituksen tavoittelua jopa tilanteissa, joissa voitto ei vaikuta todennäköiseltä.
The goal of this thesis is to gain a deep understanding of several variations of rating systems and the environments they are used in, and to use that information to build and test a new feature for rating players. The implementation designed in this thesis applies a performance analysation and evaluation system to the skill-based rating system known as TrueSkill. With the help of a ready-made skill-based rating system it is possible to quickly test and iterate the effects the newly applied implementation has on the ratings of players and the rating system as a whole. In addition to using TrueSkill as a reference point, a dataset is gathered with the help of volunteers in order to generate authentic results. The implementation is designed to utilize these gathered results and use as much performance related data as allowed by the methods available. The resulting implementation is based on rewarding those who performed well in a game, but lost, and not on punishing those who performed poorly.
Based on the findings of this study, creating a competent system that is based, at least partly, on the performances made within a match is not beyond the scope of success. A rating system that tracks individual performances within a team setting and rewards players that perform exceptionally well promotes player enjoyment and makes it worth striving for the performing well even in situations that seem unwinnable.
Tämän tutkielman tavoitteena on ymmärtää erilaisia luokittelujärjestelmiä sekä muunnelmia ja ympäristöjä, joissa niitä käytetään. Tähän ymmärrykseen pohjautuen tutkielmassa kehitetään ja testataan uutta tapaa luokitella pelaajia. Tässä tutkielmassa suunniteltu pelaajien suoritusten analysointi- ja arviointijärjestelmä sisällytetään vanhempaan, pelaajien taitoihin perustuvaan luokittelujärjestelmään, TrueSkilliin. Tämän valmiin luokittelujärjestelmän avulla on mahdollista nopeasti testata ja iteroida toteutuksen vaikutuksia pelaajien luokitteluun ja itse luokittelujärjestelmään. Tutkielmassa käytetty data on kerätty vapaaehtoisten osallistujien avulla, jotta järjestelmän toteutuksesta on saatu mahdollisimman autenttinen. Tehty toteututus on saavutettu hyödyntämällä osallistujien tuloksista mahdollisimman paljon heidän suorituksiinsa liittyvää informaatiota. Lopullinen toteutus perustuu häviäjien palkitsemiseen heidän suorituksensa sen ansaitessa, kuitenkaan rankaisematta voittajia.
Tämän tutkimuksen tulosten perusteella voidaan sanoa, että vähintäänkin osittain pelaajien suorituksiin perustuvan järjestelmän luominen on täysin mahdollista. Suoritusanalyysin sisältävä luokittelujärjestelmä, joka seuraa yksittäisen pelaajan suoritusta joukkueessa ja joka palkitsee erityisen hyvin suoriutuneet pelaajat, lisää pelaajatyytyväisyyttä ja rohkaisee hyvän suorituksen tavoittelua jopa tilanteissa, joissa voitto ei vaikuta todennäköiseltä.