Challenges of usability testing and automation; designing usability testing toolkit
Liikala, Matti (2020-05-27)
Challenges of usability testing and automation; designing usability testing toolkit
Liikala, Matti
(27.05.2020)
Julkaisu on tekijänoikeussäännösten alainen. Teosta voi lukea ja tulostaa henkilökohtaista käyttöä varten. Käyttö kaupallisiin tarkoituksiin on kielletty.
suljettu
Julkaisun pysyvä osoite on:
https://urn.fi/URN:NBN:fi-fe2020061744835
https://urn.fi/URN:NBN:fi-fe2020061744835
Tiivistelmä
Usability is one of the biggest features that makes a product. If the product isn’t
usable it isn’t used. The problem around usability is, that it is rather subjective part
to measure. Usability depends on the user. The users and user groups vary between
products and services. Usability can be determined for any user interface, but in this
thesis, we focus on the software and web services.
Usability can be determined by performing usability tests. Usability testing is made
for the software to measure the key characteristics that affect the usability. This is
often considered to be time consuming and expensive. Hiring users from different
user groups always takes time and after that the analysts are left with a lot of data
that needs to be analysed. These and many other reasons explain why in smaller
projects the usability testing might be left out. That might have a crucial effect on
the success of the product.
The aim of this thesis is to dive into these problems and find solutions. The main
approach is to look into testing automation and the solutions found in the field, that
could be used to improve the effectiveness of the testing process. These findings will
be then used to design and build a testing toolkit, that helps the test performers with
the data gathering, processing of the data and the analysing part of the process. The
end result is a platform for performing testing more effectively. The platform is built
with scalability in mind, meaning that the platform can be expanded with different
tools and scripts. Käytettävyys on yksi tuotteen tärkeimmistä tekijöistä, mikäli tuote ei ole käytettävä,
sitä ei käytetä. Käyttävyys on käsitteenä ongelmallinen, koska sen mittaaminen on
subjektiivista. Käytettävyys riippuu käyttäjästä. Käyttäjät ja käyttäjäryhmät taasen
vaihtuvat riippuen käytettävästä tuotteesta tai palvelusta. Käytettävyyden voi
määritellä mille tahansa käyttöliittymälle, mutta tässä tutkielmassa keskitymme
ohjelmistoihin ja verkkopalveluihin.
Käytettävyyttä voidaan määrittää käytettävyystestauksella. Käytettävyystestaus
tehdään ohjelmistoille, jotta voidaan määritellä käytettävyyteen vaikuttavat
päätekijät. Useimmiten tätä pidetään aikaa vievänä ja kalliina toimintana. Eri
käyttäjäryhmiin kuuluvien käyttäjien palkkaaminen vaatii aikaa. Tämän jälkeen
analyytikoille jää paljon käsiteltävää dataa tutkittavaksi. Näistä ja monista muista
syistä johtuen, käytettävyystestaus saatetaan jättää kokonaan pois pienemmissä
projekteissa. Tällä saattaa olla erittäin suuri vaikutus tuotteen menestykseen.
Tämän tutkielman tavoitteena on syventyä näihin ongelmiin ja etsiä niille ratkaisuja.
Tutkielmassa tutustutaan testauksen automaatioon ja ratkaisuihin, joita löytyy
nykyisistä toteutuksista ja selvitetään, voidaanko löydettyjä ratkaisuja hyödyntää
testausprosessin tehostamisessa. Hyödyntäen löydettyjä ratkaisuja suunnitellaan ja
rakennetaan testaustyökalu, joka auttaa testien toteuttajia tiedonkeruussa,
käsittelyssä ja analysoinnissa. Lopputuloksena on alusta, jonka avulla voidaan
toteuttaa käytettävyystestausta tehokkaammin. Alusta on suunniteltu
laajennettavaksi erilaisilla työkaluilla ja ohjelmilla.
usable it isn’t used. The problem around usability is, that it is rather subjective part
to measure. Usability depends on the user. The users and user groups vary between
products and services. Usability can be determined for any user interface, but in this
thesis, we focus on the software and web services.
Usability can be determined by performing usability tests. Usability testing is made
for the software to measure the key characteristics that affect the usability. This is
often considered to be time consuming and expensive. Hiring users from different
user groups always takes time and after that the analysts are left with a lot of data
that needs to be analysed. These and many other reasons explain why in smaller
projects the usability testing might be left out. That might have a crucial effect on
the success of the product.
The aim of this thesis is to dive into these problems and find solutions. The main
approach is to look into testing automation and the solutions found in the field, that
could be used to improve the effectiveness of the testing process. These findings will
be then used to design and build a testing toolkit, that helps the test performers with
the data gathering, processing of the data and the analysing part of the process. The
end result is a platform for performing testing more effectively. The platform is built
with scalability in mind, meaning that the platform can be expanded with different
tools and scripts.
sitä ei käytetä. Käyttävyys on käsitteenä ongelmallinen, koska sen mittaaminen on
subjektiivista. Käytettävyys riippuu käyttäjästä. Käyttäjät ja käyttäjäryhmät taasen
vaihtuvat riippuen käytettävästä tuotteesta tai palvelusta. Käytettävyyden voi
määritellä mille tahansa käyttöliittymälle, mutta tässä tutkielmassa keskitymme
ohjelmistoihin ja verkkopalveluihin.
Käytettävyyttä voidaan määrittää käytettävyystestauksella. Käytettävyystestaus
tehdään ohjelmistoille, jotta voidaan määritellä käytettävyyteen vaikuttavat
päätekijät. Useimmiten tätä pidetään aikaa vievänä ja kalliina toimintana. Eri
käyttäjäryhmiin kuuluvien käyttäjien palkkaaminen vaatii aikaa. Tämän jälkeen
analyytikoille jää paljon käsiteltävää dataa tutkittavaksi. Näistä ja monista muista
syistä johtuen, käytettävyystestaus saatetaan jättää kokonaan pois pienemmissä
projekteissa. Tällä saattaa olla erittäin suuri vaikutus tuotteen menestykseen.
Tämän tutkielman tavoitteena on syventyä näihin ongelmiin ja etsiä niille ratkaisuja.
Tutkielmassa tutustutaan testauksen automaatioon ja ratkaisuihin, joita löytyy
nykyisistä toteutuksista ja selvitetään, voidaanko löydettyjä ratkaisuja hyödyntää
testausprosessin tehostamisessa. Hyödyntäen löydettyjä ratkaisuja suunnitellaan ja
rakennetaan testaustyökalu, joka auttaa testien toteuttajia tiedonkeruussa,
käsittelyssä ja analysoinnissa. Lopputuloksena on alusta, jonka avulla voidaan
toteuttaa käytettävyystestausta tehokkaammin. Alusta on suunniteltu
laajennettavaksi erilaisilla työkaluilla ja ohjelmilla.