Challenges of usability testing and automation; designing usability testing toolkit - Liikala, Matti (My University, 2020)
Usability is one of the biggest features that makes a product. If the product isn’t usable it isn’t used. The problem around usability is, that it is rather subjective part to measure. Usability depends on the user. The users and user groups vary between products and services. Usability can be determined for any user interface, but in this thesis, we focus on the software and web services. Usability can be determined by performing usability tests. Usability testing is made for the software to measure the key characteristics that affect the usability. This is often considered to be time consuming and expensive. Hiring users from different user groups always takes time and after that the analysts are left with a lot of data that needs to be analysed. These and many other reasons explain why in smaller projects the usability testing might be left out. That might have a crucial effect on the success of the product. The aim of this thesis is to dive into these problems and find solutions. The main approach is to look into testing automation and the solutions found in the field, that could be used to improve the effectiveness of the testing process. These findings will be then used to design and build a testing toolkit, that helps the test performers with the data gathering, processing of the data and the analysing part of the process. The end result is a platform for performing testing more effectively. The platform is built with scalability in mind, meaning that the platform can be expanded with different tools and scripts.

Käytettävyys on yksi tuotteen tärkeimmistä tekijöistä, mikäli tuote ei ole käytettävä, sitä ei käytetä. Käyttävyys on käsitteenä ongelmallinen, koska sen mittaaminen on subjektiivista. Käytettävyys riippuu käyttäjästä. Käyttäjät ja käyttäjäryhmät taasen vaihtuvat riippuen käytettävästä tuotteesta tai palvelusta. Käytettävyyden voi määritellä mille tahansa käyttöliittymälle, mutta tässä tutkielmassa keskitymme ohjelmistoihin ja verkkopalveluihin. Käytettävyyttä voidaan määrittää käytettävyystestauksella. Käytettävyystestaus tehdään ohjelmistoille, jotta voidaan määritellä käytettävyyteen vaikuttavat päätekijät. Useimmiten tätä pidetään aikaa vievänä ja kalliina toimintana. Eri käyttäjäryhmiin kuuluvien käyttäjien palkkaaminen vaatii aikaa. Tämän jälkeen analyytikoille jää paljon käsiteltävää dataa tutkittavaksi. Näistä ja monista muista syistä johtuen, käytettävyystestaus saatetaan jättää kokonaan pois pienemmissä projekteissa. Tällä saattaa olla erittäin suuri vaikutus tuotteen menestykseen. Tämän tutkielman tavoitteena on syventyä näihin ongelmiin ja etsiä niille ratkaisuja. Tutkielmassa tutustutaan testauksen automaatioon ja ratkaisuihin, joita löytyy nykyisistä toteutuksista ja selvitetään, voidaanko löydettyjä ratkaisuja hyödyntää testausprosessin tehostamisessa. Hyödyntäen löydettyjä ratkaisuja suunnitellaan ja rakennetaan testaustyökalu, joka auttaa testien toteuttajia tiedonkeruussa, käsittelyssä ja analysoinnissa. Lopputuloksena on alusta, jonka avulla voidaan toteuttaa käytettävyystestausta tehokkaammin. Alusta on suunniteltu laajennettavaksi erilaisilla työkaluilla ja ohjelmilla.
Keywords: usability testing, automated usability testing, käytettävyystestaus, automatisoitu käytettävyystestaus