Explanatory analytics in business dashboards : A comparison of three explanation models
Askala, Aaro (2020-08-25)
Explanatory analytics in business dashboards : A comparison of three explanation models
Askala, Aaro
(25.08.2020)
Julkaisu on tekijänoikeussäännösten alainen. Teosta voi lukea ja tulostaa henkilökohtaista käyttöä varten. Käyttö kaupallisiin tarkoituksiin on kielletty.
avoin
Julkaisun pysyvä osoite on:
https://urn.fi/URN:NBN:fi-fe2020092976174
https://urn.fi/URN:NBN:fi-fe2020092976174
Tiivistelmä
Business dashboards are visual products of business intelligence and analytics, that are used to support decision-making. This thesis studies how dashboards can be extended with explanatory analytics. Explanatory analytics are automated diagnostics that generate probable explanations to a problem, often an exceptional value. This is especially important with the advent of big data and maturing dashboard technologies.
This thesis is conducted by design science research, where an artifact is created based on previous theoretical grounding, and then evaluated through business experts. Three separate models for explanations from different fields are compared, namely explanation formalism, informative summarization, and explanation by intervention. First, the models’ theoretical bases are detailed and compared. Then the extension is planned by the use of UML diagrams, and implemented through Python using object-oriented programming and Microsoft Power Bi as the dashboarding platform. This implementation is then evaluated with business experts, through semi-structured qualitative interviews.
As a result, it is found that business dashboards can be extended with explanatory analytics, and that the three models share many functions, while differing in others. The main differences found are the recursion logic, measure of impact, and visualisation of the models. Explanation formalism uses top-down recursion logic, with a measure of impact based on the absolute difference of actual and reference value and has a visualisation in the form of an explanation tree. Informative summarization, in contrast, uses bottom-up logic, with impact measure of both magnitude and ratio, and the result is in the form of a table. Explanation by intervention has no recursion, but calculates everything with a big bang method, measuring the impact by ratio, and the result is in the form of table. With a qualitative evaluation it was found that most business experts prefer the use of absolute difference in the measure and having a visualisation such as explanation tree to speed up the assimilation of information. Ratio as a measure of impact was seen as including insignificant explanations when solving business problems. Business dashboardit, vapaasti suomennettuna liiketoiminnan mittaristot, ovat liiketoiminnan analysoinnin ja
hyödyntämisen (BI&A) visuaalisia tuotteita, joita käytetään liiketoiminnan
päätöksien tukemiseen. Tämä tutkielma tutkii, kuinka mittaristoja voidaan laajentaa eksplanatiivisilla analyyseillä. Eksplanatiivinen analytiikka on automatisoitua diagnostiikkaa, joka luo liiketoiminnallista arvoa tunnistamalla ongelmia aiheuttavia tekijöitä. Tämä on erityisen tärkeää tiedon määrän kasvun ja teknologioiden kehittymisen seurauksena.
Tämä tutkielma toteutetaan design science research -menetelmällä, jossa artefakti luodaan aiempaan teoreettiseen pohjaan perustuen, ja sitten arvioidaan liiketoiminnan asiantuntijahaastatteluin. Kolmea eri mallia syiden tunnistamiseen eri tutkimusaloilta verrataan keskenään. Nämä ovat explanation formalism-, informative summarization-, ja explanation by intervention -mallit. Ensin mallien teoreettiset pohjat käydään läpi ja niitä verrataan keskenään. Tämän jälken mittariston laajennus suunnitellaan UML-kaavioiden avulla, ja toteutetaan Pythonilla olioohjelmoinnin avulla Microsoft Power Bi -ohjelmaan. Tämä toteutus arvioidaan liiketoiminnan asiantuntijoilla, puolistruktu-roiduilla kvalitatiivisilla haastatteluilla.
Tuloksena huomataan, että liiketoiminnan mittaristoja voidaan laajentaa eksplanatii-visella analytiikalla, ja että tutkielmassa käytettyjen kolmen mallin välillä on paljon samaa, mutta kuitenkin myös eroja. Pääerot mallien välillä syntyvät rekursiologiikassa, vaikutusmitassa, ja visualisoinnissa. Explanation formalism -malli käyttää ylhäältä-alas- ekursiota, pääasiassa absoluuttisen eron mittaa, ja visualisoinnissa puumallia. Informative summarization -malli toisaalta käyttää alhaalta-ylös-rekursiota, vaikutusmittaa, joka ottaa huomioon kummatkin, absoluuttisen eron ja muutoksen suhteen, ja visualisointi on taulukko. Explanation by intervention -malli ei käytä rekursiota, vaan niin sanottua big bang -metodia, kun taas sen vaikutusmitta on pääasiassa muutoksen suhde, sekä lopputuloksen esitys on taulukkomuodossa. Kvalitatiivisella arvioinnilla huomattiin, että useimmat liiketoiminnan asiantuntijat pitivät enemmän absoluuttisesta erotuksesta vaikutusmittana, sekä visualisoinnista kuten puumallista, joka nopeuttaa tiedon assimilaatiota. Muutoksensuhde vaikutusmittana nähtiin monessa tilanteessa epäkäytännöllisenä, koska se voi ottaa huomioon epätärkeitä ja pieniä syitä.
This thesis is conducted by design science research, where an artifact is created based on previous theoretical grounding, and then evaluated through business experts. Three separate models for explanations from different fields are compared, namely explanation formalism, informative summarization, and explanation by intervention. First, the models’ theoretical bases are detailed and compared. Then the extension is planned by the use of UML diagrams, and implemented through Python using object-oriented programming and Microsoft Power Bi as the dashboarding platform. This implementation is then evaluated with business experts, through semi-structured qualitative interviews.
As a result, it is found that business dashboards can be extended with explanatory analytics, and that the three models share many functions, while differing in others. The main differences found are the recursion logic, measure of impact, and visualisation of the models. Explanation formalism uses top-down recursion logic, with a measure of impact based on the absolute difference of actual and reference value and has a visualisation in the form of an explanation tree. Informative summarization, in contrast, uses bottom-up logic, with impact measure of both magnitude and ratio, and the result is in the form of a table. Explanation by intervention has no recursion, but calculates everything with a big bang method, measuring the impact by ratio, and the result is in the form of table. With a qualitative evaluation it was found that most business experts prefer the use of absolute difference in the measure and having a visualisation such as explanation tree to speed up the assimilation of information. Ratio as a measure of impact was seen as including insignificant explanations when solving business problems.
hyödyntämisen (BI&A) visuaalisia tuotteita, joita käytetään liiketoiminnan
päätöksien tukemiseen. Tämä tutkielma tutkii, kuinka mittaristoja voidaan laajentaa eksplanatiivisilla analyyseillä. Eksplanatiivinen analytiikka on automatisoitua diagnostiikkaa, joka luo liiketoiminnallista arvoa tunnistamalla ongelmia aiheuttavia tekijöitä. Tämä on erityisen tärkeää tiedon määrän kasvun ja teknologioiden kehittymisen seurauksena.
Tämä tutkielma toteutetaan design science research -menetelmällä, jossa artefakti luodaan aiempaan teoreettiseen pohjaan perustuen, ja sitten arvioidaan liiketoiminnan asiantuntijahaastatteluin. Kolmea eri mallia syiden tunnistamiseen eri tutkimusaloilta verrataan keskenään. Nämä ovat explanation formalism-, informative summarization-, ja explanation by intervention -mallit. Ensin mallien teoreettiset pohjat käydään läpi ja niitä verrataan keskenään. Tämän jälken mittariston laajennus suunnitellaan UML-kaavioiden avulla, ja toteutetaan Pythonilla olioohjelmoinnin avulla Microsoft Power Bi -ohjelmaan. Tämä toteutus arvioidaan liiketoiminnan asiantuntijoilla, puolistruktu-roiduilla kvalitatiivisilla haastatteluilla.
Tuloksena huomataan, että liiketoiminnan mittaristoja voidaan laajentaa eksplanatii-visella analytiikalla, ja että tutkielmassa käytettyjen kolmen mallin välillä on paljon samaa, mutta kuitenkin myös eroja. Pääerot mallien välillä syntyvät rekursiologiikassa, vaikutusmitassa, ja visualisoinnissa. Explanation formalism -malli käyttää ylhäältä-alas- ekursiota, pääasiassa absoluuttisen eron mittaa, ja visualisoinnissa puumallia. Informative summarization -malli toisaalta käyttää alhaalta-ylös-rekursiota, vaikutusmittaa, joka ottaa huomioon kummatkin, absoluuttisen eron ja muutoksen suhteen, ja visualisointi on taulukko. Explanation by intervention -malli ei käytä rekursiota, vaan niin sanottua big bang -metodia, kun taas sen vaikutusmitta on pääasiassa muutoksen suhde, sekä lopputuloksen esitys on taulukkomuodossa. Kvalitatiivisella arvioinnilla huomattiin, että useimmat liiketoiminnan asiantuntijat pitivät enemmän absoluuttisesta erotuksesta vaikutusmittana, sekä visualisoinnista kuten puumallista, joka nopeuttaa tiedon assimilaatiota. Muutoksensuhde vaikutusmittana nähtiin monessa tilanteessa epäkäytännöllisenä, koska se voi ottaa huomioon epätärkeitä ja pieniä syitä.