Monitoring Integration Systems and Visualization

Abstract

The amount of new software and data has grown significantly in our society. In addition, new software solutions often have been built over the old ones to extend their capabilities. Also architectural solutions for software systems include multiple smaller services that have been divided all over the system. This has lead to the situation where more communication happens between the different parts of the system. Monitoring abundant traffic manually, with human resources is really challenging or even an impossible task. That is the reason why monitoring is performed with automated systems. The objective of the thesis is to develop an extension for monitoring system, that will be in charge of monitoring the integration platform. Thesis is done for the SaaS -software company BCB Medical Oy. In the thesis solutions were sought for general monitoring challenges and integration platforms problems in monitoring. Retrieving integration platforms essential information and their visual presentation was one of these problems. In addition to these problems, the differences in monitoring between the integration part of the system and rest of the system, were evaluated. Also determining thresholds that help detecting any anomalies in the system, was considered an issue. The research for in thesis was performed with qualitative methods, by interviewing the employees of BCB Medical Oy. Interviews were constructed with semi structural interview model and they were used to discover solutions for monitoring issues. Implementation part of the thesis was made with the same tools that the company uses for monitoring, Prometheus and Grafana. Results of the work accomplished of determining values that are required from the integration platform. Transferring these values to the monitoring system was performed with using Prometheus exporter. Visualization of these values was done with Grafana to help discover important information and determining certain thresholds for alerts.

Uusien ohjelmistojen ja datan määrä on kasvanut yhteiskunnassamme merkittävästi. Lisäksi vanhojen sovellusten toiminnallisuutta on yritetty laajentaa uusien ratkaisujen avulla. Myös sovellusten arkkitehtuuriset ratkaisut ovat usein toteuttettu niin, että järjestelmä on jaettu useisiin osiin. Tämä on myös johtanut lisääntyneeseen kommunikointiin komponenttien välillä. Runsaasta liikenteestä järjestelmässä johtuen sovellusten manuaalinen monitorointi on ihmisresurssein erittäin haastavaa ellei jopa mahdotonta. Tästä johtuen monitorointia suoritetaan automaattisella monitorointi järjestelmällä. Työn tavoitteena on kehittää monitorointi järjestelmän osa, joka vastaa integraatioalustan monitoiroinnista. Lopputyö toteutettiin SaaS -ohjelmistoyritys BCB Medical Oy:lle. Työssä etsittiin ratkaisuja monitoroinnin haasteisiin ja integraationalustan synnyttämiin ongelmiin monitoroinnissa. Erityisesti integraatioalustalta tarpeellisten tietojen hakemiseen ja niiden visuaaliseen esittämiseen etsittiin ratkaisua. Näiden ongelmien lisäksi koitettiin saada vastauksia integraatioalustan monitoroinnin eroavaisuuksiin tavalliseen monitorointiin verrattuna sekä miten määrittää integraatioalustan arvoille raja-arvo, jonka avulla havaitaan alustan ongelmat. Tutkimus suoritettiin kvalitatiivisellä menetelmällä, haastattelemalla BCB Medical:n työntekijöitä. Haastattelut on muodostettu käyttäen puolistrukturoitua rakennetta ja niillä selvitettiin monitorointiin liittyviä ratkaisuja. Työosuus toteutet-tiin yrityksen käyttämillä monitoroitityökaluilla, joita olivat Prometheus ja Grafana. Työn tuloksena saatiin määritettyä integraatioalustan monitoroinnissa välttämättömiä arvoja. Arvojen siirtäminen monitorointi alustalle tapahtui käyttämällä Prometheuksen exportteria. Sen lisäksi näiden arvojen esittäminen Grafana-ilmoitustaululla tärkeiden tietojen havaitsemisen sujuvoittamiseksi ja hälytysjärjestelmän arvojen määrittämiseksi.