Framework for SOC performance metrics and enhancement

Abstract

Cybersecurity has been an important part of all organizations in the past 10 years. In current cyber landscape it is important to be protected from the threat actors and to protect the organization’s infrastructure. This is what a Security Operations Centers (SOC) do and it is important to be able to determine how well your SOC is performing. This thesis examines the performance metrics and indicators currently used to assess the effectiveness of SOCs and how such metrics can support the improvement of SOC performance. Empirical experience suggests that existing methods for measuring SOC effectiveness are inadequate, limiting organizations’ ability to determine whether their SOCs truly enhance overall cybersecurity capabilities. The study applies Design Science methodology, resulting in the development of a framework for selecting appropriate SOC performance metrics. This framework was demonstrated by identifying five metrics that can be applied across different SOC organizations to evaluate both performance levels and effectiveness within various MITRE ATT&CK tactic categories. Based on the literature review, it was observed that the existing metrics presented in the literature do not provide sufficient information to be applicable across all SOCs. Using the developed framework, the previously proposed metrics were found to be partially inadequate, highlighting the need for more systematic and holistic measurement approaches. The outcome of this research is a set of five validated performance metrics and a selection framework that enable SOCs to evaluate and compare their performance across organizations. These contributions provide a foundation for the development of future industry standards in SOC performance measurement.

Kyberturvallisuus on ollut tärkeä osa kaikkia organisaatioita viimeisen 10 vuoden aikana. Nykyisessä kyberympäristössä on tärkeää suojautua uhilta ja suojata organisaation infrastruktuuria. Tätä varten on olemassa turvallisuusoperaatiokeskukset (SOC), ja on tärkeää pystyä määrittämään, kuinka hyvin SOC toimii. Tässä tutkielmassa perehdymme tietoturvavalvomon suorituskyvyn mittaamiseen ja miten näitä metriikoita voidaan hyödyntää tietoturvavalvomon tehokkuuden parantamisessa. Tässä työssä käytetyn kirjallisuuden perusteella voimme todeta nykyiset tietoturvavalvomon tehokkuuden valvontamenetelmät riittämättömiksi, mikä vaikeuttaa organisaatioiden kykyä arvioida, parantaako tietoturvavalvomo todellisuudessa niiden kyberturvallisuuskyvykkyyksiä. Tutkimusmenetelmänä käytetään Design Science -metodologiaa. Tutkimuksen tuloksena kehitettiin viitekehys, jonka avulla voidaan valita tarkoituksenmukaisia suorituskykymittareita eri tietoturvavalvomoihin. Viitekehystä havainnollistettiin valitsemalla viisi mittaria, joiden avulla arvioitiin tietoturvavalvomon suorituskykyä ja sen kyvykkyyttä eri MITRE ATT&CK -taktiikkojen kategorioissa. Kirjallisuuskatsauksen perusteella havaittiin, että nykyiset kirjallisuudessa mainitut mittarit eivät tarjoa riittävästi tietoa että niitä pystyttäisiin käyttämään kaikissa tietoturvavalvomoissa. Kehitetyn viitekehyksen avulla aiemmin esitetyt mittarit osoittautuivat osittain puutteellisiksi, ja niiden rinnalle tarvitaan uusia, systemaattisemmin muodostettuja mittareita. Tutkielman tuloksena syntyneet viisi suorituskykymittaria ja viitekehys tarjoavat käytännöllisen lähtökohdan tietoturvavalvomoiden toiminnan arvioinnille, sekä mahdollisuuden vertailla suorituskykyä eri organisaatioiden välillä. Tutkimus luo siten pohjan tuleville alan standardeille ja jatkotutkimukselle tietoturvavalvomoiden suorituskyvyn mittaamisen kehittämiseksi.