On evaluating video surveillance systems

Abstract

This dissertation considers the problem of systems evaluation in the context of video surveillance systems. While multiple definitions of evaluation exist, one can agree that the goal of the evaluation is to reflect the “value” of the system. However, in case of surveillance systems, there is a lack of consensus on what objective should be measured to reflect this value, and most of objectives, such as video quality, target detectability or performance are qualitative or complex to measure.

My hypothesis states that every video surveillance system can be evaluated in a quantitative way reflecting evaluation needs of its stakeholders across the lifecycle of the system. Based on presented existing research as well as own publication works, I have proposed a new, holistic framework for video surveillance system evaluation - a metrics-based scoring evaluation system. Finally, the scoring system is presented by two example case studies. To create the most holistic view on system value I have studied different aspects of surveillance systems and researched what evaluation methodologies and metrics can be used for other similar systems and their applicability to video surveillance systems. I have focused on metrics and methodologies that can reflect different contexts of use and solutions, as well as satisfy the needs of various stakeholders. I have demonstrated how such set of metrics can be utilized to build scoring system and demonstrated how example set of metrics can be used to reflect various system properties and illustrate the final performance. Finally, I have demonstrated the proposed scoring system concept by modelling and analysing existing solutions. This work is expected to support innovation development in the industry providing a concept that could be used for evaluating new solutions from both business, technology, and research innovation potential perspectives. It can provide common evaluation vocabulary improving collaboration between research and business and therefore improving the speed of commercialization of innovations. The motivation for this research is based on my experience from my position as Product Manager at Teleste Corporation, where I was responsible for development and commercialization of VMX surveillance system. The work has been supported with literature research, technology analysis, relevant patents analysis, as well as video surveillance market research.

<b>Videovalvontajärjestelmien arviointi</b>

Tämä väitöskirja käsittelee järjestelmäarvioinnin ongelmaa videovalvontajärjestelmien kontekstissa. Vaikka arvioinnille on olemassa useita määritelmiä, voidaan olla yhtä mieltä siitä, että arvioinnin tavoitteena on heijastaa järjestelmän "arvoa". Valvontajärjestelmien tapauksessa ei kuitenkaan ole yksimielisyyttä siitä, mitä tavoitetta tulisi mitata tämän arvon heijastamiseksi ja useimmat tavoitteista, kuten videon laatu, kohteen havaittavuus tai suorituskyky, ovat kvalitatiivisia tai monimutkaisia mitata.

Hypoteesini on, että jokaista videovalvontajärjestelmää voidaan arvioida kvantitatiivisesti, mikä heijastaa sen sidosryhmien arviointitarpeita järjestelmän koko elinkaaren ajan. Esitettyjen olemassa olevien tutkimusten ja omien julkaisujen perusteella olen ehdottanut uutta, kokonaisvaltaista viitekehystä videovalvonta-järjestelmien arvioinnille - metriikkaan perustuvaa pisteytysjärjestelmää. Lopuksi pisteytysjärjestelmä esitetään kahdella esimerkkitapauksella. Luodakseni mahdollisimman kokonaisvaltaisen kuvan järjestelmäarvosta olen tutkinut valvontajärjestelmien eri näkökohtia ja selvittänyt, mitä arviointimenetelmiä ja -mittareita voidaan käyttää muissa vastaavissa järjestelmissä ja niiden sovellettavuutta videovalvontajärjestelmiin. Olen keskittynyt mittareihin ja menetelmiin, jotka voivat heijastaa erilaisia käyttökonteksteja ja ratkaisuja sekä tyydyttää eri sidosryhmien tarpeita. Tämän työn odotetaan tukevan innovaatioiden kehitystä toimialalla tarjoamalla konseptin, jota voitaisiin käyttää uusien ratkaisujen arviointiin sekä liiketoiminnan, teknologian että tutkimuksen innovaatiopotentiaalin näkökulmista. Se voi tarjota yhteistä arviointisanastoa, mikä parantaa tutkimuksen ja liiketoiminnan välistä yhteistyötä ja siten nopeuttaa innovaatioiden kaupallistamista.

Tutkimuksen motivaatio perustuu kokemukseeni tuotepäällikkönä Teleste Corporationilla, jossa vastasin VMX-valvontajärjestelmän kehittämisestä ja kaupallistamisesta. Työtä on tuettu kirjallisuustutkimuksella, teknologia-analyysillä, asiankuuluvien patenttien analysoinnilla sekä videovalvonnan markkinatutkimuksella.