Diskreettiaikaiset Markov-ketjut

Abstract

Markov-ketjut ovat tärkeä luokka stokastisia prosesseja. Niitä voidaan käyttää mallintamaan prosesseja, jotka toteuttavat Markov-ominaisuuden, jolla tarkoitetaan, että ketjun tulevaisuuden tila riippuu vain sen nykyisestä tilasta. Markov-ketju määritellään sen tilajakauman, ketjun nykytilan ja siirtymämatriisin avulla. Siirtymämatriisi muodostuu ketjun siirtymätodennäköisyyksistä. Siirtymämatriisi voidaan myös esittää siirtymäkaaviona. Useamman askeleen siirtymätodennäköisyydet saadaan laskettua ketjun alkujakauman ja siirtymämatriisin avulla.

Markov-ketjun tilat voidaan jakaa yhteysluokkiin niiden kommunikoivuuden perusteella. Jos tilajoukon kaikki tilat kommunikoivat keskenään, sanotaan siirtymämatriisin ja sitä vastaavan Markov-ketjun olevan yhtenäinen. Luokan sanotaan olevan suljettu, jos sen tiloista ei voida päätyä muihin tiloihin. Tila on absorboiva, jos se muodostaa yksinään suljetun luokan. Tilat ja luokat luokitellaan myös palautuviksi ja väistyviksi.

Tilan jakso on suurin yhteinen tekijä niille ajanhetkille, jolloin tilasta lähtevä ketju voi palata alkutilaansa. Luokan sanotaan olevan jaksollinen, jos sen tilat ovat jaksollisia. Vastaavasti luokka on jaksoton, jos sen tilat ovat jaksottomia. Myös siirtymämatriisi ja sitä vastaava Markov-ketju on jaksoton, jos jokainen tila on jaksoton.

Osumatodennäköisyys ilmaisee todennäköisyyden, että ketju saavuttaa prosessin aikana lähtötilastaan tietyn tilajoukon. Kulkuajalla tarkoitetaan siirtymien lukumäärää, joka ketjulla menee saavuttaa tietty tilajoukko lähtötilasta.

Satunnaismuuttujan todennäköisyysjakaumaa kutsutaan ketjun tasapainojakaumaksi, mikäli siinä ei tapahdu muutoksia enää jonkin tietyn ajanhetken jälkeen. Rajajakauma sen sijaan on jakauma, jonka ketju mahdollisesti saavuttaa, kun ajanhetki lähestyy ääretöntä. Mikäli ketjun siirtymämatriisin rivit, ovat samat jonkun ajanhetken jälkeen, on kyseessä rajajakauma. Markov-ketjun rajajakauma on myös sen tasapainojakauma. Pitkällä aikavälillä ketjun rajajakauma ei riipu ketjun lähtötilasta. Tasapainojakauma saadaan selvitettyä ratkaisemalla lineaarinen yhtälöryhmä, joka muodostetaan tasapainoyhtälöiden avulla.