Markoven kateak

Markoven kateak une diskretu batetik bestera bere egoera diskretua aldatzen doan prozesu estokastikoak dira, une bateko egoera aurreko uneko egoeraren mendean soilik dagoenean; adibidez, toki batean euria eta ez egiteko probabilitateak (bi egoera diskretu dira horiek) bezperako eguraldiaren arabera zehazten direnean, bezperan euria egin duen ala ez kontuan harturik alegia. Beraz, denboran zehar uneka zoriz aldatzen doan aldagai bat da, kuantitatiboa edo kualitatiboa, baina beti diskretua, eta aurreko uneko balioaren mendekoa soilik. Markoven kateak trantsizio-matrize batez definitzen dira; adibidez, arestiko adibidean, bezperan euria eginda, biharamunean euria egiteko probabilitatea 0.6; eta ateri izanda, biharamunean euria egiteko probabilitatea 0.2 bada, hau da Markoven katearen trantsizio-matrizea:

    \[P = \begin{bmatrix} 0.6 & 0.4 \\ 0.2 & 0.8\\ \end{bmatrix}\]