We wszystkich przedstawionych powyżej przykładach \((\eta_t)_{t \geq 0}\) jest procesem Markowa z przestrzenią stanów \(W^V\), gdzie \(W\) jest przestrzenią cech, a \(V\) zbiorem wierzchołków rozważanego grafu. Z tego powodu początek wykładu poświęcimy na omówienie podstaw procesów Markowa. Z tego powodu od słuchaczy będzie wymagana znajomość teorii łańcuchów Markowa. Zważywszy na charakter opisu powyższych procesów większość analizy przeprowadzimy w oparciu o pojęcia półgrupy i generatora. Przydatna do tego (chociaż nie niezbędna) będzie znajomość podstaw analizy funkcjonalnej. Następnie przejdziemy do dokładnego przeglądu wyżej wspomnianych modeli.