Niech \(\{X_n\}_{n \in \mathbb{N}}\) będzie łańcuchem Markowa w czasie dyskretnym o macierzy przejścia \((p(x,y))_{x,y \in S}\) na skończonej przestrzeni stanów \(S\).

• Udowodnij, że dla \(\mathcal{F}_n = \sigma(X_k \: : \: k \leq n)\) oraz dla \(y \in S\) zachodzi: \[\mathbb{P}[X_{n+1} = y \: | \mathcal{F}_n] = p(X_n, y).\]

• Wykaż, że dla dowolnej ograniczonej funkcji mierzalnej \(g \colon S \to \mathbb{R}\) spełniona jest równość: \[\mathbb{E}[g(X_{n+1}) \: | \mathcal{F}_n] = \sum_{z \in S} g(z) p(X_n, z).\]

Rozważ przestrzeń probabilistyczną \((\Sigma, \mathcal{G}, \mathbb{P})\). Niech \(\{Y_n\}_{n \in \mathbb{N}}\) będzie łańcuchem Markowa w czasie dyskretnym z macierzą przejścia \((p(x,y))_{x,y \in S}\) na skończonej przestrzeni stanów \(S\).

• Rozważ \(\Omega = S^\mathbb{N}\) oraz funkcje \(X_n \colon \Omega \to S\), dane przez \(X_n(\omega) = \omega(n)\). Niech \(\mathcal{F}= \sigma(X_n \: : \: n \in \mathbb{N})\). Udowodnij, że dla każdego \(x \in S\) istnieje miara probabilistyczna \(\mathbf{P}_x\) na \((\Omega, \mathcal{F})\), taka że dla każdego \(n\), \[(X_0, \ldots, X_n) \text{ względem } \mathbf{P}_x\] ma ten sam rozkład co \[(Y_0, \ldots, Y_n) \text{ pod warunkiem } Y_0 = x.\]

• Dla \(n \in \mathbb{N}\) rozważmy funkcję \(\theta_n \colon \Omega \to \Omega\), daną przez \(\theta_n(\omega)(k) = \omega(n+k)\). Niech \(\mathcal{F}_n = \sigma(X_k \: : \: k \leq n)\). Udowodnij, że dla dowolnej ograniczonej zmiennej losowej \(Y \colon \Omega \to \mathbb{R}\) oraz dla dowolnego \(n \in \mathbb{N}\), \[\mathbf{E}_x[Y \circ \theta_n \: | \: \mathcal{F}_n] = \mathbf{E}_{X_n}[Y],\] gdzie \(\mathbf{E}_x\) oznacza wartość oczekiwaną względem miary \(\mathbf{P}_x\) dla \(x \in S\).

Przy oznaczeniach z poprzedniego zadania, niech \(\tau \colon \Omega \to \mathbb{N}\) będzie czasem zatrzymania względem filtracji \((\mathcal{F}_k)_{k \in \mathbb{N}}\).

• Udowodnij, że dla każdego \(n \in \mathbb{N}\), zmienna losowa \(n + \tau \circ \theta_n\) również jest czasem zatrzymania.

• Udowodnij, że dla każdego czasu zatrzymania \(\sigma \colon \Omega \to \mathbb{N}\), zmienna losowa \(\sigma + \tau \circ \theta_\sigma\) również jest czasem zatrzymania. Pokaż ponadto, że \[X_\tau \circ \theta_\sigma = X_{\tau \circ \theta_\sigma + \sigma}.\]

Niech \(\tau \colon \Omega \to \mathbb{N}\) będzie czasem zatrzymania. Rozważmy \[\mathcal{F}_\tau = \{ A \in \mathcal{F}\: : \: \forall n \in \mathbb{N}\: \{\tau \leq n\} \cap A \in \mathcal{F}_n \}.\]

• Udowodnij, że \(\mathcal{F}_\tau\) jest \(\sigma\)-ciałem.

• Udowodnij, że dla każdego \(x \in S\) oraz każdej ograniczonej zmiennej losowej \(Y\) zachodzi \[\mathbf{E}_x \left[\left. Y \right| \mathcal{F}_\tau\right] = \mathbf{E}_x \left[\left. Y \right| \mathcal{F}_k\right]\] na zdarzeniu \(\{\tau = k\}\).

• Wywnioskuj mocną własność Markowa, czyli \[\mathbf{E}_x[Y \circ \theta_\tau \: | \: \mathcal{F}_\tau] = \mathbf{E}_{X_\tau}[Y].\]