Załóżmy, że \(r = (r(x, y)){x, y \in S}\) jest macierzą przejścia dyskretnego łańcucha Markowa. Naturalnym sposobem przekształcenia go w łańcuch Markowa w czasie ciągłym jest wykonywanie kroków w momentach zdarzeń procesu Poissona o intensywności \(1\). Innymi słowy, czasy między przejściami są niezależnymi zmiennymi losowymi o standardowym rozkładzie wykładniczym.
Definiując odpowiednie miary \(\mathbf{P}_x\), \(x \in S\), wykaż, że powyższy opis faktycznie definiuje łańcuch Markowa w czasie ciągłym.
Pokaż, że funkcja przejścia łańcucha w czasie ciągłym opisanego powyżej jest dana wzorem \[p_t(x, y) = e^{-t} \sum_{k=0}^{\infty} \frac{t^k}{k!} r^{(k)}(x, y),\] gdzie \(r^{(k)}(x, y)\) jest \(k\)-krokowym prawdopodobieństwem przejścia dla dyskretnego łańcucha.
Udowodnij, że macierz \(Q\) jest dana wzorem \[Q = r - I.\]
Załóżmy, że \(S = \{0, 1\}\). Najbardziej ogólna macierz \(Q\) jest wtedy dana wzorem \[\begin{pmatrix} -\beta & \beta \\ \delta & -\delta \end{pmatrix},\] gdzie \(\beta, \delta \ge 0\). Pokaż, że odpowiadające prawdopodobieństwa przejścia wyrażają się jako \[p_t(0, 0) = \frac{\delta}{\beta + \delta} + \frac{\beta}{\beta + \delta} e^{-t(\beta + \delta)}, \quad p_t(0, 1) = \frac{\beta}{\beta + \delta} [1 - e^{-t(\beta + \delta)}],\] oraz \[p_t(1, 1) = \frac{\beta}{\beta + \delta} + \frac{\delta}{\beta + \delta} e^{-t(\beta + \delta)}, \quad p_t(1, 0) = \frac{\delta}{\beta + \delta} [1 - e^{-t(\beta + \delta)}].\]
Rozważ proces \(X\) z przestrzenią stanów \(\{0, 1\}\), który ewoluuje w następujący sposób. Jeśli rozpoczyna się w stanie \(0\), łańcuch pozostaje w \(0\) przez czas wykładniczy z parametrem \(\beta\), a następnie przechodzi do stanu \(1\). Następnie pozostaje w stanie \(1\) przez czas wykładniczy z parametrem \(\delta\), a następnie wraca do stanu \(0\), powtarzając się zgodnie z analogicznymi regułami, gdy rozpoczyna się w stanie \(1\). Niech \(p_t(i, j)\) będzie prawdopodobieństwem, że \(X_t = j\) przy założeniu, że \(X_0 = i\).
Pokaż, że \[p_t(0, 1) = \int_0^t \beta e^{-\beta s} p_{t-s}(1, 1) \mathrm{d}s.\]
Użyj transformaty Laplace’a, aby wykazać, że \(p_t(0, 1)\) oraz \(p_t(1, 1)\) są funkcjami z poprzedniego zadania.
Załóżmy, że \(S\) jest zbiorem skończonym. Pokaż, że jeśli \(q=(q(x,y))_{x,y \in S}\) jest \(Q\)-macierzą, to \(p_t=(p_t(x, y))_{x, y \in S}\) zdefiniowane przez \[p_t = e^{tq} = \sum_{n=0}^{\infty} \frac{t^n q^n}{n!}\] jest funkcją przejścia.