20 Mocne prawo wielkich liczb

Celem wykładu jest pokazanie jednego z kluczowych wyników w rachunku prawdopodobieństwa: Mocnego Prawa Wielkich Liczb. Mówi ono, że jeżeli danych jest ciąg zmiennych losowych \(\{X_n\}_{n\in \mathbb{N}}\) o takim samym rozkładzie i takich, że \(\mathbb{E}|X_n|<\infty\), to \[ \frac{X_1 + \ldots + X_n}{n} \to \mathbb{E} [X_1],\qquad p.n. \]

20.1 Twierdzenie o dwóch szeregach

Twierdzenie 20.1 (Nierówność Kołmogorowa) Niech \(X_1,\ldots, X_n\) będą niezależnymi zmiennymi losowymi takimi, że \(\mathbb{E} [X_i] = 0\) i \(\mathbb{E}\left[ X_i^2\right]<\infty\). Wtedy dla dowolnego \(t>0\) \[ \mathbb{P}\left[ \max_{1\le k\le n} |X_1+\ldots + X_k| \ge t \right] \le \frac 1{t^2} \mathbb{V}ar(X_1+\ldots + X_n). \]

Proof. Oznaczmy \(S_0 = 0\), \(S_k = X_1+\ldots + X_k\). Zdefiniujmy zdarzenia \[ A_k = \big\{ |S_j| < t \mbox{ dla } j<k, |S_k|\ge t \big\}. \] Są to zbiory tych trajektorii, które dokładnie w \(k\)-tym kroku przekraczają poziom \(t\). Wówczas \(A_k\in\sigma\{X_1,\ldots, X_k\}\). Ponadto zbiory \(A_k\) są rozłączne parami oraz \[\begin{equation}\label{eq:abk} \bigcup_{k=1}^n A_k = B = \left\{ \max_{1\le k \le n} |S_k| \ge t \right\}. \end{equation}\] Wtedy \[\begin{align*} \mathbb{V}ar [S_n] & =\mathbb{E}\left[ S_n^2\right] = \int _{\Omega} S_n^2 \mathrm{d}\mathbb{P} \ge \int_B S_n^2 \mathrm{d}\mathbb{P}\\ &= \sum_{k=1}^n \int_{A_k} S_n^2 \mathrm{d}\mathbb{P} = \sum_{k=1}^n \int_{A_k} (S_k+S_n-S_k)^2 \mathrm{d}\mathbb{P}\\ &=\sum_{k=1}^n \bigg( \int_{A_k} S_k^2 \mathrm{d}\mathbb{P} + 2\int_{A_k}(S_n-S_k)S_k \mathrm{d}\mathbb{P} + \int_{A_k}(S_n-S_k)^2 \mathrm{d}\mathbb{P}\bigg)\\ &\ge \sum_{k=1}^n \bigg( \int_{A_k} S_k^2 \mathrm{d}\mathbb{P} + 2\int (S_n-S_k) S_k {\bf 1}_{A_k}\mathrm{d}\mathbb{P} \bigg). \end{align*}\] Zmienne losowe \(S_n-S_k\) oraz \(S_k{\bf 1}_{A_k}\) są niezależne zatem \[\begin{multline*} \int (S_n-S_k) S_k {\bf 1}_{A_k}d\mathbb{P} = \mathbb{E}\big[ (S_n-S_k)S_k{\bf 1}_{A_k} \big]\\ = \mathbb{E}\big[ S_n-S_k\big]\mathbb{E}\big[S_k{\bf 1}_{A_k} \big] = \mathbb{E}\big[S_k{\bf 1}_{A_k} \big] \cdot \sum_{j=k+1}^n \mathbb{E} X_j = 0. \end{multline*}\] A stąd wynika \[ \mathbb{V}ar[ S_n] \ge \sum_{k=1}^n \int_{A_k} S_k^2d\mathbb{P} \ge \sum_{k=1}^n \int_{A_k} t^2 d\mathbb{P} \ge t^2 \int_B d\mathbb{P} = t^2 \mathbb{P}[B] \]

Twierdzenie 20.2 (Twierdzenie Kołmogorowa o dwóch szeregach) Załóżmy, że \(X_1,X_2,...\) jest ciągiem niezależnych zmiennych losowych takich, że \(\mathbb{E}\left[ X_i^2\right]<\infty\). Jeżeli \[ \sum_{i=1}^\infty \mathbb{E} [X_i] <\infty \quad \mbox{oraz} \quad \sum_{i=1}^\infty \mathbb{V}ar[ X_i]<\infty,\] to \[\sum_{i=1}^\infty X_i <\infty \quad \mbox{p.n.}\]

Przykład 20.1 Niech \(\{X_n\}_{n \in \mathbb{N}}\) będzie ciągiem niezależnych zmiennych losowych takich, że dla każdego \(n\) zmienna \(X_n\) ma rozkład \(\mathcal{N}(n^{-a}, n^{-b})\) dla pewnych \(a, b \in (0,2)\). Wówczas szereg \(\sum_nX_n\) jest zbieżny wtedy i tylko wtedy, gdy \(a,b>1\). Poniżej widzimy realizację ciągu sum częściowych tego szeregu.

Co się dzieje dla małych wartości \(a\)? Co się dzieje dla małych wartości \(b\)?

Remark. W założeniach Twierdzenia o dwóch szeregach warunek \[ \sum_{i=1}^\infty \mathbb{E} [X_i] <\infty \] kontroluje trend ciągu sum częściowych (który musi być ograniczony, aby suma nie była \(\pm \infty\)). Natomiast założenie \[ \sum_{i=1}^\infty \mathbb{V}ar[ X_i]<\infty \] kontroluje oscylacje ciągu sum częściowych.

Przykład 20.2 Czy szereg \(\sum \frac {U_n}n\) jest zbieżny, gdzie \(U_n\) jest ciągiem niezależnych zmiennych losowych takich, że \(U_n = \pm 1\) z prawdopodobieństwem \(1/2\)? Zdefiniujmy \(X_n = \frac{U_n}{n}\). Wówczas \(\mathbb{E} [X_n] = 0\), \(\mathbb{V}ar[ X_n] = \frac 1{n^2}\). Z powyższego twierdzenia wnioskujemy więc, że szereg \(\sum \frac {U_n}n\) jest zbieżny p.n.

Proof. Możemy założyć, że \(\mathbb{E} [X_i] = 0\), bo przy powyższych założeniach \(\sum X_i\) jest zbieżny p.n. wtedy i tylko wtedy, gdy \(\sum_i (X_i - \mathbb{E} [X_i])\) jest zbieżny p.n.

Niech \(S_N = \sum_{n=1}^N X_n\). Chcemy pokazać, że \(\{S_N\}_N\) jest ciągiem Cauchy’ego. Z nierówności Kołmogorowa \[ \mathbb{P}\left[ \max_{M\le m \le N} |S_m-S_M| >\varepsilon \right] \le \frac 1{\varepsilon^2} \mathbb{V}ar(S_N - S_M) = \frac{1}{\varepsilon^2} \sum_{n=M+1}^N\mathbb{V}ar (X_n). \] Przechodząc z \(N\) do nieskończoności i korzystając z ciągłości miary, otrzymujemy \[ \mathbb{P}\left[ \sup _{m\ge M} |S_m-S_M| >\varepsilon \right] \le \frac 1{\varepsilon^2}\sum_{n=M+1}^\infty \mathbb{V}ar(X_n) \] Przypomnijmy, że \(\sum_n \mathbb{V}ar [X_n]<\infty\), a więc przechodząc z \(M\to\infty\), dla każdego \(\varepsilon > 0\) \[\begin{align*} &\mathbb{P}\left[ \sup _{n,m\ge M} |S_m-S_n| > 2 \varepsilon \right] \le \\ & \mathbb{P}\left[ \sup _{n\ge M} |S_m-S_M| > \varepsilon \right] +\\ &\mathbb{P}\left[ \sup _{m\ge M} |S_n-S_M| > \varepsilon \right] \overset{M\to \infty}{\to} 0. \end{align*}\] Powyższy warunek przypomina definicję Cauchy’ego zbieżności ciągów, ale otrzymaliśmy zbieżność według prawdopodobieństwa, a nie punktową. Oznaczmy \[W_M = \sup_{m,n \ge M} |S_n - S_m|.\] Wtedy \(W_M \overset{\mathbb{P}}{\to} 0\). Skoro \(W_M\) jest niemalejący, to jest zbieżny p.n. Z jedyności granica musi być równa \(0\) p.n.
To pokazuje, że \(S_n\) jest ciągiem Cauchy’ego p.n., a więc ciąg \(S_n\) jest zbieżny p.n. □

Lemma 20.1 (Lemat Kroneckera) Załóżmy, że \(a_n\) jest ciągiem liczbowym takim, że szereg \(\sum_{n=1}^\infty \frac{a_n}n\) jest zbieżny. Wtedy \[ \lim_{n\to\infty} \frac{a_1+\ldots+a_n}{n} = 0. \]

Proof. Niech \(S_n = \sum_{k=1}^n \frac{a_k}k\), wtedy \(a_n = n(S_n - S_{n-1})\). Skorzystamy z lematu (zadanie z analizy I) mówiącego, że jeżeli \(S_n\to S\), to również średnie arytmetyczne zbiegają do \(S\): \[ \frac{S_1 +\ldots + S_n}{n} \to S. \] Wówczas \[\begin{align*} \frac{a_1+\ldots+a_n}{n} & = \frac{S_1 + 2(S_2-S_1) + \ldots + n(S_n - S_{n-1})}{n}\\ &= \frac{nS_n - S_1 - S_2 -\ldots - S_{n-1}}{n} \to 0 \end{align*}\] □

Twierdzenie 20.3 (Mocne Prawo Wielkich Liczb Kołmogorowa) Załóżmy, że \(\{X_n\}\) jest ciągiem niezależnych zmiennych losowych o tym samym rozkładzie.

Jeżeli \(\mathbb{E} [|X_1|]<\infty\) i \(m = \mathbb{E} [X_1]\), to \[ \lim_{n\to\infty} \frac{X_1+\ldots +X_n}n = m,\qquad \mbox{p.n.} \]
Jeżeli \(\mathbb{E} [|X_1|]=\infty\), to \[ \mathbb{P}\bigg[ \limsup_{n\to\infty} \bigg| \frac{X_1+\ldots + X_n}{n} \bigg| = \infty \bigg] = 1. \]

Proof. przy dodatkowym założeniu \(\mathbb{E} X_1^2<\infty\). Przy silniejszym warunku MPWL wynika natychmiast z poprzedniego twierdzenia Kołmogorowa o dwóch szeregach. Mianowicie zauważmy, że \[ \sum_n \mathbb{V}ar\bigg(\frac{X_n-m}n\bigg) = \sum_n \frac{\mathbb{V}ar X_n}{n^2} = \mathbb{V}ar X_1 \sum_n \frac{1}{n^2} <\infty \] oraz \[ \sum_n \mathbb{E}\bigg[\frac{X_n-m}n\bigg]=0. \] Zatem szereg \(\sum_{n=1}^\infty \frac{X_n-m}n\) jest zbieżny p.n. Korzystając następnie z lematu Kroneckera otrzymujemy \[ 0 \leftarrow \frac{X_1+\ldots + X_n - nm}n = \frac{X_1 + \ldots + X_n}n - m \qquad \mbox{p.n.} \] to dowodzi MPWL w tym szczególnym przypadku. □

20.2 Dowód MPWL w ogólnym przypadku

Zdefiniujmy \[ X_n' = {\bf 1}_{(-n,n)}(X_n) = \left\{ \begin{array}{cc} X_n & \ \mbox{jeżeli } |X_n| < n \\ 0 & \ \mbox{jeżeli } |X_n| \ge n \\ \end{array} \right. \] Zmienne losowe \(X_n'\) są niezależne oraz ograniczone, więc również \(\mathbb{E} (X_n')^2<\infty\). Mamy \[\begin{multline*} \frac{X_1+\ldots + X_n}n - m = \frac{(X_1+\ldots + X_n) - (X'_1+\ldots + X'_n)}{n}\\ + \frac{(X'_1+\ldots + X'_n) - ( \mathbb{E} X'_1+\ldots + \mathbb{E} X'_n)}{n} + \frac{\mathbb{E} X'_1+\ldots \mathbb{E} X'_n}n - m \\ = I_n + II_n + III_n. \end{multline*}\] Pokażemy, że wszystkie powyższe wyrażenia zbiegają do \(0\) p.n.

Z twierdzenia Lebesgue’a o zbieżności zdominowanej \[\mathbb{E} X_n' = \mathbb{E} \big[ X_n {\bf 1}_{(-n,n)}(X_n) \big] = \mathbb{E} \big[ X_1 {\bf 1}_{(-n,n)} (X_n) \big] \to \mathbb{E} X_1 = m,\] a zatem \(III_n\to 0\) (ponownie korzystamy z lematu mówiącego, że jeżeli ciąg jest zbieżny, to średnia arytmetyczna zbiega do tej samej granicy).

Badamy teraz \(I_n\). Pokażemy, że ciągi \(\{X_n\}\) oraz \(\{X'_n\}\) od pewnego miejsca się zgadzają. W tym celu skorzystamy z lematu Borela-Cantellego. Zauważmy najpierw \[ \sum_{n=1}^\infty\mathbb{P}[ X_n\not= X_n' ] = \sum_{n=1}^\infty \mathbb{P}[|X_n|\ge n] = \sum_{n=1}^\infty \mathbb{P}[|X_1|\ge n] \] Przypomnijmy, że jeżeli zmienna losowa przyjmuje dyskretne wartości, to powyższa suma jest równa \(\mathbb{E} |X_1|\). W ogólnej sytuacji nie zachodzi równość, ale obie wartości są ze sobą porównywalne, a więc założenie \(\mathbb{E} |X_1|<\infty\) powinno implikować zbieżność powyższego szeregu. Poniższe rachunki pokazują, że to rzeczywiście zachodzi: \[\begin{align*} \sum_{n=1}^\infty\mathbb{P}[ X_n\not= X_n' ] & = \sum_{n=1}^\infty \mathbb{P}[|X_n|\ge n] = \sum_{n=1}^\infty \mathbb{P}[|X_1|\ge n]\\ &= \sum_{n=1}^\infty \sum_{k=n}^{\infty} \mathbb{P}[k\le |X_1| < k+1] = \sum_{k=1}^\infty \sum_{n=1}^k \mathbb{P}[k\le |X_1| < k+1]\\ & = \sum_{k=1}^\infty k \mathbb{P}[k\le |X_1| < k+1] \le \sum_{k=1}^\infty \int_{\{k\le |X_1|< k+1\}} k d\mathbb{P}\\ & \le \sum_{k=1}^\infty \int_{\{k\le |X_1|< k+1\}} |X_1| d\mathbb{P}\le \mathbb{E} |X_1| <\infty. \end{align*}\] Zatem z lematu Borela-Cantellego z prawdopodobieństwem \(1\) zachodzi tylko skończenie wiele zdarzeń \(\{X_n\not= X_n'\}\), a więc p.n. od pewnego miejsca \(X_n = X'_n\). Zatem \[I_n = \frac{(X_1-X'_1)+\ldots + (X_n -X'_n)}{n} \to 0\quad \mbox{p.n.}\]

Pozostaje składnik \[II_n = \frac{(X'_1 - \mathbb{E} X'_1) +\ldots + (X'_n- \mathbb{E} X'_n)}{n} \] Z lematu Kroneckera wystarczy pokazać, że suma \[\sum_{n=1}^\infty \frac{X_n' - \mathbb{E} X_n'}{n}\] jest zbieżna p.n. Skorzystamy z poprzedniego twierdzenia Kołmogorowa o dwóch szeregach, które mówi, że wystarczy pokazać, że szereg wariancji jest zbieżny: \[\begin{align*} \sum_{n=1}^\infty \mathbb{V}ar\bigg( \frac{X_n' - \mathbb{E} X_n'}n \bigg) & = \sum_{n=1}^\infty \mathbb{V}ar \bigg( \frac{X_n'}n\bigg)\\ &= \sum_{n=1}^\infty \frac 1{n^2} \big( \mathbb{E} (X_n')^2 - (\mathbb{E} X_n')^2 \big) \le \sum_{n=1}^\infty \frac 1{n^2}\mathbb{E} (X_n')^2\\ &= \sum_{n=1}^\infty \frac 1{n^2} \sum_{k=1}^\infty \int_{\{ k-1 \le |X_n'|<k \}} (X_n')^2 d\mathbb{P}\\ &= \sum_{n=1}^\infty \frac 1{n^2} \sum_{k=1}^n \int_{\{ k-1 \le |X_1|<k \}} (X_1)^2 d\mathbb{P} \le \sum_{n=1}^\infty \frac k{n^2} \sum_{k=1}^n \int_{\{ k-1 \le |X_1|<k \}} |X_1| d\mathbb{P}\\ &= \sum_{k=1}^\infty \sum_{n=k}^{\infty} \frac k{n^2} \mathbb{E} \big[|X_1|{\bf 1}_{[k-1,k)}(|X_1|) \big]\\ &\le \sum_{k=1}^\infty \bigg( \sum_{n=k}^{\infty} \frac 1{n^2} \bigg) k \mathbb{E} \big[|X_1|{\bf 1}_{[k-1,k)}(|X_1|) \big]\\ & \le 2 \sum_{k=1}^\infty \mathbb{E} \big[|X_1|{\bf 1}_{[k-1,k)}(|X_1|) \big] = 2\mathbb{E}|X_1| <\infty. \end{align*}\] W przedostatniej nierówności skorzystaliśmy z nierówności znanej z analizy I: \[ \sum_{n=k}^{\infty} \frac 1{n^2} \le \frac 2k. \] Dowód pkt 1. jest więc kompletny.

Dowód pkt. 2 Załóżmy, że \(\mathbb{E} |X_1|=\infty\). Chcemy pokazać, że ciąg \(\{\big|\frac{S_n}n\big|\}\) nie może być ograniczony. Pokażemy najpierw, że ciąg \(X_n\) nieskończenie wiele razy przyjmuje duże wartości, większe niż \(na\) dla dowolnego \(a>0\). W tym celu piszemy \[\begin{align*} \sum_{n}\mathbb{P}[|X_n| > na] & = \sum_{n}\mathbb{P}[|X_1| > na]\\ & = \sum_{n=1}^\infty \sum_{k=n}^\infty \mathbb{P}[ka < |X_1| \le (k+1) a]\\ & = \sum_{k=1}^\infty \sum_{n\le k} \mathbb{P}[ka < |X_1| \le (k+1) a]\\ & = \frac 1a \sum_{k=1}^\infty ka \mathbb{P}[ka < |X_1| \le (k+1) a]\\ & = \frac 1a \sum_{k=1}^\infty \int_{\{ ak< |X_1| \le a(k+1) \}} ka d\mathbb{P} \\ & \ge \frac 1a \sum_{k=1}^\infty \int_{\{ ak< |X_1| \le a(k+1) \}} (|X_1|-a) d\mathbb{P} \\ &\ge \frac 1a ( \mathbb{E}|X_1|-2a) = \infty. \end{align*}\] Zatem korzystając z lematu Borela - Cantelliego \[ \mathbb{P}[|X_n|>na\ \mbox{i.o}] = 1, \] a więc z em 1, \(|X_n|>na\) dla nieskończenie wielu indeksów \(n\). Wówczas \[\mathbb{P}\big[ |S_n-S_{n-1}| > na \ \ {\mbox i.o}\big] =1,\] a zatem \[ \mathbb{P}\bigg[ \bigg| \frac{S_n}n\bigg| > \frac a2\ \ \ \mbox{ lub }\ \ \ \bigg|\frac{S_{n-1}}n\bigg| > \frac a2 \ \ \ \mbox{i.o.}\bigg] = 1 \] a to z kolei implikuje, że \[ \mathbb{P}[|S_n/n| > a/3\ \mbox{i.o}] = 1. \] Z dowolności \(a\) wynika, że ciąg \(\{S_n/n\}\) niekończenie wiele razy przekracza dowolnie dużą wartość, a więc \[ \mathbb{P}\bigg[\limsup_{n\to\infty} \bigg|\frac{S_n}n\bigg| = \infty \bigg] = 1. \]

19 Prawo \(0-1\) Kołmogorowa

21 Zastosowania MPWL