27 Centralne Twierdzenie Graniczne
Dotarliśmy do najważniejszego twierdzenia podczas tego wykładu. Dzięki językowi funkcji charakterystycznych jego dowód jest dosyć prostym wnioskiem z twierdzenia Lévy’ego-Craméra oraz twierdzenia Taylora (z analizy 1). Warto zwrócić uwagę na dużą ogólność tego wyniku, zależy on nie od rozkładu zmiennych losowych, a jedynie od parametrów liczbowych: \(\mathbb{E}[X]\) i \(\mathbb{V}ar [X]\).
Zaczniemy od pomocniczego twierdzenia.
Twierdzenie 27.1 Jeśli \(c_n \to c \in \mathbb{C}\), to \((1 + c_n/n)^n \to e^c\).
Dowód Twierdzenia 27.1 będzie się opierał na dwóch pomocniczych lematach.
Lemma 27.1 Niech \(z_1, \ldots, z_n\) oraz \(w_1, \ldots, w_n\) będą liczbami zespolonymi o module \(\leq \theta\). Wtedy \[ \left| \prod_{m=1}^{n} z_m - \prod_{m=1}^{n} w_m \right| \leq \theta^{n-1} \sum_{m=1}^{n} |z_m - w_m| \]
Proof. Dla \(n = 1\) teza jest oczywista. Aby dowieść dla \(n > 1\), zauważmy że \[\begin{align*} & \left| \prod_{m=1}^{n} z_m - \prod_{m=1}^{n} w_m \right| =\\ & \left| z_1 \prod_{m=2}^{n} z_m - z_1 \prod_{m=2}^{n} w_m + z_1 \prod_{m=2}^{n} w_m - w_1 \prod_{m=2}^{n} w_m \right| \\ & \leq \theta \left| \prod_{m=2}^{n} z_m - \prod_{m=2}^{n} w_m \right| + \theta^{n-1} |z_1 - w_1|. \end{align*}\] Następnie korzystamy z indukcji.
□
Lemma 27.2 Jeśli \(b\) jest liczbą zespoloną i \(|b| \leq 1\), to \[ \left|e^b - (1 + b)\right| \leq |b|^2. \]
Proof. Mamy \[ e^b - (1 + b) = b^2/2! + b^3/3! + b^4/4! + \ldots, \] więc jeśli \(|b| \leq 1\), to \[\begin{align*} \left|e^b - (1 + b)\right| & \leq \frac{|b|^2}{2} \left(1 + \frac{1}{2} + \frac{1}{2^2} + \ldots \right)\\ & = |b|^2. \end{align*}\]
□
Proof (Twierdzenia 27.1). Niech \(z_m = (1 + c_n/n)\), \(w_m = \exp(c_n/n)\) oraz \(\gamma > |c|\). Dla dużych \(n\), \(|c_n| < \gamma\). Ponieważ \(1 + \gamma/n \leq \exp(\gamma/n)\), to na podstawie Lematów 27.1 oraz 27.2 otrzymujemy \[\begin{align*} \left| (1 + c_n/n)^n - e^{c_n} \right| & \leq (e^{\gamma/n})^{n-1} \cdot n \left| \frac{c_n}{n} \right|^2 \\ & \leq e^{\gamma} \cdot \frac{\gamma^2}{n} \to 0 \end{align*}\] gdy \(n \to \infty\).
□
Przedstawimy najpierw najprostszą wersję CTG:
Twierdzenie 27.2 (Centralne Twierdzenie Graniczne) Niech \(\{X_n\}_{n\in\mathbb{N}}\) będzie ciągiem niezależnych zmiennych losowych o takim samym rozkładzie i takim, że \(\mathbb{E}[ X_1] = m\), \(\mathbb{V}ar [X_1] = \sigma^2>0\). Wówczas \[ \frac{X_1+\ldots+X_n - nm}{\sqrt n \sigma} \Rightarrow \mathcal{N}(0,1). \]
Proof. Dla uproszczenia notacji połóżmy \(Y_i = X_i -m\). Wtedy \(\mathbb{E}[ Y_i]=0\), \(\mathbb{V}ar[Y] = \sigma^2\). Zmienna losowa \(Y=Y_1\) ma pierwszy i drugi moment zatem funkcja \(\varphi_Y\) jest dwukrotnie różniczkowalna w zerze (przypomnijmy \(\varphi_X^{(k)}(0) = i^k\mathbb{E}\left[X^k\right]\)): \[\begin{align*} \varphi_Y(0) & =1,\\ \varphi'_Y(0) & =0,\\ \varphi''_Y(0) & =-\mathbb{E}\left[ Y^2\right] = -\mathbb{V}ar [Y] = -\sigma^2. \end{align*}\] Zatem z twierdzenia 25.3 \[\begin{align*} \phi_Y(t) & = \phi_Y(0) + \phi'_Y(0)\cdot t + \phi''_Y(0)\cdot \frac{t^2}{2} + h(t) \\ & = 1 - \frac{t^2\sigma^2}{2} + h(t), \end{align*}\] gdzie \({h(t)}/{t^2}\to 0\), gdy \(t\to 0\). Funkcja \(h\) powyżej może być zespolona. Ustalmy \(t\). Mamy \[\begin{align*} \phi_{\frac{X_1+\ldots+ X_n - nm}{\sqrt n \sigma}} (t) =& \phi_{\frac{Y_1+\ldots+ Y_n }{\sqrt n \sigma}} (t) \\ = & \left(\phi_{\frac Y{\sqrt n \sigma}}(t)\right)^n \\ =& \phi_Y \left(\frac{t}{\sqrt n \sigma}\right) ^n\\ =& \left( 1 - \frac{\sigma^2}{2} \cdot \left(\frac{t}{\sqrt n\sigma}\right)^2\right. \\ & \left.+ h\left(\frac{t}{\sqrt n \sigma}\right)\right)^n\\ =& \left( 1 - \frac{t^2}{2n} + h\left(\frac{t}{\sqrt n \sigma}\right)\right)^n \end{align*}\] Weźmy \[ c_n = n\left(-\frac{t^2}{2n} + h\left(\frac{t}{\sqrt n \sigma}\right)\right). \] Wówczas \(c_n \to -t^2/2\), a więc z Twierdzenia 27.1 \[ \phi_{\frac{X_1+\ldots+ X_n - nm}{\sqrt n \sigma}} (t) \overset{n\to\infty}{\to} e^{-\frac{t^2}2}. \] Funkcja \(e^{-\frac{t^2}2}\) jest funkcją charakterystyczną zmiennej losowej o rozkładzie \(\mathcal{N}(0,1)\) (z twierdzenia o jednoznaczności wiemy, że to jest jedyny rozkład posiadający taką funkcję charakterystyczną). Z twierdzenia Lévy’ego-Craméra wnioskujemy tezę.
Przykład 27.1 Koło ruletki ma pola ponumerowane od \(1\) do \(36\) (\(18\) czerwonych i \(18\) czarnych) oraz dwa pola ponumerowane \(0\) i \(00\), które są zielone. Gracze mogą postawić \(\$1\) na to, że kulka wyląduje na czerwonym (lub czarnym) polu i wygrać \(\$1\), jeśli tak się stanie. Jeśli oznaczymy \(X_i\) jako wygraną w \(i\)-tej grze, to \(X_1, X_2, \ldots\) są niezależne i identycznie rozłożone z \[\begin{align*} \mathbb{P}[X_i = 1] & = 18/38 \\ \mathbb{P}[X_i = -1] & = 20/38. \end{align*}\] Stąd \[\begin{align*} \mathbb{E}[X_i] & = 1 \cdot \frac{18}{38} + (-1) \cdot \frac{20}{38} \\ & = -1/19 \end{align*}\] oraz \[\begin{align*} \mathbb{V}ar(X_i) & = \mathbb{E}\left[X^2\right] - (\mathbb{E}[X])^2 \\ & = 1 - (1/19)^2 \approx 0.9972 \end{align*}\] Interesuje nas \[\begin{equation*} \mathbb{P}(S_n \geq 0) = \mathbb{P}\left( \frac{S_n - n\mu}{\sigma \sqrt{n}} \geq \frac{-n\mu}{\sigma \sqrt{n}} \right) \end{equation*}\] Bierzemy \(n = 361 = 19^2\) i dla uproszczenia obliczeń przyjmujemy \(\sigma \approx 1\): \[ \frac{-n\mu}{\sigma \sqrt{n}} = \frac{361 \cdot (-1/19)}{\sqrt{361}} = -19/1 = -1 \] Zatem centralne twierdzenie graniczne mówi nam, że: \[ \mathbb{P}[S_n \geq 0] \approx \mathbb{P}(Z \geq 1) = 1 - 0.8413 = 0.1587 \] Innymi słowy, po \(361\) grach w ruletkę kasyno przeciętnie zabierze nam \(\$19\), ale za to istnieje około \(16\%\) szansy, że będziemy na plusie.
Przykład 27.2 Na podstawie losowej próby szacujemy procent dorosłych, którzy potrafią czytać i pisać. Wiadomo, że jest to powyżej \(90\%\) dorosłej populacji. Chcemy, aby błąd był mniejszy niż \(0,01\) z prawdopodobieństwem \(0,9\). Ile osób musi liczyć próba?
Niech \(p\) oznacza prawdopodobieństwo, że losowo wybrana osoba umie czytać i pisać. Oznaczmy przez \(n\) liczbę osób testowanych. Parametry \(n\) i \(p\) są nieznane. Chcemy najpierw oszacować \(n\), a potem \(p\). Niech \[ X_i = \left\{\begin{array}{cc} 1 &\ \mbox{$i$-ta osoba potrafi czytać i pisać} \\ 0 &\ \mbox{w przeciwnym razie.} \end{array} \right. \] Oznaczmy przez \(S_n = X_1+\ldots + X_n\) liczbę osób, które z próbki \(n\)-osobowej, które potrafią czytać. Chcemy przyjąć \(p\approx \frac {S_n}n\). Badamy teraz dla jakich \(n\) prawdopodobieństwo błędu będzie małe, czyli \[ \mathbb{P}\left[ \left|\frac{S_n}n-p\right|\le 0,01\right] \ge 0,9. \] \(S_n\) ma rozkład dwumianowy z parametrami \(n\) i \(p\). Przypomnijmy \(\mathbb{E}[ X_1] = p\), \(\mathbb{V}ar [X_1] = p(1-p)\). Wówczas skorzystamy z Centralnego Twierdzenia Granicznego (w tym miejscu wystarczy odwołać się do twierdzenia de Moivre’a - Laplace’a). Zapiszmy powyższą nierówność w postaci \[ \mathbb{P}\left[ \left|\frac{S_n-np}{\sqrt{np(1-p)}}\right|\le \frac{\sqrt n}{100 \sqrt{p(1-p)}}\right] \ge 0,9. \] Z CTG zmienną losową \((S_n-np)/(\sqrt{np(1-p)})\) możemy przybliżyć rozkładem normalnym. Oznaczmy \(x_0 = \frac{\sqrt n}{100 \sqrt{p(1-p)}}\). Szukamy takiej wartości \(p\), aby \[\begin{align*} 0,9 & \le \Phi(x_0) - \Phi(-x_0) \\ &= \Phi(x_0) - (1-\Phi(x_0)) \\ & = 2\Phi(x_0)-1, \end{align*}\] gdzie \(\Phi\) jest dystrybuantą rozkładu normalnego. Stąd \[ \Phi(x_0)\ge 0,95. \] Z tablic możemy odczytać, że \(x_0\ge 1,64\). To implikuje \[\begin{equation} \sqrt n \ge 1,64\cdot 100 \cdot \sqrt{p(1-p)} \tag{27.1} \end{equation}\] Niestety nie znamy dokładnej wartości \(p\), wiemy jedynie, że \(p>0,9\). Zauważmy, że funkcja \(p\mapsto p(1-p)\) dla \(p\in [0,9;1]\) jest malejąca (jest to fragment paraboli). Zatem jeżeli \[\sqrt n \ge 164\cdot \sqrt{0,9\cdot 0,1} \approx 49, \] to nierówność (27.1) jest spełniona dla każdego \(p\ge 0,9\). Ostatecznie dla \[ n> 2401 \] możemy przybliżyć \(p\) wartością \(S_n/n\) i mamy zagwarantowane, że żądane warunki są spełnione.