29 CTG Lindeberga Fellera

CTG opisane powyżej zachodzi dla sum zmiennych losowych o tym samym rozkładzie. Pokażemy ogólniejszą wersję CTG, która zachodzi dla sum zmiennych losowych, które niekoniecznie mają ten sam rozkład. Sformułujemy twierdzenie w pełnej ogólności, a następnie przedstawimy dwa przykłady, gdzie znajduje ono zastosowanie. Chcemy badać długie sumy złożone z małych losowych składników. Rozważmy tablicę zmiennych losowych \(\{X_{n,k}\}_{k \leq k_n}\): \[\begin{align*} X_{1,1}, & X_{1,2},\ldots, X_{1,k_1}\\ X_{2,1}, & X_{2,2},\quad \ldots \quad , X_{2,k_2}\\ \vdots & \qquad \quad \qquad \ddots \end{align*}\] Zakładamy, że w każdym wierszu zmienne losowe są niezależne. Taką tablicę nazywamy schematem serii. Dla uproszczenia przyjmijmy \(k_n=n\).

Przykład 29.1 Niech \(\{X_n\}_n\) będzie ciągiem zmiennych losowych i.i.d. (niezależnych o tym samym rozkładzie), \(\mathbb{E}[X_1]=0\), \(\mathbb{V}ar [X_1] = \sigma^2\). Niech \[ X_{n,k} = \frac{X_k}{\sigma \sqrt n}. \] Wówczas mamy \(\mathbb{E}[ X_{n,k}]=0\), \(\sum_{k=1}^n \mathbb{V}ar [X_{n,k}]=1\). Dla ustalonego \(n\), wszystkie zmienne losowe \(X_{n,1},\ldots, X_{n,n}\) mają ten sam rozkład, a więc żadna z nich nie dominuje ponadto, gdy \(n\to\infty\), kolejne zmienne losowe są coraz mniejsze.

Naszym celem jest pokazanie twierdzenie, które mówi, że dla \(Z_n = \sum_{k=1}^n X_{n,k}\) zachodzi: \[ \frac{Z_n - \mathbb{E} Z_n}{\sqrt{\mathbb{V}ar(Z_n)}} \Rightarrow \mathcal{N}(0,1). \] Oczywiście są potrzebne pewne założenia. Poniżej formułujemy wynik, które zakłada, że zmienne losowe \(\{X_{n,k}\}\) są ‘asymptotycznie małe’.

Twierdzenie 29.1 (Lindeberg-Feller) Niech \(\{X_{n,k}\}_{k\leq n}\) będzie schematem serii, spełniającym:

\(\mathbb{E}[X_{n,k}] = 0\) dla wszystkich \(n,k\);
\(\lim_{n\to\infty }s_n^2 = \sigma^2>0\), dla \[ s_n^2 := \mathbb{V}ar\left( \sum_{k=1}^n X_{n,k} \right) = \sum_{k=1}^n \mathbb{V}ar[ X_{n,k}]; \]
(warunek Lindeberga) dla każdego \(r>0\) przy \(n\to \infty\), \[ L_n(r)=\sum_{k=1}^n \mathbb{E}\left[ X_{n,k}^2 {\bf 1}_{\{|X_{n,k}| > r\}} \right] \to 0. \] Wówczas \[ \sum_{k=1}^n X_{n,k} \Rightarrow \mathcal{N}(0,\sigma^2). \]

Remark. warunek Lindeberga mówi, że \(X_{n,k}\) są asymptotycznie małe, tzn. dla każdego \(r>0\) \[ \max_{k\le n} \mathbb{P}\left[ |X_{n,k}|\ge r \right] \to 0, \qquad n\to\infty. \] Istotnie, zauważmy \[\begin{align*} \max_{k\le n} \mathbb{P}\left[ |X_{n,k}|\ge r \right] &\le \max_{k\le n} \mathbb{E}\left[ {\bf 1}_{\{|X_{n,k}|\ge r\}} \frac{X_{n,k}^2}{r^2} \right]\\ &\le \frac 1{r^2} \sum_{k\le n} \mathbb{E}\left[ {\bf 1}_{\{|X_{n,k}|\ge r\}} {X_{n,k}^2} \right] \to 0. \end{align*}\]

W dowodzie Twierdzenia skorzystamy z kilku nierówności. Mamy \[\begin{equation}%\label{eq:1s} 0 < e^{-x} - 1 + x \le x^2, \qquad x > 0, \tag{29.1} \end{equation}\] poprzez analizę zmienności funkcji po obu stronach nierówności. Następne dwie nierówności są zespolonym odpowiednikiem tych poznanych na analizie. Ze względu na obecność parametru zespolonego przedstawimy jednak kompletny dowód.

Lemma 29.1 Dla rzeczywistych \(t\), \[\begin{equation}%\label{eq:2s} \big| e^{it} - 1 - it \big| \le t^2/2 \tag{29.2} \end{equation}\] oraz \[\begin{equation}%\label{eq:3s} \big| e^{it} - 1 - it + t^2/2 \big| \le |t|^3/6. \tag{29.3} \end{equation}\]

Proof. Zauważmy najpierw, że korzystając ze wzoru \(\cos(t) = 1-2\sin^2(t/2)\) otrzymujemy \[\begin{align*} \left| e^{it}-1\right| & = \sqrt{(1-\cos(t))^2+\sin^2(t)} \\ & = \sqrt{2-2\cos(t)} = 2 |\sin(t/2)|\leq |t|. \end{align*}\] Następnie zauważmy, że poprzez całkowanie prawej strony, dla każdego \(n\in \mathbb{N}\) i \(t>0\), \[\begin{equation*} \left| e^{it} - \sum_{k=0}^n \frac{it}{k!} \right| =\left| \int_0^t e^{ix} - \sum_{k=0}^{n-1} \frac{ix}{k!} \mathrm{d}x \right| \tag{29.4} \end{equation*}\] Dla \(n=1\) otrzymujemy \[\begin{align*} \left|e^{it} -1-it \right| & \leq \int_0^t \left| e^{ix} -1 \right| \mathrm{d}x \\ & \leq \int_0^t x \mathrm{d}x = t^2/2. \end{align*}\] Aby otrzymać zadaną nierówność dla \(t<0\) stosujemy tę samą metodę z zamianą zmiennych w całce. Stosując (29.4) dla \(n=2\) otrzymujemy \[\begin{align*} \left|e^{it} -1-it +t^2/2\right| & \leq \int_0^t \left| e^{ix} -1 -it \right| \mathrm{d}x \\ & \leq \int_0^t x^2/2 \mathrm{d}x = t^3/6. \end{align*}\] □

Kolejna nierówność wynika z Lematu 27.1 zastosowanego dla \(\theta=1\): niech \(a_1,\ldots, a_n, b_1,\ldots, b_n \in\mathbb{C}\), \(|a_i|,|b_i|\le 1\), wtedy \[\begin{equation}%\label{eq:4s} \left| a_1\ldots a_n - b_1\ldots b_n\right| \le |a_1-b_1| + \ldots + |a_n - b_n|. \tag{29.5} \end{equation}\]

Proof. Ustalmy \(t\in \mathbb{R}\). Niech \[ Z_n = \sum_{k=1}^n X_{n,k},\quad \varphi_{n,k} = \varphi_{X_{n,k}},\quad \sigma_{n,k}^2 = \mathbb{V}ar(X_{n,k}) = \mathbb{E} [X_{n,k}^2]. \] Chcemy pokazać, że \[ \varphi_{Z_n}(t) \to e^{-\frac {\sigma^2 t^2}2}, \] a więc, że funkcje charakterystyczne zbiegają do funkcji charakterystycznej rozkładu normalnego, co pociągnie żądaną zbieżność z twierdzenia Lévy’ego-Craméra. Z niezależności zmiennych losowych mamy \[ \varphi_{Z_n}(t) = \prod_{k=1}^n \varphi_{n,k}(t). \] Przypomnijmy też, że \(s_n^2 =\sum_{k=1}^n \sigma_{n,k}^2 \to \sigma^2\). Wystarczy więc pokazać, że \[ \lim_{n\to\infty}\left| \prod_{k=1}^n \varphi_{n,k}(t) - \prod_{k=1}^n e^{- \sigma^2_{n,k} t^2/2} \right| = 0. \] W tym celu, korzystając z nierówności (29.5), piszemy \[\begin{align*} % \bigg| \phi_{Z_n}(t) - e^{-\frac{\sigma^2 t^2}2} \bigg| & = & \left| \prod_{k=1}^n \phi_{n,k}(t) - \prod_{k=1}^n e^{- \frac{\sigma^2_{n,k} t^2}{2}} \right| \le \sum_{k=1}^n \left| \phi_{n,k}(t) - e^{- \sigma^2_{n,k} t^2/2} \right|\\ & \le \sum_{k=1}^n \left| \mathbb{E}\left[ e^{itX_{n,k}} - 1 -it X_{n,k} + \frac 12 t^2 X_{n,k} \right] + 1 - \frac 12 t^2\sigma_{n,k}^2 - e^{-\sigma_{n,k}^2 t^2/2} \right|\\ & \le \sum_{k=1}^n \left| \mathbb{E}\left[ e^{itX_{n,k}} - 1 -it X_{n,k} + \frac 12 t^2 X_{n,k} \right] \right| + \sum_{k=1}^n \left| 1 - \frac 12 t^2\sigma_{n,k}^2 - e^{-\sigma_{n,k}^2 t^2/2} \right|\\ & = f_n(t) + g_n(t). \end{align*}\] Pokażemy, że oba ciągi funkcji zbiegają do zera.

Zaczniemy od zbadania \(f_n(t)\). Rozbijamy te funkcje w zależności od wartości \(|X_{n,k}|\). Zdefiniujmy zdarzenia \[ A_{n,k,r} = \big\{ |X_{n,k}| \le r \big\}, \quad B_{n,k,r} = \big\{ |X_{n,k}| > r \big\}. \] Korzystając z (29.3), \[\begin{align*} f_n^{(1)}(t) & = \sum_{k=1}^n \left| \mathbb{E} \left[ \left( e^{it X_{n,k}} - 1 - it X_{n,k} + \frac 12 t^2 X_{n,k}^2 \right){\bf 1}_{A_{n,k,r}} \right] \right|\\ & \le \frac{|t|^3}{6}\sum_{k=1}^n \mathbb{E} \left[ |X_{n,k}|^3 {\bf 1}_{\{|X_{n,k}|\le r\}}\right]\\ &\le \frac{|t|^3 r}{6} \sum_{k=1}^n \sigma_{n,k}^2 = \frac{|t|^3rs_n^2}{6}. \end{align*}\] Podobnie korzystając z (29.2), \[\begin{align*} f_n^{(2)}(t) & = \sum_{k=1}^n \left| \mathbb{E} \left[ \left( e^{it X_{n,k}} - 1 - it X_{n,k} + \frac 12 t^2 X_{n,k}^2 \right) {\bf 1}_{B_{n,k,r}}\right] \right|\\ &\le t^2 \sum_{k=1}^n \mathbb{E}\left[ |X_{n,k}|^2 {\bf 1}_{\{|X_{n,k}| > r\}} \right] =: t^2 L_n(r). \end{align*}\] Zauważmy, że \(L_n(r)\) jest wyrażeniem pojawiającym się w warunku Lindeberga-Fellera. Z powyższych szacowań wnioskujemy \[ 0 \le f_n(t) \le \frac{|t|^3 rs_n^2}{6} + t^2 L_n(r). \] Przypomnijmy, chcemy pokazać, że dla ustalonego \(t\in \mathbb{R}\) powyższe wyrażenie zbiega do \(0\). Ustalmy \(\varepsilon>0\). Istnieje \(r>0\) takie, że \(\frac{|t|^3 r s_n^2}{6} \le \frac{\varepsilon}{2}\) dla każdego \(n\) (ciąg \(s_n^2\) jako zbieżny jest ograniczony). Z warunku Lindeberga istnieje \(n\) dla którego \(t^2 L_n(r) < \varepsilon/2\), a to z kolei implikuje \(f_n(t)<\varepsilon\). Z dowolności \(\varepsilon\) wynika więc, że \(f_n(t)\to 0\).

Szacujemy teraz ciąg funkcji \(g_n\) korzystając z (29.1), \[\begin{align*} g_n(t) &\le \sum_{k=1}^n \frac 14 t^4 \sigma_{n,k}^4 \le \frac 14 t^4 \max_{k\le n} \sigma_{n,k}^2 \cdot \sum_{k=1}^n \sigma_{n,k}^2\\ &\le \frac 14 t^4 \max_{k\le n}\left( \mathbb{E} \left[X_{n,k}^2 {\bf 1}_{\{|X_{n,k}|\ge r\}}\right] + r^2 \right) s_n^2\\ &\le \frac 14 t^4 \big( L_n(r) +r^2 \big) s_n^2 \to 0, \end{align*}\] □

28 Tempo zbieżności w CTG

30 Zastosowania