10 Wektory losowe
Definicja 10.1 Niech \((\Omega, \mathcal{F}, \mathbb{P})\) będzie przestrzenią probabilistyczną. Niech \(d \in \mathbb{N}\). \(d\)-wymiarowym Wektorem losowym nazywamy dowolną funkcję mierzalną \(\vec{X}: (\Omega, \mathcal{F}) \to (\mathbb{R}^d, \mathcal{B}or(\mathbb{R}^d)\).
Jeżeli \(d=1\), to powyższa definicja opisuje zmienną losową. Jeżeli \(\vec{X}\colon \Omega \to \mathbb{R}^d\), to dla \(\omega \in \Omega\), \[\begin{equation*} \vec{X}(\omega) = (X_1(\omega), X_2(\omega), \ldots , X_d(\omega)). \end{equation*}\] Wówczas \(\vec{X}\) jest wektorem losowym wtedy i tylko wtedy, gdy \(X_k\) jest zmienną losową dla każdego \(k\leq d\). Istotnie, wystarczy zauważyć, że dla dowolnych \(A_1,A_2, \ldots ,A_d \in \mathcal{B}or(\mathbb{R})\), \[\begin{equation*} \vec{X}^{-1}[A_1\times A_2\times \cdots \times A_d] = X_1^{-1}(A_1)\cap X_2^{-1}(A_2)\cap \ldots \cap X_d^{-1}[A_d] \in \mathcal{F} \end{equation*}\] jako przekrój skończonej liczby zdarzeń.
Przykład 10.1 Wylosowano 13 kart z 52. Niech \(X_1\) oznacza liczbę pików, a \(X_2\) liczbę kierów. Wówczas \(\vec{X}=(X_1,X_2)\) jest 2-wymiarowym wektorem losowym.
Przykład 10.2 Losujemy punkt z kwadratu \([0,1]^2\). Dla \(\omega \in [0,1]^2\) niech \(X_1\) będzie odległością wylosowanego punktu od lewej krawędzi kwadratu. Wtedy \(X_1(\omega) = \omega_1\) dla \(\omega=(\omega_1, \omega_2)\). Niech \(X_2\) będzie odległością od punktu \((0,0)\). Wówczas \(X_2(\omega) = \sqrt{\omega_1^2+\omega_2^2}\). Wówczas \(\vec{X}=(X_1, X_2)\) jest wektorem losowym.
Podstawowe własności wektorów losowych są analogiczne do zmiennych losowych.
- jeżeli \(\vec{X}, \vec{Y}\) są \(d\)-wymiarowymi wektorami losowymi, to \(\vec{X}+\vec{Y}\), \(\vec{X}-\vec{Y}\) również;
- jeżeli \(\phi:\mathbb{R}^d\to \mathbb{R}^k\) jest mierzalne, to \(\phi(\vec{X})\) jest \(k\)-wymiarowym wektorem losowym.
Definicja 10.2 Rozkładem \(d\)-wymiarowego wektora losowego \(\vec{X}=(X_1, \ldots , X_d)\) nazywamy miarę probabilistyczną \(\mu_{\vec{X}}\) na \(\mathbb{R}^d\) zadaną wzorem \[ \mu_{\vec{X}}(B) = \mathbb{P}\left[\vec{X}\in B\right] = \mathbb{P}[(X_1, \ldots, X_d) \in B] = \mathbb{P}\left[\vec{X}^{-1}(B)\right]. \] Rozkład \(\mu_X\) nazywamy rozkładem łącznym zmiennych losowych \(X_1\), \(X_2, \ldots , X_d\).
Niech \(\mu\) będzie dowolną miarą probabilistyczną na \(\mathbb{R}^d\). Wówczas \((\Omega, \mathcal{F}, \mathbb{P}) = (\mathbb{R}^d, \mathcal{B}or(\mathbb{R}^d),\mu_X)\) jest przestrzenią probabilistyczną. Jeżeli zdefiniujemy \(\vec{X} \colon \Omega \to \mathbb{R}^d\) poprzez \(\vec{X}(\omega) = \omega\), to rozkład wektora \(\vec{X}\) to \[\begin{equation*} \mu_{\vec{X}}(A) = \mathbb{P}\left[ \vec{X}^{-1}(A) \right] = \mathbb{P}[A] = \mu(A). \end{equation*}\] Oznacza to, że dowolna miara probabilistyczna \(\mu\) na \(\mathbb{R}^d\) jest rozkładem pewnego wektora losowego \(\vec{X}\).
Definicja 10.3 \(d\)-wymiarowy wektor losowy \(X\) ma rozkład dyskretny, jeżeli istnieje przeliczalny zbiór \(S\subseteq \mathbb{R}^d\) taki, że \(\mu_X(S)=1\).
W takim przypadku zbiór atomów \[ S = \left\{s \in \mathbb{R}^d \: : \: \mathbb{P}[X=s] >0 \right\} \] można ustawić w ciąg \(S = \{s_j\}_{j \in \mathbb{N}}\). Wówczas \[\begin{equation*} \sum_{j=1}^\infty\mathbb{P}[S=s_j]=1. \end{equation*}\] Wektor losowy \(X=(X_1, \ldots, X_d)\) ma rozkład dyskretny wtedy i tylko wtedy, dla każdego \(j\leq d\) zmienna losowa \(X_j\) ma rozkład dyskretny.
Przykład 10.3 W urnie są 2 kule czerwone, 5 białych i 3 zielone. Wybieramy losowo 3 kule (jednocześnie). Niech \(X_1\) oznacza liczbę kul białych, a \(X_2\) liczbę kul czerwonych. Wówczas \((X_1,X_2)\) jest 2-wymiarową zmienną losową i ma rozkład dyskretny: \[ \begin{array}{c|c|c|c|c} X_1\setminus X_2 & 0 & 1 & 2 & \mathbb{P}[X_1 = x] \\[2mm] \hline 0 & \frac{1}{120} & \frac{6}{120} & \frac{3}{120} & \frac{10}{120} \\[2mm] \hline 1 & \frac{15}{120} & \frac{30}{120} & \frac{5}{120} & \frac{50}{120} \\[2mm] \hline 2 & \frac{30}{120} & \frac{20}{120} & 0 & \frac{50}{120} \\[2mm] \hline 3 & \frac{10}{120} & 0 & 0 & \frac{10}{120} \\[2mm] \hline \mathbb{P}[X_2 = y] & \frac{56}{120} & \frac{56}{120} & \frac{8}{120} & 1 \end{array} \] Mając dany powyższy rozkład możemy obliczyć: \[\begin{align*} \mathbb{P}[X_1\le X_2] & =\frac{45}{120} = \frac 38 \\ \mathbb{P}[X_1=1|X_1 \le X_2] & = \frac{\mathbb{P}[X_1=1 \mbox{ i } X_1\le X_2]}{\mathbb{P}[X_1 \le X_2]} = \frac{35/120}{45/120} = \frac{7}{9}. \end{align*}\]
Aby badać rozkłady wektorów losowych, które nie są dyskretne musimy wprowadzić dodatkowe pojęcie.
Definicja 10.4 Dystrybuanta \(d\)-wymiarowego wektora losowego \(X=(X_1,\ldots,X_d)\) jest to funkcja \(F:\mathbb{R}^d\mapsto [0,1]\) zadana wzorem \[\begin{multline*} F(t_1,t_2,\ldots, t_d) = \mu\big( (-\infty,t_1]\times (-\infty,t_2]\times \ldots \times (-\infty,t_d] \big)\\ = \mathbb{P}\big[ X_1\le t_1, X_2\le t_2,\ldots, X_d\le t_d \big]. \end{multline*}\]
Twierdzenie 10.1 Niech \(F\) będzie dystrybuantą \(d\)-wymiarowej zmiennej losowej \(\vec{X}\). Wówczas
- jeżeli \(x_i\to -\infty\) dla pewnego \(i\), to \(F(x_1,\ldots, x_d)\to 0\);
- jeżeli \(x_i\to +\infty\) dla każdego \(i\), to \(F(x_1,\ldots, x_d)\to 1\);
- dystrybuanta zmiennej losowej \(X\) jednoznacznie wyznacza jej rozkład.
Proof. Pierwsze dwa punkty wynikają z ciągłości miary. Trzeci jest zastosowaniem Lematu o \(\pi\) i \(\lambda\) układach. Ustalmy \(i \leq d\). Zauważmy, że \[\begin{equation*} \bigcap_{n\in \mathbb{N}} \mathbb{R}^{i-1} \times(-\infty, -n] \times \mathbb{R}^{d-i} =\emptyset. \end{equation*}\] Z ciągłości miary \[\begin{equation*} \lim_{n \to \infty} \mu_{\vec{X}} \left[\mathbb{R}^{i-1}\times (-\infty, -n] \mathbb{R}^{d-i} \right] =0. \end{equation*}\] Niech teraz \(\{x_i(m)\}_{m\in \mathbb{N}}\) dla \(i \leq d\) będzie dowolną kolekcją ciągów. Jeżeli \(x_i(m)\to -\infty\), to dla dostatecznie dużych \(m\), \(x_i(m)\leq -n\). Wówczas \[\begin{equation*} F_{\vec{X}}(x_i, \ldots, x_d) \leq \mu_{\vec{X}} \left[\mathbb{R}^{i-1}\times (-\infty, -n] \times\mathbb{R}^{d-i} \right] \end{equation*}\] gdzie prawa strona, poprzez dobór \(n\) może być uczyniona dowolnie małą. Aby uzasadnić punkt drugi stosujemy podobny argument w oparciu o \[\begin{equation*} \bigcap_{n \in \mathbb{N}} (-\infty,n]^d =\mathbb{R}^d. \end{equation*}\] Aby uzasadnić ostatni punkt zauważmy, że \[\begin{equation*} \mathcal{K} = \{ (-\infty, t_1] \times \cdots (-\infty, t_d] \: : \: t_1, \ldots t_d \in \mathbb{R} \} \end{equation*}\] jest \(\pi\)-układem. Jeżeli dwa wektory losowe \(\vec{X}\) oraz \(\vec{Y}\) mają równe dystrybuanty, to \[\begin{equation*} \mathcal{K} \subseteq \mathcal{L} = \{B \in \mathcal{B}or(\mathbb{R}^d) \: \: \mu_{\vec{X}}(A) = \mu_{\vec{Y}}(A) \}. \end{equation*}\] Sprawdzaliśmy już, że zbiory \(\mathcal{L}\) postaci jak wyżej są \(\lambda\)-układami. Z lematu o \(\pi\)-\(\lambda\) układach \(\mu_{\vec{X}}(A) = \mu_{\vec{Y}}(A)\) dla każdego borelowskiego \(A\).
Okazuje się, że podobnie jak w przypadku jednowymiarowym rozkład wektora losowego można wyrazić w terminach jego dystrybuanty. Przykładowo, dla \(d=2\) mamy \[\begin{equation*} \mu_X((a,b]\times(c,d]) = F_X(b,d) -F(b,c)-F(a,d)+F(a,c). \end{equation*}\] W szczególności oznacza to, że dla dwuwymiarowej dystrybuanty prawa strona jest nieujemna dla każdych \(a < b\) oraz \(c < d\).
Przykład 10.4
Losujemy punkt z kwadratu \([0,1]^2\). Dla \(\omega \in [0,1]^2\) niech \(X_1\) będzie odległością wylosowanego punktu od przekątnej kwadratu łączącej wierzchołki \((0,0)\) oraz (1,1). Wtedy \(X_1(\omega) = |\omega_1-\omega_2|/\sqrt{2}\) dla \(\omega=(\omega_1, \omega_2)\). Niech \(X_2\) będzie odległością od przekątnej łączącej \((1,0)\) oraz \((0,1)\). Wówczas \(X_2(\omega) = |x+y-1|/\sqrt{2}\). Wówczas \(\vec{X}=(X_1, X_2)\) jest wektorem losowym. \[\begin{equation*} F_X(t_1, t_2) = \mathbb{P}[X_1\leq t_1, X_2\leq t_2] \end{equation*}\] Poniżej widzimy zdarzenie, że \(X_1 \leq 0.17\) i \(X_2\leq 0.1\).
Z powyższego łatwo liczymy, że \[\begin{equation*} F_{\vec{X}}(t_1, t_2) = \left\{\begin{array}{cc} 4t_1t_2 & \sqrt{2}(t_1+t_2)\leq 1 \\ 1-(1-\sqrt{2}t_1)_+^2 -(1-\sqrt{2}t_2)_+^2 & \sqrt{2}(t_1+t_2)>1 \end{array} \right. \end{equation*}\] Wykres naszej dwuwymiarowej dystrybuanty przedstawia się następująco
Definicja 10.5 \(d\)-wymiarowy wektor \(\vec{X}\) ma rozkład absolutnie ciągły, jeżeli istnieje funkcja borelowska \(f_\vec{X}:\mathbb{R}^d \mapsto [0,\infty)\) taka, że \[ \mathbb{P}\left[\vec{X}\in B\right] = \mu(B) = \int_B f_\vec{X}(s)\mathrm{d}s \qquad B\in \mathcal{B}or(\mathbb{R}^d). \]
Wówczas \[ F_\vec{X}(t_1,\ldots,t_d) = \int_{-\infty}^{t_1}\ldots \int_{-\infty}^{t_d} f_\vec{X}(x_1,\ldots, x_d)dx_1\ldots dx_d. \] Ponadto, jeżeli \(F\in C^d(\mathbb{R}^d)\), to \[ f_{\vec{X}}(x_1,\ldots,x_d) = \frac{\partial^d F_{\vec{X}}}{\partial x_1\ldots \partial x_d}(x_1,\ldots,x_d). \]
Zauważmy, że jeżeli \(\vec{X}\) ma rozkład absolutnie ciągły, to każdy \(X_k\) dla \(k \leq d\) ma rozkład absolutnie ciągły. Implikacja przeciwna nie jest jednak prawdziwa.
Przykład 10.5 Niech \(\Omega = [0,1]\) z \(\sigma\)-ciałem zbiorów borelowskich i jednowymiarową miara Lebesgue’a. Rozważmy \(X_1(\omega)=\omega\) oraz \(X_2(\omega) = 1-\omega\). Wówczas \(\vec{X} = (X_1, X_2)\) ma rozkład skupiony na nieprzeliczalnym zbiorze o płaskiej mierze Lebesgue’a zero \[\begin{equation*} \{(x,1-x) \: : \: x \in [0,1]\} \subseteq \mathbb{R}^2. \end{equation*}\]
Przykład 10.6 Niech \(S\) będzie dowolnym mierzalnym i ograniczonym podzbiorem \(\mathbb{R}^2\), wtedy jego losowy punkt \(\vec{X}=(X_1,X_2)\) (wybrany jednostajnie względem miary Lebesgue’a) jest 2-wymiarową zmienną losową. Mamy wówczas \[ f_{\vec{X}}(x_1,x_2) = \frac{1}{|S|}\; {\bf 1}_S \]
Wielowymiarowy rozkład normalny
Przykład 10.7 Powiemy, że \(d\)-wymiarowy wektor \(\vec{X}\) ma \(d\)-wymiarowy standardowy rozkład normalny, jeżeli jego rozkład jest absolutnie ciągły z gęstością \[\begin{equation*} f_{\vec{X}}(s_1, \ldots, s_d) = (2\pi)^{-d/2} e^{-\|s\|^2/2}. (2\pi)^{-d/2} e^{-(s_1^2+s_2^2+\ldots +s_d^2)/2}, \end{equation*}\] gdzie \(s = (s_1, s_2, \ldots, s_d)\).
Sprawdźmy, że podana wyżej funkcja rzeczywiście jest gęstością na \(\mathbb{R}^d\). Będziemy stosować oznaczenie \(s = (s_1, \ldots, s_d)\). Mamy \[\begin{multline*} \int_{\mathbb{R}^d} f_\vec{X}(s) \mathrm{d}s = \int_\mathbb{R} \ldots \int_\mathbb{R} (2\pi)^{-d/2} e^{-s_1^2/2} \cdots e^{-s_d/2} \mathrm{d}s_1 \ldots \mathrm{d}s_d \\ = \left( \sqrt{2\pi} \int_\mathbb{R} e^{-x^2/2} \mathrm{d}x \right)^d=1. \end{multline*}\] Jeżeli wygenerujemy \(100\) punktów ma płaszczyźnie zgodnie ze standardowym rozkładem normalnym, to będą się one układały symetrycznie wokół zera.
Niech \(\vec{m}\) będzie wektorem \(d\)-wymiarowym a \(A\) odwracalną macierzą wymiaru \(d\times d\). Rozważmy zmienną losową \[\begin{equation*} \vec{Y} = A \vec{X} +m. \end{equation*}\] Jaki rozkład ma wektor \(\vec{Y}\)? Zauważmy, że dla \(B \in \mathcal{B}or(\mathbb{R}^d)\), \[\begin{equation*} \mu_{\vec{Y}} (B)=\mathbb{P}\left[\vec{Y}\in B\right] = \mathbb{P}\left[ \vec{X} \in A^{-1}B - A^{-1}\vec{m} \right], \end{equation*}\] gdzie \[\begin{equation*} A^{-1}B-A^{-1}\vec{m} = \left\{ A^{-1}\vec{b} -A^{-1}\vec{m} \: : \: \vec{b} \in B \right\}. \end{equation*}\] Całkując przez podstawienie \(s = A^{-1}y -A^{-1}\vec{m}\), \[\begin{equation*} \mu_{\vec{Y}}(B) = \int_{A^{-1}B-A^{-1}\vec{m}} f_\vec{X}(s) \mathrm{d}s = \int_B |\mathrm{det}(A^{-1})| f_\vec{X}\left(A^{-1}(y-\vec{m})\right) \mathrm{d}y. \end{equation*}\] Skoro gęstość jest wyznaczona jednoznacznie, to wektor losowy \(\vec{Y}\) ma rozkład o gęstości \[\begin{multline*} f_\vec{Y}(y) = |\mathrm{det}(A^{-1})| f_\vec{X}\left(A^{-1}(y-\vec{m})\right)=\\ \frac{|\mathrm{det}(A^{-1})|}{(2\pi)^{d/2}}\exp \left\{ -\left\| A^{-1}(y-\vec{m}) \right\|^2/2 \right\} \end{multline*}\] Zauważmy, że \[\begin{multline*} \left\| A^{-1}(y-\vec{m}) \right\|^2= \langle A^{-1}(y-\vec{m}), A^{-1}(y-\vec{m}) \rangle=\\ \langle (A^{-1})^TA^{-1}(y-\vec{m}), y-\vec{m} \rangle. \end{multline*}\] Oznaczmy \(\Sigma = AA^T\). Wówczas macierz \(\Sigma\) jest symetryczna i nieujemnie określona. Gęstość wektora losowego \(\vec{Y}\) zapisuje się jako \[\begin{equation*} f_\vec{Y}(y) = \mathrm{det}(\Sigma)^{-1/2}(2\pi)^{-d/2} \exp \left\{ -\langle \Sigma^{-1}(y-\vec{m}), y-\vec{m} \rangle /2 \right\}. \end{equation*}\] Jeżeli \(\Sigma\) jest symetryczną macierzą dodatnio określoną, \(\vec{m} \in \mathbb{R}^d\) a wektor losowy \(\vec{Y}\) ma rozkład o gęstości jak wyżej, to będziemy mówić, że \(\vec{Y}\) ma wielowymiarowy rozkład normalny o parametrach \(\vec{m}\) i \(\Sigma\). Piszemy wówczas \(\vec{Y} \sim \mathcal{N}(\vec{m}, \Sigma)\). Niebawem dowiemy się, jak dobór macierzy \(\Sigma\) wpływa na kształt gęstości \(f_{\vec{Y}}\) oraz na własności probabilistyczne wektora \(\vec{Y}\). Zauważmy jedynie teraz, że \(\vec{Y}\) powstał z \(\vec{X}\) poprzez przekształcenie liniowe i przesunięcie. To samo będzie tyczyło się związku między \(f_\vec{X}\) oraz \(f_\vec{Y}\).
Przykład 10.8 Rozważmy poprzedni przykład dla macierzy \(A\) zadanej przez \[\begin{equation*} A = \left( \begin{array}{cc} 1 & 1 \\ 0 & 1 \end{array}\right). \end{equation*}\] Wówczas \[\begin{equation*} \Sigma = \left( \begin{array}{cc} 2 & 1 \\ 1 & 1 \end{array}\right), \qquad \Sigma^{-1} = \left( \begin{array}{cc} 1 & -1 \\ -1 & 2 \end{array}\right). \end{equation*}\] Gęstość wektora \(\vec{Y}\) o dwuwymiarowym rozkładzie normalnym z parametrami \(\vec{m} =(0,0)\) i \(\Sigma\) wynosi \[\begin{equation*} f_{\vec{Y}}(x,y) = \frac{1}{2 \pi} \exp \left\{ -(x^2-2xy+2y^2)/2 \right\}. \end{equation*}\]
Rozkłady brzegowe
Definicja 10.6 Niech \(X=(X_1,\ldots, X_d)\) będzie \(d\)-wymiarową zmienną losową. Wówczas dla każdego \(k\le d\), rozkład \(\mu_{X_k}\) nazywamy rozkładem brzegowym \(\mu_X\).
Rozkłady brzegowe nie wyznaczają jednoznacznie rozkładu łącznego (poza pewnymi szczególnymi sytuacjami). To znaczy, może się zdarzyć, że jeżeli dane są cztery zmienne losowe \(X_1,X_2,Y_1, Y_2\), takie, że \(X_1\) i \(Y_1\) mają takie same rozkłady oraz \(X_2\) i \(Y_2\) mają takie same rozkłady, ale \((X_1,X_2)\) i \((Y_1,Y_2)\) mają różne rozkłady.
Przykład 10.9 Losujemy punkt z odcinka \([0,1]\). Dla wylosowanej liczby \(\omega \in \Omega = [0,1]\) niech \(X_1(\omega) = \omega\) i \(X_2(\omega)=1-\omega\). Wówczas wektor losowy \(\vec{X} = (X_1, X_2)\) przyjmuje wartości w zbiorze \[\begin{equation*} L = \{(x,1-x) \: : \: x\in [0,1]\}. \end{equation*}\] Zauważmy, że \(\lambda_2(L)=0\). Rozkład wektora \(\vec{X}\) nie jest zatem ani dyskretny ani ciągły. Jakie są rozkłady brzegowe? Dla \(X_1\) mamy \[\begin{equation*} \mu_{X_1}(B)=\mathbb{P}[X_1\in B] = \lambda_1(B), \end{equation*}\] dla \(B \in \mathcal{B}or([0,1])\). Jest to zatem rozkład jednostajny na \([0,1]\). Dla \(X_2\) mamy \[\begin{equation*} \mu_{X_2}(B)=\mathbb{P}[X_1\in B] = \lambda_1( \{ \omega \in [0,1] \: : \: 1-\omega \in B \} ). \end{equation*}\] Skoro symetria względem \(x=1/2\) jest izometrią \[\begin{equation*} \lambda_1( \{ \omega \in [0,1] \: : \: 1-\omega \in B \} ) = \lambda_1(B). \end{equation*}\] Jest to również rozkład jednostajny na \([0,1]\).
Przykład 10.10 Losujemy punkt z kwadratu jednostkowego \([0,1]^2\). Dla \(\omega = (\omega_1, \omega_2) \in \Omega = [0,1]^2\) niech \(X_1(\omega) = \omega_1\), \(X_2(\omega) = \omega_2\). Wówczas rozkład wektora losowego \(\vec{X} = (X_1, X_2)\) to płaska miara Lebesgue’a \(\lambda_2\) ograniczona do \([0,1]^2\). Zauważmy, że z wagi na symetrię rozkłady brzegowe są takie same. Dla \(B \in \mathcal{B}or([0,1])\) mamy \[\begin{equation*} \mu_{X_2}(B) = \mu_{X_1}(B) = \mathbb{P}[X_1\in B] = \lambda_2(B \times [0,1]) = \lambda_1(B). \end{equation*}\] Jest to kolejny raz rozkład jednostajny na \([0,1]\).
Zauważmy, że w dwóch ostatnich przykładach różne rozkłady łączne miały takie same rozkłady brzegowe. Wynika z tego, że rozkłady brzegowe nie determinują rozkładu łącznego.