Lista 11: Momenty wielowymiarowe i nierówności

Zadania na ćwiczenia: 2025-05-19

Lista zadań w formacie PDF

Zadania do samodzielnego rozwiązania

1. Znajdź \(\mathbb{E}[\vec{X}]\) oraz macierz kowariancji \(Q^{\vec{X}}\), gdzie \(\vec{X}\) jest wektorem wylosowanym jednostajnie z trójkąta

   1. o wierzchołkach w punktach \((0,0)\), \((0,1)\) i \((1,0)\).
   2. o wierzchołkach w punktach \((1,1)\), \((3,2)\) i \((4,5)\).

\[\begin{align*} a) & \mathbb{E}[X] = (1/3,1/3), \: Q =[ 1/27, -1/54; -1/54, 1/27] \\ b) & \mathbb{E}[X] = (8/3, 8/3), \: Q = [7/27, 17/54; 17/54, 13/27] \end{align*}\]

2. Znajdź funkcję tworzącą momenty dla zmiennej losowe \(X\) o rozkładzie

   1. \(\mathrm{Pois}(\lambda)\)
   2. \(\mathrm{Geo}(p)\)
   3. \(\mathcal{U}(a,b)\)
   4. \(\mathcal{N}(\mu, \sigma^2)\)

\[\begin{align*} a) & M_X(t) = e^{\lambda(e^t-1)}\\ b) & M_X(t) = pe^{t}/(1-(1-p)e^t)\\ c) & M_X(t) = e^{tb}-e^{ta}/(t(b-a)), M_X(0)=1\\ d) & M_X(t) = \exp\{ t\mu t^2\sigma^2/2\} \end{align*}\]

3. Niech \(M_X(\beta) = \mathbb{E} \left[e^{\beta X}\right]\) będzie funkcją tworzącą momenty dla zmiennej losowej \(X\). Udowodnij, że dla każdego \(\beta > 0\) zachodzi \[ \mathbb{P} [ X \geq 0 ] \leq M_X(\beta). \]

\[\begin{equation*} M_X(\beta)=\mathbb[E][e^{\beta X}] \geq \mathbb{E}[e^{\beta X}\mathbf{1}_{X \geq 0}] \geq \mathbb{P}[X\geq 0] \end{equation*}\]

4. Niech \(X\) będzie zmienną losową. Pokaż, że \[\begin{equation*} \mathbb{E}\left[X^2 \right] \geq \mathbb{E}[X]^2. \end{equation*}\]

\[\begin{equation*} 0 \leq \mathbb{V}ar[X] = \mathbb{E}[X^2]-\mathbb{E}[X]^2. \end{equation*}\]

5. Pokaż, że dla ustalonych \(0 < b \leq a\) istnieje zmienna losowa \(X\) taka, że \(\mathbb{E}[X^2] = b^2\) i \(\mathbb{P}[|X| \geq a] = b^2 / a^2\). W szczególności w nierówności Czebyszewa zachodzi równość.

\(\mathbb{P}[X =a] = b^2/a^2\) i \(\mathbb{P}[X=0] = 1-b^2/a^2\).

6. Włącz komputer. Na podstawie 1000 najwyżej ocenianych filmów z IMDB metodą regresji liniowej znajdź estymator \(\hat{Y}\) zmiennej \(Y\)= ocena filmu względem \(X\) = czas trwania filmu w minutach.

\(\hat{Y} = 7.656+0.002384\cdot X\)

Zadania na ćwiczenia

7. Niech \(\vec{X}\) będzie wektorem wylosowanym jednostajnie ze zbioru \[ \Omega=\left\{ (x,y) \in \mathbb{R}^2 \: : \: 13x^2 - 10xy + 13y^2 + 82x - 98y \leq -129 \right\} \] Znajdź \(\mathbb{E}[\vec{X}]\).

8. Niech \(X\) i \(Y\) będą zmiennymi losowymi całkowalnymi z kwadratem. Pokaż, że \[\begin{equation*} \mathbb{E}[XY] \leq \mathbb{E}[X^2]^{1/2}\mathbb{E}[Y^2]^{1/2}. \end{equation*}\]

9. Niech \(X\) będzie zmienną losową a \(\varphi \colon \mathbb{R} \to \mathbb{R}\) funkcją wypukła taką, że \(\mathbb{E}[|\varphi(X)|] <\infty\). Pokaż, że \[\begin{equation*} \varphi(\mathbb{E}[X]) \leq \mathbb{E}[\varphi(X)]. \end{equation*}\]

10. Niech \(X\) będzie nieujemną zmienną losową całkowalną z kwadratem. Pokaż, że dla \(\theta \in (0,1)\), \[\begin{equation*} \mathbb{P}[X \geq \theta \mathbb{E}[X]] \geq (1-\theta)^2 \frac{\mathbb{E}[X]^2}{\mathbb{E}[X^2]}. \end{equation*}\]

11. Rzucamy monetą aż do momentu otrzymania dwóch orłów z rzędu. Zakładamy, że prawdopodobieństwo otrzymania orła w pojedynczym rzucie wynosi \(p \in (0,1)\). Niech \[ \Omega = \{ OO, ROO, RROO, OROO, RRROO, ROROO, ORROO, \ldots \}. \] Rozważmy zmienną losową \(X(\omega) = |\omega|\) oznaczająca liczbę wykonanych rzutów. Celem zadania jest znalezienie \(\mathbb{E}[X]\).

    1. Uzasadnij, że dla pewnej \(\beta>0\), \[\begin{equation*} M_X(\beta) = \mathbb{E}\left[ e^{\beta X} \right] = \sum_{\omega \in \Omega} e^{\beta|\omega|} p^{O(\omega)}q^{R(\omega)}<\infty \end{equation*}\] gdzie \(R(\omega)\) oraz \(O(\omega)\) oznaczają odpowiednio liczbę reszek i orłów w ciągu \(\omega\).
    2. Zauważ, że \[\begin{equation*} \Omega = \{OO\} \cup R\Omega \cup OR\Omega, \end{equation*}\] gdzie powyższe zbiory są rozłączne. Wywnioskuj \[\begin{equation*} M_X(\beta) = p^2 e^{2\beta} +qe^{\beta} M_X(\beta) +pqe^{2\beta}M_X(\beta). \end{equation*}\]

3. Znajdź \(\mathbb{E}[X]\).

12. Niech \(X\) i \(Y\) będą dwiema zmiennymi losowymi, dla których \(\mathbb{E}[X] = \mathbb{E}[Y] = 0\) oraz \(\mathbb{V}ar[X] = \mathbb{V}ar[Y] = 1\) oraz \(\mathrm{cov}(X,Y)=\rho\). Udowodnij, że \[ \mathbb{E}\left[ \max(X^2, Y^2) \right] \leq 1 + \sqrt{1 - \rho^2}. \]

Użyj tożsamości \[ \max(X^2, Y^2) = \frac{1}{2} \left( X^2 + Y^2 + |X^2 - Y^2| \right). \]

13. Przypuśćmy, że \(X\) i \(Y\) są dwiema zmiennymi losowymi o współczynniku korelacji \[ \rho = \frac{ \mathrm{Cov}(X,Y)}{\sqrt{\mathbb{V}ar[X]\mathbb{V}ar[Y]}}. \] Zweryfikuj następujący dwuwymiarowy analog nierówności Czebyszewa:

\[ \mathbb{P} \left[ |X - \mathbb{E}[X]| \geq \varepsilon \sqrt{\mathbb{V}ar[X]} \text{ lub } |Y - \mathbb{E}[Y]| \geq \varepsilon \sqrt{\mathbb{V}ar[Y]} \right]\\ \leq \frac{1}{\varepsilon^2} \left(1 + \sqrt{1 - \rho^2} \right). \]

Bez straty ogólności można założyć, że \(\mathbb{E}[X] = \mathbb{E}[Y] = 0\) oraz \(\mathbb{V}ar[X] = \mathbb{V}ar[Y] = 1\). Wtedy \[ \mathbb{P} \left[ |X| \geq \varepsilon \text{ lub } |Y| \geq \varepsilon \right] = \mathbb{P} \left[ \max(X^2, Y^2) \geq \varepsilon^2 \right]. \]

14. Niech \(\varphi\) oraz \(\Phi\) będą odpowiednio gęstością i dystrybuantą jednowymiarowego standardowego rozkładu normalnego. Udowodnij, że dla dowolnego \(x > 0\) zachodzi nierówność \[ \frac{x}{1 + x^2} \, \varphi(x) < 1 - \Phi(x) < \frac{\varphi(x)}{x}. \]

Oblicz pochodne \(\varphi'(x)\) oraz \(\left(x^{-1} \varphi(x)\right)'\).

Zadania dodatkowe

15. Niech \(\xi\) i \(\eta\) będą dowolnymi niezależnymi zmiennymi losowymi, dla których \(\mathbb{E} [\xi] = 0\). Udowodnij, że \[ \mathbb{E} |\xi - \eta| \geq \mathbb{E} |\eta|. \]

16. Niech \(\xi_1\) i \(\xi_2\) będą dowolnymi dwoma zmiennymi losowymi takimi, że rozkład wektora losowego \((\xi_1, \xi_2)\) pokrywa się z rozkładem \((\xi_2, \xi_1)\). Udowodnij, że jeśli \(f\) oraz \(g\) są dowolnymi nieujemnymi i niemalejącymi funkcjami, to \[ \mathbb{E} \left[ f(\xi_1) g(\xi_1) \right] \geq \mathbb{E} \left[ f(\xi_1) g(\xi_2) \right]. \]

17. Niech \(\vec{X}\) będzie wektorem o wielowymiarowym standardowym rozkładzie normalnym. Udowodnij, że dla każdej funkcji Lipschitza \(f \colon \mathbb{R}^d \to \mathbb{R}\) takiej, że \(\|f\|_{\text{Lip}} \leq 1\), zachodzi nierówność \[ \mathbb{P}\left[ f(X) - \mathbb{E}[f(X)] \geq \lambda \right] \leq e^{-\lambda^2 / 2}, \quad \text{dla każdego } \lambda \geq 0. \]

18. Niech \(\vec{X}\) będzie \(m\)-wymiarowym wektorm losowym, a \(Q^{\vec{X}}\) — jego macierzą kowariancji.

1. Udowodnij, że jeśli \(\vec{X}\) jest scentrowany (tzn. \(\mathbb{E}[\vec{X}] = 0\)), to \[ \mathbb{P}\left[ \vec{X} \in \mathrm{Im}\,Q^{\vec{X}}\right] = 1 \] (gdzie \(\mathrm{Im}\, Q^{\vec{X}}\) oznacza obraz macierzy \(Q^{\vec{X}}\)).

2. Wywnioskuj, że jeśli macierz kowariancji zmiennej losowej nie jest odwracalna, to rozkład tej zmiennej nie może mieć gęstości.