6 Zmienne losowe

Często skonstruowana przez nas przestrzeń probabilistyczna staje się zbyt duża do efektywnej analizy. Dla przykładu w eksperymencie polegającym na rzucie dużą liczbą kości, powiedzmy siedemnastu, jest aż $6^{17}= 16926659444736$ możliwych wyników. Interesować nas może tylko suma wyrzuconych oczek. W praktyce zamiast analizować poszczególne zdarzenia elementarne wygodniej jest analizować funkcje tych zdarzeń.

Definicja 6.1 Niech $\Omega$ będzie co najwyżej przeliczalną przestrzenią zdarzeń elementarnych. Zmienną losową nazywamy dowolną funkcję $X \colon \Omega \to \mathbb{R}\cup\{ \infty\}$ zdefiniowaną na przestrzeni zdarzeń elementarnych.

Zmienne losowe same w sobie nie upraszczają problemów probabilistycznych. Stanowią one jedynie język, którym będziemy się w przyszłości posługiwać.

Przykład 6.1 Powiedzmy, że rzucamy parą kości. Wtedy $X$ równe sumie wyrzuconych oczek jest zmienną losową. Aby ją formalnie zdefiniować, niech $\Omega = [6] \times [6]$ będzie przestrzenią opisującą wyniki na obu kościach. Wówczas $X \colon \Omega \to \mathbb{Z}$ zadane jest wzorem $X(a,b)=a+b$.

Definicja 6.2 Powiemy, że zmienna losowa $X$ jest dyskretna, jeżeli może przyjmować co najwyżej przeliczalnie wiele różnych wartości.

Wszystkie rozważane przez nas przestrzenie probabilistyczne są co najwyżej przeliczalne, więc wszystkie aktualnie rozważane zmienne losowe są dyskretne. Wartości, które może przyjąć zmienna losowa $X \colon \Omega \to \mathbb{R}$ będziemy oznaczać przez $x_k$. Dokładniej $X[\Omega] = \{ x_k\: : \: k \leq T \}$ dla $T \in \mathbb{N}$ jeżeli $\Omega$ jest skończona lub $T =\infty$ jeżeli $\Omega$ jest przeliczalna. Dla każdego ustalonego $x_k$ definiujemy zdarzenie, że $X$ jest równe $x_k$ przez

\[ \{ X=x_k \}=X^{-1}[\{ x_k \}] = \{ \omega \in \Omega \: | \: X(\omega) = x_k\}. \]

W przyszłości zobaczymy, że liczby $\mathbb{P}[X=x_k]$ pomogą znaleźć uproszczony język do opisu zmiennej losowej $X$.

Przykład 6.2 W grze w kości, dla $X$ równej sumie wyrzuconych oczek mamy $\Omega =[6]\times [6]$ oraz $X(a,b) = a+b$. Załóżmy, że wszystkie wyniki są jednakowo prawdopodobne. Wówczas \[ \mathbb{P}[X = 5]= \frac{4}{36}. \]

Przykład 6.3 Rzucamy monetą aż do momentu otrzymania orła. Wówczas $\Omega = \{R\}^{\mathbb{N}} \cup \bigcup_{k=0}^\infty\{R \}^k \times \{O\}$. Niech $X$ oznacza liczbę rzutów w naszym eksperymencie. Innymi słowy $X$ jest liczbą rzutów potrzebną do otrzymania orła. Wówczas $X(O)=1$, $X(RO)=2$ oraz ogólnie $X(\omega_k)=k$ jeżeli $\omega_k$ składa się z $k-1$ reszek i orła. W szczególności $X(\omega_\infty)=\infty$.

6.1 Rozkład zmiennej losowej

W sytuacjach kiedy nie ma żadnych niejasności nie jest konieczne dokładne konstruowanie przestrzeni probabilistycznej.

Przykład 6.4 Rzucamy symetryczną monetą aż do momentu otrzymania pierwszego orła. Jakie jest prawdopodobieństwo o=wykonania parzystej liczby rzutów? Niech $X$ oznacza liczbę wykonanych rzutów. Wówczas \[\begin{equation*} \mathbb{P}[ \mbox{$X$ jest parzyste} ] = \sum_{k=1}^\infty \mathbb{P}[X =2k] =\sum_{k=1}^\infty \frac{1}{2^{2k}} = \frac 13. \end{equation*}\]

Zauważmy, że nie była konieczna konstrukcja przestrzeni probabilistycznej. Kluczowa okazała się być znajomość liczb $\mathbb{P}[X=j]$.

Definicja 6.3 Niech $(\Omega, \mathbb{P})$ będzie dyskretną przestrzenią probabilistyczną. Rozkładem zmiennej losowej $X$ nazywamy funkcję $\mu_X \colon \mathbb{R} \cup\{ \pm \infty\} \to [0,1]$ daną przez $\mu_X(x) = \mathbb{P}[X=x]$.

Przykład 6.5 (Rozkład dwumianowy) Niech $n \in \mathbb{N}$ i $p\in [0,1]$. Powiemy, że zmienna losowa $X$ ma rozkład dwumianowy z parametrami $n$ i $p$ jeżeli \[\begin{equation*} \mathbb{P}[X = k] = p^k(1-p)^{n-k} {n \choose k} \end{equation*}\] dla $k =0,1, \ldots n$. Wówczas $X$ możemy interpretować jako liczbę sukcesów w $n$ niezależnych próbach Bernoulliego z prawdopodobieństwem sukcesu $p$.

Przykład 6.6 Niech $p \in (0,1)$. Powiemy, że $X$ ma rozkład geometryczny z prawdopodobieństwem sukcesu $p$ jeżeli \[\begin{equation*} \mathbb{P}[X=k] = (1-p)^{k-1}p \end{equation*}\] dla $k=1,2, \ldots$. Zmienną $X$ możemy interpretować jako moment pierwszego sukcesu w nieskończonym ciągu prób Bernoulliego.

Powiedzmy, że wykonujemy $n$ prób Bernoulliego z prawdopodobieństwem sukcesu $p=\lambda/n$ dla pewnego $\lambda>0$. Co się dzieje gdy $n \to \infty$? Liczba prób jest coraz większa, ale prawdopodobieństwo sukcesu jest coraz mniejsze. Prawdopodobieństwo, że otrzymamy dokładnie $k$ sukcesów wynosi \[\begin{equation*} {n \choose k} \frac{\lambda ^k}{n^k} \left(1-\frac{\lambda}{n}\right)^{n-k} = \frac{\lambda^k}{k!} \frac{n^{\underline{k}}}{n^k} \left(1- \frac{\lambda}{n} \right)^{n-k}. \end{equation*}\] Gdy $n \to \infty$ to \[\begin{equation*} \frac{n^{\underline{k}}}{n^k} \to 1 \end{equation*}\] oraz \[\begin{equation*} \left(1- \frac{\lambda}{n} \right)^{n-k} \to e^{-\lambda}. \end{equation*}\] Zatem prawdopodobieństwo, że otrzymamy dokładnie $k$ sukcesów dąży do \[\begin{equation*} \frac{\lambda^k}{k!} e^{-\lambda}. \end{equation*}\]

Przykład 6.7 Niech $\lambda>0$. Powiemy, że zmienne losowa $X$ ma rozkład Poissona z parametrem $\lambda$ jeżeli \[\begin{equation*} \mathbb{P}[X=k] = \frac{\lambda^k}{k!} e^{-\lambda} \end{equation*}\] dla $k=0,1, \ldots$.

Pokaż kod

viewof poisLambda = Inputs.range([0.1, 40], {
  value: 5,
  step: 0.1,
  label: "Parametr λ",
  format: x => x.toFixed(1)
})

poisChart = {
  const lambda = poisLambda;
  const m = 60;

  // Obliczamy prawdopodobieństwa rekurencyjnie
  const data = [];
  let prob = Math.exp(-lambda);

  for (let k = 0; k <= m; k++) {
    data.push({k: k, prob: prob});
    prob *= lambda / (k + 1);
  }

  const maxProb = Math.max(...data.map(d => d.prob));

  const marks = [
    Plot.barY(data, {
      x: "k",
      y: "prob",
      fill: "var(--bs-primary)",
      inset: 1,
      title: d => `k=${d.k}, P(X=k)=${d.prob.toFixed(5)}`
    }),

    Plot.ruleY([0], {
      stroke: "currentColor",
      strokeOpacity: 0.4
    })
  ];

  const chart = Plot.plot({
    width: 720,
    height: 360,
    marginTop: 50,
    marginBottom: 45,

    x: {
      type: "band",
      domain: data.map(d => d.k),
      tickFormat: k => k % 5 === 0 ? k : "",
      label: "Liczba zdarzeń"
    },

    y: {
      domain: [0, maxProb * 1.2],
      label: "Prawdopodobieństwo",
      grid: true,
      nice: true
    },

    marks: marks,

    style: {
      background: "transparent",
      color: "var(--bs-body-color)",
      fontSize: "13px"
    }
  });

  chart.style.maxWidth = "100%";
  chart.style.height = "auto";

  return chart;
}

6.2 Wartość oczekiwana

Najprostszym opisem zmiennej losowej $X$ byłaby jedna liczba. Aby umotywować nasz przyszły wybór rozważmy następujący przykład. Powiedzmy, że mamy do dyspozycji niesymetryczną kostkę sześcienną na której $1$ wypada z prawdopodobieństwem $p_1$, $2$ wypada z prawdopodobieństwem $p_2$ itd. gdzie $p_1+p_2+ \ldots + p_6=1$. Rzucamy tą kością $N\in \mathbb{N}$. Jaka będzie średnia z uzyskanych wyników? Niech $X_k$ dla $k\leq N$ opisuje wynik $k$-tego rzutu. Załóżmy, że w naszym eksperymencie $n_1$ razy wpadła $1$, $n_2$ razy wypadła $2$ itd. Szukaną średnią możemy zapisać jako \[ \frac{X_1+X_2+\ldots + X_N}{N} = 1\cdot \frac{n_1}{N} +2 \cdot \frac{n_2}{N} + 3 \cdot \frac{n_3}{N} +4 \cdot \frac{n_4}{N}+ 5 \cdot \frac{n_5}{N} +6 \cdot \frac{n_6}{N}, \] gdzie $n_k=|\{ j\leq N \: : \: X_j=k \}|$ dla $k \in [6]$. Na poziomie intuicyjnym jasne jest, że dla dużego $N$, $\frac{n_k}{N} \approx p_k$. W przyszłości ściśle uzasadnimy ten fakt. Mamy \[ \frac{X_1+X_2+\ldots + X_N}{N} \approx 1\cdot p_1+2 \cdot p_2 + 3 \cdot p_3 + 4 \cdot p_4+ 5 \cdot p_5 +6 \cdot p_6. \] Liczba po prawej stronie to średnia ważona dla rzutu jedną kością. Istotnie, mamy $\mathbb{P}[X_1=1]=p_1$, $\mathbb{P}[X_1=2]=p_2$, , $\mathbb{P}[X_1=6]=p_6$. Możemy wreszcie napisać \[ \frac{X_1+X_2+\ldots + X_N}{N} \approx \sum_{k=1}^6 k \cdot \mathbb{P}[X_1=k]. \tag{6.1}\]

Otrzymujemy średnią wartości $X_1$ z wagą, która jest prawdopodobieństwem poszczególnych wyników. Taką średnią nazywamy wartością oczekiwaną $X_1$.

Definicja 6.4 Niech $(\Omega, \mathbb{P})$ będzie dyskretną przestrzenią probabilistyczną. Powiemy, że zmienna losowa $X$ jest całkowalna, jeżeli \[ \sum_{\omega \in \Omega} |X(\omega)| p(\omega) <\infty. \] Dla całkowalnej zmiennej losowej $X \colon \Omega \to \mathbb{R}$
jej wartością oczekiwaną nazywamy \[ \mathbb{E} [X] = \sum_{\omega \in \Omega} X(\omega) p(\omega). \]

W powyższej definicji, jeżeli $X(\omega_0) =\infty$ oraz $\mathbb{P}[\{\omega_0 \}]=0$ to interpretujemy $X(\omega_0)\mathbb{P}[\{\omega_0 \}]=0$. Niebawem przekonamy się, że powyższa definicja wartości oczekiwanej zadaje dokładnie prawą stronę równania Równanie 6.1.

Przykład 6.8 Wróćmy do eksperymentu czekania na pierwszego orła. Tutaj $\Omega = \{R\}^{\mathbb{N}} \cup \bigcup_{k=0}^\infty\{R \}^k \times \{O\}$. Niech $X$ będzie zmienną losową opisującą liczbę rzutów potrzebnych do otrzymania orła ($X(\omega_k)=k$). Wówczas $X$ jest całkowalna, bo \[ \sum_{\omega \in \Omega} |X(\omega)| p(\omega) = \sum_{k=1}^\infty \frac{k}{2^k}<\infty \] oraz $\mathbb{E} X=2$. Z kolei zmienna zadana przez $Y=3^X$, innymi słowy $Y(\omega_k) = 3^k$ nie jest całkowalna. Istotnie \[ \sum_{\omega \in \Omega} |Y(\omega)| p(\omega) = \sum_{k=1}^\infty \left( \frac{3}{2} \right)^k=\infty. \]

Przykład 6.9 Niech $X$ oznacza liczbę otrzymanych oczek przy rzucie jedną wyważoną kością. Wówczas \[ \mathbb{E} [X] = X(1) \frac 16 + X(2) \frac 16 + X(3) \frac 16 + X(4) \frac 16 + X(5) \frac 16 + X(6) \frac 16 = \frac 72. \] Ten przykład pokazuje, że nazwa wartość oczekiwana jest niefortunna. Przy rzucie kością nie możemy oczekiwać wyniku $7/2$.

Przykład 6.10 Dwaj gracze $A$ i $B$ grają w następującą grę. Rzucają kostką. Niech $k$ będzie wynikiem rzutu. Jeżeli $k$ jest nieparzyste, to $A$ wygrywa $k$ złotych, jeżeli $k$ jest parzyste, to $B$ wygrywa $k$ złotych. Czy gra jest uczciwa?

Niech $X$ oznacza wygraną gracza $A$ podczas jednej rundy, wtedy \[\begin{multline*} \mathbb{E} X = 1\cdot \mathbb{P}[X=1] - 2\cdot \mathbb{P}[X=2] + 3\cdot \mathbb{P}[X=3] \\ - 4\cdot \mathbb{P}[X=4] + 5\cdot \mathbb{P}[X=5] - 6\cdot \mathbb{P}[X=6]= -\frac 12. \end{multline*}\] Jeżeli wykonamy $n$ rzutów i przez $X_j$ oznaczymy wygraną gracza $A$ w $k$tym rzucie, to stan portfela gracza $A$ po $n$ rzutach wyniesie \[\begin{equation*} \sum_{k=1}^nX_k. \end{equation*}\] Dla dużych wartości $n$ powyższa suma jest w przybliżeniu równa $n\mathbb{E}[X]=-n/2$. Powyższa gra nie jest zatem uczciwa. Z czasem gracz $A$ zacznie tracić duże ilości gotówki co widać na symulacji poniżej. Wykres przedstawia stan portfela gracza $A$ w trakcie rozgrywki.

Krok: 0 · Pozycja: 0

Fakt 6.1 Niech $\{ x_1, x_2, \ldots \}$ będzie zbiorem wartości całkowalnej zmiennej losowej $X$, czyli $X[\Omega] = \{ x_k \: : \: k \leq T \}$ dla $T \in \mathbb{N}\cup \{ \infty\}$. Wówczas \[ \mathbb{E} X = \sum_{k=1}^T x_k \mathbb{P}[X=x_k]. \]

Dowód. Niech $E_k = \{ X=x_k \}$. Wówczas $E_k$ są parami rozłączne oraz $\bigcup_{k=1}^TE_k=\Omega$ a co za tym idzie

\[ \mathbb{E} X = \sum_{\omega \in \Omega} X(\omega) p(\omega) = \sum_{k=1}^T \sum_{\omega \in E_k} X(\omega) p(\omega). \]

Skorzystaliśmy tutaj z całkowalności zmiennej losowej $X$: dla szeregu bezwzględnie zbieżnego zmiana kolejności sumowania nie wpływa na jego wartość. Dla $\omega \in E_k$ mamy $X(\omega) = x_k$, więc

\[ \mathbb{E} X =\sum_{k=1}^T \sum_{\omega \in E_k} x_k p(\omega) =\sum_{k=1}^T x_k \sum_{\omega \in E_k} p(\omega) . \]

Na koniec skorzystamy z \[ \sum_{\omega \in E_k} p(\omega) = \mathbb{P}[E_k] = \mathbb{P}[X=x_k] \] aby otrzymać \[ \mathbb{E} X =\sum_{k=1}^T x_k \sum_{\omega \in E_k} p(\omega) = \sum_{k=1}^T x_k \mathbb{P}[X=x_k]. \] Co było do pokazania

Przykład 6.11 Rzucamy $n$ razy monetą. Zbadajmy zmienną losową $X$ która jest liczbą otrzymanych orłów. Zakładając, że każdy wynik jest jednakowo prawdopodobny otrzymujemy, dla $k \leq n$, \[ \mathbb{P}[X=k] = {n \choose k}2^{-n}. \] Zauważmy, że $X$ jest liczbą sukcesów w schemacie $n$ prób Bernoulliego z prawdopodobieństwem sukcesu $1/2$. Korzystając z Fakt 6.1 otrzymujemy

\[ \begin{aligned} \mathbb{E} X &= \sum_{k=0}^nk \mathbb{P}[X=k]= \sum_{k=0}^n k {n \choose k}2^{-n} =\sum_{k=1}^n k {n \choose k}2^{-n} \\ & \stackrel{(*)}{=} \sum_{k=1}^n n {n-1 \choose k-1}2^{-n} = \frac n2 \sum_{j=0}^{n-1} {n-1 \choose j}2^{-(n-1)} \stackrel{(**)}{=} \frac n2. \end{aligned} \]

Skorzystaliśmy tutaj ze wzorów

\[ {n \choose k} \stackrel{(*)}{=} \frac nk{n-1 \choose k-1}, \qquad \sum_{j=0}^{m} {m \choose j} \stackrel{(**)}{=} 2^m \]

dla $1 \leq k \leq n$ oraz $m\geq 0$.

Komentarz 6.1. W poprzednim przykładzie udowodniliśmy wzór \[\begin{equation*} \sum_{k=1}^n k {n \choose k} = n 2^{n-1}. \end{equation*}\] Ma on bezpośrednią interpretacje kombinatoryczną. Obie strony równości opisują sposób wybrania delegacji wraz z przewodniczącym tejże z grupy $n$ osób. Dla każdego $k$ możemy wybrać $k$ osobową delegację i z nich wybrać przewodniczącego. Możemy też najpierw wybrać przewodniczącego spośród wszystkich $n$ osób a następnie dobrać resztę delegacji spośród pozostałych $n-1$.

Przykład 6.12 Rzucamy wielokrotnie monetą, na której orzeł wypada z prawdopodobieństwem $p$. Ile średnio rzutów należy wykonać, aby otrzymać pierwszego orła? Niech $X$ będzie liczbą rzutów potrzebną do otrzymania pierwszego orła. Wówczas \[\begin{equation*} \mathbb{P}[X=k] = (1-p)^{k-1}p, \quad k\geq 1. \end{equation*}\] Przypomnijmy, że wówczas $X$ ma rozkład geometryczny. Naszym zadaniem jest wyznaczenie wartości \[\begin{equation*} \mathbb{E}[X]=\sum_{k=1}^{\infty} k (1-p)^{k-1}p. \end{equation*}\] Dla dowolnego $q \in (0,1)$ mamy \[\begin{equation*} \sum_{k=0}^\infty q^k = \frac{1}{1-q}. \end{equation*}\] Różniczkując stronami otrzymujemy \[\begin{equation*} \sum_{k=1}^\infty kq^{k-1} = \frac{1}{(1-q)^2}. \end{equation*}\] Mnożąc obustronnie przez $p$ i podstawiając $q=1-p$ otrzymujemy \[\begin{equation*} \mathbb{E}[X]=\sum_{k=1}^{\infty} k (1-p)^{k-1}p = \frac{p}{(1-q)^2} = \frac 1p. \end{equation*}\]

Wartość oczekiwana na dyskretnej przestrzeni probabilistycznej jest zadana przez średnią ważoną. Naturalne więc jest, że dziedziczy wiele jej własności.

Fakt 6.2 Niech $X, Y$ będą całkowalnymi zmiennymi losowymi. Wówczas dla dowolnych stałych $\alpha, \beta \in \mathbb{R}$, zmienna losowa $\alpha X + \beta Y$ jest całkowalna oraz zachodzi wzór \[ \mathbb{E} [\alpha X+ \beta Y] = \alpha \mathbb{E} X + \beta \mathbb{E} Y. \]

Zanim zobaczymy dowód powyższego faktu zaznajomimy się z jednym przykładem.

Przykład 6.13 Rozważmy grę, w której rzucamy dwiema dobrze wyważonymi kośćmi. Pierwsza kość jest sześcienna a druga dwudziestościanną. Nasz wynik obliczany jest według następującego wzoru

\[ 6 \cdot (\text{wynik na pierwszej kości})^2 - 2 \cdot (\text{wynik na drugiej kości}). \]

Jaka jest wartość oczekiwana wyniku? Naszą przestrzenią jest $\Omega = [6]\times [20]$ z jednakowym prawdopodobieństwem dla każdego zdarzenie elementarnego. Rozważmy zmienne losowe

\[ X(a,b) = a^2 \qquad Y(a,b) = b. \]

Wtedy wynik zapisuje się jako $Z = 6X-2Y$. Dla pierwszej zmiennej mamy $\{X = k \} = \{ (a,b) \: : \: k=a^2\}$ a co za tym idzie

\[ \mathbb{P}[X = k^2] = \frac 16, \qquad k \in [6] \]

oraz $\mathbb{E}[X] = \frac{91}{6}$. Podobnie

\[ \mathbb{P}[Y = j] = \frac 1{20}, \qquad j \in [20] \]

oraz $\mathbb{E}[Y]=\frac {21} 2$. Fakt 6.2 daje

\[ \mathbb{E}[Z] = 6 \mathbb{E}[X] -2 \mathbb{E}[Y] = 70. \]

Przykład 6.14 Rzucamy para kości sześciennych. Jaka jest wartość oczekiwana sumy oczek na obu kościach? Jeżeli $X$ to suma oczek na obu kościach, to oczywiście $X = X_1 + X_2$, gdzie $X_1$ to wynik na pierwszej kości a $X_2$ to wynik na drugiej kości. Wiemy, że $\mathbb{E}[X_1] =\mathbb{E}[X_2] = 7/2$. Stąd \[\begin{equation*} \mathbb{E}[X] = \mathbb{E}[X_1+X_2] = \mathbb{E}[X_1] + \mathbb{E}[X_2] =7. \end{equation*}\]

Dowód (Fakt 6.2). Oznaczmy $Z = \alpha X+\beta Y$. Mamy

\[ \sum_{\omega \in \Omega} |Z(\omega)| p(\omega) \leq |\alpha| \sum_{\omega \in \Omega} |X(\omega)| p(\omega) + |\beta| \sum_{\omega \in \Omega} |Y(\omega)| p(\omega) <\infty \] co pokazuje, że $Z$ jest całkowalna. Podobnie

\[ \begin{aligned} \mathbb{E} Z & = \sum_{\omega \in \Omega} Z(\omega) p(\omega) \\ & = \alpha \sum_{\omega \in \Omega} X(\omega) p(\omega) + \beta \sum_{\omega \in \Omega} Y(\omega) p(\omega) \\ &= \alpha\mathbb{E} X + \beta \mathbb{E} Y. \end{aligned} \] czego należało dowieść.

Sprawdzimy teraz jak Fakt 6.2 przydaje się w Przykład 6.11.

Przykład 6.15 Wykonujemy $n$ niezależnych prób Bernoulliego z prawdopodobieństwem sukcesu $p$ w pojedynczej próbie. Niech $X$ oznacza liczbę sukcesów. Zauważmy, że $X = X_1 + X_2 + \ldots + X_n$, gdzie $X_j=1$ jeżeli w $j$-tej próbie był sukces i $X_j=0$ jeżeli była porażka. Wówczas \[\begin{equation*} \mathbb{E}[X_j] = 1 \cdot \mathbb{P}[X_j=1] + 0 \cdot \mathbb{P}[X_j=0]=p. \end{equation*}\] Wobec tego \[\begin{equation*} \mathbb{E}[X] = \mathbb{E}[X_1+\ldots +X_n] = \mathbb{E}[X_1] + \ldots + \mathbb{E}[X_n] = n/2. \end{equation*}\]

Zauważmy, że jeżeli $X$ jest zmienną losową a $\varphi \colon \mathbb{R}\cup \{ \pm \infty\} \to \mathbb{R} \cup \{\pm \infty\}$ to zmienną losową staje się również $Z = \varphi \circ X = \varphi(X)$. Bardzo często przyda nam się sposób na efektywne obliczanie wartości oczekiwanej zmiennej losowej $Z$.

Fakt 6.3 Niech $(\Omega, \mathbb{P})$ będzie dyskretną przestrzenią probabilistyczną a $X$ zmienną losową. Niech dodatkowo $\varphi \colon \mathbb{R}\cup \{\pm \infty\} \to \mathbb{R} \cup \{\pm\infty\}$ będzie funkcją taką, że zmienna losowa $Z(\omega) = \varphi(X(\omega ))$ jest całkowalna. Wówczas

\[ \mathbb{E} [\varphi(X)]= \mathbb{E}[Z] = \sum_{k=1}^T \varphi(x_k) \mathbb{P}[X=x_k], \]

gdzie $\{x_j \: : \: j\leq T\}$, dla $T \in \mathbb{N}\cup \{\infty\}$, jest zbiorem wartości zmiennej losowej $X$.

Dowód. Z Definicja 6.4

\[ \mathbb{E} [\varphi(X)]=\mathbb{E}[Z] = \sum_{\omega \in \Omega} \varphi(X(\omega)) p(\omega). \]

Podobnie jak w dowodzie Fakt 6.1, dla zbiorów $E_k = \{ X = x_k\}$ mamy $\Omega = \bigcup_{k=1}^TE_k$ oraz

\[ \mathbb{E} [\varphi(X)] = \sum_{\omega \in \Omega} \varphi(X(\omega)) p(\omega) = \sum_{k=1}^T \sum_{\omega \in E_k} \varphi(X(\omega)) p(\omega). \]

Tutaj skorzystaliśmy z całkowalności zmiennej $Z$. Zauważmy, że jeżeli $\omega \in E_k$, to $X(\omega)=x_k$. Korzystając z tej obserwacji możemy napisać

\[ \mathbb{E} [\varphi(X)] = \sum_{k=1}^T \sum_{\omega \in E_k} \varphi(x_k) p(\omega) = \sum_{k=1}^T \varphi(x_k) \sum_{\omega \in E_k} p(\omega). \]

Na koniec wystarczy skorzystać z tego, że $\sum_{\omega \in E_k} p( \omega) = \mathbb{P}[E_k] = \mathbb{P}[X=x_k]$ żeby otrzymać

\[ \mathbb{E} [\varphi(X)] = \sum_{k=1}^T \varphi(x_k) \sum_{\omega \in E_k} p(\omega) = \sum_{k=1}^T \varphi(x_k) \mathbb{P}[X=x_k]. \] Czego należało dowieść.

Przykład 6.16 Rzucamy $n$ krotnie symetryczną monetą. Niech $X$ oznacza liczbę wyrzuconych orłów. Ile wynosi $\mathbb{E}[X^2]$? Przypomnijmy, że $X$ będzie miało rozkład dwumianowy \[\begin{equation*} \mathbb{P}[X=k] = {n \choose k} 2^{-n}. \end{equation*}\] Szukana przez nas wielkość to \[\begin{equation*} \mathbb{E}\left[X^2\right] = \sum_{k=0}^n k^2 {n \choose k}. \end{equation*}\] Wychodząc od wzoru dwumianowego \[\begin{equation*} (x+y)^n = \sum_{k=0}^n {n \choose k} x^k y^{n-k} \end{equation*}\] i różniczkując względem $x$ \[\begin{equation*} n(x+y)^{n-1} = \sum_{k=0}^n {n \choose k} kx^{k-1} y^{n-k} \end{equation*}\] Mnożąc przez $x$ i różniczkując względem $x$ \[\begin{equation*} n(x+y)^{n-1} + n(n-1)(x+y)^{n-2} = \sum_{k=0}^n {n \choose k} k^2x^{k-2} y^{n-k} \end{equation*}\]

Fakt 6.4 Niech $(\Omega, \mathbb{P})$ będzie dyskretną przestrzenią probabilistyczną. Wówczas

Jeżeli $X$ jest zmienną losową taką, że dla pewnej stałej $a \in \mathbb{R}$ zachodzi $X(\omega) = a$ dla wszystkich $\omega \in \Omega$, to

\[ \mathbb{E}[X]=a. \]

Jeżeli $X$ i $Y$ są całkowalnymi zmiennymi losowymi takimi, że $X(\omega) \leq Y(\omega)$ dla wszystkich $\omega \in \Omega$, to

\[ \mathbb{E}[X] \leq \mathbb{E}[Y] . \]

Dowód. Jeżeli $X(\omega) = a$ dla wszystkich $\omega \in \Omega$, to

\[ \mathbb{E}[X] = \sum_{\omega \in \Omega} X(\omega) p(\omega) = \sum_{\omega \in \Omega}a p( \omega) = a \cdot \sum_{\omega \in \Omega} p( \omega) = a \cdot 1=a. \]

Jeśli natomiast $X(\omega) \leq Y(\omega)$ dla wszystkich $\omega \in \Omega$, to

\[ \mathbb{E}[X] = \sum_{\omega \in \Omega} X(\omega) p( \omega) \leq \sum_{\omega \in \Omega} Y(\omega) p(\omega) =\mathbb{E}[Y]. \] Co dowodzi drugiej własności.

Przykład 6.17 Tasujemy talię 52 kart metodą Top to random, tzn. kartę, która znajduje się na górze wkładamy w losowe miejsce w talii (są 52 możliwości), a następnie powtarzamy czynność. Ile należy wykonać tasowań, aby można było uznać talię za potasowaną. Jaka jest średnia liczba tasowań?

Kluczowa jest karta, która początkowo znajduje się na samym dole talii. Oznaczmy ją przez $A$. Zauważmy, że w trakcie tasowania będzie się ona przemieszczać powoli do góry talii. Prawdopodobieństwo, że w pierwszym ruchu karta z góry talii znajdzie się pod $A$ wynosi $1/52$. Jest ono małe, ale z prawdopodobieństwem 1 (Lemat Borela-Cantellego) nastąpi moment, gdy pod $A$ znajdzie się jakaś karta, oznaczmy ją przez $K_1$.

Po wykonaniu losowej liczby tasowań kolejna karta $K_2$ zostanie wstawiona poniżej $A$. Wzajemne ułożenie kart $K_1$ i $K_2$ jest losowe (tzn. z prawdopodobieństwem $1/2$ karta $K_1$ jest nad $K_2$ i na odwrót). Kontynuując to rozumowanie w pewnej chwili pod $A$ będzie znajdować się $k$ kart: $K_1, \ldots K_k$. Każde ułożenie tychże kart jest tak samo prawdopodobne (indukcja!). Zatem karty pod $A$ są dobrze potasowane.

Karta $A$ dotrze w końcu na sam szczyt talii i to właśnie ona zostanie wstawiona. W tej chwili wszystkie karty będą dobrze potasowane (każde ich wzajemne ułożenie jest jednakowo prawdopodobne).

Obliczmy ile czasu potrzebuje karta $A$, aby dotrzeć na górę talii. Niech $X_i$ oznacza czas jaki karta $A$ spędza na $i$-tej pozycji od dołu. Prawdopodobieństwo, że karta wstawiona zostanie poniżej $A$ wynosi $1/52$. Czas oczekiwania na sukces $X_1$, zgodnie z poprzednim przykładem jest zmienną losową o rozkładzie Geom($1/52$), zatem $\mathbb{E} X_1 = 52$. Podobnie dla każdego $i$: $\mathbb{E} X_i = 52/i$. Podsumowując \[\begin{align*} \mathbb{E} X & = \mathbb{E} \sum_{i=1}^{52 } X_i = \sum_{i=1}^{52} \mathbb{E} X_i \\ & = \sum_{i=1}^{52} \frac{52}i = 52 \sum_{i=1}^{52} \frac 1i \\ & \sim 52 (\log 52 + \gamma) \sim 235, \end{align*}\] gdzie $\gamma$ jest stałą Eulera–Mascheroniego znaną z wykładu z analizy ($\gamma \sim 0,577$).

Pokaż kod

top2random = {
  const totalCards = 52;
  const trackedCard = 52;
  const maxSteps = 1000;
  const fps = 15;

  const root = html`<div class="top2random-sim">
    <style>
      .top2random-sim {
        display: flex;
        align-items: flex-start;
        gap: 1.5rem;
        flex-wrap: wrap;
        color: var(--bs-body-color);
        margin: 1rem 0;
      }

      .top2random-stack {
        width: 160px;
        padding: 20px 0;
        display: flex;
        flex-direction: column;
        align-items: center;
        gap: 1px;
        background: var(--bs-secondary-bg);
        border: 1px solid var(--bs-border-color);
        border-radius: 8px;
      }

      .top2random-card {
        width: 50px;
        height: 12px;
        border-radius: 3px;
        box-sizing: border-box;
        background: color-mix(
          in srgb,
          var(--bs-primary) 35%,
          var(--bs-body-bg)
        );
        color: var(--bs-body-color);
        text-align: center;
        line-height: 12px;
        font-size: 10px;
        font-variant-numeric: tabular-nums;
      }

      .top2random-card.tracked {
        background: color-mix(
          in srgb,
          var(--bs-warning) 45%,
          var(--bs-body-bg)
        );
        outline: 1px solid var(--bs-warning);
        font-weight: bold;
      }

      .top2random-controls {
        display: flex;
        flex-direction: column;
        gap: 0.75rem;
        align-items: flex-start;
      }

      .top2random-counter {
        font-variant-numeric: tabular-nums;
        font-weight: 600;
      }

      .top2random-status {
        max-width: 230px;
        font-size: 0.9rem;
        opacity: 0.8;
      }
    </style>

    <div class="top2random-stack"></div>

    <div class="top2random-controls">
      <button class="btn btn-primary" type="button">
        Resetuj
      </button>
      <div class="top2random-counter">Kroki: 0</div>
      <div class="top2random-status"></div>
    </div>
  </div>`;

  const stack = root.querySelector(".top2random-stack");
  const button = root.querySelector("button");
  const counter = root.querySelector(".top2random-counter");
  const status = root.querySelector(".top2random-status");

  let deck = [];
  let steps = 0;
  let running = true;

  const cards = Array.from({ length: totalCards }, () => {
    const card = document.createElement("div");
    card.className = "top2random-card";
    stack.appendChild(card);
    return card;
  });

  function render() {
    for (let i = 0; i < totalCards; i++) {
      cards[i].textContent = deck[i];
      cards[i].classList.toggle(
        "tracked",
        deck[i] === trackedCard
      );
    }

    counter.textContent = `Kroki: ${steps}`;
  }

  function resetDeck() {
    deck = Array.from(
      { length: totalCards },
      (_, i) => i + 1
    );
    steps = 0;
    running = true;
    status.textContent = "";
    render();
  }

  function topToRandom() {
    const topCard = deck.shift();
    const randIndex = Math.floor(
      Math.random() * (deck.length + 1)
    );
    deck.splice(randIndex, 0, topCard);
  }

  function tick() {
    if (!running) return;

    if (deck[0] === trackedCard) {
      running = false;
      status.textContent =
        `Karta ${trackedCard} dotarła na szczyt po ${steps} krokach.`;
      return;
    }

    if (steps >= maxSteps) {
      running = false;
      status.textContent =
        `Osiągnięto limit ${maxSteps} kroków.`;
      return;
    }

    topToRandom();
    steps++;
    render();

    if (deck[0] === trackedCard) {
      running = false;
      status.textContent =
        `Karta ${trackedCard} dotarła na szczyt po ${steps} krokach.`;
    }
  }

  button.addEventListener("click", resetDeck);

  resetDeck();

  const timer = setInterval(tick, 1000 / fps);

  invalidation.then(() => {
    clearInterval(timer);
  });

  return root;
}

6.3 Wariancja

Za każdym razem kiedy dokonujemy takiego przybliżenia warto jest znać jego błąd. Wartość oczekiwana nie jest tutaj wyjątkiem. W przyszłości bardzo istotna będzie dla nas informacja jak bardzo zmienna losowa $X$ różni się od swojej wartości oczekiwanej $\mathbb{E} X$.

Definicja 6.5 Wariancję zmiennej losowej $X$ definiujemy przez \[ \mathbb{V} [X] = \mathbb{E}[ (X-\mathbb{E} X) ^2]. \]

Definicja 6.5, na dyskretnej przestrzeni probabilistycznej $(\Omega, \mathbb{P})$ zachodzi wzór

\[ \mathbb{V}[X] = \sum_{\omega \in \Omega} (X(\omega) - \mathbb{E} X)^2 p(\omega). \tag{6.2}\]

Przykład 6.18 Przypuśćmy, że właśnie otrzymaliśmy propozycję nie do odrzucenia; ktoś podarował nam dwa losy na pewną loterię. Wygrane mierzymy w milionach dolarów i zakładamy niezależność różnych losowań. Organizatorzy loterii sprzedają $100$ losów na cotygodniowe losowanie. Każdy z losów jest wybierany w jednorodnym procesie losowym, to znaczy, że każdy los może być wybrany z takim samym prawdopodobieństwem—i szczęśliwy właściciel wybranego losu wygrywa sto milionów dolarów. Pozostałe $99$ losów nic nie wygrywa.

Możemy teraz wykorzystać nasz prezent na dwa sposoby: albo kupujemy dwa losy na to samo losowanie, albo kupimy po jednym losie na dwa różne losowania. Która strategia jest lepsza? Jeżeli przez $X$ oznaczymy wygraną dla pierwszej strategii, to \[ \mathbb{E} X = 0 \cdot \frac{98}{100} + 100 \cdot \frac{2}{100} = 2. \] Dla drugiej strategii $Y$ otrzymujemy \[ \mathbb{E} Y = 0 \cdot \frac{99}{100} + 100 \cdot \frac{1}{100} + 0 \cdot \frac{99}{100} + 100 \cdot \frac{1}{100} =2. \] Wartości oczekiwane są takie same. Mimo to obydwie strategie wyglądają różnie. Nie patrzmy jednak na wartości oczekiwane i przeanalizujmy dokładnie rozkłady zmiennych losowych $X$ oraz $Y$ \[ \begin{array}{|c|c|c|c|} \hline & 0 & 100 & 200\\ \hline X & 0,98 & 0,02 & 0 \\ \hline Y & 0,9801 & 0,0198 & 0,0001 \\\hline \end{array} \] Wariancja ma służyć właśnie do analizy pojęcia rozproszenia zmiennej losowej. W przypadku $X$ wariancja wynosi \[ \mathbb{V} [X] = 0{,}98 \cdot (0 -2 )^2 + 0,02\cdot (100 -2)^2 = 196 \] a w przypadku $Y$ \[ \mathbb{V} [Y] = 0{,}9801 \cdot (0 - 2)^2 + 0{,}0198\cdot (100 - 2)^2 + 0,0001\cdot (200 - 2)^2 = 198 \] Tak jak oczekiwaliśmy, druga wariancja jest odrobinę większa, ponieważ rozkład losowy w przypadku $Y$ jest odrobinę bardziej rozproszony.

Wzór Równanie 6.2 jest w praktyce nieporęczny. Okazuje się, że $\mathbb{V}[X]$ można wyrazić w zgrabny sposób, który jest dodatkowo wygodny w rachunkach.

Fakt 6.5 Niech $X$ będzie całkowalną zmienną losową. Wówczas

\[ \mathbb{V}[X] = \mathbb{E} \left[ X^2 \right] - (\mathbb{E} X)^2. \tag{6.3}\]

Dowód. Oznaczmy $m = \mathbb{E} [X] \in \mathbb{R}$. Wówczas

\[ \begin{aligned} \mathbb{V}[X] &= \mathbb{E}\left[ X^2 - 2 X m +m^2 \right] = \mathbb{E}\left[ X^2 \right] - \mathbb{E}[2mX] + \mathbb{E}\left[m^2\right] \\ &= \mathbb{E}\left[ X^2 \right] - 2m \mathbb{E}[X] + m^2 = \mathbb{E}\left[ X^2 \right] -m^2 \end{aligned} \] co jest jednoznaczne z naszą tezą.

Przykład 6.19 Niech $X$ oznacza liczbę uzyskanych orłów w serii $n$ rzutów symetryczną monetą. Wiemy, że $\mathbb{E}[X] = \frac n2$ oraz $\mathbb{E} \left[X^2 \right] = \frac{n(n+1)}{4}$ a co za tym idzie

\[ \mathbb{V}[X] = \mathbb{E} \left[ X^2 \right] - (\mathbb{E} X)^2 = \frac{n}4. \]

Wniosek 6.1 Niech $X$ będzie całkowalną zmienną losową. Wówczas zachodzi nierówność

\[ \mathbb{E} \left[ X^2 \right] \geq \left(\mathbb{E} X \right)^2. \]

Dowód. Jako, że $X$ przyjmuje wartości rzeczywiste, $(X(\omega)-\mathbb{E} X) ^2\geq 0$ a co za tym idzie

\[ \mathbb{V}[X] = \sum_{\omega \in \Omega} (X(\omega)-\mathbb{E} X) ^2 \mathbb{P}[\{ \omega \}] \geq 0. \]

Z drugiej strony $0 \leq \mathbb{V}[X] = \mathbb{E} \left[ X^2 \right] - (\mathbb{E} X)^2$, co pociąga naszą tezę.

Twierdzenie 6.1 (Nierówność Czebyszewa) Niech $(\Omega, \mathbb{P})$ będzie dyskretną przestrzenią probabilistyczną. Dla całkowalnej zmiennej losowej $X$ i dowolnej stałej $c >0$ zachodzi \[ \mathbb{P}[ |X - \mathbb{E} X| \geq c] \leq \frac{ \mathbb{V} X}{c^2}. \]

Dowód. \[ \begin{aligned} \mathbb{V} X & = \sum_{\omega \in \Omega } (X(\omega) -\mathbb{E} X)^2 \mathbb{P}[\{\omega\}] \geq \sum_{|X(\omega) - \mathbb{E} X| \geq c } (X(\omega) -\mathbb{E} X)^2 \mathbb{P}[\{\omega\}] \\ &\geq c^2\sum_{|X(\omega) - \mathbb{E} X| \geq c } \mathbb{P}[\{\omega\}] \geq c^2 \mathbb{P}[ |X - \mathbb{E} X| \geq c]. \end{aligned} \]