12.3 Διασπορά μιας ΤΜ και ανισότητες απόκλισης

Ορισμός 12.7   (Διασπορά μιας τυχαίας μεταβλητής) Αν $X$ είναι μια ΤΜ με μέση τιμή $\mu = {\bf E}{X}$ τότε η διασπορά της $X$ είναι η ποσότητα ${\mathbb{V}ar}\left[X\right] = \sigma^2(X) = {\bf E}{(X-\mu)^2}$. Ορίζουμε επίσης την τυπική απόκλιση της $X$ ως την ποσότητα $\sigma(X) = \sqrt{{\mathbb{V}ar}\left[X\right]}$.

Παρατήρηση 12.14   Από τον Ορισμό 12.7 γίνεται φανερό ότι η διασπορά και η τυπική απόκλιση μιας ΤΜ μετρούν το πόσο πιθανό είναι να αποκλίνει η ΤΜ $X$ από τη μέση τιμή της.

Παρατήρηση 12.15   Επειδή η ΤΜ $(X-\mu)^2 \ge 0$ η διασπορά της $X$ υπάρχει πάντα και είναι πεπερασμένος μη αρνητικός αριθμός ή $+\infty$, υπό την προϋπόθεση μόνο ότι η $X$ έχει μέση τιμή, δηλ. ${\bf E}{{\left\vert{X}\right\vert}} < \infty$.

Άσκηση 12.27   Αν η ΤΜ έχει ${\bf E}{X^2} < \infty$ τότε έχουμε αναγκαστικά και ${\bf E}{{\left\vert{X}\right\vert}} < \infty$.

Υπόδειξη: Γράψτε $X = Y+Z$, όπου $Y = X \cdot {\bf 1}\left({\left\vert{X}\right\vert} \le 1\right)$ και $Z = X-Y$. Δείξτε ότι ${\bf E}{{\left\vert{Y}\right\vert}} < \infty$ και ${\bf E}{{\left\vert{Z}\right\vert}}<\infty$.

Άσκηση 12.28   Αν ${\bf E}{X^2} < \infty$ τότε ισχύει ${\mathbb{V}ar}\left[X\right] = {\bf E}{X^2} - {\bf E}{X}^2$.

Άσκηση 12.29   Δείξτε ότι αν $c$ είναι σταθερά τότε ${\mathbb{V}ar}\left[X-c\right] = {\mathbb{V}ar}\left[X\right] = {\mathbb{V}ar}\left[-X\right]$.

Άσκηση 12.30   Δείξτε ότι αν ${\mathbb{V}ar}\left[X\right] = 0$ τότε $X = {\bf E}{X}$ σχεδόν σίγουρα.

Παράδειγμα 12.20   Αν η $X$ είναι ομοιόμορφα κατανεμημένη στο ${\left\{{0,\ldots,m}\right\}}$ τότε

$${\bf E}{X^2} = \sum_{k=0}^m \frac{1}{m+1} k^2 = \frac{1}{6}m(2m+1)$$

χρησιμοποιώντας το αποτέλεσμα του Προβλήματος 1.14. Επίσης ${\bf E}{X} = m/2$ αφού η πυκνότητα της $X$ είναι συμμετρική γύρω από το $m/2$. Οπότε, χρησιμοποιώντας τον τύπο του Προβλήματος 12.28 έχουμε

$${\mathbb{V}ar}\left[X\right] = \frac{1}{6}m(2m+1) - \frac{m^2}{4} = \frac{m(m+2)}{12}.$$

Θεώρημα 12.5   Αν οι ΤΜ $X_1, \ldots, X_n$ είναι ανεξάρτητες ανά δύο και έχουν μέση τιμή τότε

$${\mathbb{V}ar}\left[X_1+\cdots+X_n\right] = {\mathbb{V}ar}\left[X_1\right]+\cdots+{\mathbb{V}ar}\left[X_n\right].$$

Απόδειξη. Ας είναι $\mu_j = {\bf E}{X_j}$, $j=1,\ldots,n$. Η μέση τιμή της $S = X_1+\cdots+ X_n$ υπάρχει και ισούται με $\mu = \mu_1+\cdots+\mu_n$, οπότε

$${\mathbb{V}ar}\left[S\right] = {\bf E}{(S-\mu)^2}$$

$$= {\bf E}{\left(\sum_{j=1}^n (X_j - \mu_j)\right)^2}$$

$$= {\bf E}{ \sum_{j=1}^n (X_j-\mu_j)^2 + 2 \sum_{i<j} (X_i-\mu_i)(X_j - \mu_j) }$$

$$= \sum_{j=1}^n {\mathbb{V}ar}\left[X_j\right] + 2 \sum_{i<j} {\bf E}{ (X_i-\mu_i)(X_j - \mu_j) }.$$

Η απόδειξη τελειώνει με την παρατήρηση ότι ${\bf E}{ (X_i-\mu_i)(X_j - \mu_j) } = 0$ αν $i \neq j$, αφού οι ΤΜ $X_i-\mu_i$ και $X_j - \mu_j$ είναι ανεξάρτητες και έχουν μέση τιμή 0. $\qedsymbol$

Παράδειγμα 12.21   Έστω ότι η $X$ ακολουθεί τη διωνυμική κατανομή (δείτε Παράδειγμα 12.12) με παραμέτρους $p$ και $N$. Η $X$ μπορεί να υλοποιηθεί ως το πλήθος των κορωνών σε $N$ ανεξάρτητες ρίψεις ενός νομίσματος που φέρενι κορώνα με πιθανότητα $p$. Άρα, αν συμβολίσουμε $X_j = {\bf 1}($i φέρνουμε κορώνα στη $j$ ρίψη) έχουμε

$$X = X_1 + \cdots + X_N,$$

Άρα ${\mathbb{V}ar}\left[X\right] = {\mathbb{V}ar}\left[X_1\right]+\cdots+{\mathbb{V}ar}\left[X_N\right] = N {\mathbb{V}ar}\left[X_1\right] = Np(1-p)$, αφού εύκολα βλέπουμε ότι ${\mathbb{V}ar}\left[X_1\right]=p(1-p)$.

Θεώρημα 12.6   (Ανισότητα Markov) Αν $X \ge 0$ έχει μέση τιμή $\mu \in {\mathbb{R}}$ τότε

$${{\bf {Pr}}\left[{X \ge \lambda \mu}\right]} \le \frac{1}{\lambda}.$$

Απόδειξη. Ορίζουμε το ενδεχόμενο $A = {\left\{{X \ge \lambda\mu}\right\}}$. Αν $T$ είναι το σύνολο τιμών της $X$ τότε, από τον ορισμό της ${\bf E}{X}$, έχουμε

$$\mu = \sum_{t \in T} t {{\bf {Pr}}\left[{X = t}\right]}$$

$$= \sum_{t \in T, t < \lambda\mu} t {{\bf {Pr}}\left[{X = t}\right]} + \sum_{t \in T, t \ge \lambda\mu} t {{\bf {Pr}}\left[{X = t}\right]}$$

$$\ge \sum_{t \in T, t \ge \lambda\mu} t {{\bf {Pr}}\left[{X = t}\right]}$$

$$\ge \sum_{t \in T, t \ge \lambda\mu} \lambda\mu {{\bf {Pr}}\left[{X = t}\right]}$$

$$= \lambda\mu {{\bf {Pr}}\left[{A}\right]}.$$

Η ανισότητα προκύπτει αφού διαρέσουμε δια του $\lambda\mu$. $\qedsymbol$

Πόρισμα 12.1   (Ανισότητα Chebyshev) Αν η $X$ έχει πεπερασμένη διασπορά $\sigma^2$ και μέση τιμή $\mu$ τότε

$${{\bf {Pr}}\left[{ {\left\vert{X-\mu}\right\vert} \ge \lambda \sigma }\right]} \le \frac{1}{\lambda^2}.$$

Απόδειξη. Ορίζουμε τη μη-αρνητική ΤΜ $Y = (X-\mu)^2$ με ${\bf E}{Y} = \sigma^2$ και εφαρμόζουμε σε αυτή την ανισότητα του Markov (Θεώρημα 12.6). Παίρνουμε

$${{\bf {Pr}}\left[{ {\left\vert{X-\mu}\right\vert} \ge \lambda \si... ...= {{\bf {Pr}}\left[{Y \ge \lambda^2 \sigma^2}\right]} \le \frac{1}{\lambda^2}.$$

$\qedsymbol$

Άσκηση 12.31   (Γενικευμένη ανισότητα Chebyshev) Έστω $g:[0,\infty) \to [0,\infty)$ μια αυστηρά αύξουσα συνάρτηση και $X$ μια ΤΜ τέτοια ώστε ${\bf E}{g({\left\vert{X}\right\vert})} < \infty$. Δείξτε ότι

$${{\bf {Pr}}\left[{{\left\vert{X}\right\vert} \ge \lambda}\right]} \le \frac{{\bf E}{g({\left\vert{X}\right\vert})}}{g(\lambda)}.$$

Άσκηση 12.32 (Ακολουθούμε το συμβολισμό και ορολογία του Παραδείγματος 12.19.)   Χρησιμοποιήστε την ανισότητα του Chebyshev για να βρείτε ένα άνω φράγμα για την ${{\bf {Pr}}\left[{{\left\vert{S_n}\right\vert} > n/10}\right]}$.

Άσκηση 12.33   Έστω $X$ μια ΤΜ που ακολουθεί τη γεωμετρική κατανομή (12.2) με παράμετρο $p=1/2$. Βρείτε άνω φράγματα για την ποσότητα ${{\bf {Pr}}\left[{X\ge 10}\right]}$ χρησιμοποιώντας την ανισότητα Markov και την ανισότητα του Chebyshev και συγκρίνετέ τα μεταξύ τους καθώς και με την ακριβή τιμή γι' αυτή την ποσότητα.

Άσκηση 12.34   Ας υποθέσουμε ότι έχουμε ένα μεγάλο πληθυσμό ανθρώπων του οποίου θέλουμε να εκτιμήσουμε το μέσο ύψος αλλά και το πόσο αυτό κυμαίνεται μέσα στον πληθυσμό. Λίγο πιο αυστηρά, θέλουμε να εκτιμήσουμε τη μέση τιμή ${\bf E}{X}$ και τη διασπορά $\sigma^2(X)$ της τυχαίας μεταβλητής $X$ που προκύπτει αν επιλέξουμε ένα τυχαίο άτομο και μετρήσουμε το ύψος του, με όλα τα άτομα εξίσου πιθανά να επιλεγούν.

Ο τρόπος που το κάνουμε είναι να διαλέξουμε $N$ φορές τυχαία ($N$ μεγάλο) ένα άτομο και να μετρήσουμε το ύψος του, έστω $x_i, i=1,\ldots,N$. Έπειτα εκτιμούμε το μέσο ύψος του πληθυσμού από την ποσότητα

$$\overline{x} = \frac{1}{N} \sum_{i=1}^N x_i.$$

Θυμόμαστε τώρα το γενικό ορισμό $\sigma^2(X) = {\bf E}{(X - {\bf E}{X})^2}$ και εκτιμούμε ανάλογα τη διασπορά του ύψους από την ποσότητα

$$S^2 = \frac{1}{N} \sum_{i=1}^N (x_i - \overline{x})^2.$$

Όμως ο στατιστικός φίλος μας, στον οποίο δείχνουμε τη μέθοδό μας, ισχυρίζεται ότι δεν πρέπει να το κάνουμε έτσι αλλά ως εξής:

$$S^2 = \frac{1}{N-1} \sum_{i=1}^N (x_i - \overline{x})^2.$$

Η αλήθεια είναι ότι αυτές οι δύο ποσότητες ελάχιστα διαφέρουν μεταξύ τους όταν το $N$ είναι μεγάλο. Όμως ποιος έχει δίκιο;