12.1 Τυχαίες μεταβλητές και η κατανομή τους

Παράδειγμα 12.1   Ας υποθέσουμε ότι ρίχνουμε δύο φορές ένα συνηθισμένο ζάρι, και συμβολίζουμε με $X_1$ το αποτέλεσμα της 1ης ρίψης ( $X_1 \in {\left\{{1,\ldots,6}\right\}}$) και $X_2$ το αποτέλεσμα της 2ης ρίψης. Ορίζουμε ακόμη $X=X_1+X_2$ να είναι το άθροισμα των δύο ρίψεων. Οι ποσότητες $X, X_1, X_2$ εν γένει αλλάζουν κάθε φορά που πραγματοποιείται το πείραμα. Τέτοιες ποσότητες, των οποίων η τιμή εξαρτάται από την έκβαση κάποιου πειράματος, τις ονομάζουμε τυχαίες μεταβλητές.

Ορισμός 12.1   (Τυχαία μεταβλητή) Αν $\Omega$ είναι δειγματικός χώρος ενός πειράματος ονομάζουμε Τυχαία Μεταβλητή (ΤΜ) πάνω στο $\Omega$ κάθε συνάρτηση πάνω στο $\Omega$. Αν $X:\Omega \to {\mathbb{R}}$ ή $X:\Omega\to{\mathbb{Z}}$ θα ονομάζουμε ειδικότερα την ΤΜ $X$ αριθμητική ΤΜ ενώ αν $X:\Omega\to {\mathbb{R}}^d$ ή $X:\Omega\to{\mathbb{Z}}^d$ θα ονομάζουμε την $X$ πολυδιάστατη ή διανυσματική ΤΜ.

Αν $X:\Omega\to T$ και το σύνολο τιμών $T$ είναι πεπερασμένο ή αριθμήσιμο τότε η ΤΜ $X$ ονομάζεται διακριτή.

Αριθμήσιμο ονομάζεται ένα σύνολο $A$ αν υπάρχει επί συνάρτηση $f:{\mathbb{N}}\to A$ από το σύνολο των φυσικών αριθμών επί του $A$. Με άλλα λόγια, το $A$ είναι αριθμήσιμο αν μπορούμε να βρούμε μια ακολουθία $a_1, a_2, \ldots$ που περιέχει όλα τα στοιχεία του.

Είναι προφανές ότι κάθε πεπερασμένο σύνολο είναι αριθμήσιμο. Επίσης αριθμήσιμα σύνολα είναι οι φυσικοί αριθμοί ${\mathbb{N}}$, οι ακέραιοι ${\mathbb{Z}}$, οι ρητοί ${\mathbb{Q}}$, καρτεσιανά γινόμενα $A\times B$, όπου τα $A$ και $B$ είναι αριθμήσιμα, και άπειρες ενώσεις του τύπου $\bigcup_{j=1}^\infty A_j$, όπου τα $A_j$ είναι αριθμήσιμα.

Σύνολα που δεν είναι αριθμήσιμα είναι π.χ. το ${\mathbb{R}}$ ή ένα διάστημα $(a,b)$.$a<b$. Αυτό το τελευταίο δεν είναι προφανές και θέλει απόδειξη, την οποία δε θα δώσουμε εδώ.

Μπορείτε επίσης να συμβουλευτείτε την §1.8 αυτών των σημειώσεων.

Παρατήρηση 12.1   Εύκολα βλέπει κανείς (χρησιμοποιώντας το γεγονός ότι καρτεσιανά γινόμενα αριθμησίμων συνόλων με πεπερασμένους σε πλήθος παράγοντες είναι επίσης αριθμήσιμα) ότι αν $X_1, \ldots, X_n$ είναι διακριτές ΤΜ και $\lambda_1, \ldots, \lambda_n \in {\mathbb{R}}$ τότε η ΤΜ $Z = \lambda_1 X_1 + \cdots + \lambda_n X_n$ είναι επίσης διακριτή. Έτσι μπορούμε ελεύθερα να μιλάμε για πεπερασμένους γραμμικούς συνδυασμούς διακριτών ΤΜ γνωρίζοντας εκ των προτέρων ότι κι αυτοί είναι διακριτές ΤΜ.

Κάτι τέτοιο δεν ισχύει για άπειρους γραμμικούς συνδυασμούς από ΤΜ. Για παράδειγμα, αν $X_j$, $j=1,2,\ldots$, είναι ΤΜ τέτοιες ώστε η $X_j$ έχει σύνολο τιμών το ${\left\{{0, 2^{-j}}\right\}}$, τότε η ΤΜ $Z = \sum_{j=1}^\infty X_j$ ορίζεται χωρίς πρόβλημα αφού η σειρά πάντα συγκλίνει, ότι τιμές και να έχουν τα $X_j$, αλλά μπορεί εν δυνάμει (για παράδειγμα όταν όλες οι $X_j$ είναι ανεξάρτητες - δείτε παρακάτω τον Ορισμό 12.4 για τον ορισμό της ανεξαρτησίας ΤΜ) να πάρει οποιονδήποτε πραγματικό αριθμό του διαστήματος $(0,1)$ ως τιμή. Πράγματι, αν $x \in (0,1)$ τότε, γράφοντας τον $x$ στο δυαδικό του ανάπτυγμα $x = \sum_{j=1}^\infty x_j 2^{-j}$, με $x_j \in {\left\{{0,1}\right\}}$, βλέπουμε ότι είναι δυνατό να έχουμε $Z = x$ φτάνει να πάρουν οι $X_j$ τις κατάλληλες τιμές.

Παράδειγμα 12.2   Στο Παράδειγμα 12.1 οι ΤΜ που ορίσαμε είναι όλες αριθμητικές και διακριτές. Η ΤΜ $Z=(X_1,X_2)$ έχει σύνολο τιμών το ${\left\{{1,\ldots,6}\right\}}^2$ και είναι διανυσματική ΤΜ.

Παράδειγμα 12.3   Ας υποθέσουμε ότι παρατηρούμε μια καταιγίδα και καταγράφουμε τη χρονική στιγμή που θα πέσει η πρώτη αστραπή. Η ΤΜ αυτή (χρόνος) είναι μια αριθμητική αλλά όχι διακριτή ΤΜ αφού το σύνολο τιμών είναι το διάστημα $[0,\infty)$.

Παράδειγμα 12.4   Ρίχνουμε ένα νόμισμα (που φέρνει κορώνα με πιθανότητα $p \in (0,1)$) άπειρες φορές και έστω $X$ η πρώτη φορά που έρχεται κορώνα. Αυτή η ΤΜ έχει το ${\left\{{1,2,\ldots}\right\}}$ ωσ σύνολο τιμών και είναι άρα διακριτή, αριθμητική ΤΜ.

Παρατήρηση 12.2   Αν έχουμε μια ΤΜ που παίρνει τιμές σε ένα μη αριθμητικό σύνολο, π.χ. μια ΤΜ που παίρνει τιμές Κ ή Γ (το αποτέλεσμα της ρίψης ενός νομίσματος), θα κωδικοποιούμε συνήθως τις τιμές αυτές με φυσικούς αριθμούς, για παράδειγμα 1 αντί Κ και 0 αντί Γ, ώστε να θεωρούμε ότι οι ΤΜ αυτές παίρνουν αριθμητικές τιμές.

Σε μερικές περιπτώσεις όμως αυτό είναι αρκετά αφύσικο. Για παράδειγμα αν έχουμε μια ΤΜ που παίρνει ρητές τιμές, μπορούμε φυσικά να κάνουμε αυτή την κωδικοποίηση που σε κάθε ρητό αντιστοιχεί ένα ακέραιο, όμως αυτή η διαδικασία στερείται φυσικότητας και, κατά κανόνα, δεν πρόκειται να προσφέρει τίποτα στην ανάλυση.

Πάνω στο δειγματικό χώρο $\Omega$ υπάρχει ορισμένη η κατανομή πιθανότητας (δείτε Ορισμό 11.2), μια συνάρτηση δηλ. $p:\Omega\to[0,1]$, τ.ώ. η τιμή $p(\omega)$ μας δηλώνει πόσο πιθανό είναι το αποτέλεσμα $\omega$ όταν εκτελεσθεί το πείραμα. Αν τώρα $X:\Omega\to T$.$T$ ένα οποιοδήποτε σύνολο τιμών) είναι μια ΤΜ $X$ με τιμές στο $T$, μπορούμε τότε να θεωρήσουμε ένα νέο πείραμα με αποτέλεσμα $X(\omega)$. Εκτελούμε δηλ. το προηγούμενο πείραμα (αυτό με δειγματικό χώρο $\Omega$), μας δίνει αυτό κάποιο αποτέλεσμα $\omega \in \Omega$, και αναφέρουμε ως αποτέλεσμα του νέου μας πειράματος το $X(\omega) \in T$. Το νέο αυτό πείραμα έχει το $T$ ως δειγματικό χώρο και μια νέα κατανομή πιθανότητας $p:T \to [0,1]$ που ορίζεται από

$$p(t) = {{\bf {Pr}}\left[{\omega: X(\omega) = t}\right]}.$$

Οι πιθανοθεωρητικές ερωτήσεις λοιπόν που αφορούν την ΤΜ $X$ λοιπόν μπορούν να μελετηθούν πάνω σε αυτόν τον νεό δειγματικό χώρο $T$, σύνολο τιμών της $X$. Έχει επικρατήσει όμως συχνά να μην αναφερόμαστε στο νέο αυτό δειγματικό χώρο και να μελετάμε τέτοια ερωτήματα πάνω στον παλιό δειγματικό χώρο $\Omega$. Ο κυριότερος λόγος γι' αυτό είναι ότι πολύ συχνά μελετάμε παραπάνω από μια ΤΜ και μάλιστα σε συνδυασμό, οπότε αν περιοριστεί κανείς στο δειγματικό χώρο $T$ για μια από τις ΤΜ αυτές, πράξη που πάντα συνεπάγεται «χάσιμο πληροφορίας», δε μπορεί να μελετήσει τις άλλες.

Ορισμός 12.2   (Πυκνότητα πιθανότητας) Αν $X$ είναι μια διακριτή ΤΜ με σύνολο τιμών $T$ τότε ονομάζουμε πυκνότητα πιθανότητας της $X$ τη συνάρτηση $f_X:T \to [0,1]$ που δίδεται από τον τύπο

$$f_X(t) = {{\bf {Pr}}\left[{X = t}\right]}.$$

Για μια οποιαδήποτε (διακριτή ή όχι) ΤΜ $X$ με τιμές στο ${\mathbb{R}}$ ορίζουμε τη συνάρτηση κατανομής της $X$ ως τη συνάρτηση $F_X:{\mathbb{R}}\to [0,1]$ που δίδεται από τον τύπο

$$F_X(x) = {{\bf {Pr}}\left[{X \le x}\right]}.$$

Παρατήρηση 12.3   Η συνάρτηση κατανομής $F_X$ είναι μια αύξουσα συνάρτηση (όχι κατ' ανάγκη γνήσια αύξουσα) τέτοια ώστε $\lim_{k \to -\infty} F_X(k) = 0$ και $\lim_{k \to \infty} F_X(k) = 1$.

Είναι επίσης προφανές ότι αν $X \in {\mathbb{Z}}$ τότε για κάθε $n \in {\mathbb{Z}}$ έχουμε

$$F_X(n) = \sum_{k=-\infty}^n f_X(k).$$ (12.1)

Τέλος, $\sum_{n=-\infty}^\infty f_X(n) = 1$.

Παρατήρηση 12.4   Η συνάρτηση κατανομής της $X$ ορίζεται για κάθε πραγματικό $x$ ακόμα κι αν είναι γνωστό εκ των προτέρων ότι η $X$ παίρνει μόνο ακέραιες τιμές. Σε αυτή βέβαια την περίπτωση ισχύει $F_X(x) = F_X({\left\lfloor{x}\right\rfloor})$ οπότε αρκεί να μελετήσει κανείς την $F_X$ για ακέραιες μόνο τιμές της μεταβλητής.

Ορισμός 12.3   (Ισόνομες τυχαίες μεταβλητές) Δύο ΤΜ $X$ και $Y$ λέγονται ισόνομες αν έχουν την ίδια συνάρτηση κατανομής.

Παρατήρηση 12.5   Δύο ΤΜ $X$ και $Y$ είναι ίσες αν και μόνο αν $X(\omega) = Y(\omega)$ για κάθε $\omega \in \Omega$. Δηλ. για κάθε έκβαση του πειράματος οι $X$ και $Y$ έχουν την ίδια τιμή. Αυτή είναι πολύ ισχυρή έννοια. Αντίθετα, δύο ΤΜ είναι ισόνομες αν έχουν απλά (αν πρόκειται για διακριτές μεταβλητές) την ίδια πυκνότητα. Για παράδειγμα, αν κρατάμε δύο ίδια ζάρια στα χέρια μας και ονομάσουμε $X$ το αποτέλεσμα του πρώτου και $Y$ του δεύτερου, τότε οι $X$ και $Y$ είναι φυσικά ισόνομες αλλά δεν είναι ίσες αφού σε κάποια πειράματα θα εμφανίσουν διαφορετικές τιμές.

Παράδειγμα 12.5   Αν $X \in {\left\{{K, \Gamma}\right\}}$ είναι το αποτέλεσμα της ρίψης ενός ζαριού που φέρνει κορώνα με πιθανότητα $p \in (0,1)$ τότε η πυκνότητα πιθανότητας της $X$ είναι η συνάρτηση $f_X:{\left\{{K, \Gamma}\right\}} \to [0,1]$ που δίνεται από τις τιμές $f_X(K) = p$, $f_X(\Gamma) = 1-p$.

Παράδειγμα 12.6   Αν $X \in {\mathbb{Z}}$ είναι το αποτέλεσμα της ρίψης ενός ζαριού τότε

$$f_X(n) = \left\{ \begin{array}{ll} 1/6 & n\in{\left\{{1,\ldots,6}\right\}} 0 & \alpha\lambda\lambda\iota\omega\varsigma \end{array}\right.,$$

και εύκολα βλέπουμε ότι $F_X(n)$ ισούται με 0 για $n \le 0$, $F_X(n) = 1$ για $n \ge 6$ και $F_X(n) = n/6$ για $n \in {\left\{{1,2,\ldots,6}\right\}}$.

Παράδειγμα 12.7   Αν $X \in {\mathbb{Z}}$ είναι το αποτέλεσμα της ρίψης ενός ζαριού και $Y = X^2$ τότε

$$f_Y(n) = \left\{ \begin{array}{ll} 1/6 & n\in{\left\{{1,2^2,\ldot... ...}\right\}} 0 & \alpha\lambda\lambda\iota\omega\varsigma \end{array}\right..$$

Επίσης $F_Y(n)$ ισούται με 0 για $n \le 0$, $F_Y(n) = 1$ για $n \ge 36$ και $F_Y(n) = {\left\lfloor{\sqrt{n}}\right\rfloor}/6$ για $n \in {\left\{{1,2,\ldots,36}\right\}}$.

Παράδειγμα 12.8   Αν $A$ είναι ένα οποιοδήποτε ενδεχόμενο η ΤΜ $X(\omega) = {\bf 1}\left(\omega \in A\right)$ ονομάζεται δείκτρια ΤΜ του ενδεχομένου $A$ και παίρνει τιμή 1 αν ισχύει το $A$, 0 αλλιώς. Η πυκνότητα πιθανότητας της $A$ παίρνει την τιμή ${{\bf {Pr}}\left[{A}\right]}$ στον αριθμό 1, $1-{{\bf {Pr}}\left[{A}\right]}$ στον αριθμό 0, και 0 παντού αλλού.

Άσκηση 12.1   Η συνάρτηση $\Omega \to {\mathbb{R}}$ που είναι ίση με $c$ παντού ονομάζεται σταθερή ΤΜ με τιμή $c$. Ποια η πυκνότητα πιθανότητάς της και ποια η συνάρτηση κατανομής της;

Παράδειγμα 12.9   Λέμε ότι η ΤΜ $X$ είναι ομοιόμορφα κατανεμημένη στο (πεπερασμένο) σύνολο $T$ αν η ποσότητα ${{\bf {Pr}}\left[{X = t}\right]}$ δεν εξαρτάται από το $t \in T$. Αυτό σημαίνει ότι η πυκνότητα πιθανότητας είναι ίση με $1/{\left\vert{T}\right\vert}$ σε κάθε στοιχείο του $T$.

Άσκηση 12.2   Αν $X$ είναι ομοιόμορφα κατανεμημένη στο $[n]$ και $Y=2^X$ περιγράψτε τις συναρτήσεις $f_Y$ και $F_Y$.

Άσκηση 12.3   Η ΤΜ $X \in {\mathbb{Z}}$ έχει πυκνότητα πιθανότητας $f_X$. Γράψτε από ένα άθροισμα τιμών της $f_X$ που να δίνει την πιθανότητα των παρακάτω ενδεχομένων:

1. ${\left\{{X \le 0}\right\}}$
2. ${\left\{{X \alpha\rho\tau\iota o}\right\}}$
3. ${\left\{{{\left\vert{X}\right\vert} \le 100}\right\}}$.

Άσκηση 12.4   Αν $Y = -X + b$.$b$ σταθερά, δώστε ένα τύπο για τις $f_Y$.$F_Y$, μέσω των $f_X$.$F_X$.

Παράδειγμα 12.10   Ένα νόμισμα φέρνει κορώνα με πιθανότητα $p \in (0,1)$. Το ρίχνουμε άπειρες φορές και έστω $X$ η ρίψη κατά την οποία εμφανίζεται η πρώτη κορώνα. Είναι φανερό ότι $X \in {\left\{{1,2,\ldots}\right\}} \cup {\left\{{\infty}\right\}}$, αφού μπορεί κατά τη διάρκει του πειράματος να μην εμφανιστεί ποτέ κορώνα. (Το ότι χρησιμοποιήσαμε το σύμβολο $\infty$ για να δηλώσουμε ότι δεν έρχεται ποτέ κορώνα κατά κάποια εκτέλεση του πειράματος πρόκειται απλά για μια σύμβαση και δεν έχει τίποτε να κάνει με τις ιδιότητες μεγέθους που δίδει κανείς συνήθως στο σύμβολο $\infty$, π.χ. ότι είναι μεγαλύτερο από κάθε φυσικό αριθμό. Θα μπορούσαμε δηλ. εξίσου καλά να δίδαμε τιμή $X=0$ ή $X =$«ΠΟΤΕ» στην περίπτωση αυτή.) Ας είναι $X_i = 1$ αν το νόμισμα φέρει κορώνα στην $i$-οστή ρίψη και $X_i = 0$ αν φέρει γράμματα. Έχουμε, για $n=1,2,\ldots$,

$$f_X(n) = {{\bf {Pr}}\left[{X = n}\right]} = {{\bf {Pr}}\left[{X_1 = 0, X_2 = 0, \ldots, X_{n-1} = 0, X_n = 1}\right]},$$

και, λόγω της ανεξαρτησίας των ενδεχομένων ${\left\{{X_1=0}\right\}}, \ldots, {\left\{{X_{n-1}=0}\right\}}, {\left\{{X_n=1}\right\}}$,

$$f_X(n) = {{\bf {Pr}}\left[{X_1=0}\right]} \cdots {{\bf {Pr}}\left[{X_{n-1} = 0}\right]} \cdot {{\bf {Pr}}\left[{X_n = 1}\right]} = p (1-p)^{n-1},$$ (12.2)

και για κάθε $n \le 0$ έχουμε προφανώς $f_X(n) = 0$. Τέλος επειδή ${\left\{{X=\infty}\right\}} \subseteq {\left\{{X_1=0,\ldots,X_k=0}\right\}}$ για κάθε $k \ge 1$, και επειδή η πιθανότητα του δεύτερου ενδεχομένου ισούται με $(1-p)^k$, και άρα συγκλίνει στο 0 με το $k$, έπεται ότι

$$f_X(\infty) = {{\bf {Pr}}\left[{X = \infty}\right]} = 0.$$

Έχουμε λοιπόν προσδιορίσει πλήρως την πυκνότητα της $X$.

Η $X$ δεν είναι αριθμητική ΤΜ αφού παίρνει και την τιμή $\infty$, οπότε δεν ορίζεται η συνάρτηση κατανομής. Όμως, μπορεί κανείς να μελετήσει την ΤΜ

$$Y = X \cdot {\bf 1}\left(X \pi\epsilon\pi\epsilon\rho\alpha\sigm... ...lon\nu\eta 0 & \alpha\lambda\lambda\iota\omega\varsigma \end{array}\right.,$$

που είναι σχεδόν σίγουρα ίση με την $X$ (όσον αφορά τις πιθανοθεωρητικές τους ιδιότητες δύο ΤΜ που είναι ίσες σχεδόν σίγουρα είναι ουσιαστικά η ίδια ΤΜ και τις θεωρούμε μία) αφού ${{\bf {Pr}}\left[{X \neq Y}\right]} = {{\bf {Pr}}\left[{X = \infty}\right]} = 0$. Γι' αυτό εφαρμόζουμε τον τύπο (12.1). Για $n \le 0$ έχουμε φυσικά $F_Y(n) = 0$. Για $n \ge 0$ έχουμε

$$F_Y(n) = \sum_{k=-\infty}^n f_X(k)$$

$$= \sum_{k=1}^n p(1-p)^{k-1}$$

$$= p \sum_{l=0}^{n-1} (1-p)^l \dagger$$

$$= p \frac{1-(1-p)^n}{1-(1-p)} \ddagger$$

$$= 1-(1-p)^n$$

($\dagger$: αλλαγή μεταβλητής $l=k-1$.$\ddagger$: πεπερασμένη γεωμ. σειρά).

Η πυκνότητα (12.2) ονομάζεται γεωμετρική κατανομή με παράμετρο $p$.

Παράδειγμα 12.11   Ας υποθέσουμε ότι $X$ είναι ένα τυχαίο σημείο του $[0,1]$, και ότι το $X$ είναι ομοιόμορφα κατανεμημένο στο $[0,1]$. Αυτό σημαίνει ότι αν $A$ και $B$ είναι δύο υποσύνολα του $[0,1]$ με το ίδιο μήκος τότε ${{\bf {Pr}}\left[{X \in A}\right]} = {{\bf {Pr}}\left[{X \in B}\right]}$.

Η αριθμητική ΤΜ $X$ δεν είναι διακριτή, οπότε δεν ορίζουμε συνάρτηση πυκνότητας πιθανότητας. Όμως η συνάρτηση κατανομής της $X$ ορίζεται και είναι πολύ εύκολο να υπολογιστεί, αφού λόγω της ομοιόμορφης κατανομής έχουμε ${{\bf {Pr}}\left[{X \in [0,x]}\right]} = x$. Αν λοιπόν $x \le 0$ τότε $F_X(x) = 0$, αν $x \ge 1$ τότε $F_X(x) = 1$ και αν $0 \le x \le 1$ τότε $F_X(x) = x$.

Παράδειγμα 12.12   Ρίχνουμε $N$ φορές ένα νόμισμα που φέρνει κορώνα με πιθανότητα $p \in (0,1)$ και έστω $X$ το πλήθος των φορών που το νόμισμα έρχεται κορώνα. Προφανώς $X \in {\left\{{0,\ldots,N}\right\}}$. Για να υπολογίσουμε το $f_X(k) = {{\bf {Pr}}\left[{X = k}\right]}$, $0 \le k \le N$, σκεφτόμαστε ως εξής. Έστω ${\cal B}$ το σύνολο όλων των υποσυνόλων του $[N]$ μεγέθους $k$, και για κάθε $B \in {\cal B}$ ορίζουμε το ενδεχόμενο

$E_B = \{$ το νόμισμα φέρνει κορώνα τη χρονική στιγμή $t$ αν και μόνο αν $t \in B \}$.

Είναι φανερό ότι τα $E_B$, $B \in {\cal B}$, αποτελούν μια διαμέριση του ενδεχομένου ${\left\{{X = k}\right\}}$. Επίσης για κάθε $B \in {\cal B}$ η πιθανότητα του $E_B$ ισούται με $p^k(1-p)^{N-k}$ αφού το $E_B$ ισχύει αν και μόνο αν το νόμισμα φέρει κορώνα σε κάθε μια από τις $k$ χρονικές στιγμές που ανήκουν στο $B$ και γράμματα σε κάθε μια από τις υπόλοιπες $N-k$ χρονικές στιγμές, και τα ενδεχόμενα αυτά είναι ανεξάρτητα. Τέλος ${\left\vert{E_B}\right\vert} = {N \choose k}$ οπότε

$$f_X(k) = {N \choose k} p^k (1-p)^{N-k}, (0 \le k \le N).$$ (12.3)

Η συνάρτηση κατανομής $F_X(k)$ ισούται με 0 αν $k < 0$ και με 1 αν $k > N$. Για $0 \le k \le N$ δίδεται από τον τύπο

$$F_X(k) = \sum_{l=0}^k {N \choose l} p^l(1-p)^{N-l},$$

και δεν υπάρχει γενικά κάποια απλούστευση του τύπου αυτού.

Η πυκνότητα (12.3) ονομάζεται διωνυμική κατανομή με παραμέτρους $p$ και $N$.

Άσκηση 12.5   Έχουμε $n$ παίκτες που ρίχνουν από ένα τίμιο νόμισμα ο καθένας. Όσοι από αυτούς φέρουν κορώνα ξαναρίχνουν το νόμισμά τους και έστω $X$ ο αριθμός αυτών που ξαναφέρνουν κορώνα. Να βρεθεί η πυκνότητα πιθανότητας της ΤΜ $X$.

Παράδειγμα 12.13   Αν $\lambda>0$ είναι μια παράμετρος, η πυκνότητα

$$f(n) = e^{-\lambda} \frac{\lambda^n}{n!} {\bf 1}\left(n \ge 0\right)$$ (12.4)

ονομάζεται κατανομή Poisson με παράμετρο $\lambda$. Για να επιβεβαιώσουμε ότι η (12.4) είναι όντως μια πυκνότητα αρκεί να επικαλεστούμε τον τύπο

$$e^x = \sum_{n \ge 0} \frac{x^n}{n!},$$

που ισχύει για κάθε $x \in {\mathbb{R}}$.

Άσκηση 12.6   Η $X$ ακολουθεί γεωμετρική κατανομή με παράμετρο $p$. Βρείτε την πυκνότητα της $X^2$.

Άσκηση 12.7   Η $X$ ακολουθεί γεωμετρική κατανομή με παράμετρο $p$ και $C$ είναι σταθερά. Ορίζουμε $Y = X {\bf 1}\left(X \le C\right) + C {\bf 1}\left(X > C\right)$. Να βρεθεί η πυκνότητα της $Y$.

Ορισμός 12.4   Έστω $X_1, \ldots, X_n$ διακριτές ΤΜ πάνω σε ένα δειγματικό χώρο $\Omega$. Αυτές λέγονται ανεξάρτητες ΤΜ αν για κάθε $x_1,\ldots,x_n$ ισχύει

$${{\bf {Pr}}\left[{X_1=x_1,\ldots,X_n=x_n}\right]} = {{\bf {Pr}}\left[{X_1 = x_1}\right]}\cdots{{\bf {Pr}}\left[{X_n = x_n}\right]}.$$

Ένα άπειρο σύνολο από ΤΜ πάνω στον ίδιο δειγματικό χώρο λέγεται ανεξάρτητο αν κάθε πεπερασμένο υποσύνολο είναι ανεξάρτητο.

Παρατήρηση 12.6   Αν η $X_i$ παίρνει τιμές στο σύνολο $T_i$ τότε η διανυσματική ΤΜ $(X_1,\ldots,X_n)$ παίρνει τιμές στο $T_1 \times \cdots \times T_n$. Η ανεξαρτησία των $X_i$ μπορεί ισοδύναμα να γραφεί ως

$$f_{(X_1,\ldots,X_n)}(t_1,\ldots,t_n) = f_{X_1}(t_1) \cdots f_{X_n}(t_n).$$

Άσκηση 12.8   Δείξτε ότι αν οι διακριτές ΤΜ $X$ και $Y$ είναι ανεξάρτητες τότε για οποιαδήποτε σύνολα $A$ και $B$ ισχύει ${{\bf {Pr}}\left[{X \in A, Y \in B}\right]} = {{\bf {Pr}}\left[{X \in A}\right]} {{\bf {Pr}}\left[{Y \in B}\right]}$.

Άσκηση 12.9   Δείξτε ότι αν οι $X$ και $Y$ είναι ανεξάρτητες τότε και οι $f(X)$.$g(Y)$ είναι ανεξάρτητες, όπου $f$ και $g$ είναι τυχούσες συναρτήσεις.

Άσκηση 12.10   Οι $X$ και $Y$ είναι ανεξάρτητες και ισόνομες και ${{\bf {Pr}}\left[{X=1}\right]}={{\bf {Pr}}\left[{X=-1}\right]}=1/2$. Ορίζουμε $Z = XY$. Δείξτε ότι οι $X, Y, Z$ είναι ανεξάρτητες ανά δύο αλλά όχι ανεξάρτητες.

Άσκηση 12.11   Οι $X$ και $Y$ είναι ανεξάρτητες και ισόνομες και ${{\bf {Pr}}\left[{X=k}\right]} = 2^{-k}$, $k=1,2,\ldots$. Υπολογίστε τις ποσότητες

1. ${{\bf {Pr}}\left[{\min{\left\{{X,Y}\right\}} \le n}\right]}$,
2. ${{\bf {Pr}}\left[{Y>X}\right]}$,
3. ${{\bf {Pr}}\left[{X=Y}\right]}$,
4. ${{\bf {Pr}}\left[{X \ge kY}\right]}$, για δοσμένο θετικό ακέραιο $k$,
5. ${\bf Pr}[ X$ διαιρεί $Y]$,
6. ${{\bf {Pr}}\left[{X=rY}\right]}$, για δοσμένο θετικό ρητό $r$.

Άσκηση 12.12   Αν $f$ και $g$ είναι συναρτήσεις ${\mathbb{Z}}\to {\mathbb{R}}$ με $F = \sum_{n = -\infty}^\infty {\left\vert{f(n)}\right\vert} < \infty$ και $G = \sum_{n = -\infty}^\infty {\left\vert{g(n)}\right\vert} < \infty$ δείξτε ότι το άθροισμα

$$f*g(n) = \sum_{k=-\infty}^\infty f(k)g(n-k) = \sum_{k=-\infty}^\infty f(n-k)g(k)$$

συγκλίνει για κάθε $n \in {\mathbb{Z}}$ και ότι

$$\sum_{n = -\infty}^\infty {\left\vert{f*g(n)}\right\vert} \le F\cdot G.$$

Αν $f, g \ge 0$ τότε $f*g \ge 0$ και η παραπάνω ανισότητα ισχύει ως ισότητα.

Ορισμός 12.5   (Συνέλιξη) Έστω $f, g: {\mathbb{Z}}\to {\mathbb{R}}$ συναρτήσεις που ικανοποιούν $\sum_{n=-\infty}^\infty {\left\vert{f(n)}\right\vert}<\infty$ και ομοίως για την $g$. Η συνάρτηση $f*g$ που ορίζεται στην Άσκηση 12.12 ονομάζεται συνέλιξη των $f$ και $g$.

Άσκηση 12.13   Δείξτε ότι $f*g=g*f$ και $f*(g+h)=f*g+f*h$, όταν όλες οι συνελίξεις ορίζονται.

Παρατήρηση 12.7   Χρησιμοποιώντας την Άσκηση 12.12 βλέπουμε ότι αν $f$ και $g$ είναι πυκνότητες πιθανότητας, αν δηλ. υπάρχουν ΤΜ $X$ και $Y$ τέτοιες ώστε $f = f_X$ και $g = f_Y$, ή, ισοδύναμα, αν για κάθε μια από τις $f$ και $g$ ισχύουν τα

1. $f(n) \ge 0$, για κάθε $n \in {\mathbb{Z}}$,
2. $\sum_{n=-\infty}^\infty f(n) = 1$,

τότε και η συνέλιξη $f*g$ επίσης είναι πυκνότητα πιθανότητας.

Θεώρημα 12.1   Αν $X$ και $Y$ είναι ανεξάρτητες ΤΜ με ακέραιες τιμές τότε

$$f_{X+Y}(n) = f_X*f_Y(n),$$

για κάθε $n \in {\mathbb{Z}}$.

Απόδειξη.

$$f_{X+Y}(n) = {{\bf {Pr}}\left[{X+Y = n}\right]}$$

$$= \sum_{k=-\infty}^\infty {{\bf {Pr}}\left[{X+Y=n { \vert }Y=k}\right]} {{\bf {Pr}}\left[{Y=k}\right]} \dagger$$

$$= \sum_{k=-\infty}^\infty {{\bf {Pr}}\left[{X = n-k}\right]} {{\bf {Pr}}\left[{Y=k}\right]}$$

$$= \sum_{k=-\infty}^\infty f_X(n-k) f_Y(k)$$

$$= f_X*f_Y(n)$$

($\dagger$: από Θεώρημα 11.3). $\qedsymbol$

Παράδειγμα 12.14   Έστω $X, Y$ ανεξάρτητες και ομοιόμορφες στο ${\left\{{0,\ldots,m}\right\}}$. Ποια η πυκνότητα πιθανότητας της $Z = X+Y$;

Σχήμα 12.1: Η πυκνότητα της ομοιόμορφης κατανομής στο ${\left\{{0,\ldots,m}\right\}}$

Πρέπει φυσικά να υπολογίσουμε τη συνέλιξη $f_X*f_Y$ ή $f_X*f_X$, αφού οι $X$ και $Y$ είναι ισόνομες (έχουν δηλ. την ίδια κατανομή). Το ότι η $X$ είναι ομοιόμορφα κατανεμημένη στο ${\left\{{0,\ldots,m}\right\}}$ σημαίνει ακριβώς ότι

$$f_X(n) = \frac{1}{m+1} {\bf 1}\left(0 \le n \le m\right).$$

Έχουμε λοιπόν

$$f_Z(n) = \sum_k f_X(k) f_X(n-k)$$

$$= \frac{1}{(m+1)^2} \sum_k {\bf 1}\left(0 \le k \le m, 0 \le n-k \le m\right)$$

$$= \frac{1}{(m+1)^2} \sum_k {\bf 1}\left(0 \le k \le m, n-m \le k \le n\right)$$

$$= \frac{1}{(m+1)^2} \sum_k {\bf 1}\left(\max{\left\{{0,n-m}\right\}} \le k \le \min{\left\{{m,n}\right\}}\right)$$

Παρατηρώντας ότι

$${\left\vert{{\left\{{k: A \le k \le B}\right\}}}\right\vert} = (B-A+1) {\bf 1}\left(A \le B\right),$$

παίρνουμε

$$f_Z(n) = \frac{1}{(m+1)^2} (\min{\left\{{m,n}\right\}} - \max{\le... ... 1}\left( \max{\left\{{0,n-m}\right\}} \le \min{\left\{{m,n}\right\}} \right).$$

Για να βρούμε ένα πιο κατανοητό τύπο για την $f_Z(n)$ χωρίζουμε τις περιπτώσεις $n<0$, $0\le n \le m$.$m<n\le 2m$ και $2m < n$. Για κάθε μια από αυτές μπορούμε να υπολογίσουμε τις τιμές των $\max{\left\{{0,n-m}\right\}}, \min{\left\{{m,n}\right\}}$, και καταλήγουμε στο αποτέλεσμα

$$f_Z(n) = \left\{ \begin{array}{ll} 0 & n <0 \\ \frac{n+1}{(... ...c{2m-n+1}{(m+1)^2} & m<n\le 2m \\ 0 & 2m<n \end{array}\right.$$

Σχήμα 12.2: Η πυκνότητα της $X+Y$

Άσκηση 12.14   Να βρεθεί η $f_Y(n)$ μέσω της $f_X(n)$ αν $Y=X+t$, όπου $t$ ένας σταθερός ακέραιος.