A Βασικά μαθηματικά εργαλεία A.2 Γραμμική Άλγεβρα – Ιδιοτιμές και Ιδιοδιανύσματα Πινάκων Βιβλιογραφία

A.3 Πιθανότητες

Παρουσιάζουμε εδώ βασικές έννοιες πιθανοτήτων, η γνώση των οποίων είναι απαραίτητη για στοχαστικά μοντέλα. Στόχος είναι η μοντελοποίηση μη-ντετερμινιστικών φαινομένων. Αρχικά θα δώσουμε κάποιους βασικούς ορισμούς [16].

A.3.1 Βασικοί Ορισμοί – Ιδιότητες

Ορισμός.

Χώρος Δείγματος (sample space), $\Omega$ : Το σύνολο όλων των πιθανών αποτελεσμάτων από ένα πείραμα.

Ορισμός.

Γεγονός (event), $A$ με $A\subset\Omega$ : ένα σύνολο αποτελεσμάτων, υποσύνολο του $\Omega$ .

Ορισμός.

$P(A\cup B\cup\Gamma\ldots)$ : η πιθανότητα ένα τουλάχιστον, εκ των $Α,Β,\Gamma,\ldots$ , γεγονότων να συμβεί.

Ορισμός.

$P(A\cap B\cap\Gamma\ldots)$ : η πιθανότητα όλα τα γεγονότα $Α,Β,\Gamma,\ldots$ , να συμβούν.

Επίσης δίνουμε τα παρακάτω αξιώματα:

•

$P(\emptyset)=0$ , η πιθανότητα δηλαδή να συμβεί το κενό σύνολο είναι μηδέν.
•

$P(\Omega)=1$ , η πιθανότητα δηλαδή να συμβεί ένα από τα πιθανά αποτελέσματα είναι μονάδα.
•

Αν $A\subset\Omega$ τότε $P(A)\geq 0$ .
•

Για ασυσχέτιστα (uncorrelated) γεγονότα: $P(A_{i}\cap A_{j})=0$ για κάθε $i\neq j$ .
•

Για ανεξάρτητα (independent), $A, B$ , γεγονότα: $P(A\cap B)=P(A)P(B)$

Τέλος τονίζουμε και τις παρακάτω ιδιότητες:

•

$P(A\cup B)=P(A)+P(B)-P(A\cap B)$
•

$P(A^{C})=1-P(A)$ , όπου $P(A^{C})$ είναι η συμπληρωματική πιθανότητα του γεγονότος $Α$ .

Ορισμός.

Υπό συνθήκη πιθανότητα (conditional probability) ορίζεται ως η πιθανότητα να συμβεί ένα γεγονός $Α$ δεδομένου ενός άλλου $Β$ και δίνεται από την

P(A|B)=\frac{P(A\cap B)}{P(B)}

A.3.2 Τυχαίες Μεταβλητές

Εδώ παρουσιάζουμε βασικές έννοιες που αφορούν τυχαίες μεταβλητές.

Ορισμός.

Τυχαία Μεταβλητή (random variable): Ως τυχαία μεταβλητή (τ.μ.) ορίζουμε μια αντιστοίχιση (mapping) από το χώρο όλων των πιθανών γεγονότων $\Omega$ , στο πραγματικό χώρο $\mathbb{R}$ .

Παράδειγμα A.10.

Έστω ότι ρίχνουμε ένα κέρμα 10 φορές. Ο αριθμός των φορών που ήρθε γράμματα (ή κορόνα) είναι μια τυχαία μεταβλητή.

Έστω μια τ.μ. $X$ , οι τιμές της οποίας δίνονται ως $x$ .

Ορισμός.

Προσθετική συνάρτηση κατανομής (cumulative distribution function, cdf) είναι η συνάρτηση $F(x)$ :

F(x)=P(X\leq x)

Προσέξτε ότι: $F(-\infty)=0$ , και $F(\infty)=1$ .

Ορισμός.

Αναμενόμενη Τιμή (expectation value), $E[h(x)]$ , μιας συνάρτησης της τ.μ. $x$ , έστω $h(x)$ , ορίζεται ως:

(Α) Αν η $X$ είναι συνεχής τ.μ. και η $F(x)$ παραγωγίσημη μπορεί να οριστεί η συνάρτηση πυκνότητας, $f(x)$ , ως: $f(x)=dF(x)/dx$ . Σε αυτή την περίπτωση έχουμε:

E[h(x)]=\int h(x)\,dF(x).

(Β) Αν η $X$ είναι διακριτή τ.μ., η οποία μπορεί να πάρει γενικά τιμές $x_{i},i=1,2,\ldots$ , η $F(x)$ είναι μια συνάρτηση βήματος (step function) και:

E[h(x)]=\sum_{i}P_{i}\,h(x_{i}).

Η αναμενόμενη τιμή, περιγράφεται και ως μέση τιμή της τ.μ. $E(X)$ .

Θυμηθείτε ότι η διασπορά ορίζεται ως:

{\rm Var}(X)=E(X^{2})-E(X)^{2}

Με βάση τη συνάρτηση κατανομής, ή την αντίστοιχη συνάρτηση πυκνότητας για συνεχείς τ.μ., μπορούμε να περιγράψουμε μια κατανομή.

Παράδειγμα A.11.

Η κανονική κατανομή, $N(\mu,\sigma^{2})$ , μιας συνεχούς τ.μ., περιγράφεται από την παρακάτω συνάρτηση πυκνότητας.

f(x)=\frac{1}{\sqrt{2\pi\sigma}}\,\exp\left\{-\frac{(x-\mu)^{2}}{2\sigma^{2}}\right\}

όπου $\mu$ είναι η μέση τιμή και $\sigma$ η διασπορά της κατανομής. Για $\mu=0,\sigma=1$ , έχουμε την τυπική κανονική κατανομή.

Παράδειγμα A.12.

Η εκθετική κατανομή, ${\rm Exp}(\lambda)$ , μιας συνεχούς τ.μ., περιγράφεται από την παρακάτω συνάρτηση πυκνότητας.

f(x)=\begin{cases}\lambda\exp⁡(-\lambda x),&x\geq 0\\ 0,&x<0\end{cases}.

Για την εκθετική κατανομή $E(X)=\lambda^{-1}$ , και ${\rm Var}(X)=\lambda^{-2}$ .

Παράδειγμα A.13.

Έστω μια διακριτή τ.μ. η οποία ακολουθεί τη διωνυμική κατανομή (binomial distribution). Παράδειγμα τέτοιας τ.μ. μπορεί να είναι η πιθανότητα να φέρουμε $x$ φορές «γράμματα» σε $n$ ρίψεις μη-αμερόληπτου νομίσματος, το οποίο έχει πιθανότητα $\theta$ να τύχουν «γράμματα». Η διωνυμική κατανομή περιγράφεται μέσω της:

P(X=x)=\begin{pmatrix}n\\ x\end{pmatrix}\theta^{x}(1-\theta)^{n-x}=\frac{n!}{(n-x)!x!}

Όπου $x=0,1,\ldots,n$ . Για τη διωνυμική κατανομή $E(X)=n\theta$ , και ${\rm Var}(X)=n\theta(1-\theta)$ .

Τα παραπάνω παραδείγματα αφορούν μια τ.μ. Πολύ συχνά όμως το υπό μελέτη σύστημα περιγράφεται με περισσότερες από μία τ.μ.

Ορισμός.

Τυχαίο διάνυσμα (random vector) n τυχαίων μεταβλητών ορίζεται ως ένα διάνυσμα τ.μ. της μορφής $\bm{X}=(X_{1},X_{2},\ldots,X_{n})$ .

Όπως παραπάνω μπορούμε να ορίσουμε όλες τις ιδιότητες και για το διάνυσμα τ.μ. $\bm{X}$ . Παράδειγμα η προσθετική συνάρτηση κατανομής σε $n$ διαστάσεις είναι:

F(\bm{x})=P(\cap_{i=1}^{n}\{X_{i}\leq x_{i}\})

Αν το $X$ είναι συνεχές τυχαίο διάνυσμα (ή διάνυσμα τ.μ.) τότε:

f(x_{1},x_{2},…,x_{n})=\frac{\partial F(x_{1},x_{2},…,x_{n})}{\partial x_{1},% \partial x_{2}\ldots\partial x_{n}}

και η αναμενόμενη τιμή

E[h(x)]=\int h(\bm{x})dF(\bm{x})=\int h(\bm{x})f(\bm{x})\,dx_{1}dx_{2}\ldots dx% _{n}

A.3.3 Σύγκλιση Τυχαίων Μεταβλητών

Έστω σειρά τ.μ. $X_{1},X_{2},\ldots,X_{n}$ και $F(X_{1}),F(X_{2}),\ldots,F(X_{n})$ . Όσο αφορά τη σύγκληση των τ.μ. είναι πολύ σημαντικά τα παρακάτω δύο θεωρήματα – νόμοι.

Νόμος των μεγάλων αριθμών (law of large numbers): Αν $x_{1},x_{2},\ldots,x_{n}$ , είναι μια σειρά $n$ ανεξάρτητων τιμών μιας τυχαίας μεταβλητής $X$ , με μέση τιμή $\mu$ και διασπορά $\sigma_{2}$ , τότε η μέση τιμή του δείγματος $\bar{x}$ συγκλίνει στη μέση τιμή $\mu$ :

\bar{x}=\frac{x_{1}+x_{2}+\ldots+x_{n}}{n}\to\mu

σχεδόν σίγουρα (ισχυρός νόμος των μεγάλων αριθμών) ή με πιθανότητα (ασθενής νόμος των μεγάλων αριθμών).

Κεντρικό οριακό θεώρημα (central limit theorem): Αν $x_{1},x_{2},\ldots,x_{n}$ , είναι μια σειρά $n$ ανεξάρτητων τιμών μιας τυχαίας μεταβλητής $X$ , με μέση τιμή $\mu$ και διασπορά $\sigma_{2}$ και αν ορίσουμε τη μέση τιμή του δείγματος

\bar{x}=\frac{x_{1}+x_{2}+\ldots+x_{n}}{n}

τότε:

\frac{\sqrt{n}(\bar{x}-\mu)}{\sigma}\to Ν(0,1).

Δηλαδή πρακτικά η κατανομή των $n$ τιμών της $X$ , όσο το $n$ αυξάνει «πλησιάζει» όλο και περισσότερο την κανονική κατανομή.

Τα παραπάνω δύο θεωρήματα είναι ιδιαίτερα σημαντικά καθώς μας διασφαλίζουν ότι όσο μεγαλώνει η σειρά ανεξάρτητων τιμών μιας τ.μ. η μέση τιμή του δείγματος πλησιάζει την πραγματική μέση τιμή της τ.μ.