Στο κεφάλαιο αυτό θα εισαγάγουμε την έννοια της δεσμευμένης μέσης τιμής για διακριτές τυχαίες μεταβλητές και θα δούμε πότε χαρακτηρίζουμε μια στοχαστική διαδικασία διακριτού χρόνου ως \(\ma\). Μια βασική ιδιότητα που έχει μια \(\ma\) είναι ότι η αναμενόμενη τιμή της μένει σταθερή στον χρόνο ακόμα και όταν αυτή υπολογίζεται για έναν φραγμένο χρόνο διακοπής. Όπως θα δούμε, αυτή η ιδιότητα είναι ένα πολύ ισχυρό υπολογιστικό εργαλείο, ιδιαίτερα όταν η στοχαστική διαδικασία συμβαίνει να είναι ταυτόχρονα μαρκοβιανή. Παρόμοιο υλικό μπορείτε να βρείτε στις εξαιρετικές αναφορές [Doyle85] , [Varadhan01] και [Williams91] .
Στην παράγραφο αυτή θα ορίσουμε τη δεσμευμένη μέση τιμή ως προς μια διακριτή τυχαία μεταβλητή. Ας υποθέσουμε λοιπόν ότι οι \(X,Y\) είναι τυχαίες μεταβλητές, ορισμένες στον ίδιο χώρο πιθανότητας, που παίρνουν τιμές στα αριθμήσιμα σύνολα \(\X,\Y\) αντίστοιχα. Ας συμβολίζουμε με \(p_{XY}\) την από κοινού σ.μ.π. των \(X\) και \(Y\), δηλαδή
\[ p_{XY}(x,y)=\PP{X=x,Y=y},\qquad x\in\X,\ y\in\Y. \]Οι περιθώριες σ.μ.π. των \(X,Y\) μπορούν εύκολα να υπολογιστούν από την από κοινού σ.μ.π. ως εξής.
\[ p_X(x)=\PP{X=x}=\sum_{y\in\Y}\PP{X=x,Y=y},\qquad x\in\X \]και
\[ p_Y(y)=\PP{Y=y}=\sum_{x\in\X}\PP{X=x,Y=y},\qquad y\in\X. \]Υποθέτουμε χωρίς βλάβη ότι \(p_Y(y)>0\) για κάθε \(y\in\Y\), αφού, αν \(p_Y(y)=0\), μπορούμε να αφαιρέσουμε ένα τέτοιο \(y\) από το \(\Y\). Η δεσμευμένη πιθανότητα του ενδεχομένου \(\{X=x\}\) δεδομένου του ενδεχομένου \(\{Y=y\}\) είναι
\[ \PP{X=x\, |\, Y=y}=\frac{\PP{X=x,Y=y}}{\PP{Y=y}}. \]Η δεσμευμένη πιθανότητα του ενδεχομένου \(\{X=x\}\) ως προς την τυχαία μεταβλητή \(Y\) είναι μια τυχαία μεταβλητή, που είναι συνάρτηση της \(Y\) και η τιμή της, όταν \(Y=y\), είναι \(\PP{X=x\big|\, Y=y}\). Έχει σημασία να έχουμε κατά νου ότι, η δεσμευμένη πιθανότητα ως προς μια τυχαία μεταβλητή είναι εν γένει μια τυχαία μεταβλητή και όχι ένας αριθμός. Η τιμή της αλλάζει ανάμεσα στα σημεία του δειγματικού χώρου \(\Omega\). Αν όμως θεωρήσουμε τη διαμέριση του \(\Omega\)
\[ \Omega=\bigcup_{y\in\Y}\{\omega\in\Omega: Y(\omega)=y\}=\bigcup_{y\in\Y}\{Y=y\}, \]τότε, σε καθένα από τα ενδεχόμενα \(\{Y=y\}\), η τιμή της \(\PP{X=x\, |\, Y}\) παραμένει σταθερή και ίση προς \(\PP{X=x\big|\, Y=y}\). Έχουμε λοιπόν ότι
\[ \PP{X=x\, |\, Y} = p(x|Y),\quad \text{ όπου }\ p(x|y)=\PP{X=x\big|\, Y=y}=\frac{\PP{X=x,Y=y}}{\PP{Y=y}}, \ y\in\Y. \]
Παρατηρήστε ότι, για κάθε \(y\in\Y\), η \(p(\cdot\,|y)\) είναι μια
σ.μ.π. στον \(\X\). Επομένως, μπορούμε να φανταζόμαστε την
\(\PP{X=\cdot\, |\, Y}\) ως μια τυχαία σ.μ.π.
Ορισμός: Έστω \(X\)
μια πραγματική, διακριτή τυχαία μεταβλητή με
\(\EE{\,|X|\,}<\infty\). Oρίζουμε τη δεσμευμένη μέση τιμή
(conditional expectation) της \(X\) ως προς τη διακριτή τυχαία
μεταβλητή \(Y\), ως την αναμενόμενη τιμή της \(X\), υπολογισμένη με
βάση την τυχαία σ.μ.π. \(\PP{X=\cdot\, |\, Y}\), δηλαδή
\begin{equation} \EE{X\big|\, Y}=\sum_{x\in\X}x\ \PP{X=x\, |\, Y}. \end{equation}
Η συνθήκη \(\EE{\,|X|\,}<\infty\) εξασφαλίζει ότι το δεξί μέλος είναι πεπερασμένο. Παρατηρήστε ότι η \(\EE{X\big|\, Y}\), ως γραμμικός συνδυασμός των \(\PP{X=x\, |\, Y}\), είναι κι αυτή μια πραγματική τυχαία μεταβλητή, η οποία είναι συνάρτηση της \(Y\). Αυτή η συνάρτηση, \(g(Y)=\EE{X\big|\, Y}\), έχει τη σταθερή τιμή \(\ g(y)=\sum_{x\in\X}x\ \PP{X=x\, |\, Y=y} \) σε καθένα από τα ενδεχόμενα \(\{Y=y\}\).
H δεσμευμένη μέση τιμή της \(X\) ως προς την \(Y\) είναι μια τυχαία μεταβλητή, που στο ενδεχόμενο \(\{Y=y\}\) έχει την τιμή
\[ \sum_{x=0}^y x{y\choose x}\frac{1}{2^y}=\frac{y}{2}. \]Επομένως, \(\EE{X\,\big|\, Y}=\frac{Y}{2}\).
H \(g(Y)=\EE{X\,\big|\, Y}\) της σχέσης (4.1) είναι η μοναδική συνάρτηση της \(Y\) για την οποία
\begin{equation} \EE{Xh(Y)}=\EE{g(Y)h(Y)},\quad \text{για κάθε
συνάρτηση } h:\Y\to [0,1].
\end{equation}
Απόδειξη: Θα δείξουμε πρώτα ότι η \(g(Y)=\EE{X\, \big|\,Y}\) της (4.1) έχει την ιδιότητα (4.2). Πράγματι, από τον ορισμό της δεσμευμένης πιθανότητας και το Θεώρημα Fubini-Tonelli έχουμε \begin{align*} \EE{Xh(Y)}&=\sum_{x\in\X}\sum_{y\in\Y}xh(y)\,\PP{X=x,Y=y}\\ &=\sum_{x\in\X}\sum_{y\in\Y}xh(y)\,\PP{X=x\, \big|\, Y=y}\ \PP{Y=y}\\ &=\sum_{y\in\Y}h(y)\left(\sum_{x\in\X}x\,\PP{X=x\,\big|\, Y=y}\right)\PP{Y=y}\\ &=\sum_{y\in\Y}h(y)g(y)\,\PP{Y=y} = \EE{g(Y)h(Y)}. \end{align*} Θα δείξουμε τώρα ότι η \(g\) είναι η μοναδική συνάρτηση της \(Y\) που έχει την ιδιότητα (4.2). Έστω \(\phi(Y)\) μια συνάρτηση της \(Y\) για την οποία
\[ \EE{Xh(Y)}=\EE{\phi(Y)h(Y)} \]για οποιαδήποτε συνάρτηση \(h:\Y\to [0,1]\). Επιλέγοντας
\[ h_{y}(Y)=\begin{cases}1, &\text{ αν } Y=y\\ 0, &\text{ αν} Y\neq y \end{cases} \]παίρνουμε
\[ \sum_{x\in\X}x\PP{X=x,Y=y}=\phi(y)\PP{Y=y}. \]Επομένως, για κάθε \(y\in\Y\), έχουμε
\[ \phi(y)=\sum_{x\in\X}x\frac{\PP{X=x,Y=y}}{\PP{Y=y}}=g(y).\qquad\qquad\Box \]Το παραπάνω θεώρημα μας δίνει έναν εναλλακτικό ορισμό της δεσμευμένης μέσης τιμής ο οποίος έχει δύο πλεονεκτήματα. Αφενός, δεν κάνει αναφορά στο είδος των τυχαίων μεταβλητών \(X,Y\), ενώ ο αρχικός ορισμός υποθέτει ότι οι \(X,Y\) έχουν διακριτή κατανομή. Αφετέρου, απλοποιεί συχνά τις αποδείξεις ισχυρισμών που αφορούν στη δεσμευμένη μέση τιμή, όπως θα δούμε και στο ακόλουθο θεώρημα.
Απόδειξη: Σε όλη την απόδειξη η \(h\) είναι μια συνάρτηση \(h:\Y\to[0,1]\). Για την (1), αν \(g_1(Y)=\EE{X_1\,\big|\,Y}\) και \(g_2(Y)=\EE{X_2\,\big|\,Y}\), από τη γραμμικότητα της μέσης τιμής έχουμε ότι \begin{align*} \EE{(c_1X_1+c_2X_2)h(Y)}&=c_1\EE{X_1h(Y)}+c_2\EE{X_2h(Y)}\\ &=c_1\EE{g_1(Y)h(Y)}+c_2\EE{g_2(Y)h(Y)}=\EE{(c_1g_1(Y)+c_2g_2(Y))h(Y)}. \end{align*} Επομένως, από το Θεώρημα 4.2 ,
\[ \EE{c_1X_1+c_2X_2\,\big|\,Y}=c_1g_1(Y)+c_2g_2(Y)=c_1\EE{X_1\,\big|\,Y}+c_2\EE{X_2\,\big|\,Y}. \]
Για την (2), αρκεί να επιλέξουμε \(h(Y)=1\) στο Θεώρημα 4.2 .
Για
την (3), έχουμε
Η πρώτη ισότητα ισχύει λόγω της ανεξαρτησίας των \(X,Y\) και η δεύτερη
γιατί η \(\EE{X}\) είναι μια σταθερά. Aπό το Θεώρημα 4.2, έχουμε
λοιπόν ότι \(\EE{X|Y}=\EE{X}\). Υπενθυμίζουμε ότι, όταν η \(Y\) είναι
σταθερή, τότε είναι ανεξάρτητη από κάθε άλλη τυχαία μεταβλητή,
επομένως \(\EE{X\big|Y}=\EE{X}\), για οποιαδήποτε τυχαία μεταβλητή
\(X\). Για τον ίδιο λόγο, έχουμε ότι \(\EE{c\big|\,Y}=c\), για
οποιαδήποτε τυχαία μεταβλητή \(Y\) και \(c\in\R\).
Για την
(4), λόγω της γραμμικότητας (ιδιότητα 1), αρκεί να υποθέσουμε ότι η
\(f\) είναι μη αρνητική και φραγμένη από το 1. Πράγματι, αν
\(f^+=\max\{f,0\},\ f^{-}=\max\{-f,0\}\) και \(Μ=\sup |f|\), έχουμε
ότι
όπου οι \(f^\pm/M\) είναι μη αρνητικές και φραγμένες από το 1. Σε αυτήν την περίπτωση, εφόσον η \(f\times h\) είναι κι αυτή μια συνάρτηση από το \(\Y\) στο \([0,1]\), το Θεώρημα 4.2 δίνει ότι για κάθε \(h:\Y\to [0,1]\) έχουμε
\[ \EE{Xf(Y)\ h(Y)}=\EE{X f\times h(Y)}=\EE{g(Y)f\times h(Y)}=\EE{g\times f(Y) h(Y)}, \]
όπου \(g(Y)=\EE{X\,\big|\,Y}\). Επομένως,
\(\EE{Xf(Y)\,\big|\,Y}=f(Y)\EE{X\,\big|\, Y}\).
Για την (5),
παρατηρήστε ότι, αν ορίσουμε το θετικό και το αρνητικό μέρος της
\(X\) ως \(X^+=\max\{X,0\}\ge 0\) και \(X^-=\max\{-X,0\}\ge 0\)
αντίστοιχα, τότε \(X=X^+-X^-\) και \(|X|=X^+ +X^-\). Επομένως, από την
τριγωνική ανισότητα, έχουμε \begin{align*}
\Big|\,\EE{X\,\big|\,Y}\,\Big|&=\Big|\,\EE{X^+\,\big|\,Y}-\EE{X^-\,\big|\,Y}\,\Big|\le
\EE{X^+\,\big|\,Y}+\EE{X^-\,\big|\,Y}=\EE{|X|\,\big|\,Y}.
\end{align*} Για την (6), αν ορίσουμε \(G(Y,Z)=\EE{X\,\big|\,Y,Z}\),
έχουμε αρχικά από τις ιδιότητες (5) και (1), ότι
Η δεσμευμένη μέση τιμή \(\EE{G(Y,Z)\,\big|\,Y}\) είναι λοιπόν καλά ορισμένη. Από το Θεώρημα 4.2, αρχικά για την \(G(Y,Z)\) και στη συνέχεια για την \(X\), έχουμε ότι
\[ \EE{G(Y,Z)h(Y)}=\EE{Xh(Y)}=\EE{g(Y)h(Y)}. \]
Επομένως, \(\EE{G(Y,Z)\,\big|\,Y}=g(Y)=\EE{X\,\big|\,Y}\).
Τέλος για την (7), από τη γραμμικότητα της δεσμευμένης μέσης τιμής
(ιδιότητα 1), αρκεί να δείξουμε ότι
Αν τώρα \(g(Y)=\EE{X\,\big|\,Y}\) και \(h(Y)=1\!\!1\{g(Y)<0\}\ge 0,\) τότε, από το Θεώρημα 4.2 ,
\[ 0\le \EE{Xh(Y)}=\EE{g(Y)h(Y)}=\EE{g(Y)1\!\!1\{g(Y)<0\}}\le 0. \]Προκειμένου όμως να έχουμε ισότητα στην τελευταία ανισότητα, θα πρέπει \(\PP{g(Y)<0}=0\).
\(\Box\)
Πενήντα φοιτητές από το ΕΜΠ, εβδομήντα φοιτητές από το ΕΚΠΑ και 30 φοιτητές από το ΟΠΑ παίρνουν μέρος σ' ένα διαγώνισμα. Αν επιλέξουμε τυχαία έναν από τους φοιτητές, μπορούμε να θεωρήσουμε ως δειγματικό χώρο του πειράματος τύχης το σύνολο των φοιτητών και τότε το πανεπιστήμιο προέλευσής τους \(Y\) είναι μια τυχαία μεταβλητή ορισμένη σε αυτόν τον χώρο, ενώ ο βαθμός τους στο διαγώνισμα \(X\) είναι μια άλλη τυχαία μεταβλητή. Η \(\EE{X|Y}\) είναι μια τυχαία μεταβλητή, που δίνει σε όλους τους φοιτητές του Πανεπιστημίου \(Y\) τον μέσο όρο \(M(Y)\) των φοιτητών του \(Y\). Τότε η ιδιότητα 2 του Θεωρήματος 4.2 σημαίνει ότι o μέσος όρος \(M\) των βαθμών όλων των φοιτητών δίνεται από τη
\[ M=\frac{50}{150}M(ΕΜ\Pi)+\frac{70}{150}M(EK\Pi A)+\frac{30}{150}M(O\Pi A), \]δηλαδή ο μέσος όρος των βαθμών όλων των φοιτητών μπορεί να υπολογιστεί και ως ένας ζυγισμένος μέσος των μέσων βαθμών κατά πανεπιστήμιο, με βάρη τις πιθανότητες ο τυχαία επιλεγμένος φοιτητής να προέρχεται από κάθε πανεπιστήμιο.
Σε αυτή την παράγραφο θα δούμε πότε χαρακτηρίζουμε μια στοχαστική
διαδικασία διακριτού χρόνου ως \(\ma\) και κάποιες βασικές ιδιότητες
αυτών των διαδικασιών.
Θυμηθείτε από το Κεφάλαιο 2 ότι, αν έχουμε μια ακολουθία από
διακριτές τυχαίες μεταβλητές, όπως π.χ. στην περίπτωση μιας
στοχαστικής διαδικασίας διακριτού χρόνου \(\xn\) και το ενδεχόμενο
\(A\) εξαρτάται μόνο από τις τιμές των \(X_0,\ldots,X_n\), γράφουμε
\(A\in\F_n\). Για κάθε \(n\in\N_0\), η \(Y_n=(X_0,\ldots,X_n)\) είναι
μια τυχαία μεταβλητή, με τιμές στον διακριτό χώρο \(\X^{n+1}\). Θα
συμβολίζουμε τη δεσμευμένη μέση τιμή μιας τυχαίας μεταβλητής \(Z\)
ως προς την \(Y_n\) με \(\EE{Z\big|\F_n}.\) Επομένως, η
είναι μια τυχαία μεταβλητή που εξαρτάται μόνο από τις
\(X_0,\ldots,X_n\).
Ορισμός: Αν μια
τυχαία μεταβλητή \(X\) είναι συνάρτηση των \(X_0,\ldots,X_n\), θα λέμε
ότι η \(X\) είναι \(\F_n\)- μετρήσιμη .
Ορισμός: Αν, για μια
στοχαστική διαδικασία \(\{M_n\}_{n\in\N_0}\), η τυχαία μεταβλητή
\(M_n\) είναι \(\F_n\)- μετρήσιμη για κάθε \(n\in\N_0\), θα
χαρακτηρίζουμε την \(\{M_n\}_{n\in\N_0}\) προσαρμοσμένη
(adapted) στην \(\{\F_n\}_{n\in\N_0}.\)
Ορισμός: Θα
χαρακτηρίζουμε μια στοχαστική διαδικασία \(\{M_n\}_{n\in\N_0}\) με
τιμές στο \(\R\) ως \(\F_n\)-\(\ma\), αν για κάθε
\(n\in\N_0\) έχουμε
Η πρώτη συνθήκη του ορισμού, υπάρχει απλώς για να είναι καλά ορισμένη η δεσμευμένη μέση τιμή που εμφανίζεται στη δεύτερη. Η ουσία του ορισμού βρίσκεται στη δεύτερη συνθήκη. Αυτό που χαρακτηρίζει μια \(\ma\) είναι ότι, με δεδομένο οτιδήποτε έχει συμβεί μέχρι τη χρονική στιγμή \(n\), η αναμενόμενη τιμή της μετά το επόμενο βήμα είναι ίδια με τη σημερινή, όπως ακριβώς συμβαίνει, σε κάθε γύρο ενός δίκαιου παιχνιδιού, με την περιουσία κάποιου που στοιχηματίζει σ' αυτό. Παρατηρήστε επίσης ότι, από την ιδιότητα 2 του ορισμού, μια διαδικασία που είναι \(\F_n\)-\(\ma\), είναι πάντα προσαρμοσμένη στην \(\{\F_n\}_{n\in\N_0}.\)
Ένας απλός, συμμετρικός τυχαίος περίπατος \(\{S_n\}_{n\in\N_0}\) στο \(\Z\) είναι \(\ma\). Πράγματι, αν \(S_0=x\in\Z\), έχουμε ότι για κάθε \(n\in\N\)
\[ S_n=S_{n-1}+X_n=x+\sum_{k=1}^{n}X_k, \]όπου η \(\{X_n\}_{n\in\N}\) είναι μια ακολουθία ανεξάρτητων, ισόνομων τυχαίων μεταβλητών, που παίρνουν τις τιμές +1 ή -1, με πιθανότητα \(\half\) καθεμιά. Έχουμε λοιπόν ότι \(|S_n|\le |x|+n<\infty\), ενώ
\[ \EE{S_{n+1}\,\big|\,\F_n}=\EE{S_n+X_{n+1}\,\big|\,\F_n}=\EE{S_n\,\big|\,\F_n}+\EE{X_{n+1}\,\big|\,\F_n}=S_n+\EE{X_{n+1}}=S_n. \]Η δεύτερη ισότητα προκύπτει από την ιδιότητα 1 του Θεωρήματος 4.2, ενώ η τρίτη ισότητα από τις ιδιότητες 3 και 4 του ίδιου θεωρήματος.
Έστω \(z\in(0,1)\). Για τον απλό, συμμετρικό, τυχαίο, περίπατο των προηγούμενων παραδειγμάτων θα εξετάσουμε αν, για κάποια σταθερά \(\alpha=\alpha(z)>0\), η διαδικασία \(\{M_n\}_{n\in\N_0}\) με
\[ M_n=\alpha^{S_n}z^n \]είναι \(\ma\). Η πρώτη συνθήκη του ορισμού ελέγχεται εύκολα όπως στα προηγούμενα παραδείγματα. Τώρα, από τις ιδιότητες 3 και 4 του Θεωρήματος 4.2 \begin{align*} \EE{M_{n+1}\,\big|\,\F_n}&=\EE{\alpha^{S_{n}}\alpha^{X_{n+1}}z^{n+1}\,\big|\,\F_n}=z^{n+1}\alpha^{S_n}\EE{\alpha^{X_{n+1}}\,\big|\,\F_n}\\ &=zM_n\EE{\alpha^{X_{n+1}}}=\half zM_n\big(\alpha+\frac{1}{\alpha}\big). \end{align*} Επομένως, η \(\{M_n\}_{n\in\N_0}\) είναι \(\ma\), αν και μόνο αν
\[ \alpha+\frac{1}{\alpha}=\frac{2}{z}\Leftrightarrow \alpha=\frac{1\pm\sqrt{1-z^2}}{z}. \]Επιπλέον, από την ιδιότητα 6 του Θεωρήματος 4.2, για κάθε \(n\in\N_0\) έχουμε
\[ \EE{M_{n+1}\,\big|\,\F_n}=\E\Big[ \EE{Z\,\big|\,\F_{n+1}}\,\big|\, \F_n\Big]=\EE{Z\,\big|\,\F_{n}}=M_n. \]Έστω \(\{M_n\}_{n\in\N_0}\) μια \(\F_n\)-\(\ma\). Θεωρούμε μια στοχαστική διαδικασία \(\{\phi_n\}_{n\in\N_0}\) που είναι προσαρμοσμένη στην \(\{\F_n\}_{n\in\N_0}\), τέτοια ώστε, για κάθε \(n\in\N_0\) η τυχαία μεταβλητή \(\phi_n\) είναι φραγμένη από μια σταθερά \(C_n\). Ορίζουμε \((\phi\cdot M)_0=0\) και για \(n\in\N\)
\[ (\phi\cdot M)_{n}=\sum_{k=0}^{n-1}\phi_k(M_{k+1}-M_k). \]H \(\{(\phi\cdot M)_{n}\}_{n\in\N_0}\) είναι μια \(\ma\). Η ιδιότητα 1 δεν είναι δύσκολο να ελεγχθεί, ενώ
\[ \EE{(\phi\cdot M)_{n+1}\,\big|\,\F_n}=\EE{(\phi\cdot M)_{n}+\phi_n(M_{n+1}-M_n)\,\big|\,\F_n}=(\phi\cdot M)_{n}+\phi_n\EE{M_{n+1}-M_n\,\big|\,\F_n}=(\phi\cdot M)_{n}, \]όπου στη δεύτερη ισότητα χρησιμοποιήσαμε ότι η \(\phi_n\) είναι \(\F_n\)-μετρήσιμη ώστε, από την ιδιότητα 4 του Θεωρήματος 4.2, να τη βγάλουμε εκτός της δεσμευμένης μέσης τιμής.
Έστω ότι παίζουμε ένα τίμιο παιχνίδι όπου πριν από κάθε γύρο ποντάρουμε κάποια νομίσματα. Σε κάθε γύρο κερδίζουμε ή χάνουμε με πιθανότητα 1/2. Αν κερδίσουμε σε κάποιον γύρο, μας επιστρέφεται το στοιχημά μας στο διπλάσιο, διαφορετικά χάνουμε όσα νομίσματα στοιχηματίσαμε. Αν πριν από κάθε γύρο ποντάρουμε ένα νόμισμα, η περιουσία μας θα είναι ένας τυχαίος περίπατος στους ακεραίους
\[ Μ_n=x+\sum_{k=1}^n X_k. \]Στην παραπάνω σχέση \(x\) είναι το αρχικό πλήθος των νομισμάτων μας, ενώ οι τυχαίες μεταβλητές \(X_k\) παριστάνουν το κέρδος μας κατά τον γύρο \(k\) και έχουν μέση τιμή 0. Αν τώρα πριν από τον γύρο \(k+1\) ποντάρουμε \(\phi_k\) νομίσματα, τότε η μεταβολή της περιουσίας μας θα είναι \(\phi_k X_{k+1}=\phi_k(M_{k+1}-M_k)\) και η περιουσία μας μετά τον \(n\)-οστό γύρο θα είναι \(x+(\phi\cdot M)_n\). Μπορούμε να επιτρέψουμε στο ποντάρισμά μας να εξαρτάται απ' ό,τι έχει συμβεί μέχρι τη στιγμή που ποντάρουμε, αλλά όχι απ' ό,τι θα συμβεί στο μέλλον. Επομένως, για κάθε \(k\in\N_0\), η \(\phi_k\) είναι μια τυχαία μεταβλητή που εξαρτάται μόνο από τις \(X_1,X_2,\ldots,X_k\), είναι δηλαδή \(\F_k\)-μετρήσιμη. Το προηγούμενο παράδειγμα μας διδάσκει ότι, ακόμα κι αν ποντάρουμε χρησιμοποιώντας τη σοφία που έχουμε κάθε φορά σωρεύσει, η περιουσία μας θα είναι και πάλι μια martingale. To ακόλουθο θεώρημα μας διδάσκει ότι δεν μπορούμε να αυξήσουμε την αναμενόμενη περιουσία μας ποντάροντας έξυπνα.
Απόδειξη: Έστω \(k\in\N_0\). Θα αποδείξουμε τον ισχυρισμό με επαγωγή επί του \(n\). Για \(n=1\) ο ισχυρισμός συμπίπτει με την ιδιότητα 2 του ορισμού μιας \(\ma\). Έστω τώρα ότι \(\EE{M_{n+k}\,\big|\,\F_k}=M_k\) για κάποιο \(n\in\N.\) Από την ιδιότητα 6 του Θεωρήματος 4.2, έχουμε
\[ \EE{M_{n+k+1}\,\big|\,\F_k}=\E\Big[\,\EE{M_{n+k+1}\,\big|\,\F_{n+k}}\,\Big|\, \F_k\Big]=\EE{M_{n+k}\,\big|\,\F_k}=M_k, \]όπου η τελευταία ισότητα προκύπτει από την επαγωγική υπόθεση. Ειδικότερα, για \(k=0\) έχουμε \(\EE{M_{n}\,\big|\,\F_0}=M_0\). Το ζητούμενο προκύπτει τώρα από την ιδιότητα 2 του Θεωρήματος 4.2, παίρνοντας την αναμενόμενη τιμή των δύο μελών.
\(\Box\)
Σύμφωνα με το προηγούμενο θεώρημα, η αναμενόμενη τιμή μιας \(\ma\) είναι η ίδια σε όποια χρονική στιγμή \(n\in\N_0\) κι αν την υπολογίσουμε. Ένα κεντρικό αποτέλεσμα στη μελέτη των \(\ma\), είναι ότι η παραπάνω ιδιότητα παραμένει σε ισχύ ακόμα κι αν αυτή η χρονική στιγμή είναι ένας φραγμένος χρόνος διακοπής.Απόδειξη: Έστω \(N\) ένα άνω φράγμα του χρόνου \(T\). Έχουμε τότε ότι \(1=\sum_{k=0}^N1\!\!1\{T=k\}\) και
\begin{equation} \EE{M_T}=\sum_{k=0}^N\EE{M_T1\!\!1\{T=k\}}=\sum_{k=0}^N\EE{M_k1\!\!1\{T=k\}}. \end{equation}
Από το Θεώρημα 4.3 έχουμε ότι \(\EE{M_N\,\big|\,\F_k}=M_k\), για \(k=0,1,\ldots,N-1.\) Εφόσον ο \(T\) είναι χρόνος διακοπής, η \(1\!\!1\{T=k\}\) εξαρτάται μόνο από τις \(X_0,\ldots,X_k\) και παίρνει τιμές στο διάστημα [0,1]. Επομένως, από το Θεώρημα 4.2 έχουμε ότι
\[ \EE{M_N1\!\!1\{T=k\}}=\EE{M_k1\!\!1\{T=k\}}. \]Αντικαθιστώντας τώρα στην (4.3) έχουμε ότι
\[ \EE{M_T}=\sum_{k=0}^N\EE{M_N1\!\!1\{T=k\}}=\EE{M_N}=\EE{M_0}, \] όπου η τελευταία ισότητα προκύπτει πάλι από το Θεώρημα 4.3.\(\Box\)
Παρατήρηση 1: Το προηγούμενο
θεώρημα μας διδάσκει ότι δεν μπορούμε να αυξήσουμε την αναμενόμενη
περιουσία μας σ' ένα τίμιο παιχνίδι ακολουθώντας μια στρατηγική
εξόδου που μπορεί να εξαρτάται απ' ό,τι έχει συμβεί στο παρελθόν,
αλλά οφείλει να έχει ολοκληρωθεί μέχρι κάποια συγκεκριμένη χρονική
στιγμή \(N\).
Παρατήρηση 2: Η
υπόθεση ότι ο χρόνος διακοπής \(T\) είναι φραγμένος είναι ουσιαστική.
Δεν μπορεί εν γένει να αντικατασταθεί από την ασθενέστερη συνθήκη
\(\PP{T<\infty}=1,\) όπως φαίνεται στο παράδειγμα που ακολουθεί.
Παρατήρηση 3: Στην πράξη είναι σπάνιο να μπορεί να εξασφαλίσει κανείς ότι ένας ενδιαφέρων χρόνος διακοπής \(T\) είναι φραγμένος. Σύμφωνα όμως με το Παράδειγμα 2.5 , ο σταθερός χρόνος \(N\in\N\) είναι χρόνος διακοπής, ενώ, αξιοποιώντας το Πόρισμα 2.1 , ο χρόνος \(T\wedge N=\min\{T,N\}\) είναι χρόνος διακοπής και είναι προφανώς φραγμένος από το \(N\). Εφαρμόζουμε λοιπόν συνήθως το Θεώρημα επιλεκτικής διακοπής για τον \(T\wedge N\) και προσπαθούμε να περάσουμε το αποτέλεσμα που παίρνουμε στον αρχικό χρόνο διακοπής \(T\), στέλνοντας το \(N\) στο άπειρο. Θα δούμε πώς ακριβώς δουλεύει αυτή η διαδικασία στα παραδείγματα που ακολουθούν.
είναι χρόνοι διακοπής. Θα εφαρμόσουμε το Θεώρημα επιλεκτικής διακοπής για τη \(\ma \) \(\{ M_n \}_{ n \in \N_0} \) και τον φραγμένο χρόνο διακοπής \(T\wedge N\). Έχουμε λοιπόν \begin{align*} x-a & = \Ex{ M_0 } = \Ex{ M_{ T \wedge N } }= \Ex{ M_T 1\!\!1 \{ T < N \} } + \Ex{ M_N 1\!\!1 \{T \ge N \} }. \end{align*} Παρατηρήστε τώρα ότι \(M_T = 0 \) στο ενδεχόμενο \(\{ T_a < T_b \wedge N \}\), ενώ \(M_T = b - a \) στο ενδεχόμενο \(\{ T_b < T_a \wedge N\}\). Έχουμε λοιπόν ότι
\begin{equation} x - a = (b - a)\ \Px{ T_b < T_a \wedge N} + \Ex{ M_N 1\!\!1 \{ T \ge N\}}. \end{equation}
Παρατηρήστε τώρα ότι η ακολουθία ενδεχομένων \(B_N = \{ T_b < T_a \wedge N\}\) είναι αύξουσα και \(\cup_N B_N=\{ T_b < T_a \}\). Επομένως, αν στείλουμε το \(N\) στο άπειρο, ο πρώτος προσθετέος στο δεξί μέλος τείνει στο \((b-a)\Px{ T_b < T_a }.\) Σε ό,τι αφορά στον δεύτερο προσθετέο παρατηρήστε ότι στο ενδεχόμενο \(C_N = \{ T \ge N \}\) ο περίπατος μέχρι τη χρονική στιγμή \(N\) δεν έχει βγει από το σύνολο \(\{ a, a+1, \ldots, b-1, b\}\). Επομένως,
\[ \Big| \Ex{ M_N 1\!\!1\{ T \ge N\} } \Big| \le \max\{|a|,|b|\}\ \Px{ T \ge N}\to \max\{|a|,|b|\}\ \Px{ T = \infty}, \]αφού η ακολουθία ενδεχομένων \(C_N\) είναι φθίνουσα, με \(\cap_NC_N=\{T=\infty\}.\) Όπως έχουμε δει όμως ο απλός, συμμετρικός τυχαίος περίπατος είναι επαναληπτικός, επομένως \(\Px{T= \infty}=0\). Παίρνοντας λοιπόν \(N\to\infty\) στην (4.4) παίρνουμε ότι
\[ \Px{ T_b < T_a } = \frac{ x-a }{ b-a }. \]\begin{align} x^2&=\Ex{M_0}=\Ex{M_{T_{a,b}\wedge N}}=\Ex{S_{T_{a,b}\wedge N}^2}-\Ex{T_{a,b}\wedge N}. \end{align}
Όπως και στο προηγούμενο παράδειγμα, \[ \lim_{ N \to \infty } \Ex{ S_{ T_{a,b} \wedge N }^2}= a^2 \Px{ T_a < T_b } + b^2 \Px{ T_b < T_a } = x(a + b) - ab. \]Για να υπολογίσουμε το όριο του \(\Ex { T_{ a, b } \wedge N}\), μπορούμε είτε να επικαλεστούμε το Θεώρημα μονότονης σύγκλισης της Θεωρίας Μέτρου (δείτε το Πόρισμα 1.6 στο [Varadhan01]), είτε να χρησιμοποιήσουμε το ακόλουθο χρήσιμο αποτέλεσμα από τις Πιθανότητες. Αν \(X\) είναι μια τυχαία μεταβλητή που παίρνει με πιθανότητα 1 τιμές στους μη αρνητικούς ακεραίους, όπως π.χ. η \(T_{a,b}\) και η \(T_{a,b}\wedge N\) στο παράδειγμά μας, τότε
\[ \EE{X}=\sum_{k=0}^\infty \PP{X>k}. \] Έχουμε λοιπόν ότι \begin{align*} \Ex{T_{a,b}\wedge N}&=\sum_{k=0}^\infty \Px{T_{a,b}\wedge N>k}=\sum_{k=0}^{N-1} \Px{T_{a,b}>k}. \end{align*} Επομένως, \[ \lim_{N\to\infty}\Ex{T_{a,b}\wedge N}=\lim_{N\to\infty}\sum_{k=0}^{N-1} \Px{T_{a,b}>k}=\sum_{k=0}^\infty \Px{T_{a,b}>k}=\Ex{T_{a,b}}. \] Παίρνοντας το όριο \(N\to\infty\) στην (4.5) παίρνουμε \[ \Ex{T_{a,b}}=(x-a)(b-x). \]Στην ειδική περίπτωση όπου \(-a=b=R\) και \(x=0\), αν συμβολίσουμε με \(T_R=\inf\{k\ge 0: |S_k|\ge R\}\) τον χρόνο άφιξης του περιπάτου στο \(\{-R,R\}\), έχουμε
\[ \E_0\big[{T_R}\big]=R^2. \]Βλέπουμε λοιπόν ότι ο αναμενόμενος χρόνος μέχρι ο απλός, συμμετρικός τυχαίος περίπατος να διανύσει απόσταση \(R\), είναι \(R^2\). Αυτό είναι ένα χαρακτηριστικό των διαχυτικών διαδικασιών, που δεν έχουν την τάση να μετακινούνται προς κάποια κατεύθυνση και η μετακίνησή τους συμβαίνει μόνο ως αποτέλεσμα τυχαίων διακυμάνσεων.
Παρατηρήστε ότι οι παραπάνω τιμές του \(\alpha\) είναι η μία αντίστροφη της άλλης. Εύκολα επίσης ελέγχεται ότι το άθροισμα δύο \(\ma\) είναι ομοίως μια \(\ma\). Επομένως, η διαδικασία \(\{M_n\}_{n\in\N_0}\) με
\[ M_n=\big(\alpha^{S_n}+\alpha^{-S_n}\big)z^n, \] είναι \(\ma\). Εφαρμόζοντας το Θεώρημα επιλεκτικής διακοπής γι' αυτή τη \(\ma\) και τον φραγμένο χρόνο διακοπής \(T_R\wedge N\), έχουμε\begin{equation} \alpha^x+\alpha^{-x}=\Ex{M_0}=\Ex{M_{T_R\wedge N}}=\Ex{M_{T_R}1\!\!1\{T_R\le N\}}+\Ex{M_N1\!\!1\{T_R>N\}}. \end{equation}
Παρατηρήστε τώρα ότι, στο ενδεχόμενο \(T_R>N\), ο περίπατος βρίσκεται μέσα στο σύνολο \(I_R=\{-R,\ldots,R\}\) τη χρονική στιγμή \(N\). Χρησιμοποιώντας ότι \(\alpha^k+\alpha^{-k}\le \alpha^R+\alpha^{-R}\) για κάθε \(k\in I_R\) και ότι \(z\in(0,1)\) έχουμε ότι
\[ \Ex{M_N1\!\!1\{T_R>N\}}\le (\alpha^R+\alpha^{-R})\Px{T_R>N}\to 0, \text{ καθώς } N\to\infty. \]Επιπλέον, από τον ορισμό του χρόνου διακοπής \(T_R\), έχουμε ότι \(M_{T_R}=(\alpha^R+\alpha^{-R})z^{T_R}.\) Επομένως, \begin{align*} \Ex{M_{T_R}1\!\!1\{T_R\le N\}}&=(\alpha^R+\alpha^{-R})\Ex{z^{T_R}1\!\!1\{T_R\le N\}}=(\alpha^R+\alpha^{-R})\sum_{k=0}^N z^k\Px{T_R=k}\\ &\longrightarrow (\alpha^R+\alpha^{-R})\sum_{k=0}^\infty z^k\Px{T_R=k}=(\alpha^R+\alpha^{-R})\Ex{z^{T_R}}. \end{align*} Παίρνοντας το όριο καθώς \(N\to\infty\) στη σχέση (4.6) έχουμε λοιπόν ότι
\[ \Ex{z^{T_R}}=\frac{\alpha^x(z)+\alpha^{-x}(z)}{\alpha^R(z)+\alpha^{-R}(z)}, \quad z\in(0,1), \]όπου \(\alpha(z)=\frac{1-\sqrt{1-z^2}}{z}.\)
Στην παράγραφο αυτή θα δούμε πώς μπορούμε να υπολογίσουμε, με τη βοήθεια του Θεωρήματος επιλεκτικής διακοπής, πολλές
ενδιαφέρουσες ποσότητες που εμφανίζονται όταν μελετάμε μαρκοβιανές
αλυσίδες.
Ας ξεκινήσουμε με έναν απλό υπολογισμό. Έστω \(\xn\) μια
μαρκοβιανή αλυσίδα στον αριθμήσιμο χώρο καταστάσεων \(\X\). Θεωρούμε
μια συνάρτηση \(f:\X\to\R\), τέτοια ώστε \(\EE{|f(X_n)|}<\infty\) για
κάθε \(n\in\N_0\). Από τη μαρκοβιανή ιδιότητα έχουμε ότι
\(\EE{f(X_{n+1})\,\big|\,\F_n}=\EE{f(X_{n+1})\,\big|\,X_n}\). Αυτή η
δεσμευμένη μέση τιμή είναι, όπως είδαμε, μια τυχαία μεταβλητή, η οποία
είναι συνάρτηση της \(X_n\) και η τιμή της στο ενδεχόμενο
\(\{X_n=x\}\) είναι
\begin{equation} \EE{f(X_{n+1})\,\big|\,\F_n}=\sum_{y\in\X} p(X_n,y)f(y). \end{equation}
Απόδειξη: Παρατηρήστε αρχικά ότι \[
Lf(X_k)=\sum_{y\in\X}p(X_k,y)\big(f(y)-f(X_k)\big)=
\sum_{y\in\X}p(X_k)f(y)-f(X_k)\sum_{y\in\X}p(X_k,y)=\EE{f(X_{k+1})\,\big|\,\F_n}-f(X_k).
\] Έχουμε επομένως \[
Μ^f_{n+1}-M^f_{n}=f(X_{n+1})-f(X_n)-Lf(X_n)=f(X_{n+1})-\EE{f(X_{n+1})\,\big|\,\F_n}
\] και \begin{align*} M^f_n&=M^f_0+\sum_{k=1}^{n}
\big(M^f_{k}-M^f_{k-1}\big)=f(X_0)+\sum_{k=1}^{n}
f(X_k)-\EE{f(X_{k})\,\big|\,\F_{k-1}}. \end{align*} Από την τριγωνική
ανισότητα παίρνουμε ότι \(\EE{|M^f_n|}<\infty\), ενώ \[
\EE{M^f_{n+1}\,\big|\,\F_n}=M^f_n+\EE{M^f_{n+1}-M^f_n\,\big|\,\F_n}=M^f_n.\qquad\qquad\Box
\] Χρησιμοποιώντας το Θεώρημα επιλεκτικής διακοπής, κάθε \(\ma\) που
μπορούμε να γράψουμε μας δίνει μια πληροφορία για τη συμπεριφορά της
στοχαστικής διαδικασίας που μελετάμε. Το Θεώρημα 4.5 μας
προσφέρει έναν συστηματικό τρόπο για να κατασκευάζουμε \(\ma\) που
σχετίζονται με μια μαρκοβιανή ανέλιξη που θέλουμε να αναλύσουμε.
Επιλέγοντας κατάλληλα τη συνάρτηση \(f\), μπορούμε να κάνουμε
χρήσιμους υπολογισμούς.
Αυτή η ιδέα ρίχνει καινούργιο φως στα αποτελέσματα του
Κεφαλαίου 3
. Για παράδειγμα, αν επιλέξουμε ως \(f\) τη λύση του ΠΣΤ 3.2
\begin{equation} \begin{cases} \quad Lf(x)=0, & \text{ αν } x\notin
A\cup B\\ \quad f(x)=1, &\text{ αν } x\in A\\ \quad f(x)=0, &\text{ αν }
x\in B\end{cases} \end{equation} και εφαρμόσουμε το Θεώρημα
επιλεκτικής διακοπής για τον χρόνο διακοπής \(T_N=T_{A\cup B}\wedge
N\), παίρνουμε ότι \begin{align*}
f(x)&=\Ex{M^f_{T_N}}=\Ex{f(X_{T_N})-\sum_{k=0}^{T_N-1}Lf(X_k)}=\Ex{f(X_{T_N})},\quad\text{για
κάθε } N\in\N, \end{align*} όπου στην τελευταία ισότητα χρησιμοποιήσαμε
ότι πριν τον χρόνο \(T_N\), η αλυσίδα οπωσδήποτε βρίσκεται εκτός των
\(A\) και \(B\), οπότε \(Lf(X_k)=0\) στο παραπάνω άθροισμα. Προσέξτε
ότι η εξίσωση που η \(f\) ικανοποιεί εκτός των \(A\) και \(B\),
επιλέχθηκε ακριβώς ώστε να απλοποιήσει την παραπάνω έκφραση. Προσέξτε
ακόμη ότι οι συνοριακές συνθήκες για την \(f\) έχουν έτσι επιλεγεί,
ώστε περνώντας στο όριο (όταν αυτό είναι δυνατόν) το δεξί μέλος να
μας δίνει την πιθανότητα \(\Px{ T_A < T_B } \).
Ανάλογα μπορεί να σκεφτεί κανείς και για τη λύση \(f\) του
ΠΣΤ 3.13
\begin{equation} \begin{cases} \quad Lf(x)=-1, & \text{ αν } x\notin
A\\ \quad f(x)=0, &\text{ αν } x\in A.\end{cases} \end{equation} Εδώ
έχουμε επιλέξει την εξίσωση που ικανοποιεί η \(f\) εκτός του \(A\),
ώστε το άθροισμα \[ -\sum_{k=0}^{T_N-1}Lf(X_k)=T_N \] να εμφανίζει
την ποσότητα της οποίας την αναμενόμενη τιμή θέλουμε να βρούμε.
Επιπλέον, οι μηδενικές συνοριακές συνθήκες εξασφαλίζουν ότι δεν θα
έχουμε άλλους ανεπιθύμητους όρους.
Ο πρώτος όρος του δεξιού μέλους φράσσεται από την \(R\Px{T_R>N}\to R\Px{T_R=\infty}=0\), αφού η ακολουθία ενδεχομένων \(C_N=\{T_R>N\}\) είναι φθίνουσα και \(\cap_N C_N=\{T_R=\infty\}\). Για τον δεύτερο όρο, μπορούμε είτε να χρησιμοποιήσουμε το Θεώρημα μονότονης σύγκλισης (Πόρισμα 1.6 στο [Varadhan01]), είτε να ελέγξουμε, με τη βοήθεια του Θεωρήματος Fubini-Tonelli, ότι \[ \Ex{\sum_{k=0}^{T_R\wedge N-1}\delta_{0}(X_k)}=\sum_{k=0}^{N-1}\Ex{\delta_0(X_k)1\!\!1\{T_R>k\}}. \] Έχουμε τότε ότι \[ \lim_{N\to\infty}\Ex{\sum_{k=0}^{T_R\wedge N-1}\delta_{0}(X_k)}=\sum_{k=0}^{\infty}\Ex{\delta_0(X_k)1\!\!1\{T_R>k\}}=\Ex{\sum_{k=0}^{T_R-1}\delta_{0}(X_k)}. \] Επομένως, \[ \Ex{\sum_{k=0}^{T_R-1}\delta_{0}(X_k)}=R-|x|. \]
\begin{equation} \begin{cases} \quad Lf(x)=0, &\text{ αν } x\notin A\\ \quad f(x)=g(x), &\text{ αν } x\in A\end{cases} \end{equation}
έχει το πολύ μια φραγμένη λύση, που δίνεται από την \[ f(x)=\Ex{g(X_{T_A})}. \]Επομένως, παίρνοντας \(N\to\infty\) έχουμε ότι \(f(x)=\Ex{g(X_{T_A})}\).
\(\Box\)
4.10, τότε έχουμε έναν τρόπο για να υπολογίσουμε την \(\Ex{g(X_{T_A})}.\) Αντίστροφα, αν θέλουμε να λύσουμε το ΠΣΤ 4.10, που συχνά είναι μια εξίσωση διαφορών σε πολλές διαστάσεις, μπορούμε να βρούμε τη λύση προσεγγιστικά, προσομοιώνοντας τροχιές μιας μαρκοβιανής αλυσίδας με γεννήτορα \(L\) και εκτιμώντας τη μέση τιμή \(\Ex{g(X_{T_A})}\) με μεθόδους Monte Carlo.