10.1. Εισαγωγή

Οι άνθρωποι αλληλεπιδρούν με διαφορετικά μέσα και με διαφορετικούς τρόπους.

• Διαβάζουν ένα βιβλίο
• Παρακολουθούν μια ταινία
• Ακούν μουσική

Η ειδοποιός διαφορά με την επαυξημένη πραγματικότητα είναι ότι ο τρόπος αλληλεπίδρασης με αυτή είναι να την βιώσουν. Η επαυξημένη πραγματικότητα μπορεί να ερεθίσει πολλές από τις αισθήσεις μας, αν και ώς τώρα είναι πρωτίστως οπτικό μέσο. Απαιτείται λοιπόν αλληλεπίδραση με την ΕπΠ, προκειμένου να αποκτηθεί η εμπειρία που παρέχει. Η επαυξημένη πραγματικότητα μπορεί να υποστηρίξει πολλές διαφορετικές περιοχές εφαρμογής. Μπορεί να εφαρμοστεί στην εκπαίδευση, την ψυχαγωγία, την ιατρική, και σε πολλές ακόμα περιοχές. Καθένα από αυτά τα πεδία εφαρμογής και αντίστοιχα συγκεκριμένες εφαρμογές αποτελούν μια εμπειρία.

Τι αποτελεί, λοιπόν, μια εμπειρία επαυξημένης πραγματικότητας; Εν συντομία, ο πυρήνας μιας εμπειρίας επαυξημένης πραγματικότητας έγκειται στο ότι ο χρήστης αλληλεπιδρά με το φυσικό κόσμο με τον ίδιο τρόπο που θα αλληλεπιδρούσε ανεξάρτητα από την ύπαρξή της. Μέσω της ΕπΠ αλληλεπιδρούμε με τον κανονικό κόσμο, ως συνήθως, αλλά υπάρχουν προσθήκες σε αυτόν, που αποτελούνται από ψηφιακές συνήθως πληροφορίες, οι οποίες τοποθετούνται στον κόσμο για να τον επαυξήσουν με πράγματα που κανονικά δε θα βλέπαμε, ακούγαμε, αγγίζαμε ή αισθανόμασταν κανονικά.

Για να κατανοήσουμε καλύτερα τα προαναφερόμενα ας θεωρήσουμε το ακόλουθο παράδειγμα. Φανταστείτε ότι επισκέπτεστε έναν αρχαιολογικό χώρο και ενώ βρίσκεστε μπροστά από τα ερείπια του αρχαιολογικού χώρου, μπορείτε με τη χρήση της τεχνολογίας να δείτε πάνω στις ακριβείς θέσεις των ερειπίων πώς ήταν τα κτίρια στην αρχική τους μορφή στο παρελθόν. Ουσιαστικά, βιώνετε μια εμπειρία επαυξημένης πραγματικότητας. Μπορείτε να περπατήσετε στο χώρο και να δείτε από όλες τις διαφορετικές όψεις, ακριβώς πώς ήταν κάθε δωμάτιο και προαύλιος χώρος, τα έπιπλα που χρησιμοποιούσαν, σκεύη, διακοσμήσεις κλπ. Μπορείτε, επίσης, να αλληλεπιδράσετε με διάφορα αντικείμενα της εποχής, να ανοίξετε πόρτες και να χρησιμοποιήσετε κάποιον αρχαίο μηχανισμό ενέργειες που θα μπορούσατε να κάνετε έτσι ακριβώς όπως και στον πραγματικό κόσμο. Ωστόσο, οι εμπειρίες ΕπΠ μπορούν ακόμη να προσφέρουν τη δυνατότητα να βιώσετε εμπειρίες που δεν είναι δυνατό να τις ζούσατε αλληλεπιδρώντας με τον πραγματικό κόσμο. Ίσως για παράδειγμα θα θέλατε να δείτε το κτίριο με διαφορετικό χρώμα στους τοίχους ή να δείτε πώς λειτουργούσαν μέσα σε αυτό οι άνθρωποι της εποχής, ή ακόμα να δείτε τη διαδικασία στο χρόνο μέσα από την οποία μετατράπηκε το κτίριο αυτό από την αρχική του μορφή στα σημερινά ερείπια. Όλα αυτά είναι δυνατά χρησιμοποιώντας την επαυξημένη πραγματικότητα.

10.2. Τι είναι η Επαυξημένη Πραγματικότητα;

Από την αρχή του χρόνου, η ανθρωπότητα επιδίωξε να αλλάξει και να βελτιώσει το περιβάλλον της. Οι πρώτες προσπάθειες για να τροποποιήσει και να ενισχύσει το φυσικό κόσμο αφορούσαν το χειρισμό φυσικών αντικειμένων. Αργότερα, έμαθαν να συμβολίζουν την πληροφορία και να δημιουργούν εικόνες, όπως πίνακες ζωγραφικής στους τοίχους σπηλιών για λειτουργικούς σκοπούς, για να υποδείξουν ένα χάρτη για μια τοποθεσία, να πουν μια ιστορία, ή μόνο για λόγους αισθητικής.

Καθώς η ανθρωπότητα και η τεχνολογία προχώρησε, οι ιδέες έγιναν πολύ πιο σημαντικές και εκφράστηκαν συμβολικά, είτε με ρεαλιστικό τρόπο (όπως ένα κύριο λεκτικό σχέδιο) είτε συμβολικά (όπως ένας χάρτης). Σ’ αυτό το σημείο της ιστορίας, ο κόσμος αποτελείται από φυσικές οντότητες, αλλά και ιδέες και αντιπροσωπεύσεις των ιδεών αυτών με διάφορα φυσικά μέσα. Οι διάφορες ιδέες εκφράστηκαν με διάφορους τρόπους όπως μέσα από πίνακες ζωγραφικής, γλυπτική, μουσική, χορό κλπ. Μέχρι τον 20ο αιώνα, εάν ήταν επιθυμητό να προσθέσουμε πληροφορία σε ένα συγκεκριμένο φυσικό χώρο, ο μόνος τρόπος για να γίνει αυτό ήταν να δημιουργήσουμε ένα φυσικό αντικείμενο που είτε συνιστούσε τη δική του υπόσταση, είτε είχε ως στόχο την αναπαράσταση πληροφοριών. Για παράδειγμα, αν θέλαμε να προσδιορίσουμε τις διόδους διαφυγής σε ένα συγκεκριμένο κτίριο σε περίπτωση ανάγκης, έπρεπε να αναρτήσουμε πινακίδες που να προσδιορίζουν τις εξόδους πάνω από τις αντίστοιχες πόρτες, να τοποθετήσουμε χάρτες που να δείχνουν σε κάτοψη τη διαδρομή από κάθε όροφο του κτιρίου προς τις εξόδους και να συντάξουμε σε κείμενο τις οδηγίες προς τους ενοίκους, καθώς και να τοποθετήσουμε συναγερμούς που να ειδοποιούν ηχητικά σε περίπτωση ανάγκης.

Στην περίπτωση όμως που θα έπρεπε να αλλάξουμε τις πληροφορίες σχετικά με αυτό το μέρος ή την κατάσταση που επικρατούσε, θα ήταν απαραίτητο να κατασκευάσουμε από την αρχή πινακίδες και χάρτες του κτιρίου, ή τουλάχιστον να μεταβάλλουμε τις οδηγίες. Με την πρόοδο της τεχνολογίας κατέστη δυνατή η κατασκευή πινακίδων με μεταβαλλόμενο μήνυμα, που θα μπορούσε να αλλάξει κατά βούληση. Έτσι, αναφορικά με το προαναφερόμενο παράδειγμα, αν υπήρχε ανάγκη να αλλάξουμε την κατεύθυνση προς μία πιο ασφαλή έξοδο διαφυγής, θα μπορούσαμε χρησιμοποιώντας π.χ. πινακίδες LED και με το πάτημα μερικών διακοπτών να ορίσουμε είτε μόνιμα είτε προσωρινά ένα νέο βέλος κατεύθυνσης ή ένα μήνυμα. (Εικόνα 10.1).

Εικόνα 10.1. Παράδειγμα μεταβαλλόμενης πινακίδας ανάγκης (Πηγή: Wikimedia Commons, Chris.rider81, CC BY 3.0)

Η έλευση της εποχής της πληροφορίας και οι ψηφιακοί υπολογιστές επέτρεψαν την ψηφιακή αναπαράσταση πληροφοριών. Με τους υπολογιστές, μεγάλοι όγκοι δεδομένων μπορούν να αποθηκεύονται, να υπόκεινται σε επεξεργασία και να ανακτώνται με μεγάλη ταχύτητα, απαιτώντας ελάχιστο χώρο αποθήκευσης. Με αυτήν την ικανότητα άμεσης μεταβολής και ανάκτησης της πληροφορίας δημιουργείται παράλληλα και ένας πιο ισχυρός τρόπος τροποποίησης και επαύξησης του περιβάλλοντός μας. Επιπρόσθετα, με την αύξηση της ισχύος και τη μείωση του κόστους και του μεγέθους των υπολογιστικών συσκευών, η ικανότητα να υπολογίζουμε προσομοιώσεις φυσικών ή/και φανταστικών γεγονότων που καθιστά τη διαφορά μεταξύ του «πραγματικού» και του «εικονικού» ολοένα και πιο μικρή. Ακόμη, με την ικανότητα για όλο και πιο περίπλοκες υπολογιστικά προσομοιώσεις, καθίσταται δυνατή η αντικατάσταση ορισμένων φυσικών αντικειμένων και συσκευών με προσομοιώσεις που συμπεριφέρονται με τον ίδιο τρόπο.

Η ικανότητα παραγωγής και απεικόνισης τρισδιάστατων (3D) γραφικών υπολογιστή σε πραγματικό χρόνο μας παρείχε πλέον τη δυνατότητα να δημιουργού με σκηνές που δεν ήταν δυνατόν να δημιουργήσουμε σε έναν καθαρά φυσικό κόσμο. Ενώ στο παρελθόν φωτογραφικά και κινηματογραφικά τεχνάσματα μας έδωσαν απλώς μια ιδέα από τους φανταστικούς κόσμους, ή εικόνες κόσμων που φαντάζουν πραγματικοί, τα γραφικά υπολογιστών μας επέτρεψαν οτιδήποτε φανταζόμαστε, να μπορεί να δημιουργηθεί και απεικονιστεί με τόση ακρίβεια, σε σημείο που να ξεγελά τις αισθήσεις μας. Πλέον, ο περισσότερος κόσμος έχει έρθει σε επαφή με εμπειρίες τρισδιάστατων απεικονίσεων, όπως ταινίες και ηλεκτρονικά παιχνίδια∙ σε αρκετές περιπτώσεις χρησιμοποιούνται συστήματα στερεοσκοπικής απεικόνισης ή ακόμη και φυσικής αλληλεπίδρασης μέσα από συσκευές όπως το Nintendo Wii και το Microsoft Kinect (Εικόνα 10.2).

Ακόμη και με τα συστήματα που περιγράφηκαν πιο πάνω, (3D ταινίες, ηλεκτρονικά παιχνίδια κλπ.), η εικόνα εμφανίζεται σε μια οθόνη που υφίσταται στον πραγματικό κόσμο. Αν μετακινηθεί η οθόνη, η απεικόνιση κινείται μαζί της. Ομοίως, συμπεριφέρονται ο υπολογιστής ή η κονσόλα ηλεκτρονικών παιχνιδιών∙ αυτό που προβάλλεται στην οθόνη μπορεί να τοποθετεί χαρακτήρες, αντικείμενα και χώρους σε μια συγκεκριμένη τοποθεσία, αλλά η τοποθεσία αυτή παραμένει ανεξάρτητη από τον τόπο που προβάλλονται στον πραγματικό κόσμο. Για παράδειγμα, ας φανταστούμε μια ταινία που παίζει στην Αθήνα. Τα αντικείμενα και οι χαρακτήρες εμφανίζονται σε μια οθόνη σε έναν κινηματογράφο που βρίσκεται στην Αθήνα. Η ίδια ταινία θα μπορούσε να παίζει στη Θεσσαλονίκη, και τα αντικείμενα και οι χαρακτήρες στην ταινία είναι σε μια οθόνη σε έναν κινηματογράφο στη Θεσσαλονίκη, αλλά η ιστορία που εμφανίζεται στην οθόνη εκτυλίσσεται στο ίδιο μέρος, όπως και όταν προβαλλόταν στην Αθήνα. Αντίστοιχα, κάποιος που παίζει Wii στο σαλόνι του στο Ηράκλειο, βλέπει τους χαρακτήρες και τα αντικείμενα του παιχνιδιού στην τηλεόραση του στο Ηράκλειο. Το παιχνίδι μπορεί να εκτυλίσσεται σε διαφορετική τοποθεσία, αλλά αυτή η τοποθεσία δε συνδέεται γεωγραφικά με τη θέση του παίκτη στον πραγματικό κόσμο.

(α) Nintendo Wii (Πηγή: Wikimedia Commons, Evan-Amos, Public Domain)	(β) Microsoft Kinect (Πηγή: Wikimedia Commons, The Community-Pop Culture Geek, CC BY 2.0)

Εικόνα 10.2. Συσκευές που επιτρέπουν τη φυσική αλληλεπίδραση

Είδαμε στο προηγούμενο κεφάλαιο ότι η Εικονική Πραγματικότητα ορίζεται ως "Ένα αλληλεπιδραστικό, τρισδιάστατο περιβάλλον, κατασκευασμένο από υπολογιστή, στο οποίο μπορεί κάποιος να εμβυθιστεί". Η Επαυξημένη Πραγματικότητα, αντίθετα, αντιστρέφει τον παραπάνω ορισμό που βασίζεται στην «εμβύθιση» του χρήστη σε ένα φανταστικό κόσμο, ενσωματώνοντας την πληροφορία που παράγει ο υπολογιστής στον πραγματικό κόσμο του χρήστη.

Σύμφωνα με τον Ronald Azuma [Azuma, 1997], τα τρία χαρακτηριστικά που καθορίζουν την επαυξημένη πραγματικότητα είναι τα εξής:

1. Συνδυάζει το πραγματικό και το εικονικό
2. Είναι διαδραστική σε πραγματικό χρόνο
3. Η πληροφορία χωροθετείται στις τρεις διαστάσεις

Με τη χρήση σύγχρονων τεχνολογιών χωροθέτησης, όπως το GPS (Global Positioning System), αισθητήρων κίνησης, αδράνειας και διεύθυνσης, καμερών ενσωματωμένων σε συσκευές και αισθητήρων βάθους, είναι δυνατό πλέον να ορίσουμε την ΕπΠ ως:

«την τεχνολογία η οποία γνωρίζοντας πού βρίσκεται ο χρήστης, προς τα πού κοιτάει, πώς είναι ο χώρος στον οποίο βρίσκεται και τι είναι το αντικείμενο με το οποίο αλληλεπιδρά στον πραγματικό κόσμο, επιτρέπει τη χωρική και χρονική συσχέτιση πληροφορίας που παράγει ο υπολογιστής και την εμφανίζει σε τρισδιάστατη υπέρθεση με το φυσικό κόσμο, σε πραγματικό χρόνο».

Στην επόμενη ενότητα θα δούμε τις βασικές τεχνολογίες και έννοιες που επιτρέπουν τη συσχέτιση αυτή σε μεγαλύτερη λεπτομέρεια.

10.3. Βασικές Έννοιες και Υλικό Επαυξημένης Πραγματικότητας

Ας δούμε λοιπόν, πώς υλοποιούνται τα χαρακτηριστικά που διέπουν την Επαυξημένη Πραγματικότητα. Έχουμε αρχικά υπόψη μας πως οι εφαρμογές επαυξημένης πραγματικότητας μπορούν να περιγραφούν ως μια διαδικασία δύο σταδίων και στη συνέχεια θα συμπληρώσουμε με περισσότερες λεπτομέρειες τι εμπλέκεται σε καθένα από αυτά τα δύο βήματα και τους διάφορους τύπους τεχνολογιών που μπορεί να χρησιμοποιούνται για την εκτέλεση αυτών των βημάτων.

Σε γενικές γραμμές, για κάθε χρονικό βήμα μιας εφαρμογής επαυξημένης πραγματικότητας θα πρέπει η εφαρμογή:

1. Να καθορίσει την τρέχουσα κατάσταση του φυσικού κόσμου καθώς και του εικονικού κόσμου.
2. Να εμφανίσει την εικονική πληροφορία με χωρική και χρονική συσχέτιση με τον πραγματικό κόσμο κατά τρόπο που θα επιτρέψει στο χρήστη να αντιληφθεί τα εικονικά στοιχεία ως μέρος του φυσικού κόσμου και στη συνέχεια να επιστρέψει στο βήμα1,για να προχωρήσουμε στο επόμενο χρονικό βήμα.

Υπάρχουν τρία δομικά στοιχεία σε ένα σύστημα επαυξημένης πραγματικότητας για την υποστήριξη των βημάτων που μόλις αναφέρθηκαν. Αυτά συνίστανται σε:

1. Έναν ή περισσότερους αισθητήρες, για να καθοριστεί η κατάσταση του φυσικού κόσμου όπου έχει αναπτυχθεί η εφαρμογή
2. Έναν επεξεργαστή, ώστε να αξιολογηθούν τα δεδομένα των αισθητήρων, να υλοποιηθεί η εφαρμογή των φυσικών και άλλων κανόνων του εικονικού κόσμου, και να παραχθούν τα σήματα που απαιτούνται για την οδήγηση της οθόνης
3. Μια παρουσίαση κατάλληλη που να δημιουργεί την αίσθηση ότι ο εικονικός και ο πραγματικός κόσμος συνυπάρχουν και να εντυπωθεί στις αισθήσεις του χρήστη ο συνδυασμός φυσικού και εικονικού κόσμου.

Στη συνέχεια θα δούμε με τη σειρά που τα θέσαμε, το ρόλο που καθένα από αυτά τα στοιχεία παίζει στο συνολικό σύστημα της επαυξημένης πραγματικότητας.

10.3.1. Αισθητήρες

Για να είναι σε θέση να ανταποκριθεί σωστά στο φυσικό κόσμο, μια εφαρμογή Επαυξημένης Πραγματικότητας πρέπει να παρέχει πληροφορίες σχετικά με τον κόσμο αυτό σε πραγματικό χρόνο. Τρείς κύριες κατηγορίες αισθητήρων χρησιμοποιούνται σε συστήματα ΕπΠ:

• αισθητήρες που χρησιμοποιούνται για παρακολούθηση (tracking),
• αισθητήρες για τη συλλογή περιβαλλοντικών πληροφοριών,
• αισθητήρες για διάδραση του χρήστη.

Στα προηγούμενα Κεφάλαια είδαμε πώς στα τρισδιάστατα συστήματα συντεταγμένων έχουμε έξι βαθμούς ελευθερίας, δηλαδή θέση στις διαστάσεις X, Y και Ζ και περιστροφή γύρω από τους άξονες X, Y και Ζ. Επειδή η ΕπΠ εξαρτάται από τη χωρικά εγγεγραμμένη πληροφορία, πρέπει να υπάρχει κάποιος μηχανισμός για τον προσδιορισμό πληροφοριών σχετικά με τη θέση του χρήστη, του πραγματικού κόσμου, και οποιονδήποτε συσκευών ΕπΠ. Τη λειτουργία αυτή την αποκαλούμε χωρική τοποθέτηση και παρακολούθηση (registration and tracking). Σχηματικά η διαδικασία απεικονίζεται στην Εικόνα 10.3.

Τα παρακάτω είναι τα βασικότερα συστήματα αισθητήρων χωρικής τοποθέτησης και παρακολούθησης:

Εικόνα 10.3. Σχηματική απεικόνιση της χωρικής τοποθέτησης και παρακολούθησης

10.3.2. Κάμερα (Υπολογιστική όραση)

Προκειμένου να καταστεί δυνατή η όραση μέσω υπολογιστή, ο αισθητήρας που απαιτείται είναι μια κάμερα. Η κάμερα "βλέπει" τον πραγματικό κόσμο και, με βάση αυτό που «βλέπει», μπορεί να προσδιοριστεί ο τόπος όπου βρίσκεται η κάμερα και πώς είναι προσανατολισμένη σε σχέση με τη σκηνή. Για να υλοποιηθεί η υπολογιστική όραση, απαιτείται λογισμικό για την ανάλυση των εικόνων που συλλέγονται από την κάμερα ώστε να καθοριστεί τι "βλέπει" η κάμερα. Με βάση τις πληροφορίες αυτές, το λογισμικό υπολογίζει πού βρίσκεται η κάμερα σε σχέση με αυτό που κοιτάζει. Για το σκοπό αυτό, πρέπει να υπάρχουν κατάλληλα σύμβολα στο περιβάλλον τα οποία η κάμερα μπορεί να χρησιμοποιήσει ως ορόσημα για τον καθορισμό της θέσης και του προσανατολισμού σε σχέση με τα εν λόγω ορόσημα. Τα ορόσημα μπορεί να είναι φυσικά χαρακτηριστικά του περιβάλλοντος ή μπορεί να τοποθετηθούν τεχνητά στο περιβάλλον.

Πολλές εφαρμογές για να δώσουν λύση στο πρόβλημα της υπολογιστικής όρασης, χρησιμοποιούν εδικά ορόσημα ΕπΠ, τα οποία τοποθετούνται τεχνητά στο περιβάλλον∙ αυτά αποτελούν εικόνες τις οποίες η εφαρμογή μπορεί εύκολα να αναγνωρίσει. Οι εικόνες που χρησιμοποιούνται ειδικά για το σκοπό αυτό καλούνται καθοδηγητικοί δείκτες (fiducial markers) [Kato, 1999] (Εικόνα 10.4).

Εικόνα 10.4. Παράδειγμα καθοδηγητικού δείκτη και εφαρμογής που χρησιμοποιεί δείκτη για χωρική τοποθέτηση (Πηγή: Wikimedia Commons, Kippelboy, CC BY-SA 3.0).

Οι καθοδηγητικοί δείκτες είναι συνήθως φυσικά αντικείμενα, όπως κομμάτια από χαρτί με μελάνι τυπωμένο πάνω τους, αλλά μπορούν ακόμα και να απεικονίζονται ηλεκτρονικά, όπως σε μια οθόνη φορητού υπολογιστή, ένα tablet ή ένα smartphone. Σε αυτούς τους τύπους των συσκευών οι δείκτες μπορούν να δημιουργούνται δυναμικά, έτσι ώστε να μπορεί να αλλάξουν με βάση την κατάσταση, ή να αλλάζουν κατά την πάροδο του χρόνου, κλπ. Αυτή η δυνατότητα είναι διαφορετική από αυτήν της αλλαγής των αντικειμένων που συνδέονται με το δείκτη, ωστόσο και οι δύο αυτές μέθοδοι μπορούν να επιτύχουν ένα παρόμοιο αποτέλεσμα (Εικόνα 10.5).

Κάμερες Ορατού Φωτός

Οι κάμερες ορατού φωτός ανιχνεύουν τα αντικείμενα μέσω επεξεργασίας της εικόνας στο επίπεδο του χρώματος RGB, ψάχνοντας για συγκεκριμένα μοτίβα που αντιστοιχούν σε γνωστά αντικείμενα. Οποιαδήποτε κάμερα (π.χ. ενσωματωμένη σε κινητή συσκευή, webcam, ψηφιακή βιντεοκάμερα κλπ.) μπορεί να επιτελέσει το ρόλο αυτό, με μοναδικό περιορισμό την ταχύτητα λήψης κάθε καρέ και της ανάλυσης της εικόνας, που θα πρέπει να είναι τέτοια ώστε να επιτρέπει στο υπολογιστικό σύστημα να μπορεί να επεξεργαστεί την εικόνα σε πραγματικό χρόνο (Εικόνα 10.6).

Εικόνα 10.5. Παράδειγμα μεταβαλλόμενου καθοδηγητικού δείκτη σε οθόνη κινητού (Πηγή: sankalp, Interactive Art and Computational Design, Carnegie Mellon University - CC BY-NC-SA 3.0).

Εικόνα 10.6. Παράδειγμα χρήσης κάμερας RGB κινητού τηλεφώνου για καθορισμό της θέσης και του προσανατολισμού και παρακολούθηση (Πηγή: Wikimedia Commons, ownwork, Okseduard, CC BY-SA 3.0.)

Κάμερες Υπέρυθρου Φάσματος

Οι κάμερες υπέρυθρου φάσματος έχουν το πλεονέκτημα έναντι αυτών του ορατού φωτός ότι δεν επηρεάζονται από το φωτισμό του χώρου, δηλαδή λειτουργούν και στο σκοτάδι. Επίσης, μπορούν να χρησιμοποιούν ειδικούς αλλά απλούς καθοδηγητικούς δείκτες οι οποίοι είναι ανακλαστικοί ως προς το υπέρυθρο φως και παρέχουν ακριβή θέση και περιστροφή πολλαπλών αντικειμένων ταυτόχρονα. Ως εκ τούτου επιλέγονται σε πολλές εφαρμογές που απαιτούν ακρίβεια (π.χ. παρακολούθηση κίνησης) (Εικόνα 10.7).

(α) Παράδειγμα κάμερας υπέρυθρου φωτός για καθορισμό της θέσης και του προσανατολισμού (Πηγή: WikimediaCommons, AtsKurvet, ownwork, CCBY-SA 4.0)	(β) Παράδειγμα καθοδηγητικών δεικτών IR (Πηγή: Wikimedia Commons, D. Gordon E. Robertson, own work, CC BY-SA 3.0)

Εικόνα 10.7. Κάμερες υπέρυθρου φάσματος σε εφαρμογές ακριβείας

Κάμερες Βάθους

Μια ειδική κατηγορία καμερών που χρησιμοποιείται τα τελευταία χρόνια για παρακολούθηση, αποτελούν οι κάμερες βάθους. Το πιο αντιπροσωπευτικό παράδειγμα τέτοιων καμερών αποτελεί η κάμερα Kinect της Microsoft. Οι κάμερες αυτές που αποκαλούνται και αισθητήρες βάθους, μπορούν να χρησιμοποιηθούν για την παρακολούθηση σε εφαρμογές επαυξημένης πραγματικότητας, παρέχοντας πληροφορία σχετικά με την απόσταση ενός αντικειμένου από τον αισθητήρα. Αυτή η πληροφορία μπορεί να χρησιμοποιηθεί σε συνδυασμό με άλλες τεχνολογίες παρακολούθησης για τον έλεγχο ως προς τη θέση και περιστροφή ενός αντικειμένου. Οι υποκείμενες τεχνολογίες που χρησιμοποιούνται σε κάμερες βάθους μπορούν να είναι οπτικές, ακουστικές (υπέρηχος), ραντάρ, κλπ. (Εικόνα 10.8).

Εικόνα 10.8. Κάμερα βάθους Microsoft Kinect 2 (Πηγή: Wikimedia Commons, Evan-Amos, Public Domain)

Το βασικό πρόβλημα με όλα τα οπτικά συστήματα παρακολούθησης είναι ότι εισάγουν χρονικές καθυστερήσεις στο σύστημα. Χρειάζεται χρόνος για να αποκτήσουν μια εικόνα, να μεταφέρουν την εικόνα στον επεξεργαστή, και στη συνέχεια να αναλυθεί η εικόνα για να καθορίσει την επιθυμητή πληροφορία. Επίσης, βασίζονται στη διαρκώς απευθείας θέαση του αντικειμένου που παρακολουθείται, ειδάλλως όταν αυτό π.χ. κρυφθεί έστω και μερικώς, τότε αποτυγχάνει η παρακολούθηση. Εντούτοις, λόγω του μικρού τους κόστους και της ενσωμάτωσής τους σε φορητές συσκευές, αποτελούν την κυριότερη λύση για παρακολούθηση σε εφαρμογές ΕπΠ.

10.3.3. GPS (Global Positioning System)

Το GPS είναι ένα σύστημα πλοήγησης που χρησιμοποιεί ένα δίκτυο από 24 δορυφόρους στο διάστημα. Ο δέκτης μπορεί να καθορίσει τη θέση του στην επιφάνεια της Γης σε συντεταγμένες Χ και Υ αλλά και την ταχύτητα με την οποία κινείται, εάν μπορεί να συνδεθεί με τουλάχιστον 3 δορυφόρους κάνοντας χρήση της μέτρησης του χρόνου που χρειάζεται για το σήμα GPS να ταξιδέψει από το δορυφόρο στο δέκτη. Συγκρίνοντας το χρόνο που χρειάζεται να επικοινωνήσει με πολλούς δορυφόρους, η θέση του δέκτη μπορεί να υπολογιστεί με ακρίβεια μερικών μέτρων. Εάν υπάρχουν διαθέσιμα 4 ή περισσότερα σήματα δορυφόρου, το υψόμετρο του δέκτη μπορεί, επίσης, να υπολογιστεί.

Τα συστήματα ΕπΠ μπορούν να επωφεληθούν από τις πληροφορίες θέσης που παρέχονται από έναν δέκτη GPS, για να αποκτήσουν πληροφορίες σχετικά με τη θέση του στο Χ, Υ και δυνητικά και στον Z άξονα. Ωστόσο, σε γενικές γραμμές, ένα GPS δεν είναι τόσο χρήσιμο για τον προσδιορισμό του προσανατολισμού του δέκτη ως προς την περιστροφή γύρω από τους άξονες. Αυτό περιορίζει το ρόλο ενός GPS σε συστήματα ΕπΠ σε γενικές γραμμές, ωστόσο οι πληροφορίες του GPS εξακολουθούν να αποτελούν μεγάλο πλεονέκτημα, εάν είναι διαθέσιμες. Ένα παράδειγμα για το πώς οι πληροφορίες από το GPS μπορούν να χρησιμοποιηθούν σε εφαρμογές ΕπΠ είναι ότι επιτρέπουν στο σύστημα να γνωρίζει περίπου πού βρίσκεται γεωγραφικά, και κατά συνέπεια ποια αξιοθέατα περιμένει να αναγνωρίσει στη συνέχεια, χρησιμοποιώντας ένα σύστημα υπολογιστικής όρασης [Feiner, 1997].

Εικόνα 10.9. Χρήση GPS σε εφαρμογή ΕπΠ (Πηγή: Wikimedia Commons, VirtueelPlatform, CCBY-SA 2.0)

Στο προηγούμενο παράδειγμα σχετικά με τη χρήση ενός αξιοθέατου ως καθοδηγητικό δείκτη, ένα GPS μπορεί να παρέχει πληροφορίες σχετικά με την πόλη στην οποία βρίσκεται το σύστημα. Αυτό μπορεί να μειώσει δραστικά το χρόνο της αναζήτησης που θα χρειαστεί το σύστημα για να χρησιμοποιήσει τις σωστές πληροφορίες αξιοθέατων. Ωστόσο το GPS δεν δε θα μπορούσε να αποτελέσει το μόνο μηχανισμός χωρικής ανίχνευσης και παρακολούθησης για εφαρμογές ΕπΠ που απαιτούν πληροφορίες σχετικά με τη διεύθυνση ή / και πληροφοριών υψηλής ακρίβειας αναφορικά με τη θέση της συσκευής πέρα από τη γεωγραφική τους τοποθεσία (Εικόνα 10.9).

10.3.4. Γυροσκόπια, Επιταχυνσιόμετρα και άλλοι τύποι Αισθητήρων

Ένα πλήθος άλλων τύπων αισθητήρων μπορούν να είναι χρήσιμα σε εφαρμογές επαυξημένης πραγματικότητας. Ο στόχος είναι να ληφθούν πληροφορίες σχετικά με το φυσικό κόσμο και να χρησιμοποιηθούν οι πληροφορίες αυτές για να ενημερωθεί η εφαρμογή αντίστοιχα. Μερικοί από τους πιο κοινούς αισθητήρες που χρησιμοποιούνται, ιδιαίτερα σε εφαρμογές ΕπΠ σε κινητές συσκευές, και πολλές τέτοιες συσκευές είναι ήδη εξοπλισμένες με αυτά, περιλαμβάνουν επιταχυνσιόμετρα, πυξίδες, και γυροσκόπια. Τα γυροσκόπια επιστρέφουν τιμές που σχετίζονται με τον προσανατολισμό, δηλαδή, μπορούν να παρέχουν πληροφορίες ως προς τις γωνίες περιστροφής γύρω από τους τρεις άξονες, αλλά δεν παρέχουν πληροφορίες τοποθεσίας. Μπορούν, όμως, να χρησιμοποιηθούν στη μέτρηση του προσανατολισμού μιας φορητής συσκευής. (Εικόνα 10.10).

Οι πυξίδες παρέχουν πληροφορίες σχετικά με τη διεύθυνση ως προς τον κόσμο. Ακριβώς όπως μια κλασική πυξίδα, μια ηλεκτρονική πυξίδα μπορεί να αναφέρει αν η συσκευή έχει βόρεια, νότια, ανατολική, δυτική, ή οποιαδήποτε ενδιάμεση διεύθυνση.

Εικόνα 10.10. Συσκευή Wiimote με το πρόσθετο γυροσκόπιο MotionPlus (Πηγή: Wikimedia Commons, Evan-Amos, Public Domain)

Τα επιταχυνσιόμετρα κάνουν ακριβώς αυτό που υποδηλώνει το όνομά τους: αναφέρουν επιτάχυνση. Μπορούν να χρησιμοποιηθούν για να προσδιοριστεί η κατεύθυνση ως προς την οποία κινείται κάποιος καθώς και για την ανίχνευση αλλαγών στην ταχύτητα κίνησης, χωρίς να εξαρτώνται από την παρουσία σήματος GPS. Ωστόσο, η χρήση των επιταχυνσιόμετρων σε σύστημα πλοήγησης είναι επισφαλής, επειδή οι εκάστοτε μετρήσεις από το επιταχυνσιόμετρο εξαρτώνται από τις προηγούμενες μετρήσεις. Ως εκ τούτου, τα τυχόν λάθη προσαυξάνονται με την πάροδο του χρόνου. Οπότε είναι σημαντικό να έχουν κάποιο τύπο διόρθωσης σφάλματος ή να συνδυάζονται με άλλο αισθητήρα που να μπορεί να παρέχει έναν ελεγκτικό μηχανισμό για τα επιταχυνσιόμετρα. Το πλεονέκτημα που έχουν τα επιταχυνσιόμετρα είναι ότι αποτελούν φθηνή λύση που μπορεί να παράσχει χρήσιμα δεδομένα σε συστήματα ΕπΠ. (Εικόνα 10.11).

Εικόνα 10.11. Τυπικό κύκλωμα επιταχυνσιόμετρου κινητών συσκευών (Πηγή:Wikimedia Commons, ZeptoBars,CC BY 3.0).

10.3.5. Αισθητήρες Διεπαφής Χρήστη

Οι αισθητήρες για τους οποίους έγινε λόγος προηγουμένως είναι κυρίως παθητικοί αισθητήρες από την πλευρά του συμμετέχοντος αναφορικά με την εμπειρία ΕπΠ∙ δηλαδή, αυτοί οι αισθητήρες θα επιτελέσουν τη λειτουργία τους χωρίς ο συμμετέχων να διαδράσει συνειδητά μαζί τους. Βέβαια, είναι σημαντικό να τονιστεί ότι καθώς ο χρήστης κινείται, οι αισθητήρες καταγράφουν τις μεταβολές της κίνησης και ενημερώνουν τα στοιχεία της εφαρμογής ΕπΠ κατάλληλα∙ ωστόσο δεν αποτελεί συνειδητή δράση εκ μέρους του χρήστη να χρησιμοποιήσει ενεργά έναν αισθητήρα.

Μερικοί από τους πιο συνηθισμένους αισθητήρες που συγκεντρώνουν τα δεδομένα εισόδου του χρήστη, περιλαμβάνουν κουμπιά, οθόνες αφής, πληκτρολόγια και άλλες συσκευές τυπικές διεπαφές απτικής μορφής. Οι περισσότερες φορητές συσκευές όπως τα smartphones και tablets έχουν μια σειρά από αισθητήρες, με τη μορφή των κουμπιών και πληκτρολόγια (πραγματικών ή εικονικών) που ο σχεδιαστής της εφαρμογής ΕπΠ μπορεί να χρησιμοποιήσει για να παράσχει στο χρήστη έναν τρόπο για να αλληλεπιδράσει άμεσα και να ελέγξει την εφαρμογή. Αυτοί οι αισθητήρες είναι χρήσιμοι όταν ένας χρήστης ελέγχει την εμπειρία καθώς και όταν ο συμμετέχων έχει τη δυνατότητα να αποφασίσει συνειδητά για το πώς θα προχωρήσει με την εμπειρία. Είναι επίσης ,χρήσιμοι σε εργασίες όπου ο χρήστης υποδεικνύει κάτι, όπως μια θέση στο χάρτη σε μια οθόνη αφής ή σε περίπτωση που θέλει να μεγεθύνει την άποψη της εικόνας που εμφανίζεται στην οθόνη κλπ. (Εικόνα 10.12).

Εικόνα 10.12. Παράδειγμα διεπαφής μέσω οθόνης αφής (Πηγή: Wikimedia Commons, Bin im Garten, CC BY-SA 3.0).

Ας έχουμε υπόψη μας ότι οι κάμερες που αναφέρθηκαν πρωτύτερα μπορούν, επίσης, να χρησιμοποιηθούν ως αισθητήρες διεπαφής εισόδου του χρήστη, εάν παρέχεται ένα σύστημα αναγνώρισης χειρονομίας. Στην περίπτωση αυτή, η κάμερα παρακολουθεί τα χέρια ή τα δάχτυλα του χρήστη και ερμηνεύει τις κινήσεις του, ως άμεση εισαγωγή του. (Εικόνα 10.13).

Εικόνα 10.13. Παράδειγμα αισθητήρα αναγνώρισης χειρονομιών – Leap Motion Sensor (Πηγή: Iwan Gabovitch - CC BY 2.0)

10.3.6. Επεξεργαστής

Στην καρδιά κάθε συστήματος επαυξημένης πραγματικότητας είναι ένας επεξεργαστής που συντονίζει και αναλύει εισόδους αισθητήρων, αποθηκεύει και ανακτά δεδομένα, εκτελεί τα καθήκοντα του προγράμματος εφαρμογής ΕπΠ, και παράγει τα κατάλληλα σήματα, για να εμφανιστεί στην οθόνη η εφαρμογή σε συσχέτιση με τον πραγματικό κόσμο. Με άλλα λόγια, κάθε σύστημα επαυξημένης πραγματικότητας περιλαμβάνει έναν υπολογιστή κάποιου είδους. Τα υπολογιστικά συστήματα επαυξημένης πραγματικότητας μπορεί να κυμαίνονται σε πολυπλοκότητα από απλές φορητές συσκευές όπως smartphones και tablets, σε φορητούς υπολογιστές, επιτραπέζιους υπολογιστές και μηχανήματα της κατηγορίας σταθμού εργασίας, αλλά ακόμα και σε ισχυρά κατανεμημένα συστήματα. Σε ορισμένες περιπτώσεις, ένας υπολογιστής χειρός είναι σε επικοινωνία με ένα ισχυρό διακομιστή ο οποίος θα μπορούσε να βρίσκεται σε μια απόσταση. Σε όλες τις περιπτώσεις, ο υπολογιστής πρέπει να έχει αρκετή υπολογιστική ικανότητα ώστε να επιτελεί τα καθήκοντα που έχει αναλάβει, σε πραγματικό χρόνο.

Με τον όρο «πραγματικό χρόνο» εννοούμε ότι κάθε φορά που εκτελείται μια ενέργεια, όπως το πάτημα ενός κουμπιού ή αλλαγή στον προσανατολισμό μιας φορητής συσκευής ή αλλαγή στην άποψη, το σύστημα πρέπει να ανταποκρίνεται με μια ενημερωμένη οθόνη του συνδυασμού του φυσικού και εικονικού κόσμου, χωρίς προφανείς χρονικές καθυστερήσεις ή σύγχυση. Με άλλα λόγια, η σκηνή θα πρέπει να ενημερώνεται ομαλά και με ένα ρυθμό ανανέωσης που ο συμμετέχων αντιλαμβάνεται ως μια σταθερή ροή πληροφοριών. Σε αναλογία, μια τυπική ταινία κινηματογράφου παίζεται με ρυθμό 24 καρέ ανά δευτερόλεπτο, ο οποίος είναι ο ελάχιστα επαρκής ρυθμός ανανέωσης για το θεατή προκειμένου να αντιληφθεί την κίνηση στην οθόνη ως ομαλή. Αν ο ρυθμός ανανέωσης μειωθεί σε περίπου 10 καρέ ανά δευτερόλεπτο, ο θεατής θα αντιληφθεί την ταινία ως μια σειρά από μεμονωμένες εικόνες και όχι ως μια ενιαία εικόνα κίνησης. Οι εφαρμογές ΕπΠ απαιτούν ένα σταθερό ρυθμό ανανέωσης οθόνης τουλάχιστον 15 καρέ ανά δευτερόλεπτο ενώ ιδεατά το νούμερο αυτό πρέπει να ξεπερνάει τα 30 καρέ το δευτερόλεπτο προκειμένου ο χρήστης να αντιλαμβάνεται την ανανέωση της σκηνής ως συνεχόμενη. Για το λόγο αυτό χρησιμοποιούμε πλέον τις δυνατότητες των επεξεργαστών γραφικών (GPU) για να επιταχύνουμε αυτή τη διαδικασία, καθώς και ειδικά κυκλώματα ενσωματωμένα σε κάμερες που αναλαμβάνουν την υλοποίηση της παρακολούθησης απευθείας χωρίς να εμπλέκεται ο κεντρικός επεξεργαστής.

10.3.7. Προβολή

Ως προβολή ορίζουμε το μέσο που επιτρέπει ένα κατάλληλο σήμα να γίνει αντιληπτό από τις αισθήσεις ενός χρήστη. Για παράδειγμα, μια οπτική προβολή εμφανίζει οπτικές εικόνες στο χρήστη. Παράδειγμα οπτικής προβολής αποτελεί μια οθόνη του υπολογιστή. Μια ακουστική προβολή επιτρέπει οι ήχοι που δημιουργεί το σύστημα να ακούγονται από το χρήστη. Ένα παράδειγμα μιας συσκευής ακουστικής προβολής είναι τα ακουστικά ή ένα μεγάφωνο. Μια μεγάλη ποικιλία από συσκευές προβολής είναι διαθέσιμη για την παρουσίαση σημάτων στο χρήστη, και πολλές διαφορετικές τεχνολογίες μπορούν να χρησιμοποιηθούν για την εφαρμογή αυτών των παρουσιάσεων.

Στην περίπτωση της ΕπΠ, κυρίως, μάς απασχολούν οι οπτικές προβολές, ενώ οι ακουστικές, απτικές και οσφρητικές προβολές παίζουν δευτερεύοντα ρόλο. Οι κύριες κατηγορίες οθονών οπτικής προβολής που χρησιμοποιούνται σε εφαρμογές ΕπΠ είναι σταθερές, κινητές και εφαρμοζόμενες στο χρήστη.

Σταθερές

Στην πρώτη κατηγορία ανήκουν οι κλασικές οθόνες υπολογιστή και τηλεοράσεις και τα συστήματα προβολής όπου, συνήθως, συνδυάζονται και με μία ή περισσότερες κάμερες (είτε οπτικές είτε βάθους) που παρακολουθούν το χρήστη και εισάγουν εικονική πληροφορία είτε πάνω στο σώμα του είτε με τη μορφή εικονικών αντικειμένων που εμφανίζουν στο χώρο του χρήστη (Εικόνα 10.14).

Εικόνα 10.14. Παράδειγμα σταθερής οθόνης προβολής (Πηγή: flickr,‘augmented reality with LEGO’, antjeverena, CC BY-SA 2.0).

Κινητές:

Στην κατηγορία αυτή συγκαταλέγονται όλες οι οθόνες προβολής που ο χρήστης μπορεί να κρατάει στα χέρια του και μετακινούνται μαζί με το χρήστη αλλά ταυτόχρονα αποτελούν και το «παράθυρο θέασης» του πραγματικού κόσμου. Σήμερα, αυτό αποτελεί και το πιο διαδεδομένο είδος της οθόνης για εφαρμογές επαυξημένης πραγματικότητας λόγω της ευρείας υιοθέτησης των smartphones (όπως το iPhone και Android τηλέφωνα) και tablets (όπως το iPad και παρόμοιες συσκευές). Πολλοί προγραμματιστές αναγνωρίζουν ότι ένα μεγάλο μέρος του πληθυσμού φέρει αισθητήρες, επεξεργαστές και οθόνη ως μέρος των συσκευών που έχουν στην τσέπη ή στην τσάντα τους σε τακτική βάση. Ως εκ τούτου, ακόμη και αν αυτές οι συσκευές είναι πιο περιορισμένες σε ορισμένα χαρακτηριστικά όπως (επεξεργαστής, μνήμη, μέγεθος της οθόνης, επιτάχυνση γραφικών κλπ.), η φορητότητα και ευκολία χρήσης τους τα καθιστούν πρωταρχικό στόχο σε εφαρμογές επαυξημένης πραγματικότητας (Εικόνα 10.15).

Εικόνα 10.15. Παράδειγμα κινητής οθόνης προβολής (Πηγή: Wikimedia Commons, Kippelboy, CCBY-SA 3.0)

Εφαρμοζόμενες στο χρήστη

Τα πιο κοινά είδη των εφαρμοζόμενων στο χρήστη οθονών φοριούνται στο κεφάλι (head-mounted display/ HMD) με τη μορφή ενός κράνους ή γυαλιών. Άλλοι τύποι είναι παραλλαγές αυτών των δύο βασικών διαμορφώσεων. Για παράδειγμα, μερικές οθόνες προσαρμόζονται με κλιπ σε ένα υπάρχον ζευγάρι γυαλιών. Οι οθόνες HMD για εφαρμογές ΕπΠ διαφέρουν από αυτές που προορίζονται για συστήματα εικονικής πραγματικότητας λόγω του ότι σε συστήματα εικονικής πραγματικότητας, ο συμμετέχων δε βλέπει τον πραγματικό κόσμο. Μάλιστα, τα συστήματα εικονικής πραγματικότητας βασίζονται στο ότι ο χρήστης δεν μπορεί να δει (τουλάχιστον κατά τρόπο που να μη διαταράσσεται η οπτική ψευδαίσθηση) τον πραγματικό κόσμο. Στην επαυξημένη πραγματικότητα είναι απαραίτητο ο συμμετέχων να είναι σε θέση να δει τον πραγματικό κόσμο.

Υπάρχουν δύο βασικά σενάρια με HMD στον τρόπο με τον οποίο ο χρήστης βλέπει τον πραγματικό κόσμο. Ένα στυλ χρησιμοποιεί διαφανείς οθόνες προβολής ώστε ο χρήστης να μπορεί απευθείας να δει τον πραγματικό κόσμο, και ένα άλλο χρησιμοποιεί την τεχνολογία βίντεο για να συλλάβει μέσα από μια κάμερα τον πραγματικό κόσμο και αφού ενσωματώσει στην εικόνα τα εικονικά στοιχεία, να τα προβάλλει στο χρήστη. Αυτές οι δύο μορφές που αναφέρονται ως οπτικά διαφανής και βίντεο-διαφανής (see-through), φαίνονται αντίστοιχα στην Εικόνα 10.16. Κυριότερο και πιο πρόσφατο παράδειγμα οπτικά-διαφανούς συσκευής αποτελεί το Google Glass που ενσωματώνει αρκετά από τα στοιχεία υλικού τα οποία επιτρέπουν την εκτέλεση εφαρμογών ΕπΠ (Εικόνα 10.17).

(α) Παράδειγμα οπτικά διαφανούς οθόνης (Πηγή: flickr, Microsoft HoloLens, JorgeFigueroa,CCBY 2.0)	(β) Παράδειγμα HMD οθόνης προβολής ΕπΠ (Πηγή: Steve Mann, University of Toronto)

Εικόνα 10.16.Παράδειγμα δύο διαφορετικών τρόπων αντίληψης του πραγματικού κόσμου

Εικόνα 10.17.Oπτική see-through συσκευή Google Glass (πηγή: flickr, Loïc Le Meur, CC BY 2.0)

Με τη σειρά τους, οι τρεις αυτές κατηγορίες συσκευών οπτικής προβολής μπορούν να διακριθούν σε στερεοσκοπικής ή μονοσκοπικής προβολής. Στην περίπτωση των σταθερών και των κινητών οθονών, αυτό συνεπάγεται τη χρήση είτε αυτοστερεοσκοπικών οθονών που εμφανίζουν απευθείας τρισδιάστατες εικόνες με τρόπο τέτοιο, ώστε ο θεατής να αντιλαμβάνεται βάθος σε αυτές είτε τη χρήση ειδικών γυαλιών που φοράει ο χρήστης και παράγουν το αντίστοιχο αποτέλεσμα χρησιμοποιώντας συμβατικές οθόνες. Η στερεοσκοπική προβολή σε συστήματα βίντεο-διαφανή (όπως η χρήση π.χ. HMD σε συνδυασμό με κάμερα τοποθετημένη στο κεφάλι του χρήστη, μπορεί να προβάλλει τόσο τον πραγματικό όσο και τον εικονικό κόσμο στερεοσκοπικά (αν χρησιμοποιούνται στερεοσκοπικές κάμερες για την καταγραφή του πραγματικού κόσμου) ή να συνδυάζει μονοσκοπική με στερεοσκοπική απεικόνιση πραγματικού/εικονικού.