1.1. Εισαγωγικά στοιχεία

Το βιβλίο αυτό έχει ως στόχο την παρουσίαση των σημαντικότερων στοιχείων των συστημάτων Γραφικών και Εικονικής Πραγματικότητας στον αναγνώστη, ο οποίος μπορεί να είναι προπτυχιακός ή μεταπτυχιακός φοιτητής, ερευνητής ή εργαζόμενος στην περιοχή αυτή. Πολλές από τις έννοιες που πραγματεύεται έχουν αναπτυχθεί την τελευταία τριακονταετία, είναι ώριμες και θεωρούνται θεμελιώδεις στα Γραφικά. Κάποιες άλλες, ειδικά στα πιο προχωρημένα κεφάλαια του βιβλίου έχουν αναπτυχθεί πιο πρόσφατα και μπορούν να θεωρηθούν τεχνολογίες αιχμής.

1.1.1. Σχετικά με το παρόν βιβλίο

Τα Γραφικά, κυρίως, αλλά και η Εικονική Πραγματικότητα είναι έννοιες ελαφρώς παρεξηγημένες στην ελληνική γλώσσα. Δε θα πρέπει να συγχέονται με την περιοχή της Γραφιστικής αλλά και των Γραφικών Διεπαφών Χρήστη (GUI-Graphical User Interfaces). Για το λόγο αυτό αναφέρουμε παρακάτω τι πραγματεύεται το παρόν βιβλίο και τι όχι.

Τι θα απαντήσει το παρόν βιβλίο:

• Πώς αναπαρίσταται και πώς σχεδιάζεται ένα τριών διαστάσεων (3Δ) αντικείμενο σε συσκευές απεικόνισης δύο διαστάσεων (οθόνη).
• Πώς μπορούμε να αποδώσουμε κίνηση σε ένα αντικείμενο (animation);
• Πώς μπορώ να αναπτύξω μια αλληλεπιδραστική εφαρμογή εικονικής πραγματικότητας (μηχανές παιχνιδιών);
• Τι επιρροή έχει ο φωτισμός στην εμφάνιση της σκηνής μου;
• Τι είναι η εικονική και η επαυξημένη πραγματικότητα και πώς μπορώ να αναπτύξω αντίστοιχες εφαρμογές;
• Πέρα από τη γεωμετρία των αντικειμένων πώς μπορώ να χρωματίσω ένα αντικείμενο χρησιμοποιώντας μια εικόνα;

Τι δε θα απαντήσει το παρόν βιβλίο:

• Πώς μπορώ να φτιάξω μια Γραφική Διεπαφή Χρήστη για μια εφαρμογή μου σε υπολογιστή;
• Ποιοι συνδυασμοί χρωμάτων και καμπυλών είναι οι πιο ενδεδειγμένοι (Γραφιστική);
• Πώς μπορώ να δημιουργήσω αντικείμενα τριών διαστάσεων (Σχεδιαστικά Προγράμματα 3Δ αντικειμένων, π.χ. Blender).

Βάσει των παραπάνω πρέπει να σημειωθεί ότι το βιβλίο αυτό έχει ως στόχο να παρουσιάσει τα θεμέλια της περιοχής των Γραφικών και της Εικονικής Πραγματικότητας, να μεταδώσει στον αναγνώστη πληροφορία για το πώς ακριβώς δουλεύει ένα τέτοιο σύστημα και όχι να τον εκπαιδεύσει σε ένα συγκεκριμένο εργαλείο λογισμικού.

1.1.2. Προαπαιτούμενα

Η περιοχή των Γραφικών και της Εικονικής Πραγματικότητας είναι ένα αντικείμενο αρκετά πολύπλοκο από πολλές απόψεις. Χρησιμοποιεί μαθηματικές έννοιες, οι οποίες υλοποιούνται με προγράμματα σε κάποια γλώσσα προγραμματισμού, ενώ παράλληλα οι περισσότερες έννοιες που πραγματεύεται, όπως για παράδειγμα ο φωτισμός και οι δυναμικές προσομοιώσεις έχουν άμεση σχέση με τους φυσικούς νόμους. Έτσι, για να είναι εφικτή η εστιασμένη παρουσίαση, μέσω του βιβλίου, των σημαντικότερων στοιχείων ενός συστήματος γραφικών υποθέτουμε ότι ο αναγνώστης έχει ήδη γνώση των παρακάτω αντικειμένων:

Γραμμική Άλγεβρα – Μαθηματικά: Ένα εικονικό περιβάλλον απαρτίζεται από γεωμετρικά αντικείμενα τα οποία αναπαρίστανται σε έναν τρισδιάστατο ευκλείδειο χώρο. Τα αντικείμενα αυτά περιγράφονται ως σύνολα σημείων (διανυσμάτων) ή συνηθέστερα ως σύνολα στοιχειωδών γεωμετρικών οντοτήτων, όπως είναι τα τρίγωνα, τα οποία όμως και πάλι είναι τριάδες σημείων. Οποιαδήποτε κίνηση του αντικειμένου ή του σημείου παρατήρησης περιγράφεται από τους κατάλληλους συσχετισμένους μετασχηματισμούς, οι οποίοι εν γένει ανάγονται σε πολλαπλασιασμούς πινάκων. Η γραμμική άλγεβρα είναι το σημαντικότερο προαπαιτούμενο για το παρόν βιβλίο.

Προγραμματισμός: Η υλοποίηση ενός συστήματος Γραφικών ή/και Εικονικής Πραγματικότητας γίνεται γράφοντας ένα πρόγραμμα σε κάποια γλώσσα προγραμματισμού. Για το βιβλίο αυτό, θεωρούμε ότι ο αναγνώστης έχει γνώσεις κάποιας γλώσσας προγραμματισμού. Σε κάποια κεφάλαια δίνονται παραδείγματα σε μορφή ψευδοκώδικα και κάποιες φορές δίνεται και κώδικας συνήθως σε γλώσσα C, τον οποίο μπορεί ο αναγνώστης να χρησιμοποιήσει άμεσα. Η γνώση προγραμματισμού είναι ένα σημαντικό προαπαιτούμενο.

Φυσική: Οι γνώσεις φυσικής είναι επιθυμητές, διότι πολλά από τα συστήματα Γραφικών είναι εμπνευσμένα από φυσικές διεργασίες. Έτσι οι αλγόριθμοι φωτισμού βασίζονται στην κλασική αλληλεπίδραση φωτός και ύλης την οποία «προσπαθούν» να μιμηθούν. Ακόμα οι δυναμικές προσομοιώσεις έχουν ως στόχο την αλγοριθμική υλοποίηση των νόμων της κλασικής Νευτώνιας μηχανικής. Δε θα λέγαμε, όμως, ότι είναι απαραίτητη η εις βάθος γνώση των αντίστοιχων κεφαλαίων της φυσικής. Μια ανασκόπηση των βασικών νόμων γίνεται στα κεφάλαια όπου αυτό είναι απαραίτητο.

1.1.3. Τρόποι διδασκαλίας

Το βιβλίο αυτό μπορεί να χρησιμοποιηθεί είτε ως εγχειρίδιο αναφοράς είτε ως κύριο σύγγραμμα εξαμηνιαίου μαθήματος. Στη δεύτερη περίπτωση υπάρχουν διάφοροι τρόποι διδασκαλίας, κάποιοι εκ των οποίων ενδεικτικά παρουσιάζονται παρακάτω. Γενικά, μπορούμε να χωρίσουμε τα κεφάλαια του βιβλίου σε δύο μέρη:

Μέρος Α – Θεμελιώδεις έννοιες:

• κεφάλαιο 1: Εισαγωγή
• κεφάλαιο 2: Σχεδίαση
• κεφάλαιο 3: Γεωμετρικοί μετασχηματισμοί και προβολές
• κεφάλαιο 4: Αναπαράσταση αντικειμένων
• κεφάλαιο 5: Χρώμα και υφή
• κεφάλαιο 6: Μοντέλα φωτισμού

Μέρος Β – Προχωρημένα κεφάλαια:

• κεφάλαιο 7: Διαχείριση σκηνής
• κεφάλαιο 8: Συνθετική κίνηση
• κεφάλαιο 9: Εικονική Πραγματικότητα
• κεφάλαιο 10: Επαυξημένη Πραγματικότητα

Ένα εξαμηνιαίο μάθημα Γραφικών με έμφαση στη θεωρία θα μπορούσε να αποτελείται από τα κεφάλαια του Μέρους Α. Ένα μάθημα Γραφικών βασισμένο σε πρακτικά παραδείγματα και εφαρμογές με εργαστηριακό σκέλος θα μπορούσε να ακολουθήσει τα Κεφάλαια 1, 3, 4, 5, 6, 7, 8. Τέλος, ένα πλήρες εξαμηνιαίο μάθημα Γραφικών και Εικονικής Πραγματικότητας με σημαντικό θεωρητικό και εργαστηριακό σκέλος θα μπορούσε να ακολουθήσει όλα τα κεφάλαια του βιβλίου δίνοντας σαφώς έμφαση στα κεφάλαια 3, 4, 6, 7, 8, 10.

Ακόμα αξίζει να αναφερθεί μια στρατηγική εκμάθησης που έχει αποδειχθεί ιδιαίτερα αποτελεσματική στην πράξη από τους συγγραφείς. Ως στοιχείο εκμάθησης και ταυτόχρονα στοιχείο εξέτασης μπορεί να χρησιμοποιηθούν ιδιαίτερα απαιτητικές εργασίες. Ανάλογα με τη δυσκολία τους μπορεί ο διδάσκων να επιλέξει να έχουν οι εργασίες συμμετοχή στον τελικό βαθμό ή ακόμα και να απαλλάσσεται ο φοιτητής από τη γραπτή εξέταση. Αυτή η υποκατηγορία των απαλλακτικών εργασιών που πραγματεύονται θέματα αιχμής, έχει δείξει ότι:

• Κινεί το ενδιαφέρον του φοιτητή για την ανάπτυξη ενός ολοκληρωμένου συστήματος
• Καθιστά απαραίτητη την αναζήτηση και ανάγνωση εργασιών (papers)
• Μεγιστοποιεί τη θεωρητική και πρακτική γνώση που αποκομίζει ο φοιτητής γύρω από ένα υποσύνολο της περιοχής των Γραφικών.

1.1.4. Για το φοιτητή

Η πράξη έχει δείξει ότι η πλειοψηφία των φοιτητών που επιλέγουν ένα μάθημα Γραφικών και Εικονικής Πραγματικότητας στον κύκλο σπουδών τους έχουν ισχυρό κίνητρο και ενδιαφέρον από μόνοι τους, οπότε κάποιες από τις παρακάτω παροτρύνσεις, ίσως, να τις θεωρήσουν αυτονόητες.

Όπως και σε κάθε θεωρητικό μάθημα με πρακτικές εφαρμογές η αρχή της εις βάθος γνώσης είναι η αμφισβήτηση! Ειδικά στα Γραφικά όπου επιχειρείται πολλές φορές προσέγγιση φυσικών νόμων με αλγορίθμους και μοντέλα τα οποία εμπεριέχουν σφάλματα είναι πολύ σημαντικό να μαθαίνουμε γιατί μία ακριβής αναπαράσταση δεν είναι αποδεκτή (συνήθως, η απάντηση είναι η υπολογιστική πολυπλοκότητα) και γιατί ένα προσεγγιστικό μοντέλο με εγγενή σφάλματα είναι αποδεκτό! Μη διστάζετε να αμφισβητείτε ό,τι ακούτε και διαβάζετε, διότι οι απαντήσεις στις ερωτήσεις σας είναι αυτό που θα σας μείνει.

Πολλές φορές δε θα μπορείτε να απευθύνετε τις ερωτήσεις σας στο διδάσκοντα για πρακτικούς λόγους. Η αναζήτηση πηγών από τη βιβλιογραφία είναι ένα πολύ χρήσιμο εργαλείο για την εις βάθος εκμάθηση των εννοιών που παρουσιάζονται. Μπορείτε να βρείτε αξιόλογες εργασίες σε μια σειρά συνεδρίων, όπως το Siggraph και το Eurographics. Πολύ γνωστά περιοδικά στην περιοχή είναι το ACM Transactions on Graphics, IEEE Transactions on Visualization and Computer Graphics και το Eurographics Computer Graphics Forum.

Πέρα από την εκμάθηση θεωρητικών εννοιών, ένα πλήρες μάθημα Γραφικών και Εικονικής Πραγματικότητας πρέπει να συνοδεύεται από πρακτικό-εργαστηριακό σκέλος. Ακόμα και αν δε σας δίνεται αυτή η δυνατότητα στα πλαίσια ενός μαθήματος, προσπαθήστε να χρησιμοποιήσετε εργαλεία ανοιχτού κώδικα που είναι διαθέσιμα, για να μπορέσετε να υλοποιήσετε και να δείτε πρακτικά παραδείγματα των θεωρητικών εννοιών. Ενδεικτικά παραδείγματα βιβλιοθηκών που μπορείτε να χρησιμοποιήσετε είναι η OGRE και το VTK.

1.2. Εισαγωγή στα Γραφικά και στην Εικονική Πραγματικότητα

Τα Γραφικά (Computer Graphics) είναι η επιστήμη που ασχολείται με όλα τα ζητήματα που σχετίζονται με την οπτική επικοινωνία ανθρώπου και μηχανής. Συνήθως, η επικοινωνία αυτή περιορίζεται στη σύνθεση εικόνων μέσω ενός υπολογιστή τις οποίες παρατηρεί ένας χρήστης. Δεν είναι λίγες όμως και οι εφαρμογές κατά τις οποίες και ο υπολογιστής «παρακολουθεί» και αναγνωρίζει τις κινήσεις του χρήστη.

Η Εικονική Πραγματικότητα είναι η επιστήμη που έχει ως στόχο την ανάπτυξη κατάλληλων συσκευών και συστημάτων τα οποία έχουν ως απώτερο στόχο την πλήρη αποκοπή ενός χρήστη από το πραγματικό περιβάλλον και την εμβύθισή του (immersion) σε ένα εικονικό περιβάλλον. Για να το επιτύχει αυτό ένα σύστημα εικονικής πραγματικότητας πρέπει να αποκόψει κάθε πληροφορία που προέρχεται από τον πραγματικό κόσμο από τα αισθητήρια του χρήστη και να την αντικαταστήσει με εικονική. Το πρώτο και σημαντικότερο κανάλι αλληλεπίδρασης το οποίο χρησιμοποιείται στην εικονική πραγματικότητα είναι η όραση και ακολουθούν η ακοή και η αφή, ενώ πρόσφατα έχουν αναπτυχθεί και συστήματα για την παραγωγή συνθετικών ερεθισμάτων όσφρησης και γεύσης. Όσον αφορά την όραση, τα τελευταία χρόνια οι όροι Γραφικά και Εικονική Πραγματικότητα έχουν γίνει ταυτόσημοι, οπότε όλες οι διαδικασίες που θα αναλυθούν στα επόμενα κεφάλαια αφορούν και τα συστήματα Γραφικών εν γένει, αλλά και τα συστήματα Εικονικής Πραγματικότητας. Κάποιες ιδιαιτερότητες των τελευταίων θα αναλυθούν σε ξεχωριστό κεφάλαιο.

1.3. Ένα πρακτικό παράδειγμα

Μια από τις πιο ενδιαφέρουσες σχέσεις είναι αυτή της επιστημονικής περιοχής των Γραφικών (Computer Graphics) και της Υπολογιστικής Όρασης (Computer Vision). Όπως φαίνεται και στην Εικόνα 1.1α σε ένα σύστημα γραφικών είναι γνωστά όλα τα αντικείμενα και οι παράμετροι του τρισδιάστατου (συνήθως κόσμου). Αυτό που ζητείται είναι η απεικόνισή τους σε ένα επίπεδο προβολής δύο διαστάσεων το οποίο αναπαριστά και το «παράθυρο» του χρήστη προς τον εικονικό κόσμο. Αντίθετα στην Υπολογιστική Όραση Εικόνα 1.1β αυτό που δίνεται είναι μία εικόνα ή μία ακολουθία εικόνων δύο διαστάσεων από την οποία ζητείται ο υπολογισμός δεδομένων και χαρακτηριστικών των αντικειμένων και του κόσμου τριών διαστάσεων όπως είναι το βάθος, η γεωμετρία των αντικειμένων, η κίνησή τους, κ.ά.

Για το λόγο αυτό οι θεμελιώδεις έννοιες, όπως οι μετασχηματισμοί, οι προβολές (Κεφάλαιο 3) αλλά και οι χρωματικές αναπαραστάσεις (Κεφάλαιο 5), είναι κοινές και στις δύο αυτές περιοχές οι οποίες διαφοροποιούνται στον τρόπο με τον οποίο κάνουν χρήση των μαθηματικών αυτών εργαλείων.

Εικόνα 1.1. Υπολογιστική όραση και Γραφικά. Στα Γραφικά (αριστερά) είναι γνωστό το μοντέλο ενός τρισδιάστατου περιβάλλοντος και προσπαθούμε να σχεδιάσουμε ρεαλιστικά και αποδοτικά την εικόνα στο επίπεδο προβολής. Στην Υπολογιστική Όραση (δεξιά) μας δίνεται μια εικόνα ενός περιβάλλοντος και προσπαθούμε να εκτιμήσουμε τις γεωμετρικές ιδιότητές του. (Τροποπ. από Wikimedia Commons, Jo Yardley, CC BY-SA 3.0)

Ας δούμε, όμως, τώρα ένα παράδειγμα ενός προβλήματος Γραφικών και πώς εμπλέκονται σε αυτό οι έννοιες που θα συναντήσουμε σε κάθε κεφάλαιο του παρόντος βιβλίου. Η σκηνή μας είναι ένα δωμάτιο, στη μέση του οποίου βρίσκεται ένα τραπέζι. Πάνω στο τραπέζι βρίσκεται μια τσαγιέρα, ενώ στο δωμάτιο περιφέρεται ένας εικονικός χαρακτήρας. Ακριβώς πάνω από τραπέζι υπάρχει μια λάμπα, η οποία φωτίζει τη σκηνή. Έστω τώρα τα εξής υπολογιστικά προβλήματα τα οποία πρέπει να αντιμετωπίσουμε:

1. Τι είναι ένα εικονικό αντικείμενο και πώς αναπαρίσταται; Ένα εικονικό αντικείμενο είναι συνήθως ένα σύνολο σημείων, τα οποία είναι κατάλληλα συνδεδεμένα μεταξύ τους, ώστε να σχηματίζουν ένα σύνολο τριγώνων τα οποία απαρτίζουν την επιφάνεια του αντικειμένου. Αυτή η αναπαράσταση καθώς και διάφορες ακόμα περιγράφονται στο Κεφάλαιο 4.
2. Πώς ορίζεται η σχετική θέση των αντικειμένων στο χώρο; Τα αντικείμενα είναι, συνήθως, κεντραρισμένα στο τοπικό τους σύστημα συντεταγμένων. Τοποθετούνται στο σύστημα συντεταγμένων κόσμου με τη χρήση κατάλληλων μετασχηματισμών, οι οποίοι περιγράφονται στο Κεφάλαιο 3.
3. Από ποιο σημείο κοιτάμε εμείς τον κόσμο και πώς προκύπτει η δύο διαστάσεων εικόνα που βλέπουμε; Σε κάποιο σημείο του εικονικού κόσμου τοποθετείται μια εικονική κάμερα, η οποία προσομοιώνει τη θέση του ματιού μας. Μπορούμε να κινήσουμε την κάμερα αυτή με τη χρήση κατάλληλων μετασχηματισμών, ώστε να περιηγηθούμε στο χώρο. Η προβολή του κόσμου τριών διαστάσεων σε μια εικόνα δύο διαστάσεων γίνεται με κατάλληλους μετασχηματισμούς, οι οποίοι περιγράφονται, επίσης, στο Κεφάλαιο 3.
4. Αν υποθέσουμε ότι έχουμε προβάλει μια καμπύλη στο επίπεδο, πώς μπορούμε να την σχεδιάσουμε στην εικόνα της οθόνης. Αυτή η διαδικασία είναι θεμελιώδης στα Γραφικά. Στην πράξη υπάρχει μετάβαση από ένα συνεχή χώρο σε ένα διακριτό (εικονοστοιχεία της εικόνας). Περισσότερες λεπτομέρειες, κάποιες ιδιαιτερότητες όπως και χειρισμός προβλημάτων για παράδειγμα η ταύτιση (aliasing) αναλύονται στο Κεφάλαιο 2.
5. Πώς μπορούμε να χρωματίσουμε τα αντικείμενα; Η αναπαράσταση χρώματος και κυρίως η απόδοση υφής περιγράφονται στο Κεφάλαιο 5.
6. Πώς θα επηρεαστεί η εμφάνιση της τσαγιέρας αν αλλάξουμε τις ιδιότητες της λάμπας και πώς μεταδίδεται το φως στο περιβάλλον; Ο φωτισμός είναι μια από τις σημαντικότερες διεργασίες στα συστήματα Γραφικών. Στο Κεφάλαιο 6 περιγράφονται διάφοροι τύποι φωτιστικών σωμάτων, μοντέλα φωτισμού και αλγόριθμοι φωτοσκίασης. Ακόμα περιγράφονται και οι ιδιότητες του υλικού των αντικειμένων όπως η ανακλαστικότητα.
7. Είναι προφανές ότι όταν κινείται ο εικονικός χαρακτήρας κινούνται και όλα τα μέλη του και τα ρούχα του. Πρέπει να προσέχουμε να τα κινούμε όλα ταυτόχρονα ή υπάρχει κάποιος πιο έξυπνος τρόπος; Υπάρχει έξυπνος τρόπος που βασίζεται σε μια ιεραρχική αναπαράσταση της σκηνής η οποία, ονομάζεται γράφος σκηνής. Ο γράφος σκηνής αλλά και διάφορες ιδιότητές του αναλύονται στο Κεφάλαιο 7.
8. Πώς όμως μπορούμε να κάνουμε τον εικονικό χαρακτήρα να κινείται; Η απόδοση κίνησης (animation) είναι ένα από τα πιο εντυπωσιακά στοιχεία ενός συστήματος Γραφικών. Λεπτομέρειες σχετικά με την απόδοση κίνησης συμπαγών σωμάτων, αρθρωτών αντικειμένων αλλά καθώς και προσομοιώσεις βάσει των φυσικών νόμων παρουσιάζονται στο Κεφάλαιο 8.
9. Το δωμάτιο της παραπάνω εικόνας είναι πολύ ενδιαφέρον. Μπορώ κάπως «να μπω» μέσα στο χώρο αυτό και να αισθάνομαι ότι είμαι πραγματικά μέσα; Στο Κεφάλαιο 9 περιγράφονται λεπτομέρειες των συστημάτων εικονικής πραγματικότητας καθώς και πώς μπορούμε να επιτύχουμε εμβύθιση του χρήστη στο εικονικό περιβάλλον (immersion).
10. Έχω δει εικόνες σε φορητές συσκευές όπου ένα εικονικό αντικείμενο παρουσιάζεται πάνω σε κάποιο πραγματικό! Η επαυξημένη πραγματικότητα έχει την ιδιαιτερότητα να συνδυάζει πληροφορία από τον πραγματικό και τον εικονικό κόσμο. Έτσι υπάρχει η δυνατότητα να καταγράφουμε με την κάμερα μίας φορητής συσκευής (π.χ. κινητό τηλέφωνο) ένα τραπέζι και να τοποθετούμε πάνω στο πραγματικό τραπέζι την εικονική τσαγιέρα (στην οθόνη του κινητού προφανώς). Στο Κεφάλαιο 10 αναλύονται οι τεχνικές επαυξημένης πραγματικότητας.