Συντάχθηκε 14-06-2021 09:16
Τόπος: Η παρουσίαση θα γίνει με τηλεδιάσκεψη
Σύνδεσμος τηλεδιάσκεψης
Έναρξη: 15/06/2021 10:00
Λήξη: 15/06/2021 11:00
ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Μεταπτυχιακών Σπουδών
ΠΑΡΟΥΣΙΑΣΗ ΜΕΤΑΠΤΥΧΙΑΚΗΣ ΕΡΓΑΣΙΑΣ
ΔΡΑΚΟΠΟΥΛΟΣ ΠΑΝΑΓΙΩΤΗΣ
θέμα
Ανίχνευση Εστίασης Βλέμματος σε Μη Τροποποιημένα Φορητά VR Headsets Χρησιμοποιώντας την Selfie Κάμερα του Κινητού
Eye Tracking on Unmodified Mobile VR Headsets Using the Selfie Camera
Εξεταστική Επιτροπή
Αναπ. Καθηγήτρια Αικατερίνη Μανιά (επιβλέπουσα)
Καθηγητής Αντώνιος Δεληγιαννάκης
Καθηγητής Κωνσταντίνος Μπάλας
Περίληψη
Οι μέθοδοι εισόδου για αλληλεπίδραση του χρήστη με εικονικά (VR) ή περιβάλλοντα επαυξημένης/μεικτής πραγματικότητας (MR) μέσω κινητής συσκευής (smartphone) περιορίζονται κυρίως σε άβολες περιστροφικές κινήσεις του κεφαλιού για τον έλεγχο ενός δείκτη στην οθόνη. Η ανίχνευση της εστίασης του βλέμματος (eye-tracking) είναι ένας γρήγορος και φυσικός τρόπος αλληλεπίδρασης σύμφωνα με προηγούμενες έρευνες. Η αξιοποίηση του βλέμματος σε VR έχει υπάρξει προβληματική, καθώς προηγούμενες υλοποιήσεις προσέφεραν χαμηλή ακρίβεια, υψηλή καθυστέρηση και επιπλέον υλικό (hardware) ή τροποποιήσεις του ήδη υπάρχοντος, όπως για παράδειγμα υπέρυθρες κάμερες και φακοί με αντι-ανακλαστικές στρώσεις. Παρουσιάζουμε μια πρωτοπόρα μεθοδολογία ανίχνευσης βλέμματος, χρησιμοποιώντας μόνο την καταγραφή της μπροστινής κάμερας ενός σύγχρονου smartphone, χωρίς κάποια τροποποίηση. Το σύστημα μας αρχικά βελτιώνει την ευκρίνεια του ματιού στις καταγραφόμενες εικόνες λόγω του μη επαρκούς φωτισμού, καταστέλλοντας τις έντονες αντανακλάσεις που προσπίπτουν στο μάτι και εκτελώντας μια σειρά αλγοριθμικών βελτιώσεων. Στη συνέχεια παρουσιάζουμε έναν έξυπνο αλγόριθμο αποκοπής της “περιοχής ενδιαφέροντος” της εικόνας (region of interest) στην οποία κινείται το μάτι ώστε να μειώσουμε τον υπολογιστικό φόρτο. Αφού έχει καθοριστεί η περιοχή ενδιαφέροντος, προσαρμόζουμε επαναληπτικά για κάθε εικόνα ένα γεωμετρικό μοντέλο στην ίριδα, ώστε να προσδιορίσουμε τις συντεταγμένες του κέντρου της. Ορίζουμε έναν “δείκτη εμπιστοσύνης” (confidence metric), ο οποίος υπολογίζει την πιθανότητα επιτυχούς ή μη αναγνώρισης της ίριδας, βασιζόμενοι σε γνώση από προηγούμενη έρευνα αλλά και πειραματικά επαληθευμένες υποθέσεις. Η διαδικασία βαθμονόμησης (calibration) και γραμμικής μετατροπής συντεταγμένων της ίριδας σε συντεταγμένες στην οθόνη του κινητού εξασφαλίζουν ανίχνευση βλέμματος με ακρίβεια σε πραγματικό χρόνο. Η μελέτη μας επιβεβαιώνει τα παραπάνω, με την προϋπόθεση ύπαρξης ευνοϊκών συνθηκών φωτισμού του ματιού. Πιο συγκεκριμένα, σε ένα VR παιχνίδι, η ολοκλήρωση ενός task με το βλέμμα αποδείχτηκε εξίσου γρήγορη με το την ολοκλήρωση του ίδιου task με κινήσεις του κεφαλιού, ενώ σε ένα VR panorama viewer, οι χρήστες είχαν τη δυνατότητα να εναλλάσσουν τις προβληθείσες εικόνες με το βλέμμα τους.
Abstract
Input methods for interaction in smartphone-based virtual and mixed reality (VR/MR) are currently limited on uncomfortable head orientation tracking controlling a pointer on the screen. User fixations are a fast and natural input method for VR/MR interaction. Previously, eye tracking in mobile VR suffered from low accuracy, long processing time and the need for hardware add-ons such as anti-reflective lens coating and infrared emitters. We present an innovative mobile VR eye tracking methodology utilizing only the eye images from the front-facing (selfie) camera through the headset's lens, without any modifications. Our system first enhances the low-contrast, poorly lit eye images by applying a pipeline of customized low level image enhancements suppressing obtrusive lens reflections. We then propose an iris region-of-interest detection algorithm that is run only once. This increases the iris tracking speed by significantly reducing the iris search space in mobile devices. We iteratively fit a customized geometric model to the iris to refine its coordinates. We display a thin bezel of light at the top edge of the screen for constant illumination. A confidence metric calculates the probability of successful iris detection, based on knowledge from previous work and experimentally validated heuristics. Calibration and linear gaze mapping between the estimated iris centroid and physical pixels on the screen results in low latency, real-time iris tracking. A formal study confirmed that our system's accuracy is similar to eye trackers in commercial VR headsets in the central part of the headset's field-of-view in optimal illumination conditions. In a VR game, gaze-driven user completion time was as fast as with head tracked interaction, without the need for consecutive head motions. In a VR panorama viewer, users could successfully switch between panoramas using gaze.
Meeting ID: 977 4334 6539
Passcode: 189549
