Συντάχθηκε 27-06-2022 14:12
Τόπος: Η παρουσίαση θα γίνει με τηλεδιάσκεψη και εξ’ολοκλήρου στα Αγγλικά
Σύνδεσμος τηλεδιάσκεψης
Έναρξη: 30/06/2022 17:00
Λήξη: 30/06/2022 18:00
ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Μεταπτυχιακών Σπουδών
ΠΑΡΟΥΣΙΑΣΗ ΜΕΤΑΠΤΥΧΙΑΚΗΣ ΕΡΓΑΣΙΑΣ
ΔΑΣΚΑΛΟΓΡΗΓΟΡΑΚΗΣ ΓΡΗΓΟΡΙΟΣ
Θέμα:
Holo-Box: Διεπαφή Βλέμματος Επαυξημένης Πραγματικότητας Πολλαπλών Επιπέδων για Καθοδήγηση σε Μηχανουργεία με χρήση Αλληλεπιδράσεων Χεριών και Ματιών
Holo-box: Multi-Level Augmented Reality Glanceable Interfaces for Machine Shop Guidance using Eye and Hand Tracking Interactions
Εξεταστική Επιτροπή
Καθηγήτρια Αικατερίνη Μανιά (επιβλέπουσα)
Αν. Καθηγητής Βασίλης Σαμολαδάς
Assoc. Prof. Ann McNamarra (Texas A&M University)
Περίληψη
Σε αυτήν την εργασία, χρησιμοποιούμε τα Σοβαρά Παιχνίδια και την Επαυξημένη Πραγματικότητα ως εργαλεία για την εκπαίδευση μέσα σε ένα μηχανουργείο. Αρχικά, αναλύουμε την πρόοδο των σύγχρονων διαδικασιών βιομηχανικής παραγωγής που οδήγησαν στην 4η βιομηχανική επανάσταση, κοινώς γνωστή ως Industry 4.0. Αντιμετωπίζουμε ελλείψεις σε σχέση με τη χρήση προσομοιώσεων και Σοβαρών Παιχνιδιών ως εκπαιδευτικά εργαλεία, καθώς και τη χρήση της Επαυξημένης Πραγματικότητας στα μηχανουργεία. Τέλος, αναλύουμε την τεχνολογία Διεπαφών Βλέμματος Επαυξημένης Πραγματικότητας και τις τεχνικές προκλήσεις της.
Στο πρώτο μέρος αυτής της εργασίας, παρουσιάζουμε μια παιγνιοποιημένη προσέγγιση για την παρουσίαση αποστολών μηχανουργείου για την υλοποίηση ενός Σοβαρού Παιχνιδιού που επικεντρώνεται στον προγραμματισμό G-κώδικα για αποστολές φρεζαρίσματος και τόρνευσης. Αυτό είναι ένα αυτόνομο σύστημα εκπαίδευσης χωρίς την ανάγκη κάποιου επόπτη. Η παιγνιοποιημένη σχεδίαση αποστολών μηχανουργείου που παρουσιάσαμε, τροποποιήθηκε επίσης για χρήση εντός του πραγματικού μηχανουργείου μέσω Επαυξημένης Πραγματικότητας.
Οι διεπαφές Διεπαφές Βλέμματος Επαυξημένης Πραγματικότητας παρουσιάζουν εικονικό περιεχόμενο "με ένα βλέμμα" για να παρέχουν γρήγορη ανάκτηση πληροφοριών, συχνά με χρήση αλληλεπίδρασης με το βλέμμα. Οι Διεπαφές Βλέμματος είναι ιδανικές όταν το επαυξημένο περιεχόμενο καλύπτει ένα μικρό ποσοστό του οπτικού πεδίου του χρήστη, αλλά όταν το μέγεθος του εικονικού περιεχομένου αυξάνεται, η πιθανότητα απόκρυψης του πραγματικού κόσμου αυξάνεται, προκαλώντας ανησυχίες για την ασφάλεια του χρήστη.
Στο δεύτερο μέρος αυτής της εργασίας, παρουσιάζουμε το Holo-Box, ένα νέο σύστημα διεπαφών Επαυξημένης Πραγματικότητας που συνδυάζει Διεπαφές Βλέμματος και Τριδιάστατες Διεπαφές σε ένα σύστημα διεπαφών τριών επιπέδων λεπτομέρειας, τα οποία περιέχουν σταδιακά περισσότερες λεπτομέρειες.Το Holo-box χρησιμοποιεί έναν συνδυασμό αλληλεπιδράσεων με το βλέμμα καθώς και αλληλεπιδράσεις χεριών, με κύριο στόχο την ασφάλεια του χρήστη. Οι Διδιάστατες Διεπαφές Βλέμματος διευκολύνουν την ταχεία ανάκτηση πληροφοριών με μια ματιά, ενώ οι εκτεταμένες Τριδιάστατες διεπαφές παρέχουν αλληλεπίδραση με πυκνότερο περιεχόμενο και τρισδιάστατα αντικείμενα με μεγαλύτερη ακρίβεια. Το Holo-Box συνδυάζει αλληλεπιδράσεις που βασίζονται στο βλέμμα και το ανοιγόκλειμα του ματιού για την ελαχιστοποίηση των λανθασμένων αλληλεπιδράσεων με το μάτι. Αν και το Holo-Box μπορεί να χρησιμοποιηθεί σε οποιδήποτε τομέα, σε αυτή την εργασία έχει σχεδιαστεί και βελτιστοποιηθεί για την εκτέλεση εργασιών μηχανουργείου στον πραγματικό κόσμο. Αξιολογήσαμε τη διεπαφή Holo-Box χρησιμοποιώντας μια εργασία επιλογής αντικειμένων σε μια διαδικασίας κατασκευής αντικειμένων.Οι συμμετέχοντες ολοκλήρωσαν αποστολές χρησιμοποιώντας το Holo-Box σε μικρότερο χρονικό διάστημα και χρησιμοποιώντας σταδιακά μικρότερες διεπαφές με την πάροδο του χρόνου. Η ακρίβεια που αντικήφθηκαν οι χρήστες στις αλληλεπιδράσεις βλέμματος ήταν υψηλή, ακόμα και όταν η ακρίβεια του ανιχνευτή ματιών της συσκευής ήταν αδρή.
Abstract
In this work, we employ Serious Games and Augmented Reality as tools for manufacturing training inside a machine shop. First, we analyze the progress of modern manufacturing processes leading up to the 4th industrial revolution, commonly known as Industry 4.0. We tackle shortcomings in relation to the use of simulations and Serious Games as training tools as well as the use of Augmented Reality in manufacturing. Finally, we analyze Glanceable Augmented Reality and its technical challenges.
In the first part of this work, we propose a gameified approach to visualising manufacturing missions for the implementation of a Serious Game focused on G-code programming for milling and turning missions. This is a standalone training system without the need of a supervisor. Our gameified manufacturing mission design was also translated for use through AR inside the real world machine shop.
Glanceable User Interfaces for Augmented Reality (AR) reveal virtual content "at a glance" to provide rapid information retrieval, often based on gaze interaction. They are ideal when the augmented content covers a small proportion of the view space, but when the size of virtual content grows, the potential to occlude the real-world increases provoking safety concerns.
In the second part of this work, we present Holo-Box, a novel interaction system for AR combining Glanceable interfaces and world-based 3D interfaces across three Levels-Of-Detail, including progressively more information and visuals. Holo-box uses a combination of eye-gaze and hand interactions, focusing on user safety. A 2D Glanceable interface facilitates rapid information retrieval at a glance, while extended 3D interfaces provide interaction with denser content and 3D objects. Holo-Box couples blink-based and gaze-based interactions to minimize errors arising from the Midas Touch Problem. While applicable across domains, the Holo-Box interface is designed and optimized for performing manufacturing tasks in the real world. We evaluated the Holo-Box interface using an object selection task of a manufacturing process. Participants completed subsequent tasks faster using Holo-Box, employing incrementally smaller LOD interfaces over time. The perceived accuracy of Holo-Box gaze-based inputs was high, even when the device's eye tracker accuracy was coarse.
Meeting ID: 655 783 9535
Password: 8GYQ3S
