Συντάχθηκε 05-12-2019 09:44
Θέμα: Ασύρματο Ενσωματωμένο Σύστημα σε Γάντι για Καταγραφή Κίνησης Χεριού και Αίσθηση Αφής σε Τρισδιάστατα Περιβάλλοντα (Wireless Embedded System on a Glove for Hand Motion Capture and Tactile Feedback in 3D Environments)
Εξεταστική Επιτροπή
Αναπληρώτρια Καθηγήτρια Α. Μανιά (Επιβλέπουσα)
Αναπληρωτής Καθηγητής Α. Δεληγιαννάκης
Καθηγητής Κ. Καλαϊτζάκης
Περίληψη:
Τις τελευταίες δύο δεκαετίες, η άνοδος των απτικών τεχνολογιών ανέδειξε νέες δυνατότητες στην περιοχή απομακρυσμένης αλληλεπίδρασης με ψηφιακά αντικείμενα. Με τον όρο απτική τεχνολογία, γνωστή και ως κιναισθητική επικοινωνία ή τρισδιάστατη αφή, αναφερόμαστε σε οποιαδήποτε τεχνολογία η οποία μπορεί να δημιουργήσει μία εμπειρία αφής εφαρμόζοντας δυνάμεις, δονήσεις ή κινήσεις στον χρήστη. Οι τεχνολογίας εικονικής πραγματικότητας γίνονται σταδιακά φθηνότερες επιτρέποντας σε αναδυούμενες απτικές τεχνολογίες πρωτοπόρες ιδέες για να ενεργήσουν σαν γέφυρα μεταξύ αλληλεπιδράσεων ανθρώπων μηχανής. Παρόλ αυτά, φορετά απτικά συμβατά με εφαρμογές εικονικής πραγματικότητας υλοποιούνται με χρήση ενσύρματων συστημάτων τα οποία περιορίζουν αρκετά τις κινήσεις του χρήστη. Η διπλωματική αυτή αντιμετωπίζει αυτό το ζήτημα δημιουργώντας ένα ασύρματο ενσωματωμένο σύστημα σε γάντι για καταγραφή κίνησης χεριού και αίσθηση αφής σε τρισδιάστατα περιβάλλοντα. Για αυτό το σκοπό, αυτή η ενσωματωμένη υλοποίηση έχει πολλαπλά έξαρτήματα συνδεδεμένα πάνω της. Αρχικά, ένα Raspberry Pi συνδέθηκε στο γάντι το οποίο ελέγχει πολλαπλά εξαρτήματα και επικοινωνεί με τον υπολογιστή μέσω δικτύου Wi-Fi. Έπειτα, πέντε εύκαμπτοι αισθητήρες τοποθετήθηκαν πάνω από κάθε δάχτυλο του γαντιού για να εντοπίζουν την περιστροφή των δαχτύλων. Επιπλέον, μία βάση που βρίσκεται στο πάνω μέρος του χεριού έχει κολλημένη μία τρισδιάστατα εκτυπωμένη τριγωνική βάση που περιέχει τρία υπέρυθρα LED. Μία USB κάμερα με φίλτρο υπέρυθρης διέλευσης χρησιμοποιήθηκαν για να εντοπίζουν την θέση των υπέρυθρων LED παρέχοντας δυνατότητες τρισδιάστατης καταγραφής κίνησης του χεριού. Επίσης, ένα γυροσκόπιο-επιταχυνσιόμετρο τοποθετήθηκε πάνω από την εκτυπωμένη βάση με σκοπό τον εντοπισμό pitch και roll περιστροφών του χεριού. Ένα μοτέρ δόνησης τοποθετήθηκε πίσω από κάθε δάχτυλο προσδίδοντας μία αίσθηση αφής σε συνολικά πέντε σημεία απτικής διέγερσης. Δεδομένα που συλλέχτηκαν από αυτά τα εξαρτήματα χρησιμοποιήθηκαν για να δημιουργήσουν μία ψηφιακή αναπαράσταση του χεριού του χρήστη σχεδιασμένο σε μία demo εφαρμογή στο πρόγραμμα Unity 3D το οποίο κινείται σύμφωνα με τις κινήσεις του χεριού του χρήστη. Αυτή η ψηφιακή αναπαράσταση μπορεί να αλληλεπιδράσει με άλλα ψηφιακά αντικείμενα που βρίσκονται στο επίπεδο της εφαρμογής τα οποία όταν έρθουν σε μεταξύ τους σύγκρουση προσδίδουν μία αίσθηση αφής με μορφή δονήσεων μέσω των μοτέρ δόνησης. Αυτή η υλοποίηση δοκίμασε με επιτυχία κλιμακωτές και ανεξάρτητες μεταξύ τους εντάσεις δόνησης και στα πέντε μοτέρ με χρήση διαμόρφωση πλάτος παλμού και οδηγών διπλών μοτέρ. Επίσης παρέχεται ένα ικανοποιητικό σύστημα καταγραφή κίνησης χεριού χρησιμοποιώντας τεχνολογία υπέρυθρης καταγραφής και χρήση γυροσκοπίου-επιταχυνσιομέτρου χωρίς να χρησιμοποιείται μία έτοιμη εμπορική υλοποίηση. Επίσης αυτή η διπλωματική αναλύει τους περιορισμούς αυτής της ασύρματης υλοποίησης και προτείνει βελτιώσεις για μελλοντικές λύσεις.
Abstract:
In the last couple decades, the rise of haptic technologies has brought new possibilities in the area of remote interaction with virtual objects. Haptic technology, also known as kinaesthetic communication or 3D touch, refers to any technology that can create an experience of touch by applying forces, vibrations, or motions to the user. Virtual reality technologies are becoming progressively cheaper allowing emergent haptic technologies novel ideas to act as a bridge between human machine interactions. However, wearable haptics compatible with virtual reality applications are currently achieved using wired systems which heavily restrict user movement. This thesis tackles this issue by creating a wireless embedded system on a glove with hand motion capture providing tactile feedback in 3D environments. For this purpose, the embedded implementation has multiple components attached to it. First, a Raspberry Pi was attached to the glove to control multiple modules and communicate with the computer via Wi-Fi. Then, five flex sensors were attached on top of each finger of the glove to detect the rotation of the fingers. Furthermore, a base located on top of the hand had a 3D printed triangular base attached holding three infrared LEDs. A USB camera with an infrared pass filter were used to detect the position of the infrared LEDs providing a 3D space hand tracking capability. A gyroscope-accelerometer was also placed near the printed base to detect the pitch and roll rotations of the hand. A vibration motor was attached on the back of each finger to provide a tactile sensation for a total of five points of haptic stimulation. Data gathered from all those components was then used to create a digital representation of the user’s hand rendered in a Unity 3D demo application which moves according to the user’s hand movements. This digital representation can interact with other digital objects present in this application’s level which upon collision provide tactile feedback in the form of vibration via the vibration motors. This implementation successfully tested scalable and independent vibration intensity on all five motors using pulse width modulation and dual motor drivers. It also provided an adequate hand tracking system by using infrared tracking technology and a gyroscope-accelerometer without the need of a readily available commercial solution. This thesis also analyses the limitations of this wireless implementation and suggests improvements for future solutions.
Τόπος: Λ - Κτίριο Επιστημών/ΗΜΜΥ, 2041
Έναρξη: 06/12/2019 09:00
Λήξη: 06/12/2019 10:00
