Συντάχθηκε 22-02-2021 09:53
Τόπος: Η παρουσίαση θα γίνει με τηλεδιάσκεψη
Σύνδεσμος τηλεδιάσκεψης
Έναρξη: 23/02/2021 13:00
Λήξη: 23/02/2021 14:00
ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών
ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ
ΜΙΧΑΗΛ ΡΟΥΜΕΛΙΩΤΗΣ
θέμα
Ανάπτυξη ενός Φορετού Ενσωματωμένου Συστήματος που Παρέχει Απτική και Κιναισθητική Ανάδραση Αφής για Τρισδιάστατες Διαδραστικές Εφαρμογές
Development of a Wearable Embedded System Providing Tactile and Kinesthetic Haptics Feedback for 3D Interactive Applications
Εξεταστική Επιτροπή
Αναπληρώτρια Καθηγήτρια Αικατερίνη Μανιά (επιβλέπουσα)
Καθηγητής Κωνσταντίνος Μπάλας
Καθηγητής Κωνσταντίνος Καλαϊτζάκης
Περίληψη
Τις τελευταίες δεκαετίες, υπήρξε ανάπτυξη στην αγορά της εικονικής πραγματικότητας, η οποία δημιούργησε την ζήτηση για πιο εξελιγμένα συστήματα που προσομοιώνουν τις ανθρώπινες αισθήσεις. Παρόλο που οι τεχνολογίες ήχου και όρασης έχουν βελτιωθεί, οι απτικές τεχνολογίες χρησιμοποιήθηκαν κυρίως για κινητά τηλέφωνα και χειριστήρια παιχνιδιών. Ωστόσο, σήμερα όλο και περισσότεροι ερευνητές αρχίζουν να επικεντρώνονται στο σχεδιασμό φορετών απτικών διεπαφών που παρέχουν απτική και κιναισθητική ανάδραση σε χρήστες τρισδιάστατων διαδραστικών εφαρμογών, είτε κινητών, σε εικονική πραγματικότητα ή επαυξημένη πραγματικότητα.
Η παρούσα εργασία επικεντρώνεται στην υλοποίηση μιας τέτοιας απτικής διεπαφής, η οποία παρέχει απτική και κιναισθητική ανάδραση σε τρισδιάστατες διαδραστικές εφαρμογές. Συγκεκριμένα αποτελείται από έναν εξωσκελετό, οποίος σχεδιάστηκε σε λογισμικό μοντελοποίησης 3D CAD. Αυτός ο εξωσκελετός τοποθετήθηκε στη πάνω μεριά του χεριού και με πέντε σερβοκινητήρες παρέχει κιναισθητική ανάδραση. Οι σερβοκινητήρες ελέγχονται με μία πλακέτα οδήγησης PWM/Servo, η οποία είναι συνδεδεμένη με τον μικροελεγκτή Arduino. Επιπλέον, η διεπαφή παρέχει απτική ανάδραση στον χρήστη μέσω δεκαπέντε κινητήρων δόνησης, όπου ένας τοποθετήθηκε σε κάθε άκρη δακτύλου, ένας στο κάτω μέρος κάθε δακτύλου, πέντε στη πάνω μέρος της παλάμης και ένας στο δεξιό μέρος της παλάμης. Και αυτοί οι κινητήρες ελέγχονται από το μικροελεγκτή Arduino και προσφέρουν τρία διαφορετικά επίπεδα δόνησης.
Προκείμενου να παρουσιαστούν αυτές οι δυνατότητες, δημιουργήθηκε μια 3D πολυτροπική και διαδραστική εφαρμογή με τη πλατφόρμα παιχνιδιών Unity, όπου ο χρήστης μπόρεσε να αισθανθεί και να αλληλεπιδράσει με τα εικονικά αντικείμενα. Η διαδραστική εφαρμογή που υλοποιήθηκε θα μπορούσε εύκολα να μεταφερθεί ως τρισδιάστατη εφαρμογή ή εφαρμογή παιχνιδιού για ακουστικά εικονικής ή επαυξημένης πραγματικότητας ή για πλατφόρμες κινητών χωρίς σημαντικές τροποποιήσεις λογισμικού. Εκτός από την οπτική και απτική ανάδραση, η εφαρμογή παρέχει επίσης συντονισμένη ηχητική ανάδραση τη στιγμή που συμβαίνει μια αλληλεπίδραση με το εικονικό αντικείμενο. Τέλος, το χέρι εντοπίστηκε και απεικονίστηκε στο εικονικό περιβάλλον μέσω της συσκευής που ονομάζεται Leap Motion Controller.
Abstract
Over the last few decades, there has been growth in the Virtual Reality market, which created the demand for more sophisticated systems that simulate the human senses. Even though the audio and vision technologies have improved, the haptic technologies were mainly used for mobile phones and gaming controllers. However, nowadays more and more researchers start focusing on designing wearable haptic interfaces in order to provide tactile and kinesthetic feedback to users of interactive 3D applications, either mobile, in Virtual Reality or Augmented Reality.
This thesis focuses on the implementation of such a haptic interface, which provides both tactile and kinesthetic feedback in 3D interactive applications. Specifically, it consists of an exoskeleton, which was designed in 3D CAD modeling software. This exoskeleton is placed on the top of the hand, and with five servo motors provide the kinesthetic feedback. The servo motors are controlled with a PWM/Servo driver board, which is connected with the Arduino microcontroller. Furthermore, the haptic interface provides tactile
feedback to the user through fifteen coin vibration motors, where one was placed on each fingertip, one on the bottom part of each finger, five on the top part of the palm, and one on the right side of the palm. These motors are also controlled from the Arduino microcontroller and offer three different levels of vibration.
In order to present these features, a 3D multimodal and interactive application was created with the Unity gaming platform, where the user was able to feel and interact with the virtual objects. The interactive application implemented could be easily ported as a 3D or gaming application for Virtual or Augmented Reality headsets or for mobile platforms without major software modifications. Apart from the visual and haptic feedback, this application also provides coordinated audio feedback at the time when an interaction with the virtual object occurred. Last but not least, the hand was tracked and represented in this virtual environment through the device called Leap Motion Controller.
Meeting ID: 820 5844 2230
Password: 270370
