Συντάχθηκε 10-07-2018 08:05
ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών Πρόγραμμα Προπτυχιακών Σπουδών
ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ
ΕΥΑΓΓΕΛΟΥ ΓΙΑΝΝΕΛΟΥ
με θέμα
Αναγνώριση Χειρονομιών για Σύνθεση Προτάσεων με Πιθανοτικούς Αλγόριθμους
Gesture Recognition for Sentence Synthesis with Probabilistic Algorithms
Πέμπτη 12 Ιουλίου 2018, 12 μ.μ. Αίθουσα 145.Π42, Κτίριο Επιστημών, Πολυτεχνειούπολη
Εξεταστική Επιτροπή
Αναπληρωτής Καθηγητής Άγγελος Μπλέτσας (επιβλέπων, Σχολή ΗΜΜΥ)
Αναπληρώτρια Καθηγήτρια Αικατερίνη Μανιά (Σχολή ΗΜΜΥ)
Αναπληρωτής Καθηγητής Παναγιώτης Παρτσινέβελος (Σχολή ΜΗΧΟΠ)
Περίληψη
Σκοπός αυτής της εργασίας ήταν να αναπτύξει ένα αυτόνομο σύστημα το οποίο προβλέπει κείμενο και συνθέτει ομιλία για άτομα με σωματικές αναπηρίες και μειωμένη λεπτή κινητικότητα. Χρησιμοποιήθηκε μια χαμηλού κόστους υπέρυθρη συσκευή αναγνώρισης κινήσεων των χεριών η οποία συχνά χρησιμοποιείτε σε εφαρμογές εικονικής/επαυξημένης πραγματικότητας. Το σύστημα που υλοποιήθηκε προσφέρει δύο βασικές λειτουργίες. Πρώτον, μια διεπαφή ανθρώπου-υπολογιστή η οποία θα παρέχει αρκετές δυνατότητες ώστε να μπορεί να προσαρμοστεί στις δυνατότητες ενός μεγάλου αριθμού χρηστών. Και δεύτερον, μια μέθοδο που να προβλέπει το κείμενο που θέλει να γράψει ο χρήστης ώστε να μειωθεί η ανάγκη πληκτρολόγησης από τον χρήστη όσο το δυνατόν περισσότερο και να επιταχυνθεί έτσι η ταχύτητα επικοινωνίας του. Η πρόβλεψη κειμένου βασίστηκε κυρίως σε N-grams (και τις σχετικές αλυσίδες Μαρκόφ), ανάπτυξη συντομογραφιών (και πινάκων αναζήτησης) και νευρωνικά δίκτυα με ανατροφοδότηση. Τα αποτελέσματα επιβεβαίωσαν πως οι χρήση απλών μεθόδων πρόβλεψης που χρησιμοποιήθηκαν, επιτάχυναν την ταχύτητα πληκτρολόγησης μειώνοντας την ανάγκη για πληκτρολόγηση κατά περίπου 63%. Μελλοντική δουλειά θα μπορούσε να χρησιμοποιήσει επιπλέον αισθητήρες παρακολούθησης οφθαλμών ή χεριών.
Abstract
The purpose of this work was to develop a standalone system that predicts text and outputs speech synthesis for people with physical disabilities and reduced fine motor function. A low-cost, infrared hand tracking device was utilized, typically used in virtual/augmented reality applications. The implemented system offers two basic functionalities. First, a human-computer interaction (HCI) functionality that is customizable and offers enough features that can be tailored to a large number of different users. Second, a way to predict what the
user intends to write in order to reduce the user's input text as much as possible, speeding up overall communication. The word prediction task was mainly based on n-grams (and relevant Markov Chains), abbreviation expansion (and lookup tables) and recurrent neural networks. Evaluation results confirmed that the simple prediction methods utilized accelerated word typing speed, saving input text by approximately 63%. Future work could utilize additional eye-tracking or hand-tracking sensors.
Τόπος: Λ - Κτίριο Επιστημών/ΗΜΜΥ, 145Π-42, Πολυτεχνειούπολη
Έναρξη: 12/07/2018 12:00
Λήξη: 12/07/2018 13:00
