Συντάχθηκε 07-03-2013 11:45
από Galateia Malandraki
Email συντάκτη: gmalandraki<στο>tuc.gr
Ενημερώθηκε:
-
Ιδιότητα: υπάλληλος ΑΡΜΗΧ.
ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Τμήμα Ηλεκτρονικών Μηχανικών & Μηχανικών Υπολογιστών
ΠΑΡΟΥΣΙΑΣΗ ΜΕΤΑΠΤΥΧΙΑΚΗΣ ΕΡΓΑΣΙΑΣ
Βασιλική Κουλουμέντα
με θέμα
“Συναισθηματική Ανάλυση Πολυτροπικών
Συστημάτων Διαλόγου για παιδιά προσχολικής ηλικίας”
“Affective Analysis of Multimodal Dialogue
Systems for Preschoolers”
Παρασκευή 8 Μαρτίου 2013, ώρα 13:00 μμ
Αίθουσα 145Π58, Κτίριο Επιστημών, Πολυτεχνειούπολη
Εξεταστική Επιτροπή
Αναπληρωτής Καθηγητής Αλέξανδρος Ποταμιάνος (επιβλέπων)
Επίκουρη Καθηγήτρια Αικατερίνη Μανιά
Καθηγητής Βασίλειος Διγαλάκης
Περίληψη
Σε αυτή την εργασία, μελετάμε πώς οι τρείς παράγοντες του Malone (φαντασία, περιέργεια και δυσκολία) επηρεάζουν τα πρότυπα αλληλεπίδρασης σε παιδιά προσχολικής ηλικίας, και πώς το συναίσθημα μπορεί να αποτελέσει έναν σημαντικό δείκτη για την προσαρμογή υπολογιστικών συστημάτων τα δεδομένα του χρήστη. Για αυτό τον σκοπό, σχεδιάστηκε και υλοποιήθηκε ένα πολυτροπικό σύστημα διαλόγου, με πέντε ενσωματωμένα παιχνίδια. Αυτά τα παιχνίδια σχεδιάστηκαν ώστε να είναι κατάλληλα για παιδιά προσχολικής ηλικίας, και υποστηρίζουν ποικίλα επίπεδα φαντασίας, περιέργειας και δυσκολίας. Η πλατφόρμα που υλοποιήθηκε χρησιμοποιήθηκε στην πειραματική διαδικασία, όπου έλαβαν μέρος δεκαπέντε παιδία ηλικίας τεσσάρων έως έξι ετών. Σε κάθε παιδί ζητήθηκε να παίξει διάφορες εκδόσεις της εφαρμογής, μία για κάθε παράγοντα. Τα αποτελέσματα έδειξαν ότι η φαντασία και η περιέργεια είναι στενά συνδεδεμένες με το επίπεδο ψυχαγωγίας του χρήστη, ενώ το επιθυμητό επίπεδο δυσκολίας δείχνει να εξαρτάται από τον εκάστοτε χρήστη. Επιπροσθέτως διάφορα ‘αντικειμενικά’ χαρακτηριστικά, όπως επίσης και ηχητικά χαρακτηριστικά μετρήθηκαν κατά την διάρκεια του παιχνιδιού, ώστε να μελετήσουμε ποιά είναι τα πρότυπα αλληλεπίδρασης που σχηματίζονται από τα παιδιά. Η κατανόηση των προτύπων αλληλεπίδρασης αναμένουμε να μας οδηγήσει στον ορισμό των παραμέτρων που είναι κατάλληλες για την προσαρμογή των υπολογιστικών συστημάτων. Επιπλέον, χρησιμοποιώντας χαρακτηριστικά της φωνής, προσπαθούμε να προβλέψουμε την συναισθηματική κατάσταση του χρήστη, ως έναν επιπλέον παράγοντα για την προσαρμογή συστημάτων. Τα αποτελέσματα αποδεικνύουν ότι η αναγνώριση συναισθήματος σε πρώιμες ηλικίες είναι το ίδιο εύκολη με την αναγνώριση συναισθήματος σε ενήλικες. Αυτό οφείλεται στο γεγονός ότι τα παιδιά τείνουν να είναι περισσότερο εκφραστικά όταν μιλάνε. Επιπλέον η πρόβλεψη του βέλτιστου επιπέδου της φαντασίας, της περιέργειας και της δυσκολίας επιχειρείται. Τέλος, επιχειρούμε να διερευνήσουμε χρησιμοποιώντας την συσκευή NeuroSky πώς τα arousal, engagement και meditation εξελίσσονται κατά την διάρκεια της αλληλεπίδρασης, καθώς επίσης πώς επηρεάζονται από την είσοδο. Η συσκευή NeuroSky χρησιμοποιείται για να μετράμε τα επίπεδα engagement και meditation καθώς επίσης και ποικίλα εγκεφαλικά σήματα. Για αυτό το λόγο κάναμε ένα διαφορετικό πείραμα όπου ενήλικες και παιδιά έλαβαν μέρος. Τα αποτελέσματα έδειξαν ότι η φαντασία και η δυσκολία είναι εύκολο να προβλεφθούν, ενώ η περιέργεια αποδείχθηκε δύσκολη εργασία. Τέσσερεις ταξινομητές εκπαιδεύτηκαν και δοκιμάστηκαν τόσο για αναγνώριση των παραγόντων όσο και για αναγνώριση συναισθήματος. Χρησιμοποιήθηκαν επίσης και τεχνικές επιλογής χαρακτηριστικών. Με αυτή την δουλειά, επιχειρούμε να θέσουμε τις βάσεις για την ανάπτυξη συστημάτων για παιδιά προσχολικής ηλικίας, συνδυάζοντας τα βέλτιστα επίπεδα των τριών παραγόντων του Malone μαζί με την αυτόματη αναγνώριση συναισθήματος.
Abstract
In this thesis, we investigate how the three Malone factors (fantasy, curiosity, challenge) influence the interaction patterns in preschool ages, and how emotion can be a significant indicator for adaptation. For this reason, we designed and implemented a multimodal dialogue system with five incorporated task oriented games. These five tasks were designed to be suitable for preschool children and they assert various levels in fantasy, curiosity and challenge. The implemented platform was used in an experimental process, where fifteen children four to six years old participated in. Each child was asked to play different versions of the application, one for each factor level. The results indicated that fantasy and curiosity are highly correlated with the user’s entertainment, while the preferred level of challenge seems to be very user dependent. In addition various objective features, as well as audio features were measured during the game play, in order to study which are the interaction patterns formed by infants. The comprehension of such interaction patterns are expected to lead us to the definition of the parameters, that are good for adaptation. Also, by using speech characteristics, we try to predict the user’s emotional state, as an additional factor for the system’s adaptation. Results indicate that emotion recognition, in early ages, is at least as easy as emotion recognition for adult users. This is attributed to the fact that infants tend to be more expressive when talking. Moreover the prediction of optimal level of fantasy, curiosity and challenge is attempted.
Finally, we attempt to investigate how arousal, engagement and meditation are evolute during interaction, as well as how they are affected by input modality, by using the NeuroSky device. NeuroSky is a device that used for measuring engagement and meditation levels as well as various encephalographic signals. For this reason we conducted a different experiment where both adults and children took part. Results indicated that fantasy and challenge are easy predictable, while curiosity recognition demonstrated to be a hard task. Four classifiers are trained and tested for both factor and emotion prediction, along with feature selection techniques. With this work, we attempt to bring forward the basis for the development of adaptive systems for preschool ages, by associating optimal levels of the three Malone factors along with emotion automatic recognition.
Συνημμένα:
-
metaptErgasia-Anak_Kouloumenta.doc
Μεταφορτώσεις: 149,
Μέγεθος: 53 KB application/octet-stream
