Συντάχθηκε 15-01-2019 09:03
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών
ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ
ΙΩΑΝΝΗ ΛΕΜΟΝΗ
με θέμα
Emotion Recognition from Facial Expressions using SVM Algorithm
Αναγνώριση Συναισθημάτων από Εκφράσεις Προσώπου χρησιμοποιώντας SVM Αλγόριθμο
Τετάρτη 16 Ιανουαρίου 2019, 14:00.
Αίθουσα 145.Π42, Κτίριο Επιστημών, Πολυτεχνειούπολη
Εξεταστική Επιτροπή
Καθηγητής Μιχαήλ Ζερβάκης (επιβλέπων)
Καθηγητής Κωνσταντίνος Καλαϊτζάκης
Δρ. Ελευθερία Σεργάκη (Σχολή ΗΜΜΥ, ΕΔΙΠ)
Περίληψη
Η αναγνώριση των εκφράσεων του προσώπου και των αντίστοιχων συναισθημάτων που εμφανίζει είναι οικείο γνώρισμα για κάθε άνθρωπο και αποτελεί παγκόσμιο φαινόμενο, χωρίς να χρειάζεται κάποιου είδους εκμάθηση, είναι ενστικτωδώς “προγραμματισμένο” στους ανθρώπους. Μία διεπαφή Ανθρώπου – Υπολογιστή μπορεί να ενισχυθεί κατά πολύ από την αναγνώριση των ανθρώπινων συναισθημάτων απλά κοιτώντας μας (δεν υπάρχει λόγος χρήσης της ίδιας γλώσσας ή γενικότερα λόγου). Αυτό μπορούμε να το πετύχουμε παίρνοντας φωτογραφίες (ή ζωντανό βίντεο) που δείχνουν ανθρώπινα πρόσωπα τα οποία εκφράζουν διαφορετικά συναισθήματα και μετατρέποντας τες σε τόνους γκρίζου (για λόγους ευκολίας και ταχύτητας). Εφαρμόζουμε μια ήδη εκπαιδευμένη “μάσκα” με 68 σημεία (κάθε ένα από αυτά με συγκεκριμένες συντεταγμένες) βασισμένη σε μια μέθοδο που προσπαθεί να προσαρμόσει τα σημεία αυτά γύρω απ’τις βασικές περιοχές του προσώπου που απεικονίζουν λεπτομέρειες συναισθημάτων, δηλαδή γύρω απο τις οπές του (στόμα, μάτια, μύτη). Κατόπιν παίρνουμε όλους τους πιθανούς συνδυασμούς μεταξύ όλων αυτών των σημείων ανά δύο και υπολογίζουμε την Ευκλείδεια απόσταση μεταξύ τους, ενώ χρησιμοποιώντας έναν SVM αλγόριθμο μηχανικής μάθησης εκπαιδεύουμε το σύστημα μας να αναγνωρίζει τέσσερα διαφορετικά συναισθήματα (θυμός, χαρά, ηρεμία, λύπη) βασιζόμενοι σε δύο σετ αρχείων (με παρουσίαση εκφράσεων και αντίστοιχου συναισθήματος). Τα δύο σετ δεδομένων με τα οποία εκπαιδεύουμε και επικυρώνουμε το SVM είναι: το Patras A.I.nD.M. με 84 σκηνοθετημένες φωτογραφίες (πορτραίτο) και το Fer2013 με 960 αυθόρμητες φωτογραφίες (τυχαία γωνία). To Fer2013 σετ δημιουργήθηκε για έναν διαγωνισμό Αναγνώρισης εκφράσεων με σκοπό να τεστάρει τους αλγόριθμους αναγνώρισης στα όρια τους, με πολύ μικρή ανάλυση 48x48 εικονοστοιχεία και γεμάτο με θολές εικόνες, εμπόδια μπροστά απο το πρόσωπο (είτε απο μαλλιά, καπέλα, γυαλιά, κακή γωνία λήψης κτλπ). Κάποιες απο αυτές δεν είναι καν πραγματικές φωτογραφίες αλλά σκίτσα η ζωγραφίες προσώπων με πληθώρα ανθρώπων απο όλο τον κόσμο. Τέλος μετά την εκπαίδευση, διενεργούμε τεστ απόδοσης για να δούμε πόσο ακριβής είναι. Από τα τέσσερα συναισθήματα η Ευτυχία αναγνωρίστηκε με μεγαλύτερη ακρίβεια με 100% (και στις τρείς στατιστικές μετρήσεις: Sensitivity, Specificity και Accuracy) στo σετ δεδομένων της Πάτρας, και 72%, 75% and 85% (Sen, Spe, Acc) στο Fer2013 σετ δεδομένων αντίστοιχα. Ο Θυμός έρχεται δεύτερος με 100%, 83%, 87.5% στο Patras σετ δεδομένων και 56%, 85%, 78% στο Fer2013 σετ δεδομένων. ρεμία είναι τρίτη σε στατιστικά με 50%, 100%, 87.5% στο Patras σετ δεδομένων και 45%, 67% και 62% στο Fer2013 σετ. Τέλος η Λύπη με 87.5%, 50% και 83% στο Patras σετ δεδομένων και 21%, 80% και 62% στο Fer2013 σετ δεδομένων.
Λέξεις κλειδιά: εκφράσεις προσώπου, συναίσθημα, ρομποτική όραση, SVM, Dlib, OpenCV, επεξεργασία εικόνας, ταξινόμητής, Fer2013, IBUG 300-W.
Abstract
The recognition of facial expressions and the corresponding emotion that they convey is something every human understands and it is universal without requiring training. It is instinctively “coded” in humans DNA. Human – Computer interaction can greatly benefit from recognizing various human emotions just by looking at us (no need for same language or any spoken language at all). The way we can achieve this is by taking frames (or live video) that depict human faces showing different emotional expressions and convert them to greyscale which makes it easier and faster to locate the facial area. We then apply a pre-trained mask with 68 flags-points (each one with unique coordination) based on a method that tries to apply these flags around the main facial areas that show details of emotions, around the orifices (mouth, eyes, nose). We proceed by taking all possible combinations of these 68 points and calculate the Euclidean distance between each set and then by using an SVM Machine learning method we train the system to recognize four main emotions (Anger, Joy, Tranquility, Sadness) experimented on two Data Sets (with depictions of expression and corresponding feeling). The data sets being used for the training and validation of the SVM are: Patras A.I.nD.M. data set of 84 directed facial poses (portrait angle) and Fer2013 data set of 960 Not directed facial poses (random angle). Τhe Fer2013 data set was created for a Facial Recognition competition to test the recognition algorithms to their limits, with very small resolution 48x48 pixels and full with out of focus, obscured (either by hair, hands, sunglasses, hats, bad angle etc ) pictures, some of them are not even from real photographs rather portraits or drawings of faces, with wide variety of different people from around the world. After the training we apply a validation test to find out how accurate it is. Of the four examined emotions Joy is the overall best distinguished with 100% (in all three statistical measures: Sensitivity, Specificity and Accuracy) in both Patras data sets tests 72%, 75% and 85% (Sen, Spe, Acc) in the Fer2013 data set accordingly. Anger comes second with 100%, 83%, 87.5% in Patras data set and 56%, 85%, 78% in Fer2013 data set. Tranquility is third with 50%, 100%, 87.5% (Sen, Spe, Acc) in Patras data set and 45%, 67% and 62% in Fer2013 data set. Finally Sadness with 87.5%, 50% and 83% in Patras data set and 21%, 80% and 62% in Fer2013 data set.
Keywords: facial expressions, emotion, computer vision, SVM, Dlib, OpenCV, image processing, classifier, Fer2013, IBUG 300-W.
Τόπος: Λ - Κτίριο Επιστημών/ΗΜΜΥ, 145Π-42, Πολυτεχνειούπολη
Έναρξη: 16/01/2019 14:00
Λήξη: 16/01/2019 15:00
