Συντάχθηκε 25-06-2019 14:50
Ενημερώθηκε:
27-06-2019 15:17
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών
ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ
Φώτιου Λυγεράκη
με θέμα
Αναπαράσταση Χώρου Πεποιθήσεων Κατάστασης για Στατιστικούς Διαχειριστές Διαλόγου με χρήση Βαθέων Αποκωδικοποιητών
Belief State Space Representation for Statistical Dialogue Managers using Deep Autoencoders
Πέμπτη 27 Ιουνίου 2019, 08:30 π.μ.
Αίθουσα 137Π39, Κτίριο Επιστημών, Πολυτεχνειούπολη
Εξεταστική Επιτροπή
Καθηγητής Βασίλειος Διγαλάκης (επιβλέπων)
Αναπληρωτής Καθηγητής Μιχαήλ Λαγουδάκης
Δρ. Βασίλειος Διακολουκάς, ΕΔΙΠ
Περίληψη
Τα στατιστικά συστήματα διαλόγου (ΣΣΔ) έχουν αποδείξει τη τεράστια δυναμική τους τα τελευταία χρόνια. Ωστόσο, η έλλειψη αποτελεσματικών και ισχυρών αναπαραστάσεων των πεποιθήσεων κατάστασης (ΠΚ) τους αποτρέπει από το να αποκαλύψουν το πλήρες εύρος της δυναμικής τους. Επιπλέον, υπάρχει μεγάλη ανάγκη για αυτόματες τεχνικές αναπαράστασης των ΠΚ που να μεταφέρονται εύκολα σε πολλούς τομείς εφαρμογής (domains) , οι οποίες θα αντικαταστήσουν τις παλιές τεχνικές που βασίζονται σε κανόνες. Για την αντιμετώπιση των παραπάνω προβλημάτων, εισάγουμε μια νέα χρήση του Autoencoder (AE). Στόχος μας είναι να αποκτήσουμε μια χαμηλής διάστασης και συμπαγή, αλλά ισχυρή αναπαράσταση του χώρου των ΠΚ. Διερευνούμε τη χρήση του πυκνού ΑΕ, καθώς και του ΑΕ αποθορυβοποίησης (denoising) (DAE), του αραιού AE (SAE) και του DΑΕ διακύμανσης (variational) (VDAE). Οι προσεγγίσεις αποθορυβοποίησης είναι ιδιαίτερα χρήσιμες όταν υπάρχουν αλλοιώσεις στο διάνυσμα των ΠΚ σε περιβάλλοντα με υψηλή αβεβαιότητα. Επίσης, διερευνούμε τις δυνατότητες της Παραμετροποίησης Ανεξάρτητου Τομέα Εφαρμογής (DIP), μιας ανεξάρτητης από το πεδίο εφαρμογής, εναλλακτικής λύσης για την αναπαράσταση των ΠΚ , καθώς επίσης και του συνδυασμού της DIP με διαφορετικούς τύπους AE, για μια πιο συμπαγή και ισχυρή αναπαράσταση αυτής. Η αναπαράσταση του χώρου ΠΚ που λαμβάνουμε από τους διάφορους ΑΕ χρησιμοποιείται από δύο υπερσύγχρονους αλγόριθμους ενίσχυσης μάθησης (EM) για την εκμάθηση των πολιτικών διαλόγου˙ τον μη παραμετρικό GP-SARSA και τον παραμετρικό LSPI. Δείχνουμε ότι η προτεινόμενη προσέγγιση επιτυγχάνει υψηλότερες επιδόσεις πολιτικής σε σύγκριση με το πλήρες διάνυσμα ΠΚ, καθώς και την κυριαρχία του VDAE ως το καλύτερο εργαλείο αναπαράστασης, χρησιμοποιώντας προσομοιωμένους χρήστες στο εργαλείο PyDial. Συγκεκριμένα, ο VDAE σε συνδυασμό με τον LSPI παρουσίασε την καλύτερη απόδοση από όλους τους άλλους συνδυασμούς τεχνικών αναπαράστασης και σε οποιοδήποτε τομέα εφαρμογής, ακόμη και στα περιβάλλοντα με την υψηλότερη αβεβαιότητα.
Abstract
Statistical Dialogue Systems (SDS) have proved their humongous potential over the past few years. However, the lack of efficient and robust representations of the belief state (BS) refrains them from revealing their full potential. Furthermore, there is a great need for domain-transferable and automatic BS representation techniques, which will replace the old hand-crafted ones. To tackle the above problems, we introduce a novel use of Autoencoder (AE). Our goal is to obtain a low-dimensional and compact, yet robust representation of the BS space. We investigate the use of dense AE, as well as Denoising (DAE), Sparse AE (SAE) and Variational Denoising (VDAE) AEs. Denoising approaches are particularly useful when corrupted BS vectors exist in environments with high uncertainty. We also explore the capabilities of Domain Independent Parameterization (DIP), a domain-independent alternative to the BS representation, and we combine them with different types of the AE, in order to obtain a more compact and robust representation of it. The BS space representation obtained from the AEs is used by two state-of-the-art Reinforcement Learning (RL) algorithms to learn the dialogue policies; the non-parametric GP-SARSA and the parametric LSPI. We show that the proposed approach achieves higher policy performance compared to the full BS vector, as well as the dominance of the VDAE as the best representation tool using simulated users on PyDial toolkit framework. Specifically, VDAE in combination with LSPI exhibited the best performance among all other combinations of representation techniques and RL algorithms in any domain, even in the environments with the highest uncertainty.
Τόπος: Λ - Κτίριο Επιστημών/ΗΜΜΥ, 137Π-39,-38, Πολυτεχνειούπολη
Έναρξη: 27/06/2019 08:30
Λήξη: 27/06/2019 09:30
