Συντάχθηκε 29-10-2013 11:13
από Eleni Stamataki
Email συντάκτη: estamataki<στο>tuc.gr
Ενημερώθηκε:
-
Ιδιότητα: σύνταξη/αποχώρηση υπάλληλος.
Σχολή Ηλεκτρονικών Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών
ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ
ΠΑΠΑΚΩΣΤΑ ΜΙΧΑΛΗ
με θέμα
Θεματική Προσαρμογή Συνεχών Γλωσσικών Μοντέλων
Continuous Language Model Adaptation
Τετάρτη 30 Οκτωβρίου 2013, 9πμ
Αίθουσα Συνεδριάσεων ΗΜΜΥ , Κτίριο Επιστημών, Πολυτεχνειούπολη
Εξεταστική Επιτροπή
Καθηγητής Βασίλειος Διγαλάκης (επιβλέπων)
Αναπληρωτής Καθηγητής Μιχαήλ Λαγουδάκης
Καθηγητής Μιχαήλ Πατεράκης
Περίληψη
Τα στατιστικά γλωσσικά μοντέλα χρησιμοποιούνται ευρέως σε πολλές καθημερινές εφαρμογές όπως σε συστήματα αναγνώρισης φωνής ή συστήματα αυτόματης μετάφρασης.
Ωστόσο κάθε στατιστικό μοντέλο είναι εκπαιδευμένο να προβλέπει φαινόμενα που σχετίζονται με τη περιοχή από την οποία προέρχονται τα δεδομένα εκπαίδευσης και ως εκ τούτου δεν είναι σε θέση να δοκιμαστεί επιτυχώς σε δεδομένα άλλου θεματικού ενδιαφέροντος . Επίσης η συλλογή καινούριας και επαρκούς πληροφορίας για την εκπαίδευση καινούριων στατιστικών μοντέλων είναι μία χρονοβόρα και πολλές φορές δαπανηρή διαδικασία. Για το λόγο αυτό έχουν αναπτυχθεί διάφορες τεχνικές θεματικής προσαρμογής στατιστικών μοντέλων οι οποίες απαιτούν σημαντικά μικρότερο αριθμό καινούριων δεδομένων.
Τα N-grams, τα οποία είναι η κυρίαρχη τεχνολογία κατασκευής γλωσσικών μοντέλων, είναι πολύ δύσκολο να υποστούν θεματική προσαρμογή εξαιτίας του μεγάλου πλήθους παραμέτρων από τις οποίες περιγράφονται. Για το λόγο αυτό έχουν γίνει προσπάθειες κατασκευής γλωσσικών μοντέλων στο συνεχή χώρο τα οποία απαιτούν λιγότερες παραμέτρους και είναι ευκολότερο να υποστούν θεματική προσαρμογή.
Στη συγκεκριμένη εργασία ασχοληθήκαμε με τη θεματική προσαρμογή γλωσσικών μοντέλων στο συνεχή χώρο εκμεταλλευόμενοι τεχνικές από την αναγνώριση φωνής. Συγκεκριμένα δουλέψαμε με στατιστικά γλωσσικά μοντέλα εκπαιδευμένα σε κείμενα της εφημερίδας “Wall Street Journal” τα οποία προσαρμόσαμε κατάλληλα ώστε να είναι ικανά να προβλέψουν φαινόμενα σε κείμενα που προέρχονται από το domain “Air Travel Information System”. Δοκιμάσαμε διάφορες προσεγγίσεις και τεχνικές και καταλήξαμε σε ενδιαφέροντα συμπεράσματα ικανά να εμπνεύσουν μελλοντικές εργασίες.
Abstract
Statistical Language Models (LMs) are widely used in many every day applications such as speech recognition systems, automatic translation systems etc.
However every statistical model is tuned to the training data and thus it can not perform well when tested in out-of-domain data. Moreover hand-labeling data in order to train a new statistical model is always a time consuming and expensive procedure. Hence adaptation techniques have been developed in order to adapt an existing LM and make it fit new out-of-domain data, by using a significantly smaller amount of data.
N-grams, which is the dominant technology for language modeling, are very difficult to be adapted due to the big amount of required parameters. Thus LMs in Continuous-Space have been implemented in order to make language models more robust and easier to be adapted.
This study is an initial approach to continuous LM adaptation. We take advantage of some widely used algorithms from the field of speech recognition and we try to adapt an initial LM, trained in a corpus from Wall Street Journal, with data from Air Travel Information System. We examined different approaches and techniques and came up to some useful conclusions which can feed many future works.
Συνημμένα:
-
ΑΝΑΚΟΙΝΩΣΗ ΠΑΠΑΚΩΣΤΑ.docx
Μεταφορτώσεις: 76,
Μέγεθος: 29 KB application/vnd.openxmlformats-officedocument.wordprocessingml.document
