Συντάχθηκε 05-03-2012 09:07
από Galateia Malandraki
Email συντάκτη: gmalandraki<στο>tuc.gr
Ενημερώθηκε:
-
Ιδιότητα: υπάλληλος ΑΡΜΗΧ.
ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Τμήμα Ηλεκτρονικών Μηχανικών & Μηχανικών Υπολογιστών
ΠΑΡΟΥΣΙΑΣΗ ΜΕΤΑΠΤΥΧΙΑΚΗΣ ΕΡΓΑΣΙΑΣ
ΜΑΛΑΝΔΡΑΚΗ ΝΙΚΟΛΑΟΥ
με θέμα
“Αυτόματη δημιουργία σύνοψης ταινιών χρησιμοποιώντας ηχητικά οπτικά και γλωσσικά χαρακτηριστικά με βάση τις προτιμήσεις του χρήστη.”
“User adaptive movie rendering and summarization using audio visual and textual cues”
Τρίτη 6 Μαρτίου 2012, 2μμ
Αίθουσα 2041, Κτίριο Επιστημών, Πολυτεχνειούπολη
Εξεταστική Επιτροπή
Αν. Καθ. Αλέξανδρος Ποταμιάνος (επιβλέπων)
Καθ. Βασίλειος Διγαλάκης
Καθ. Μιχαήλ Ζερβάκης
Περίληψη
Αυτή η εργασία προσπαθεί να εξάγει τα συναισθήματα των θεατών από τα τρία τμήματα που αποτελούν μια ταινία: ήχο, εικόνα και κείμενο. Ένα μεγάλο εμπόδιο για την έρευνα στον τομέα είναι η έλλειψη κατάλληλα επισημειωμένων βάσεων δεδομένων. Αναπτύξαμε μια τέτοια βάση ταινιών, επισημειωμένων για συναίσθημα σε συνεχή χρόνο και κλίμακα. Προτείνουμε αλγορίθμους μηχανικής μάθησης υπό επίβλεψη, βασισμένους σε Κρυφά Μοντέλα Μαρκόφ και χαμηλού επιπέδου χαρακτηριστικά για να ταξινομήσουμε κάθε καρέ σε μια από 7 κατηγορίες. Οι διακριτές τιμές έπειτα μετατρέπονται σε συνεχής με κατάλληλο φίλτρο. Η μέθοδος έδειξε καλή απόδοση στο σετ 12 κλιπ των 30 λεπτών. Η επεξεργασία των υποτίτλων οδήγησε στην ανάπτυξη ενός αλγόριθμου αυτόματης δημιουργίας βαθμολογιών, σε συνεχή κλίμακα, για λέξεις και προτάσεις. Οι βαθμολόγηση του σθένους νέων λέξεων υπολογίζεται με βάση γνωστές μετρικές γνωσιακής ομοιότητας και με την υπόθεση ότι η γνωσιακή ομοιότητα υπονοεί συναισθηματική ομοιότητα. Οι βαθμολογίες των λέξεων συνδυάζονται με βαθμολογίες προτάσεων χρησιμοποιόντας 3 απλές μεθόδους.
Ο αλγόριθμος επέδειξε πολύ καλή απόδοση τόσο σε επίπεδο λέξεων όσο και σε προτάσεων.
Abstract
This work attempts to extract a viewer's emotion from the three modalities comprising a movie: audio, video and text. A major obstacle for emotion research has been the lack of appropriately annotated databases, limiting the potential for supervised algorithms. To that end we develop and present a database of movie affect, annotated in continuous time, on a continuous valence-arousal scale. Supervised learning methods are proposed to model the continuous affective response using hidden Markov Models and low-level audio-visual features and classify each video frame into one of seven discrete categories (in each dimension); the discrete-valued curves are then converted to continuous values via spline interpolation. A variety of audio-visual features are investigated and an optimal feature set is selected. The potential of the method is verified on twelve 30-minute movie clips with good precision at a macroscopic level. This method proves not suitable to process subtitle information, so we explore the creation of a text affect model, starting with a fully automated algorithm for expanding an affective lexicon with new entries. Continuous valence ratings are estimated for unseen words using the assumption that semantic similarity implies affective similarity. Starting from a set of manually annotated words, a linear model is trained using the least mean squares algorithm. The semantic similarity between the selected features and the unseen words is computed using various similarity metrics, and used to compute the valence of unseen words. The proposed algorithm performs very well on reproducing the valence ratings of the Affective Norms for English Words (ANEW) and General Inquirer datasets. We then use three simple fusion schemes to combine lexical valence scores into sentence-level scores, producing state-of-the-art results on the sentence rating task of the SemEval 2007 corpus.
Συνημμένα:
-
Ergasia-Anakoin_Μαλανδράκης.doc
Μεταφορτώσεις: 239,
Μέγεθος: 41 KB application/octet-stream
