Συντάχθηκε 23-09-2020 08:26
Τόπος: Η παρουσίαση θα γίνει με τηλεδιάσκεψη
Σύνδεσμος τηλεδιάσκεψης
Έναρξη: 25/09/2020 10:00
Λήξη: 25/09/2020 11:00
ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών
ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ
ΗΛΙΑΣ ΜΠΑΛΑΜΠΑΝΗΣ
θέμα
Κατανεμημένη Εκπαίδευση Αναδρομικών Νευρωνικών Δικτύων με την Χρήση Γεωμετρικής Μεθόδου
Distributed Training of Recurrent Neural Networks by FGM protocol
Εξεταστική Επιτροπή
Αναπληρωτής Καθηγητής Σαμολαδάς Βασίλης (επιβλέπων)
Αναπληρωτής Καθηγητής Δεληγιαννάκης Αντώνιος
Αναπληρωτής Καθηγητής Λαγουδάκης Μιχαήλ
Περίληψη
Τα Νευρωνικά Δίκτυα είναι ελκυστικά επειδή μαθαίνουν από τα δεδομένα και υποστηρίζονται έντονα από τις θεωρίες στατιστικής και βελτιστοποίησης. Η χρήση των Αναδρομικών Νευρωνικών Δικτύων για την πρόγνωση σε μη γραμμικά δυναμικά συστήματα έχει αυξηθεί σημαντικά. Αυτά έχουν την δυνατότητα να παρουσιάσουν ένα ευρύ φάσμα δυναμικής, λόγω της ανατροφοδότησης στην αρχιτεκτονικής τους. Βασιζόμενοι σε αυτό, προκύπτει η ανάγκη για κατανεμημένη εκπαίδευση σε αυτά τα δίκτυα, λόγω των τεράστιων δεδομένων. Ένα από τα πιο γνωστά πρωτόκολλα για κατανεμημένη εκπαίδευση είναι το πρωτόκολλο Γεωμετρικής Παρακολούθησης. Η πεποίθησή μας είναι ότι αυτό είναι ένα πολύ ακριβό πρωτόκολλο όσον αφορά την επικοινωνία των κόμβων, όταν το δίκτυο γίνεται όλο και μεγαλύτερο. Πρόσφατα, το Functional Geometric Monitoring πρωτόκολλο έχει δοκιμαστεί στην εκπαίδευση των Συνελικτικών Νευρωνικών Δικτύων και είχε ενθαρρυντικά αποτελέσματα. Ο στόχος αυτής της εργασίας είναι να δοκιμάσει και να συγκρίνει αυτά τα δύο πρωτόκολλα στα Αναδρομικά Νευρωνικά Δίκτυα.
Abstract
Artificial Neural Networks are appealing because they learn by example and are strongly supported by statistical and optimization theories. The usage of recurrent neural networks as identifiers and predictors in nonlinear dynamic systems has increased significantly. They can present a wide range of dynamics, due to feedback and are also flexible nonlinear maps. Based on this, there is a need for distributed training on these networks, because of the enormous datasets. One of the most known protocols for distributed training is the Geometric Monitoring protocol. Our conviction is that this is a very expensive protocol regarding the communication of nodes. Recently, the Functional Geometric Protocol has tested training on Convolutional Neural Networks and has had encouraging results. The goal of this work is to test and compare these two protocols on Recurrent Neural Networks.
Meeting ID: 963 5713 3349
Password: 863291
