Συντάχθηκε 19-07-2022 12:41
Τόπος:
Σύνδεσμος τηλεδιάσκεψης
Έναρξη: 21/07/2022 09:30
Λήξη: 21/07/2022 10:30
ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Μεταπτυχιακών Σπουδών
ΠΑΡΟΥΣΙΑΣΗ ΜΕΤΑΠΤΥΧΙΑΚΗΣ ΕΡΓΑΣΙΑΣ
ΒΗΣΣΑΡΙΩΝ ΜΠΕΡΤΧΟΛΤ ΚΟΝΙΔΑΡΗ
με θέμα
Μεγάλης κλίμακας συνεχής Μηχανική Μάθηση σε πλατφόρμες επεξεργασίας ροών δεδομένων
Extreme-Scale Online Machine Learning on Stream Processing Platforms
Εξεταστική Επιτροπή
Αναπληρωτής Καθηγητής Βασίλειος Σαμολαδάς (επιβλέπων)
Καθηγητής Μίνως Γαροφαλάκης
Καθηγητής Μιχαήλ Λαγουδάκης
Περίληψη
Οι αλγόριθμοι συνεχούς μηχανικής μάθησης υποστηρίζουν την δυνατότητα εκπαίδευσης πάνω σε συνεχόμενες και απεριόριστες ροές δεδομένων, ενώ ταυτόχρονα είναι ικανοί να παρέχουν προβλέψεις σε επιπλέον ροές δεδομένων χωρίς ετικέτες. Η αύξηση του όγκου και της πολυπλοκότητας των ψηφιακών δεδομένων που παράγεται καθημερινώς είναι εκρηκτική. Με τη παραγωγή τους να είναι κατανεμημένη, αδιάλειπτη και πρωτίστως μη στατική, οι αλγόριθμοι συνεχούς μηχανικής μάθησης αποτελούν πια ουσιώδεις και αναγκαίες τεχνικές για τις σύγχρονες εφαρμογές παροχής αναλύσεων και προβλέψεων. Παρακινούμενοι από την χαμηλή υποστήριξη δημοφιλών προγραμματιστικών εργαλείων σε θέματα συνεχούς μηχανικής μάθησης, υλοποιήσαμε το εργαλείο Online Machine Learning and Data Mining (OMLDM), ένα εργαλείο σύγχρονης τεχνολογίας ικανό να αναπτύξει κατανεμημένους αλγορίθμους συνεχούς μηχανικής μάθησης σε πλατφόρμες επεξεργασίας ροών δεδομένων. Για λόγους υψηλής απόδοσης, η υλοποίησή μας έγινε πάνω σε μοντέρνα συστήματα ανάλυσης μεγάλων δεδομένων όπως Apache Flink και Apache Kafka, χρησιμοποιώντας την αρχιτεκτονική του διακομιστή παραμέτρων, ή αλλιώς το μοντέλο παραλληλισμού δεδομένων. Παρατηρήσαμε πως η δικτυακή επικοινωνία για τον συγχρονισμό παράλληλων μοντέλων αποτελεί το μεγαλύτερο εμπόδιο για την αύξηση του παραλληλισμού των εν λόγο συστημάτων. Για αυτό το λόγο, υλοποιήσαμε στο εργαλείο OMLDM μια πληθώρα από μοντέρνες τεχνικές συγχρονισμού κατανεμημένων μοντέλων. Επιπροσθέτως, παρουσιάζουμε μέσω του εργαλείου μια καινούργια τεχνική συγχρονισμού, την Functional Dynamic Averaging (FDA), για την οποία αποδεικνύουμε πειραματικά ότι ελαχιστοποιεί την επικοινωνία μεταξύ κατανεμημένων μοντέλων διατηρώντας υψηλή απόδοση προβλέψεων.
Abstract
Online Machine Learning (OML) techniques support training over continuous unbounded training items while simultaneously providing predictions on the same or another unlabeled stream. The explosion in the amount and complexity of digital information generated online is gradually rendering OML techniques essential for modern analytics and forecasting applications due to their ability to handle massive, unbounded, and most importantly, inherently not-static data. Having noted that support for popular Machine Learning (ML) toolchains is somewhat weak for the OML setting, we have designed the Online Machine Learning and Data Mining (OMLDM) component, a state-of-the-art engine for effortlessly deploying OML pipelines on streaming platforms. Our prototype, built on Apache Flink, validates our architecture, and identifies issues that current streaming platforms should improve on to support OML. To achieve high performance, OMLDM supports distributed online learning by utilizing the Parameter Server paradigm. We have identified the communication cost of synchronizing distributed learners as the major impediment to scalability. To overcome this obstacle, our proposed engine supports several popular model synchronization strategies. In addition, we bring forward and evaluate a novel synchronization strategy, Functional Dynamic Averaging (FDA), that minimizes the prediction loss and network communication all at once. We demonstrate through experiments that FDA is superior to current model synchronization strategies in many settings.
Meeting ID: 947 4702 6504
Password: 186020
