Συντάχθηκε 17-07-2024 11:13
Τόπος:
Σύνδεσμος τηλεδιάσκεψης
Έναρξη: 19/07/2024 09:00
Λήξη: 19/07/2024 10:00
ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών
ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ
Παναγιώτη Σκλάβου
με θέμα
Ομοσπονδιακή Μάθηση σε Flower και NS3 Ενσωματώνοντας τη Γεωμετρική Προσέγγιση για Αποδοτικό Συγχρονισμό
Federated Learning at Flower and NS3 Integrating the Geometric Approach for Efficient Synchronization
Εξεταστική Επιτροπή
Καθηγητής Αντώνιος Δεληγιαννάκης (επιβλέπων)
Αναπληρωτής Καθηγητής Βασίλειος Σαμολαδάς
Επίκουρος Καθηγητής Νικόλαος Γιατράκος
Περίληψη
Η ταχεία εξέλιξη του υπολογιστικού περιβάλλοντος αιχµής (edge computing) και του ∆ιαδικτύου των Πραγµάτων (IoT) έχει οδηγήσει σε εκθετική αύξηση του παραγώµενου όγκου δεδοµένων, επισηµαίνοντας την ανάγκη για µεθόδους αποκεντρωµένης µηχανικής µάθησης που διασφαλίζουν ιδιωτικότητα και απόδοση. Η παρούσα διπλωµατική εργασία ανταποκρίνεται σε αυτές τις ανάγκες, εφαρμόζοντας Οµοσπονδιακή Μάθηση (FL) υπό ϱεαλιστικές δικτυακές συνθήκες, συνδυάζοντας το πλαίσιο Flower µε τον προσωµοιωτή δικτύου NS3 και ενσωματώνοντας τη Γεωµετρική Μέθοδο για ϐελτιωµένο συγχρονισµό και επιδόσεις. Η προσέγγισή µας περιλαµβάνει πολλαπλά ϐασικά ϐήµατα. Αρχικά, αναπτύχθηκε ένας ορχηστρωτής Οµοσπονδιακής Μάθησης χρησιµοποιώντας το πλαίσιο Flower για τη δηµιουργία ενός κατανεµηµένου δικτύου µε έναν κεντρικό διακοµιστή και πολλαπλούς πελάτες συνδεδεµένους σε τοπολογία αστέρα. Για τη ϐελτιστοποίηση των ενηµερώσεων των νευρωνικών δικτύων και τον περιορισµό των επικοινωνιακών εξόδων, εφαρµόστηκε µια µέθοδος συγχρονισµού ϐασισµένη στη γεωµετρική παρακολούθηση, γνωστή ως Functional Dynamic Averaging (FDA). Επιπλέον, χρησιµοποιήθηκε ο προσοµοιωτής δικτύου NS3 για την εξοµείωαη ϱεαλιστικών συνθηκών δικτύου και εφαρµόστηκε ένα πρωτόκολλο ∆ιαδιεργασιακής Επικοινωνίας (IPC) µε χρήση Unix Sockets για την απρόσκοπτη αλληλεπίδραση µεταξύ του πλαισίου Οµοσπονδιακής Μάθησης και του προσοµοιωτή δικτύου. Το ολοκληρωµένο πλαίσιο Οµοσπονδιακής Μάθησης που υλοποιήθηκε παρουσιάζει ανθεκτικότητα και αποτελεσµατικό συγχρονισµό σε ποικιλόµορφες εξοµοιωµένες συνθήκες δικτύου. Η Γεωµετρική προσέγγιση που εφαρµόζεται από τον αλγόριθµο FDA εξισορροπεί αποτελεσµατικά τον λόγο υπολογισµού προς το επικοινωνιακό κόστος, διατηρώντας υψηλά επίπεδα ακρίβειας. Εξονυχιστικές δοκιµές σε ποικίλα σύνολα δεδοµένων, τεχνητά νευρωνικά δίκτυα (ΑΝΝ), συνθήκες δικτύου και κατανοµές δεδοµένων (δεδοµένα ανεξάρτητα και οµοιόµορφα κατανεµηµένα και µη) αποκαλύπτουν σηµαντικές ϐελτιώσεις στην αποδοτικότητα επικοινωνίας και την ακρίβεια του µοντέλου σε σύγκριση µε έναν ϐασικό κατανεµηµένο αλγόριθµο. Συµπερασµατικά, αυτή η έρευνα παρουσιάζει ένα καινοτόµο και αποδοτικό πλαίσιο Οµοσπονδιακής Μάθησης που γεφυρώνει τα υπάρχοντα κενά σε υποδοµές ανάπτυξης και προσωµοίωσης, εξασφαλίζοντας ανθεκτική απόδοση και αποτελεσµατικό συγχρονισµό σε πραγµατικές ϱεαλιστικές συνθήκες δικτύου.
Abstract
The rapid advancement of edge computing and the Internet of Things (IoT) has led to an exponential increase in data generation, underscoring the need for privacy-preserving and efficient decentralized machine learning methods. This thesis addresses these needs by implementing Federated Learning (FL) under realistic network conditions, integrating the Flower Framework with the NS3 network simulator, and employing the Geometric Method (GM) for enhanced synchronization and performance. Our approach involves several key steps. Initially, a Federated Learning orchestrator is developed using the Flower framework to establish a distributed network with a central server and multiple clients connected in a star topology. To optimize model updates and minimize communication costs, a synchronization method based on geometric monitoring, known as Functional Dynamic Averaging (FDA), is implemented. Additionally, the NS3 network simulator is used to emulate realistic network conditions, and a socket-based Inter-Process Communication (IPC) protocol is employed to ensure seamless interaction between the federated learning framework and the network simulator. Our integrated FL framework demonstrates robustness and effective synchronization across various simulated network conditions. The Geometric Monitoring approach of FDA efficiently balances the computation-to-communication ratio while maintaining high accuracy levels. Thorough testing across diverse datasets, artificial neural networks (ANNs), networking conditions, and data distributions (IID and non-IID) reveals significant improvements in communication efficiency and model accuracy compared to a baseline distributed algorithm. In conclusion, this research presents a novel and effective Federated Learning framework that bridges existing infrastructure gaps, ensuring robust performance and efficient synchronization in real-world network environments.
