Συντάχθηκε 27-11-2023 09:40
Τόπος:
Σύνδεσμος τηλεδιάσκεψης
Έναρξη: 04/12/2023 15:30
Λήξη: 04/12/2023 16:30
ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών
ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ
Γερασίμου Κορέση
με θέμα
Βαθιά Ενισχυτική Μάθηση για Σχηματισμό Επικαλυπτόμενων Συνασπισμών
Deep Reinforcement Learning for Overlapping Coalition Formation
Εξεταστική Επιτροπή
Καθηγητής Γεώργιος Χαλκιαδάκης (επιβλέπων) (Σχολή ΗΜΜΥ)
Καθηγητής Μιχαήλ Λαγουδάκης (Σχολή ΗΜΜΥ)
Αναπληρωτής Καθηγητής Βασίλειος Σαμολαδάς (Σχολή ΗΜΜΥ)
Περίληψη
Η παρούσα διπλωματική εμβαθύνει στο δυναμικό τοπίο του Σχηματισμού Επικαλυπτόμενων Συνασπισμών (OCF), αξιοποιώντας τη δύναμη του Deep Reinforcement Μάθηση (DRL), για την πλοήγηση στις αβεβαιότητες που είναι εγγενείς σε διαδοχικές συνεργατικές αλληλεπιδράσεις πολλαπλών παραγόντων. Η κεντρική έρευνα περιστρέφεται γύρω από την αντιμετώπιση της αβεβαιότητας σχετικά με τους βαθμούς συνεργασίας (DoC) μεταξύ των τύπων πρακτόρων, οι οποίοι θεωρούμε ότι καθορίζουν την αποτελεσματικότητα των συνασπισμών που σχηματίζονται από τους πράκτορες. Η μελέτη εκτυλίσσεται σε πολλαπλές διαστάσεις. Πρώτον, πραγματοποιείται μια εξερεύνηση των τεχνικών RL και DRL, δίνοντας έμφαση στην εφαρμογή τους στις περίπλοκες προκλήσεις που θέτουν τα σενάρια OCF. Ο πυρήνας της έρευνας βρίσκεται στην αντιμετώπιση της αβεβαιότητας σχετικά με την αξία της συνεργασίας για δημιουργία συνασπισμών, που αντικατοπτρίζεται από τους προαναφερθέντες DoC. Ως απάντηση, η μελέτη ενσωματώνει σε ένα πλαίσιο μάθησης και λήψης αποφάσεων που χρησιμοποιεί DRL, τα νευρωνικά δίκτυα σε γράφους (GNN). Ειδικότερα, η εργασία μας περιγράφει λεπτομερώς τη συνεργιστική ολοκλήρωση των DRL (συγκεκριμένα, Deep Q-Networks - DQN) και GNN (συγκεκριμένα, Graph Attention Networks - GAT), επιδεικνύοντας την ικανότητα του συνδυασμού τους να προσαρμόζεται στο διαρκώς μεταβαλλόμενο αβάβαιο τοπίο συνεργασίας. Τα αποτελέσματα της πειραματικής μας αξιολόγησης υπογραμμίζουν την αποτελεσματικότητα αυτής της υβριδικής προσέγγισης στη βελτίωση των ακολουθιακών αποφάσεων σχηματισμού συνασπισμού υπό αβεβαιότητα. Εξερευνήσαμε διάφορες παραλλαγές της DRL+GNN προσέγγισής μας, με τα αποτελέσματα της προσομοίωσής μας να υποδηλώνουν ως την πλέον επωφελή την αλληλοδιαπλοκή του DQN με ενημερώσεις GAT των DoC που λαμβάνουν χώρα κάθε φορά που αλλάζει ο προτείνων τον σχηματισμό. Τέλος, στην εργασία μας πραγματοποιούμε κάποια αρχικά βήματα για την αντιμετώπιση των εγγενών σε αυτό το πολυπρακτορικό πρόβλημα προκλήσεων επεκτασιμότητας, και θέτει τις βάσεις για μελλοντικές βελτιώσεις.
Abstract
This thesis delves into the dynamic landscape of Overlapping Coalition Formation (OCF), leveraging the power of Deep Reinforcement Learning (DRL), to navigate uncertainties inherent in sequential cooperative multiagent interactions. The central inquiry revolves around addressing the uncertainty regarding the degrees of cooperation (DoC) among agent types, which arguably determine the effectiveness of coalitions formed by the agents. The study unfolds in multiple dimensions. First, an exploration of RL and DRL techniques are undertaken, emphasizing their application to the intricate challenges posed by OCF scenarios. The core of the investigation lies in deciphering the evolving dynamics of agent interactions, with a particular focus on the uncertain nature of cooperation values represented by the DoC. In response to this uncertainty, the study integrates Graph Neural Networks (GNN) into the DRL framework. In particular, our thesis details the synergistic integration of DRL (specifically, Deep Q-Networks - DQN) and GNNs (specifically, Graph Attention Networks - GAT), showcasing their collective capacity to adapt to the ever-changing uncertain cooperation landscape. Our experimental evaluation results underscore the efficacy of this hybrid approach in enhancing sequential coalition formation strategies under uncertainty. We explored several variants of our DRL+GNNs approach, with our simulation results suggesting the intertwining of DQN with GAT updates of the DoC at the change of the proposer to be the most beneficial one. Finally, our work in this thesis takes the initial steps to tackle the scalability challenges inherent in this multiagent domain, and lays the groundwork for future refinements and extensions.
