Συντάχθηκε 09-04-2024 08:31
Τόπος:
Σύνδεσμος τηλεδιάσκεψης
Έναρξη: 10/04/2024 11:00
Λήξη: 10/04/2024 12:00
ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών
ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ
Νικολέττας Παλατιανά
με θέμα
Σχεδίαση επιταχυντή βασισμένου σε αναδιατασσόμενη λογική για βιοεμπνευσμένες αρχιτεκτονικές με δενδριτική δομή και νέο κανόνα εκμάθησης για βαθιά νευρωνικά δίκτυα
A Reconfigurable Logic Based Accelerator for Bioinspired DNN Architectures with Dendritic Structure and a Novel Learning Rule
Εξεταστική Επιτροπή
Καθηγητής Απόστολος Δόλλας (επιβλέπων)
Καθηγητής Μιχαήλ Ζερβάκης
Διδάκτωρ Παναγιώτα Ποϊράζη (IMBB/ITE)
Περίληψη
Τα Artificial Neural Networks (ANNs), έχουν χρησιμοποιηθεί με επιτυχία σε αρχιτεκτονικές βαθιάς μάθησης για την επίλυση μιας σειράς δύσκολων προβλημάτων μηχανικής μάθησης. Ωστόσο, προκειμένου να επιτύχουν τη μέγιστη απόδοση, απαιτούν συνήθως σημαντική ποσότητα ενέργειας. Επιπλέον, δυσκολεύονται στην εκμάθηση νέων εργασιών. Απαιτούν μεγάλο όγκο δεδομένων και σημαντικό αριθμό παραμέτρων. Ο εγκέφαλος, από την άλλη πλευρά, λειτουργεί σε πολύ χαμηλό επίπεδο ενέργειας χωρίς να αντιμετωπίζει προβλήματα στη συνεχή εκμάθηση. Αντλώντας έμπνευση από τον ανθρώπινο εγκέφαλο και προσπαθώντας να ξεπεραστούν οι περιορισμούς των ANNs, το εργαστήριο Poirazi στο IMBB-FORTH ανέπτυξε μια βιο-εμπνευσμένη αρχιτεκτονική που ενσωματώνει δενδριτική δομή και receptive field, μαζί με μια νέα ροσέγγιση του Hebbian κανόνα. Με βάση την αρχική υλοποίηση στο Keras στην παρούσα διπλωματική αναπτύχθηκε μια προσέγγιση σε Numpy προκειμένου να αναλυθεί και να κατανοηθεί σε μεγαλύτερο βάθος αυτό το μοντέλο και η διαδικασία εκπαίδευσής του. Στη συνέχεια, σχεδιάστηκε, υλοποιήθηκε και μεταφορτώθηκε στην πλακέτα Xilinx ZCU 102 μια αρχιτεκτονική βασισμένη σε FPGA για τη διαδικασία εκπαίδευσης αυτού του βιοεμπνευσμένου ANN. Χρησιμοποιώντας τον υψηλό παραλληλισμό και την αποδοτικότητα ισχύος της FPGA, η αρχιτεκτονική μας κατάφερε να επιταχύνει την εκπαίδευση και να μειώσει την κατανάλωση ισχύος. Συγκεκριμένα, η προτεινόμενη υλοποίηση FPGA εκτελεί μια εποχή εκπαίδευσης (για το σύνολο δεδομένων MNIST) σε μόλις 13,46 δευτερόλεπτα αντί για 490 δευτερόλεπτα στην CPU (Keras) και τα 45 δευτερόλεπτα που απαιτεί η GPU (Keras). Επιπλέον, είναι 346 φορές πιο αποδοτική ενεργειακά συγκριτικά με την CPU και 57.5 φορές συγκριτικά με την GPU.
Abstract
Artificial Neural Networks (ANNs) have been successfully used in Deep Learning architectures to solve a variety of challenging machine learning problems. Nevertheless they usually require a considerable amount of energy. In addition, they demonstrate weakness in continually learning new tasks without forgetting the previous ones. They require multiple sets of data and a considerable amount of trainable parameters. The brain, on the other hand, operates at a very low energy level without facing problems learning new things. By drawing inspiration from the human brain and overcoming the limitations of ANNs, the Poirazi lab at IMBB-FORTH developed a bio-inspired architecture that incorporates the dendritic structure and receptive field, along with a novel approach to Hebbian learning. In this thesis a lower-level Numpy implementation was developed based on their initial Keras implementation in order to analyze and understand this model and its training process in greater depth. This was followed by the design, implementation, and download of an FPGA-based architecture onto the Xilinx ZCU 102 board for training the ANN. Using the high parallelism and power efficiency of the FPGA, our architecture has accelerated training and reduced power consumption. In particular, our proposed FPGA implementation executes an epoch of training (for the MNIST dataset) in only 13.46 seconds rather than 490 seconds on the CPU (Keras) and 45 seconds on the GPU (Keras). Furthermore, it achieves 346 times greater energy efficiency than the CPU implementation (Keras) and 57.5 times greater energy efficiency than the GPU implementation (Keras).
Meeting ID: 912 5813 1514
Password: 664560
