Ημερολόγιο Εκδηλώσεων

ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών

ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ

Κωνσταντίνου Δημόπουλου

με θέμα

Επιθεώρηση Φωτοβολταϊκών Στοιχείων με την Βοήθεια Συστημάτων Βαθιάς Μάθησης σε Εικόνες από Μη Επανδρωμένο Όχημα
Photovoltaic Panel Inspection using Deep Learning Systems on Unmanned Aerial Vehicle based Images

Εξεταστική Επιτροπή

Καθηγητής Μιχαήλ Ζερβάκης (επιβλέπων)
Αναπληρωτής Καθηγητής Φώτιος Κανέλλος
Καθηγητής Παναγιώτης Παρτσινέβελος (Σχολή ΜΗΧΟΠ, TUC)

Περίληψη

Είναι προφανές σε όλους ότι ο κόσμος στον οποίο ζούμε μεταβαίνει αργά αλλά σταθερά από τα ορυκτά καύσιμα στις ανανεώσιμες πηγές ενέργεια. Αυτό είναι αρκετά ωφέλιμο για το περιβάλλον, τους ανθρώπους που κατοικούν σε αυτόν τον πλανήτη, καθώς και την πανίδα και τη χλωρίδα . Μία από τις πιο ταχέως αναπτυσσόμενες πηγές πράσινης ενέργειας είναι η ηλιακή ενέργεια. Κατασκευές τεράστιων ηλιακών πάρκων πραγματοποιούνται κάθε χρόνο. Καθώς κάθε ηλιακό πάρκο περιέχει εκατοντάδες χιλιάδες μεμονωμένα ηλιακά πάνελ, έχει αυξηθεί η ανάγκη για έναν ταχύτερο, ασφαλέστερο και πιο αποτελεσματικό τρόπο παρακολούθησης της κατάστασης του κάθε πάνελ. Έχει προταθεί και εφαρμοστεί η εξ αποστάσεως παρακολούθηση των πάνελ μέσω της χρήσης μη επανδρωμένων εναέριων οχημάτων (UAV ή αλλιώς drones), παράγοντας εξαιρετικά αποτελέσματα. Σε αυτή τη διατριβή εστιάζουμε στη δημιουργία καινοτόμων μοντέλων βαθιάς εκμάθησης, που λαμβάνουν ως είσοδο, εικόνες μεμονωμένων φωτοβολταϊκών πάνελ που λαμβάνονται, των οποίων οι βλάβες δεν έχουν σχολιασθεί. Οι εικόνες αυτές είναι εικόνες του υπέρυθρου φάσματος του φωτός. Έχουμε ως στόχο την δημιουργία ενός σχολιασμένου συνόλου δεδομένων, για την εκπαίδευση, την επικύρωση και τον έλεγχο των μοντέλων καθώς και η δημιουργία ενός γενικού συνόλου δεδομένων, μέσω data augmentation, για χρήση σε περεταίρω ελέγχους. Δεύτερο στόχο αποτελεί η επίτευξη της αποδοτικής εκπαίδευσης 2 διαφορετικών μοντέλων. Το πρώτο μοντέλο εκτελεί δυαδική ανίχνευση σφαλμάτων στην επιφάνειας των ηλιακών πάνελ, που σημαίνει ότι μπορεί να ανιχνεύσει αποτελεσματικά εάν ένα φωτοβολταϊκό πάνελ έχει υποστεί κάποια φθορά ή όχι. Το δεύτερο μοντέλο εξειδικεύεται στην ταξινόμηση πολλαπλών κατηγοριών σφαλμάτων, που σημαίνει ότι μπορεί να ανιχνεύσει, να αναγνωρίσει και να ταξινομήσει το συγκεκριμένο σφάλμα σε ένα πάνελ και, στη συνέχεια, προχωρά στην τοποθέτηση ενός πλαισίου οριοθέτησης πάνω από το σφάλμα, προσδιορίζοντας την ακριβή θέση του στην εικόνα. Σε όλο αυτό το πείραμα, τροποποιούμε τα μοντέλα YOLOv8 και YOLONAS. Κατά την εκπαίδευση του YOLOv8 εκπαιδεύσαμε ένα μοντέλο δυαδικής αναγνώρισης με F1 score ίσο με 93.8% και mAP50-90 score ίσο με 97.7%. Το μοντέλο ταξινόμησης πολλαπλών κατηγοριών, μπορεί να αναγνωρίσει σωστά 8 διαφορετικές κατηγορίες σφαλμάτων επιφάνειας ηλιακών πάνελ, με διαφορετικά
ποσοστά επιτυχίας ανάλογα με την εν λόγω κατηγορία σφάλματος (με F1 score ίσο με 64.4% και mAP50-90 score ίσο με 45.3%). Οι προδιαγραφές αυτών των εκπαιδευμένων 8 μοντέλων αναλύονται περαιτέρω σε αυτή τη διατριβή, μαζί με όλη τη διαδικασία και τον πειραματισμό που χρειάστηκε για να φτάσουμε σε αυτό το σημείο. Τα μοντέλα ελέγχθηκαν με την χρήση τμήματος των αρχικών εικόνων αλλά και με εντελώς νέες εικόνες που δημιουργήθηκαν μέσω της τεχνικής data augmentation. Για πρώτη φορά 2 καινοτόμα μοντέλα βαθιάς μάθησης χρησιμοποιήθηκαν για τον εντοπισμό πολλαπλών κλάσεων σφαλμάτων σε φωτοβολταϊκά πάνελ, ανοίγοντας έτσι τον δρόμο για περεταίρω αποδοτική ανίχνευση σφαλμάτων σε μεγάλα ηλιακά πάρκα.

Abstract 

It is apparent to everyone that the world that we live in is slowly but steadily transitioning from fossil fuels to renewable and clean energy. This is quite beneficial for the environment, the humans that inhabit this planet and the fauna and flora as well. One of the most rapidly growing sources of green energy is solar anergy. Constructions of huge solar farms are taking place each year. With each farm containing hundreds of thousands of individual photovoltaic panels (PV), the need for a faster, safer, and more efficient way of condition monitoring for each panel has risen. Surveillance monitoring via the use of unmanned aerial vehicles (UAVs) has been proposed and applied, showing
exceptional results. In this thesis, the focus is on investigating the use of novel deep learning models, that take as an input infrared spectrum images of individual photovoltaic panels with non-annotated multiple damages. The goal is first to create an annotated dataset for training, validation and testing purposed and a general data augmented dataset for further testing purposes. The second goal is to achieve an
optimal training of 2 individually trained models. The first of the models excels in binary detection of surface of solar panels, meaning that it can detect efficiently whether a photovoltaic panel is damaged or not. The other model excels at multi-class classification, meaning that it can detect, identify and classify the specific error on a damaged panel, and then proceeds to put a bounding box over the error, pinpointing
its exact location on the image. Throughout this this sensitivity investigation, the YOLOv8 and YOLONAS models are used. For YOLOv8, the detection performance on the training phase achieved for the binary model an F1 score of 93.8% and mAP50-90 score of 97.7%. Our multi-class classification model can correctly identify 8 distinct categories of solar panel surface faults, with different percentages of success depending on the fault class in question (e.g. F1 score: 64.4% and mAP50-90 score: 45.3%). The specs of these trained models are further analyzed in this thesis, together with all the process that was required to reach this point. These models were tested both on part of the
initial database as well as a smaller database that was created using data augmentation. For first time, two cutting-edge DNN models were used for multiclass detection of damages in PV panels paving the way for future more efficient and massive detection of damages in PV farms.