Συντάχθηκε 23-06-2022 14:39
Τόπος: Μ1 - Κτίριο ΜΗΧΟΠ, Μ1.212, M1.212 και με τηλεδιάσκεψη
Σύνδεσμος τηλεδιάσκεψης
Έναρξη: 29/06/2022 12:00
Λήξη: 29/06/2022 13:00
Title: Coastline litter detection using deep Convolutional Neural Networks
Εξεταστική Επιτροπή:
Παρτσινέβελος Παναγιώτης, Καθηγητής ΜΗΧ.Ο.Π. (επιβλέπων)
Γαλετάκης Μιχαήλ, Καθηγητής ΜΗΧ.Ο.Π.
Κομνίτσας Κωνσταντίνος, Καθηγητής ΜΗΧ.Ο.Π.
Abstract
One of the environmental problems of modern life is the ecological and aesthetic degradation of coastal zones by litter disposal and accumulation. Research conducted to monitor and evaluate pollution incidents in the coastal environment usually consists of groups of volunteers or civil servants who record, count and sort the litter. However, recent research efforts show that litter detection can become an automated process, thanks to the development of remote sensing and computer vision methods. Recording of litter by simple devices like smartphones or more sophisticated devices like drones, can be used as an input to investigate the performance of state-of-the-art object detection algorithms. In the current study, the Mask R-CNN algorithm was used to investigate its performance in detecting coastline litter and classifying it based on its material and type. Mask R-CNN is part of a broader family of deep learning object detection algorithms, the R-CNN object detection algorithm family, that are based on convolutional neural networks (CNNs), and it is able to tackle two tasks of computer vision: object detection and instance segmentation. The performance of Mask R-CNN was mainly evaluated on a domain-specific image dataset created to facilitate this study. It was also tested on an open-sourced drone dataset of litter images, since no study has investigated the use of this algorithm on this specific image dataset. The experimental results in terms of average precision showed that Mask R-CNN exhibited strong potential in litter detection and segmentation of the new dataset, but performed moderately on the drone dataset because of the small size of litter. The algorithm showcased great predictions for well-represented classes, but performed poorly on others that were either under-represented or contained objects that varied significantly in shape, indicating challenges that will need to be further addressed.
Περίληψη
Ένα από τα περιβαλλοντικά προβλήματα της σύγχρονης ζωής αποτελεί η οικολογική και η αισθητική υποβάθμιση των παράκτιων ζωνών από την απόθεση και στη συσσώρευση απορριμάτων. Έρευνες που διεξάγονται για την παρακολούθηση και αξιολόγηση των περιστατικών ρύπανσης στο παράκτιο περιβάλλον συνήθως αποτελούνται από ομάδες εθελοντών ή κρατικών υπαλλήλων που καταμετρούν και ταξινομούν τα απορρίματα. Πρόσφατα όμως γίνονται προσπάθειες για την αυτοματοποίηση αυτών των διαδικασίων με μεθόδους τηλεπισκόπησης και μηχανικής όρασης. Στόχος της παρούσας έρευνας είναι η αυτοματοποίηση/διερεύνηση της ανίχνευσης των απορριμάτων μέσα από εικόνες με τη χρήση βαθέων συνελικτικών νευρωνικών δικτύων (deep convolutional neural networks ή deep CNNs). Για το σκοπό της εργασίας, έγινε λήψη ενός συνόλου δεδομένων εικόνων από ακτογραμμή της περιοχής των Χανίων. Εξετάστηκε επίσης η ανίχνευση των απορριμάτων μέσα από εναέριες εικόνες. Χρησιμοποιήθηκε ένας από τους πιο δημοφιλείς στην επιστημονική κοινότητα αλγορίθμους ανίχνευσης αντικειμένων, o Mask R-CNN, ο οποίος εκπαιδεύτηκε για την ανίχνευση και οριοθέτηση κάθε διακριτού απόρριματος που εμφανίζεται σε μια εικόνα. Η λειτουργία του αλγορίθμου βασίζεται σε τεχνικές βαθιάς μάθησης που αποτελούνται από τη σύνθεση τεχνητών νευρωνικών δικτύων τα οποία εκπαιδεύονται για να προβλέπουν με όσο το δυνατόν περισσότερη ακρίβεια την τοποθεσία και την αναγνώριση του αντικειμένου στην εικόνα. Συγκεκριμένα, ο αλγόριθμος αξιοποιεί βαθιά συνελικτικά νευρωνικά δίκτυα τα οποία δέχονται κατάλληλα επεξεργασμένες εικόνες με απορρίματα από το παράκτιο περιβάλλον και τις αναλύουν με σκοπό την εύρεση των μοτίβων που θα τα βοηθήσουν να κάνουν σωστές προβλέψεις αναγνώρισης και οριοθέτησης του αντικειμένου.
Ο Mask R-CNN αλγόριθμος αποτελείται από τρία κύρια τεχνητά νευρωνικά δίκτυα. Το πρώτο δίκτυο υποδέχεται τις εικόνες και είναι υπεύθυνο για την εξαγωγή των χαρακτηριστικών τους. Αυτό το νευρωνικό δίκτυο αποτελείται από ένα προ-εκπαιδευμένο νευρωνικό δίκτυο (ResNet101) από το οποίο έχουν χρησιμοποιηθεί μόνο τα μέρη του δικτύου που εξάγουν χαρακτηριστικά ενώ τα υπόλοιπα έχουν αποκοπεί. Το νευρωνικό δίκτυο παράγει εικόνες-χάρτες αποτύπωσης χαρακτηριστικών της κάθε εικόνας που εισέρχεται σε αυτό σε πολλαπλά επίπεδα κλίμακας δομής πυραμίδας. Το δεύτερο νευρωνικό δίκτυο σαρώνει τους χάρτες χαρακτηριστικών σε όλα τα επίπεδα κλίμακας και προβλέπει ποιες περιοχές περιέχουν απορρίματα. Το τρίτο νευρωνικό δίκτυο χωρίζεται σε δύο παράλληλα μέρη. Το ένα μέρος χρησιμοποιεί τις περιοχές που εντόπισε το προηγούμενο νευρωνικό δίκτυο για να προβλέψει για κάθε απόρριμα το πλαίσιο οριοθέτησής του και την τάξη στην οποία ανήκει. Το άλλο μέρος του νευρωνικού δικτύου παράγει μια δυαδική μάσκα που οριοθετεί το σχήμα του κάθε απορρίματος.
Η εκμάθηση του αλγορίθμου αντιμετωπίζεται ως πρόβλημα μαθηματικής βελτιστοποίησης. Προσαρμόζει τις παραμέτρους του με σκοπό την ελαχιστοποίηση της συνάρτησης κόστους για το κάθε ζητούμενο που καλείται να προβλέψει, δηλαδή την εύρεση των περιοχών της εικόνας που ενδέχεται να περιέχει απόρριμα, καθώς και την ταξινόμηση, τις συντεταγμένες του πλαισίου οριοθέτησης και τη δυαδική μάσκα επικάλυψης των απορριμάτων.
Για την παρούσα εργασία διεξήχθησαν τρία πειράματα. Το πρώτο πείραμα αφορούσε την εκπαίδευση του αλγορίθμου για την ανίχνευση απορριμάτων στις εικόνες που λήφθησαν από ακτογραμμή της περιοχής των Χανίων, και στις εναέριες εικόνες ενός συνόλου δεδομένων ανοιχτής πηγής. Τα πειραματικά αποτελέσματα έδειξαν ότι ο Mask R-CNN επέδειξε ισχυρή δυναμική στην ανίχνευση απορριμμάτων στις εικόνες των ακτογραμμών με μέση ακρίβεια που φτάνει μέχρι και 92%, αλλά είχε μέτρια απόδοση στο σύνολο εναέριων εικόνων με μέση ακρίβεια που φτάνει το 53%. Καθοριστικό παράγοντα στη μειωμένη απόδοση ανίχνευσης στις εναέριες εικόνες έπαιξε το μικρό μέγεθος των απορριμμάτων.
Στο δεύτερο και στο τρίτο πείραμα χρησιμοποιήθηκαν μόνο οι εικόνες που λήφθησαν από την ακτογραμμή των Χανίων. Το δεύτερο πείραμα στόχευε στην εκπαίδευση του αλγορίθμου για την ανίχνευση απορριμάτων και την ταξινόμησή τους σε πλαστικά και μη-πλαστικά. Τα αποτελέσματα έδειξαν καλύτερες τιμές μέσης ακρίβειας για τα μη-πλαστικά, γύρω στο 83%, ενώ για τα πλαστικά η μέση ακρίβεια έφτασε το 72%.
Στο τρίτο πείραμα ο στόχος ήταν η εκμάθηση του αλγορίθμου να ανιχνεύει απορρίματα και να τα ταξινομεί σε μπουκάλια, ποτήρια μιας χρήσης, μεταλλικά δοχεία και άλλα. Ο Mask R-CNN ανίχνευσε τα μπουκάλια και τα μεταλλικά δοχεία με πολύ καλή μέση ακρίβεια με μέγιστες τιμές να φτάνουν το 88%. Με τις υπόλοιπες κατηγορίες απορριμάτων παρουσίασε πρόβλημα, καθώς έδειξε να μπερδεύει τα ποτήρια μιας χρήσης με τα μεταλλικά δοχεία και τα υπόλοιπα απορρίματα με αντικείμενα του υποβάθρου των εικόνων. Το σχήμα των απορριμάτων και ο αριθμός των δειγμάτων σε κάθε κατηγορία ταξινόμησης αποτέλεσαν καθοριστικούς παράγοντες στην απόδοση του αλγορίθμου, υποδεικνύοντας προκλήσεις που θα πρέπει να αντιμετωπιστούν σε μελλοντικές εργασίες.
