Συντάχθηκε 11-01-2018 08:43
από Sofia Malandraki
ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών
ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ
Θεόδωρου Παπαδόπουλου
με θέμα
Τεχνικές Μάθησης σε Βάθος για Ανίχνευση Διασταυρώσεων σε Δορυφορικές Εικόνες
Deep Learning Techniques for Detecting Crossroads in Satellite Images
Παρασκευή 12 Ιανουαρίου 2018, 10 π.μ.
Αίθουσα Εργαστηρίου Intelligence, Κτίριο Επιστημών, Πολυτεχνειούπολη
Εξεταστική Επιτροπή
Αναπληρωτής Καθηγητής Μιχαήλ Γ. Λαγουδάκης (Επιβλέπων)
Καθηγητής Μιχαήλ Ζερβάκης
Επίκουρος Καθηγητής Παναγιώτης Παρτσινέβελος (Σχολή ΜΗΧΟΠ)
Περίληψη
Απώτερος στόχος της μηχανικής μάθησης, αλλά και της τεχνητής νοημοσύνης γενικότερα, ήταν πάντα η προσπάθεια να δημιουργηθούν έξυπνα μηχανήματα, που μιμούνται τον τρόπο με τον οποίο σκέφτεται ο ανθρώπινος εγκέφαλος. Τα βαθιά νευρωνικά δίκτυα είναι ένα πολλά υποσχόμενο βήμα προς αυτή την κατεύθυνση. Το μειονέκτημά τους είναι ότι απαιτούν τεράστια υπολογιστική ισχύ, αλλά και ένα γιγαντιαίο όγκο δεδομένων για να εκπαιδευτούν σωστά και να αξιοποιήσουν στο έπακρο το τεράστιο δυναμικό τους. Στην παρούσα διπλωματική εργασία μελετάμε την εφαρμογή μεθόδων μάθησης σε βάθος στην ανάλυση δορυφορικών εικόνων με σκοπό την αυτόματη ανίχνευση διασταυρώσεων σε οδικά δίκτυα. Για να ξεπεραστεί το πρόβλημα της εκπαίδευσης, αποφασίσαμε να χρησιμοποιήσουμε μια τεχνική που ονομάζεται Transfer Learning (Μεταφορά της Μάθησης). Για να εφαρμοστεί η τεχνική αυτή, παίρνουμε ένα ήδη εκπαιδευμένο δίκτυο, εξάγουμε την ήδη αποκτηθείσα γνώση (τα βάρη των νευρώνων του δικτύου) και επανεκπαιδεύουμε τα τελευταία επίπεδα του δικτύου με τα δικά μας δεδομένα. Έπειτα μελετάμε τεχνικές ανίχνευσης αντικειμένων σε δορυφορικές εικόνες, αποβλέποντας στην πιθανή εφαρμογή τους σε πολλές δραστηριότητες, όπως αποστολές έρευνας και διάσωσης, πολεοδομικού σχεδιασμού, διαχείρισης καλλιεργειών και δασών, πρόβλεψης καιρού, ανακούφισης πληγέντων από καταστροφές, κλιματικές αλλαγές και πολλά αλλά. Αποφασίσαμε να εστιάσουμε σε ένα μόνο είδος αντικειμένου, τις διασταυρώσεις, επειδή από πλευράς αναγνώρισης παρουσιάζουν μεγάλο ενδιαφέρον, λόγω της ποικιλομορφίας τους ως προς το σχήμα και το χρώμα, όπως και το γεγονός ότι η ορατότητά τους μπορεί να είναι περιορισμένη εξαιτίας δέντρων, κτιρίων, κλπ. Κατασκευάσαμε το σύνολο των δεδομένων εκπαίδευσης χρησιμοποιώντας το Google Maps για την λήψη εικόνων εισόδου και το OpenStreetMaps για να εντοπίσουμε τις ακριβείς συντεταγμένες πραγματικών διασταυρώσεων (ground truth) που μας ενδιαφέρουν. Στη συνέχεια επανεκπαιδεύσαμε ένα δίκτυο κάνοντας χρήση του πακέτου Tensorflow Object Detection. Το τελικό αποτέλεσμα αποδίδει αρκετά καλά σε μια μεγάλη ποικιλία δορυφορικών εικόνων από διάφορες πόλεις σε όλο τον κόσμο. Τέλος, δημιουργήσαμε μια φιλική προς το χρήστη διαδικτυακή εφαρμογή, για να προσφέρουμε μια πλατφόρμα, όπου ακόμα και αρχάριοι χρήστες μπορούν να πλοηγηθούν σε οποιαδήποτε επιθυμητή περιοχή στους χάρτες της Google, να πραγματοποιήσουν αναγνώριση διασταυρώσεων κάνοντας χρήση του ανιχνευτή μας, και να δουν τα αποτελέσματα πάνω στην εικόνα που επέλεξαν ως είσοδο. Η δουλειά μας μπορεί εύκολα να ενσωματωθεί σε άλλες εφαρμογές, αλλά πιο σημαντικό είναι το γεγονός ότι παρέχει τις κατευθυντήριες γραμμές για την κατασκευή ανιχνευτών για οποιοδήποτε άλλο αντικείμενο ενδιαφέροντος σε δορυφορικές εικόνες.
Abstract
The ultimate goal of machine learning and artificial intelligence in general is and has always been to try and create intelligent machines that mimic the way the human brain thinks. Deep Neural networks are a very promising step towards that direction. The downside is they require huge amounts of computational power and vastly large datasets to be trained correctly and achieve their full potential. In this thesis, we study the application of deep learning methods to the analysis of satellite earth images for automated detection of crossroads. To overcome the training problem, we decided to use a technique called Transfer Learning. With transfer learning we take an already trained deep neural network, extract the acquired knowledge (the weights of the neurons) and re-train the final layers of it with our very own dataset. We apply this massive force of object detection on satellite imagery due to potential applications in many activities, search and rescue missions, urban planning, crop and forest management, weather prediction, disaster relief, climate modelling, and more. We decided to focus on a single type of objects, namely crossroads, because they are intriguing objects with a lot of variability, considering that crossroads never have the same shape or color and their view may be obstructed by trees or buildings. We created a training data set using Google Maps for input images and OpenStreetMaps for identifying points of ground truth. We then re-trained a deep network using the TensorFlow Objection Detection package. final crossroad detector performs quite well on a variety of satellite images from different cities around the world. Finally, we created a user-friendly, web application, to deliver a platform where even inexperience users can navigate to any desired area on Google maps, perform crossroad recognition using our detector, and displaying the results on top of the input image. Our work can be easily integrated into other applications, but more importantly also provides a guideline on building detectors for other kinds of objects of interest in satellite images.
