Συντάχθηκε 16-07-2019 10:18
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών
ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ
Νεκτάριου Σφυρή
με θέμα
Υβριδικός Οπτικός Εντοπισμός και Χαρτογράφηση (SLAM) στο Ρομπότ Nao με χρήση του ROS
Hybrid Visual Simultaneous Localization and Mapping (SLAM) on the Nao Robot using ROS
Τετάρτη 17 Ιουλίου 2019, 10 π.μ.
Αίθουσα 145.Π58, Κτίριο Επιστημών, Πολυτεχνειούπολη
Εξεταστική Επιτροπή
Αναπληρωτής Καθηγητής Μιχαήλ Λαγουδάκης (Επιβλέπων, Σχολή ΗΜΜΥ)
Αναπληρωτής Καθηγητής Γεώργιος Χαλκιαδάκης (Σχολή ΗΜΜΥ)
Καθηγητής Μιχαήλ Ζερβάκης (Σχολή ΗΜΜΥ)
Περίληψη
Ο ταυτόχρονος Εντοπισμός και Χαρτογράφηση (Simultaneous Localization and Mapping – SLAM) είναι ένα από τα θεμελιώδη προβλήματα που πρέπει να λύσει ένα ρομπότ για να γίνει πραγματικά αυτόνομο. Ποικίλες μέθοδοι SLAM έχουν προταθεί ανάλογα με τους διαθέσιμους αισθητήρες για μετρήσεις (όπως κάμερα, λέιζερ, υπέρυθρες, lidar, σόναρ, GPS, πυξίδα, κ.λπ.) και ανάλογα με τη διαθέσιμη πρότερη γνώση για το χαρτογραφούμενο περιβάλλον, που κυμαίνεται από ελεγχόμενα περιβάλλοντα, όπως οι ρομποτικές αποθήκες, έως αδόμητες και άγνωστες περιοχές, όπως το σκηνικό μιας φυσικής καταστροφής. Σε αυτή τη διπλωματική εργασία, παρουσιάζουμε μία Υβριδική Οπτική προσέγγιση SLAM, η οποία υλοποιήθηκε και δοκιμάστηκε στην περίπτωση του ανθρωποειδούς ρομπότ Nao που διαθέτει μία μόνο κάμερα (monocular vision). Η προτεινόμενη προσέγγιση συνδυάζει τα οφέλη τόσο της Άμεσης (Direct Sparse Odometry ή DSO), όσο και της Έμμεσης (Oriented FAST and Rotated BRIEF SLAM ή ORB-SLAM) οπτικής οδομετρίας. Πιο συγκεκριμένα, η Άμεση μέθοδος παρέχει τη διαδικασία αρχικοποίησης του συνολικού συστήματος και την τοπική παρακολούθηση της θέσης της κάμερας, ενώ η Έμμεση μέθοδος παρέχει επαναπροσανατολισμό της κάμερας, κλείσιμο βρόχου και βελτίωση του χάρτη. Επιπλέον, επιλέγονται σημεία του φυσικού τρισδιάστατου χώρου από κάθε μέθοδο και για κάθε εικόνα του βίντεο της κάμερας, για να δημιουργηθεί ο τελικός χάρτης νέφους σημείων του περιβάλλοντος. Όλες αυτές οι διεργασίες εκτελούνται σε μία παράλληλη και πολυνηματική αρχιτεκτονική σε απομακρυσμένο υπολογιστή, ο οποίος επικοινωνεί με το ρομπότ μέσω ενός ενσύρματου ή ασύρματου δικτύου. Για να αυξήσουμε την αποδοτικότητα του συστήματος, έχουμε συμπεριλάβει και μία μέθοδο γεωμετρικής και φωτομετρικής βαθμονόμησης της κάμερας για τη διόρθωση των μετρήσεών της. Η επικοινωνία μεταξύ της Άμεσης και Έμμεσης μεθόδου, καθώς και μεταξύ του ρομπότ και του απομακρυσμένου υπολογιστή, πραγματοποιείται μέσα από το Robot Operating System (ROS), το οποίο επιτρέπει ένα κοινό πρωτόκολλο μετάδοσης μηνυμάτων. Τελευταίο στοιχείο, αλλά εξίσου σημαντικό, είναι η προσθήκη ενός κόμβου τηλεχειρισμού για να προσομοιώνει την αυτόνομη πλοήγηση του ρομπότ κατά τη διάρκεια της διαδικασίας SLAM. Το πλήρες σύστημα εφαρμοσμένο στο ανθρωποειδές ρομπότ Nao αξιολογείται σε διάφορα εσωτερικά και εξωτερικά περιβάλλοντα για να επιδειχθεί η σταθερότητα των αποτελεσμάτων και η αποδοτικότητά του σε πραγματικό χρόνο.
Abstract
Simultaneous Localization and Mapping (SLAM) is one of the fundamental problems a robot must solve in order to become truly autonomous. A variety of SLAM methods have been proposed, depending on the available robot sensors for measurements (camera, laser, infrared, lidar, sonar, GPS, compass, etc.) and the available prior knowledge about the environment being mapped and navigated, ranging from controlled environments, such as robotic warehouses, to totally unstructured and unknown terrains, such as the scene of a disaster. In this thesis, we present a Hybrid Visual SLAM approach, implemented and tested on the monocular case of the Nao humanoid robot. The proposed approach combines the benefits of both a Direct (Direct Sparse Odometry or DSO) and an Indirect (Oriented FAST and Rotated BRIEF SLAM or ORB-SLAM) visual odometry method. Specifically, the Direct module provides the total system's initialization process and local camera tracking, while the Indirect module provides relocalization, loop closing and map refinement. In addition, points of the physical three-dimensional space are selected from each module and at each camera keyframe to create the final consistent sparse point cloud map of the environment. All these tasks are executed in a parallel and multi-threaded architecture on a remote computer station, which communicates with the robot over a wired or wireless network. To increase the system's efficiency, we have also included both a geometric and a photometric calibration method to correct the camera measurements. Communication between the Direct and Indirect modules, as well as between the robot and the remote computer station, takes place within the Robot Operating System (ROS) framework, which enables for a common message transmission protocol. Last, but not least, a tele-operation node is built to simulate autonomous robot navigation during SLAM. The coupled system applied on the Nao humanoid robot is evaluated in various indoor and outdoor environments to demonstrate its robustness and real-time performance.
Τόπος: Λ - Κτίριο Επιστημών/ΗΜΜΥ, 145Π-58, Πολυτεχνειούπολη
Έναρξη: 17/07/2019 10:00
Λήξη: 17/07/2019 11:00
