Συντάχθηκε 22-07-2024 12:29
Τόπος:
Σύνδεσμος τηλεδιάσκεψης
Έναρξη: 23/07/2024 12:00
Λήξη: 23/07/2024 13:00
ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών
ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ
Κωνσταντίνου Ζαφειράκη
με θέμα
Ανίχνευση Ψευδαισθήσεων σε Ανακατασκευή Εικόνας
Hallucination Detection in Image Inpainting
Εξεταστική Επιτροπή
Καθηγητής Μιχαήλ Ζερβάκης (επιβλέπων)
Καθηγητής Θρασύβουλος Σπυρόπουλος
Επίκουρος Καθηγητής Γρηγόριος Τσαγκατάκης (Πανεπιστήμιο Κρήτης, Τμήμα Επιστήμης Υπολογιστών)
Περίληψη
Αυτό το άρθρο αντιμετωπίζει το κρίσιμο ζήτημα των παραισθήσεων στην αναπλήρωση εικόνων βασισμένη στη βαθιά μάθηση εντός εφαρμογών τηλεπισκόπησης. Οι εικόνες τηλεπισκόπησης, οι οποίες συχνά υποβαθμίζονται λόγω δυσλειτουργιών των αισθητήρων ή δυσμενών ατμοσφαιρικών συνθηκών, απαιτούν αναπλήρωση για να αποκατασταθεί με ακρίβεια η χαμένη πληροφορία. Αυτή η αποκατάσταση είναι ζωτικής σημασίας για την ενίσχυση επακόλουθων εργασιών όπως η ταξινόμηση, η ανίχνευση και η τμηματοποίηση. Παρά τις προόδους, τα μοντέλα βαθιάς μάθησης για την αναπλήρωση αντιμετωπίζουν προκλήσεις, ιδιαίτερα τις παραισθήσεις, όπου το μοντέλο ταξινομεί εσφαλμένα αντικείμενα μέσα στην εικόνα. Αυτή η μελέτη εισάγει ένα νέο πλαίσιο για την ανίχνευση παραισθήσεων χρησιμοποιώντας μια γεννήτρια αναπλήρωσης εικόνας σε συνδυασμό με ένα ταξινομητή δύο κλάσεων και ένα μοντέλο Grad-CAM. Το πειραματικό σύστημα περιλαμβάνει διάφορες τεχνικές εφαρμογής μασκών και γίνεται αναλύση για τα αποτελέσματα αναπλήρωσης σε διαφορετικές κατηγορίες εικόνων. Τα ευρήματά μας αποκαλύπτουν σημαντικές επιπτώσεις του τύπου και του μεγέθους της μάσκας στις μετρήσεις παραισθήσεων, με τις ορθογώνιες μάσκες να αποδίδουν γενικά καλύτερα αποτελέσματα από τις ακανόνιστες και τυχαίες μάσκες. Επιπλέον, κάθε γεννήτρια ειδική ως προς μια κατηγορία επέδειξε μοναδικές συμπεριφορές αναπλήρωσης, επηρεασμένες από το μέγεθος της μάσκας. Η μελέτη εντοπίζει τη μετρική Dice εντός κατανομής και την τιμή πρόβλεψης εκτός κατανομής ως αποτελεσματικά μέτρα για την ανίχνευση παραισθήσεων, με τη μετρική FID να αποδεικνύεται βέλτιστη για την ποιότητα ανακατασκευής.
Abstract
This thesis addresses the critical issue of hallucinations in deep learning-based image inpainting within remote sensing applications. Remote sensing images are often degraded due to sensor malfunctions or adverse atmospheric conditions. As such, they require inpainting to restore missing information accurately. This restoration is vital for enabling downstream tasks such as classification, detection, and segmentation. Despite the advancements, deep learning models for inpainting face multiple challenges including hallucinations, where the model incorrectly introduces non-existent elements in the image. This study introduces a novel framework for detecting hallucinations using an image inpainting generator coupled with a two-class discriminator and a class activation mapping (Grad-CAM) model. The experimental setup involves diverse masking techniques and analyzes the inpainting results across different image classes. Our findings reveal significant impacts of mask type and size on hallucination metrics, with rectangular masks generally yielding better results than irregular and random masks. Additionally, each class-specific generator exhibited unique inpainting behaviors, influenced by mask size. The study identifies the in-distribution Dice metric and out-of-distribution prediction value as effective measures for hallucination detection, with the FID metric proving optimal for reconstruction quality.
