ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών
ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ
ΑΛΕΞΙΟΥ ΠΟΛΥΔΩΡΟΥ
με θέμα
Ανίχνευση Κακώσεων σε Βίντεο Ενδοσκοπικών Καψουλών με την Χρήση Ηλεκτρονικού Υπολογιστή
Computer-aided Detection of Lesions for Endoscopic Capsule Videos
Παρασκευή 22 Ιουνίου 2018, 10 π.μ.
Αίθουσα 137.Π39, Κτίριο Επιστημών, Πολυτεχνειούπολη
Εξεταστική Επιτροπή
Καθηγητής Μιχαήλ Ζερβάκης (επιβλέπων)
Καθηγητής Ευριπίδης Πετράκης
Δρ. Ελευθερία Σεργάκη (συνεπιβλέπουσα)
Περίληψη
Σήμερα, η ενδοσκόπηση του λεπτού εντέρου με τη χρήση ενδοσκοπικής κάψουλας, αποτελεί το πιο αξιόπιστο μέσον στη διάγνωση ασθενών που πάσχουν από αιμορραγία λεπτού εντέρου (Small bowel bleeding -SBB). Ο ασθενής καταπίνει την ειδικά σχεδιασμένη ηλεκτρονική κάψουλα, η οποία κινείται μέσω της γαστρεντερικής οδού φωτογραφίζοντας το περιβάλλον της. Ο χρόνος που χρειάζεται η κάψουλα για να διανύσει το λεπτό έντερο κυμαίνεται, από μια έως πέντε ώρες, ανάλογα τον ασθενή. Οι φωτογραφίες μεταφέρονται με τη βοήθεια λογισμικού και υπό μορφή βίντεο σε Η/Υ για την ανάγνωσή τους από τον ειδικευμένο ιατρό, προς αρωγή της διάγνωσης. Η μείωση του χρόνου ανάγνωσης του βίντεο κατά τη διαγνωστική φάση επιτυγχάνεται αυτόματα με την χρήση αλγορίθμων που βασίζονται κυρίως στην απαλοιφή όμοιων εικόνων, καθώς και εικόνων που απεικονίζουν με σιγουριά υγιείς ιστούς.
Η παρούσα εργασία ασχολείται με τα προβλήματα που σχετίζονται με την ανίχνευση αιμορραγιών στο λεπτό έντερο. Υπολογίζεται πειραματικά ένα χρωματολόγιο αναφοράς αιμορραγιών, με χρήση των τριών βασικών χρωματικών μοντέλων (RGB, HSV και YCbCr) από δεδομένα διαγνωσμένων πραγματικών περιστατικών, με στόχο την ανάπτυξη μεθόδου αυτόματης διάγνωσης αιμορραγίας από ενδοσκοπική κάψουλα. Για τον εντοπισμό των ύποπτων εικόνων και των ζωνών αιμορραγιών πάνω σε αυτές, για τα τρία χρωματικά μοντέλα, το λογισμικό που σχεδιάσαμε διενεργεί αυτόματη απαλοιφή όμοιων διαδοχικών εικόνων του βίντεο.
Τα δεδομένα που χρησιμοποιούνται προέρχονται από 4.200 εικόνες που εξήχθησαν από 138 βίντεο, εκ των οποίων: 3.200 (από 99 βίντεο) για την ανάπτυξη και επικύρωση της μεθόδου και 1.000 (από 39 βίντεο) για την επαλήθευση της μεθόδου. Οι εικόνες προέρχονται από ενδοσκοπική κάψουλα Pillcam™ SB, από διαφορετικούς τυχαίους ασθενείς οι οποίοι παρουσιάζουν διαπιστωμένη αιμορραγία, ερύθημα και αιμαγγειώματα στην περιοχή του λεπτού εντέρου. Το υλικό προέρχεται από τις πανεπιστημιακές Κλινικές Αθήνας και Θεσσαλονίκης και είναι αξιολογημένο από έμπειρους διαγνώστες ιατρούς. Η επαλήθευση των προτεινόμενων αλγορίθμων έγινε σε συνεργασία με έμπειρο ιατρό του πανεπιστημιακού Αρεταίειου Γ. Ν., που τους εφάρμοσε σε σύνολο 1.000 τυχαία επιλεγμένων εικόνων από 39 νοσηλευόμενους ασθενείς (εικόνες με ή χωρίς προβλήματα υγείας).
Ο προτεινόμενος αλγόριθμος εντοπισμού αιμορραγιών βασίζεται στην εφαρμογή πολλαπλών μασκών με κατώφλια που προκύπτουν από το πειραματικό χρωματολόγιο αιμορραγιών. Οι έγχρωμες εικόνες του βίντεο αναλύονται η κάθε μια χωριστά, στις τρεις συνιστώσες του επιλεγμένου χρωματικού μοντέλου και στη συνέχεια, στην κάθε συνιστώσα, εφαρμόζονται μορφολογικοί τελεστές ελαχίστου και διάμεσης τιμής. Κατόπιν, εφαρμόζονται οι μάσκες εύρους κατωφλίων του πειραματικού χρωματολογίου. Τέλος, για την αφαίρεση των εσφαλμένων ζωνών αιμορραγίας εφαρμόζεται μορφολογικός τελεστής ανοίγματος περιοχής με δομικό στοιχείο που υπολογίστηκε από πειραματικές μετρήσεις.
Ο προτεινόμενος αλγόριθμος απαλοιφής όμοιων εικόνων βασίζεται στην στατιστική μέτρηση SSE του ιστογράμματος της κάθε εικόνας σε αποχρώσεις του γκρίζου και στην σύγκρισή του με την τιμή του για την προηγούμενη εικόνα του βίντεο.
Πάντοτε σε συνεργασία με έμπειρο ιατρικό προσωπικό, οι προτεινόμενοι αλγόριθμοι επαληθεύτηκαν και μετρήθηκαν και στα τρία χρωματικά μοντέλα. Έγινε αξιολόγηση με το πλέον αξιόπιστο και χρησιμοποιούμενο λογισμικό στις ελληνικές πανεπιστημιακές κλινικές σήμερα: SBI™ (Suspected Blood Indicator, λογισμικό ανίχνευσης ύποπτων περιοχών αίματος) καθώς και με το πρόγραμμα αυτόματης ανάγνωσης εικόνων ενδοσκοπικής κάψουλας: Quickview™. Τα δύο αυτά αποτελούν ενότητες του πλήρους λογισμικού ανάγνωσης: RAPID™ Reader (λογισμικό ανάκτησης, ανάγνωσης και επεξεργασίας βίντεο από ενδοσκοπική κάψουλα Pillcam™ SB) που παρέχει η κατασκευάστρια εταιρεία της συγκεκριμένης κάψουλας.
Τις καλύτερες τιμές στατιστικής επαλήθευσης για την απόδοση επιτυχούς εντοπισμού αιμορραγικής εικόνας από βίντεο, για την προτεινόμενη μέθοδο, δίνει ο αλγόριθμος στο χρωματικό μοντέλο RGB, που χρησιμοποιεί φίλτρο median: Αccuracy 97,1%, Specificity 99,2% και Sensitivity 95,0%. Την καλύτερη απόδοση για τον επιτυχή εντοπισμό αιμορραγικής ζώνης σε εικόνα από βίντεο, για την προτεινόμενη μέθοδο, δίνει ο αλγόριθμος στο χρωματικό μοντέλο HSV με FPR 20%, FNR 0,0% και Precision 83,3%. Ο χρόνος μείωσης αυτόματης ανάγνωσης του βίντεο είναι της τάξης του 64%, ίδιος με εκείνον που πετυχαίνει το υπάρχον διαθέσιμο λογισμικό.
Συγκριτικά με το διαθέσιμο λογισμικό της Pillcam™ SB, οι τιμές αυτές αποδεικνύουν τη σχετική υπεροχή της προτεινόμενης αυτόματης διαγνωστικής μεθόδου, με ποσοστό επιτυχίας αυξημένο τουλάχιστον κατά 5% στο specificity και κατά 1% στο sensitivity.
Συγκριτικά με τις καλύτερες έως σήμερα δημοσιεύσεις, φαίνεται ότι οι αλγόριθμοι που βασίζονται στην ανάλυση χρώματος και στη μηχανική μάθηση (ΚΝΝ) πετυχαίνουν σχετικά καλύτερο αποτέλεσμα: Accuracy 98,5%, Specificity 99,0% και Sensitivity 99,0%.
Λέξεις Κλειδιά
Αυτόματη ιατρική διάγνωση, διάγνωση αιμορραγίας λεπτού εντέρου, ενδοσκοπική κάψουλα, RGB, HSV, YCbCr, τιμή χρώματος, πολλαπλές μάσκες χρώματος, μορφολογικοί τελεστές εικόνας.
Abstract
Today, small bowel capsule endoscopy (SBCE) is the most reliable way to diagnose patients suffering from small bowel bleeding (SBB). The patient swallows a specially designed electronic capsule, which moves through the gastrointestinal (GI) tract, photographing the environment, as it moves on. The time the capsule needs to traverse the small intestine ranges from one to five hours, depending on the situation. The photos are transferred to a computer in order to be reviewed by the doctor, in a form of a video stream, for further diagnosis. Decreasing the time of reading this video during the diagnostic phase by the medical staff is achieved automatically by using available software that employs algorithms, mainly based on the deletion of similar images and images that do not contain the red color (indicating blood).
The present work deals with the specific topic of image processing for the extraction of potential hemorrhagic areas from a series of digital images, which is of great relevance to SBB diagnosis. The developed algorithms enable us to segment blood regions from healthy regions, detecting the blood boundaries and their spatial characteristics. Moreover, the algorithm for the simultaneous automatic deletion of the same consecutive video images is of great help due to its real time-saving employment. All these algorithms process individual endoscopic images and video streams of images to extract the required parameters and are designed, validated and verified with actual real data. The validation and the verification is based on 99 and 39 (total 138) endoscopic videos of different patients with established bleeding, erythema and hemangiomas in the small intestine region, as positively diagnosed by the doctors from the Clinics of Greek Medicine Schools of National and Kapodistrian University of Athens. The validation of the proposed algorithms is based on more than 3,200 images from 99 videos, the verification of the proposed program was carried out in collaboration with an experienced doctor of Aretaieio General Hospital, by applying them on randomly selected actual clinical data of the University gastroenterological Clinics of Athens and of Aristotle University of Thessaloniki, on a total of more than 1000 images extracted from 39 hospitalized patients (images with or without health problems).
The proposed blood detection algorithm is based on multiple mask thresholding method which is employed to identify the blood regions from the healthy. The suggested bleeding reference chart is experimentally measured, separately for the RGB, HSV and YCbCr models. The application of the mask is done to each video snapshot after its analysis into a color model and the application of various selected morphological operators, as Minimum or Median. Finally, bleeding zones are delineated applying morphological operation Opening area. The proposed similar image deletion algorithm is based on the statistical processing SSE of the gray scale histogram for each snapshot and the comparison between the successive snapshots of the video stream. The above methodology is implemented separately for all three color models, in order to evaluate which of them performs best, on account to its statistical diagnostic results.
In addition, the proposed algorithms were compared with the currently available commercial software, in collaboration with experienced medical staff: (i) SBI™ (Suspected Blood Indicator) available in the Greek University Clinics and (ii) Quickview™ image reader, which both are included in the RAPID™ Reader software for reading videos from endoscopy with the Pillcam™ SB capsule (by Given Imaging, Israel).
The best statistical verification values for image diagnosis from a video stream, for the proposed method, came by utilizing the RGB color model (with median filter): Accuracy 97,1%, Specificity 99,2% and Sensitivity 95,0%.
The best statistical verification values for bleeding zone detection in image, for the proposed method, came by utilizing the HSV color model, with FPR 20%, FNR 0,0% and Precision 83,3%. As for the video's auto-reduction time algorithm, its reduction ability is the same, by a magnitude of 64%.
Compared to the currently available commercial program SBI™, these values demonstrate the relative superiority of the proposed auto-diagnostic method, with a success rate of at least 5% and 1% respectively in specificity and sensitivity. Compared with most recent publications, it seems that the Machine Learning clustering algorithm KNN, based on color features, can achieve better results: Accuracy 98,5%, Specificity 99% and Sensitivity 99%.
Keywords
Capsule endoscopy, Small bowel bleeding detection, small intestine, computer aided diagnosis (CAD), color models, RGB, HSV, YCbCr, color feature, color mask, morphological operators.
1 Σε κάθε περίπτωση διατηρείται το προσωπικό απόρρητο των στοιχείων των ασθενών, σύμφωνα και με την πολιτική των νοσοκομείων, των κλινικών και των ιδρυμάτων που μας παρείχαν τα στοιχεία τους.
2 In any case, the privacy of patient data is maintained, in line with the policies of the hospitals, clinics and institutions that have provided us with these data.
Σύνδεσμος εκδήλωσης:
Τόπος: Λ - Κτίριο Επιστημών/ΗΜΜΥ, 137Π-39,-38, Πολυτεχνειούπολη
Έναρξη: 22/06/2018 10:00
Λήξη: 22/06/2018 11:00
