Συντάχθηκε 18-12-2019 11:32
Θέμα:
Επιλεκτική Αναγνώριση και Επεξεργασία Ίχνους Ανωμαλιών με Επεξεργασία Εικόνας και Τεχνητή Μάθηση, από Δεδομένα Ενδοσκοπικής Κάψουλας (Selective Extraction and Identification of Malicious Traces in Imaging Data of Endoscopic Capsule, by Using Machine Learning)
Εξεταστική Επιτροπή:
Καθηγητής Μιχαήλ Ζερβάκης (επιβλέπων)
Καθηγητής Γεώργιος Σταυρακάκης
ΕΔΙΠ Ελευθερία Σεργάκη
Περίληψη:
Σήμερα, η ενδοσκόπηση του λεπτού εντέρου με τη χρήση ενδοσκοπικής κάψουλας (CE), αποτελεί το πιο αξιόπιστο μέσον στη διάγνωση ασθενών που πάσχουν από αιμορραγία λεπτού εντέρου (Small bowel bleeding -SBB). Ο ασθενής καταπίνει την ειδικά σχεδιασμένη ηλεκτρονική κάψουλα, η οποία κινείται μέσω της γαστρεντερικής οδού (GI) φωτογραφίζοντας το περιβάλλον της. Ο χρόνος που χρειάζεται η κάψουλα για να διανύσει το λεπτό έντερο κυμαίνεται, από μια έως πέντε ώρες, ανάλογα τον ασθενή. Οι φωτογραφίες μεταφέρονται με τη βοήθεια λογισμικού και υπό μορφή βίντεο σε Η/Υ για την ανάγνωσή τους από τον ειδικευμένο ιατρό, προς αρωγή της διάγνωσης. Η μείωση του χρόνου ανάγνωσης του βίντεο κατά τη διαγνωστική φάση επιτυγχάνεται αυτόματα με την χρήση αλγορίθμων που βασίζονται κυρίως στην απαλοιφή όμοιων εικόνων, καθώς και εικόνων που απεικονίζουν με σιγουριά υγιείς ιστούς. Οι αλγόριθμοι Μηχανικής Μάθησης και ιδιαίτερα των Νευρωνικών Δικτύων μπορεί να αποτελέσουν σημαντικότατο υποστηρικτικό ιατρικό εργαλείο αυτόματης ιατρικής διάγνωσης. Στην παρούσα διπλωματική αναπτύξαμε τρία διαφορετικά Νευρωνικά μοντέλα Deep Learning Convolutional NN, τα οποία πετυχαίνουν αυτόματη διάγνωση αγγειεκτασίας και αιμορραγίας από δεδομένα εικόνων CE και τις ταξινομούν σε δύο κλάσεις, υγιείς και μη υγιείς. Τα τρία διαφορετικά μοντέλα CNN περιέχουν επίπεδα Conv2D, Max Pooling. Όλα τα μοντέλα στο τέλος έχουν τον classifier ο οποίος αποτελείται από flatten layer και fully connected layers. Στο τελευταίο fully connected layer χρησιμοποιήσαμε για activation την sigmoid function σε αντίθεση με όλα τα υπόλοιπα επίπεδα που χρησιμοποιήσαμε την συνάρτηση ReLU. Σε αυτά τα τρία μοντέλα έγινε σταδιακά εφαρμογή συνδυασμού διαφόρων τεχνικών προκειμένου να αξιολογήσουμε την αποτελεσματικότητά τους στην βελτίωση των CNN μοντέλων μας. Εφαρμόσαμε μεθόδους όπως την Augmentation που αυξάνει τα δεδομένα με εικόνες που παράγει από αυτές του σετ με το να τα τις περιστρέφει και να τις μετατοπίζει, και μεθόδους που αλλάζουν τη δομή των μοντέλων. Εφαρμόσαμε την Dropout που αφαιρεί προσωρινά μονάδες του Νευρωνικού μοντέλου μαζί με τις διασυνδέσεις τους και την Transfer learning χρησιμοποιώντας τα ήδη εκπαιδευμένα μοντέλα VGGNet σε δύο εκδοχές VGG16 και VGG19 και το ResNet. Τα οποία έχουν εκπαιδευτεί σε μεγάλο αριθμό διαφορετικής φύσης δεδομένων. Προκειμένου να εξοικονομηθεί υπολογιστικός χρόνος δοκιμάστηκαν και διαφορετικές τεχνικές τροφοδότησης των δεδομένων στα CNN μοντέλα. Στην παρούσα Διπλωματική εργασία χρησιμοποιούνται τα δεδομένα προηγούμενης Διπλωματικής εργασίας στην Σχολή ΗΜΜΥ του ΠΚ, (κ. Α. Πολυδώρου) που προέκυψαν από 171 βίντεο CE διαφορετικών ασθενών από πέντε ελληνικά νοσοκομεία. Σε συνεργασία με γιατρό χειρουργό γαστρεντερολόγο έγινε επιλογή συνολικά 3800 εικόνων από διαφορετικής μορφής αμαγγειοεκτασίες και διαφορετικής έκτασης αιμορραγιών, από διαφορετικά σημεία του GΙ, οι οποίες περιλαμβάνουν κυρίως δύσκολες περιπτώσεις διάγνωσης αλλοιώσεων. Δεν συμπεριλήφθηκαν περισσότερες από μια εικόνες από κάθε αλλοίωση. Μετά από διαδοχικές δοκιμές διαφορετικού πλήθους και συνδυασμού των εικόνων, τα καλύτερα αποτελέσματα εκπαίδευσης έγιναν χρησιμοποιώντας ένα ισορροπημένο σετ εκπαίδευσης ελάχιστου αριθμού 1000 εικόνων, αποτελούμενου από 500 υγιείς και 500 με αιμορραγία ή αιμαγγειοεκτασίες. Ο πειραματισμός αυτόματης διάγνωσης έγινε σε επιλεγμένες εικόνες από 33 βίντεο που δεν χρησιμοποιήθηκαν στην φάση της εκπαίδευσης. Αυτό ήταν ένα σετ δοκιμής 100 εικόνων, από 50 υγιείς και 50 με αιμορραγία ή αιμαγγειοεκτασίες. Τα δεδομένα μας αφορούν τιμές έντασης και στα τρία κανάλια του χρωματικού μοντέλου RGB της κάθε εικόνας. Οι συνολικές εκδοχές των τριών CNN μοντέλων μας ήταν 22. Αυτές οι εκδοχές μοντέλων συγκρίθηκαν με την μέτρηση μεταξύ άλλων και της ευαισθησίας και της ακρίβειας τους. Διαπιστώθηκε ότι στην περίπτωσή μας δεν βοήθησε η τεχνική Transfer Learning χρησιμοποιώντας τα VGGNet , ResNet, ενώ η Dropout και Augmentation βοήθησαν αρκετά στην απόδοση των CNN μοντέλων μας. Η καλύτερη απόδοση αυτόματης διάγνωσης μοντέλου μας κατά τον έλεγχο του σε συλλογή 100 δύσκολα ανιχνεύσιμων εικόνων έδωσε Sensitivity 90%, Accuracy 91%, Specificity 92%, Precision 91.8%, FPR 8%, FNR 10%. Σε σύγκριση με άλλες ερευνητικές ομάδες που ανάπτυξαν CNN για το ίδιο πρόβλημα, έχουν ανακοινωθεί και καλύτερα αποτελέσματα χωρίς όμως αυτό να επιτρέπει την σύγκριση των αλγορίθμων, λόγω του ελέγχου τους σε διαφορετική συλλογή δεδομένων. Σε σύγκριση με την μέθοδο μέτρησης χρώματος HSV που αναπτύχθηκε στην Διπλωματική εργασία του κ. Α. Πολυδώρου και δοκιμάστηκε στα ίδια δεδομένα, τα αποτελέσματα της μεθόδου μέτρησης χρώματος ήταν καλύτερα από αυτά της μεθόδου CNN (Sensitivity 99%, Accuracy 96.1%, Specificity 93.2%, Precision 83.3%, FPR 20%, FNR 0%).
Abstract:
Nowadays, the small bowel capsule endoscopy (SBCE) is the most reliable way to diagnose patients suffering from small bowel bleeding (SBB). The patient swallows a specially designed electronic capsule, which moves through the gastrointestinal (GI) tract, photographing the environment, as it moves on. The time the capsule needs to traverse the small intestine ranges from one to five hours, depending on the situation. The photos are transferred to a computer in order to be reviewed by the doctor, in a form of a video stream, for further diagnosis. Visualization of a massive number of images is a very time consuming and tedious task for gastroenterologists. Decreasing the time of reading the video during the diagnostic phase by the medical staff can be achieved automatically by using available software that employs algorithms, mainly based on the deletion of similar images and images that do not contain the red color (indicating blood). Machine Learning (ML) and Artificial Neural Networks (ANNs) have a crucial importance as supporting tools for doctors
In the present Thesis we have developed three different Deep Learning Convolutional NN models, which achieve an automatic diagnosis of vasculature and bleeding from CE image data and classify them into two classes, healthy and unhealthy. The three different CNN models contain Conv2D, Max Pooling layers. All models at the end have a classifier consisting of a flatten layer and fully connected layers. In the last fully connected layer we used the sigmoid function for activation as opposed to all other layers we used with the ReLU function. These three models were gradually applied to a combination of different techniques to evaluate their effectiveness in improving our CNN models. We have implemented methods like Augmentation that increase the data with images it produces from the set by rotating and shifting them, and methods that change the structure of the models. We implemented Dropout which temporarily removes neuronal model units along with their connections and the method Transfer Learning using the already pre-trained models versions VGG16 and VGG19 (Visual Geometry Group) from University of Oxford and the ResNet which are trained in a large set of images e.g. the ImageNet dataset. In order to save computational time, different data feed techniques were also tested on the CNN models.
This Thesis took in account data available in the Thesis of Mr. A. Polydorou, at the ECE Department of TUC in 2018. These data are extracted from 171 CE videos of different patients from five Greek hospitals. In collaboration with a gastrointestinal surgeon doctor, a total of 3800 images were selected from different forms of angioectasia and different haemorrhages, from different sites of the GI (gastrointestinal), which include mainly difficult cases of diagnosis of lesions.
No more than one image from each lesion was included. After successive trials of different numbers and combination of images, the best training results were achieved by using a balanced training set of at least 1000 images, consisting of 500 healthy and 500 bleeding or with angioectasia. The automatic diagnostic experiments were performed on selected images from 33 videos that were not used during the training/validation procedure. The testing set consists of 100 images, including 50 normal and 50 bleeding or angioectasia. Our data are the values of the RGB components for each pixel.
The total versions of our three CNN models are 22. Performance metrics such as accuracy (Acc), sensitivity (Sen), and specificity (Spe) were computed to evaluate the effectiveness of the proposed models. We find out that the methods Dropout and Augmentation improve the performance of our models but in the case of Transfer Learning the usage of VGGNet, ResNet we had the opposite results.
The best performance of the model based on unseen data achieved 90% Sen, 92% Spe, 91.8% Precision, 8% FPR, 10% FNR. Compared to other research teams that have developed CNN for the same problem, better results have been reported, but this does not allow the algorithms to be compared because of their control over different data collection. The results of the present work compared to the work developed by Mr. A. Polydorou Thesis (diagnosis based on handcrafted color metrics of the HSV color space), the color metrics results were better than those of our CNN method (99% Sen, 96.1% Acc, 93.2% Spe, 83,3% Precision, 20% FPR, 0% FNR).
Keywords:
Capsule Endoscopy (CE), Small bowel bleeding (SBB), gastrointestinal (GI) small bowel capsule endoscopy (SBCE), Machine Learning (ML), Artificial Neural Network ANN, Deep Learning, Convolutional Neural Network CNN, FPR False Positive Ratio, FNR False Negative Ratio, Convolutional Neural Network CNN, Dropout Transfer Learning Augmentation angioectasia Deep Learning VGGNet, ResNet, ReLU Sigmoid function.
Τόπος: Λ - Κτίριο Επιστημών/ΗΜΜΥ, 2042
Έναρξη: 19/12/2019 11:30
Λήξη: 19/12/2019 12:30
