Συντάχθηκε 12-09-2022 13:39
Τόπος:
Σύνδεσμος τηλεδιάσκεψης
Έναρξη: 14/09/2022 16:30
Λήξη: 14/09/2022 17:30
ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών
ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ
ΑΘΑΝΑΣΙΟΥ ΣΟΦΙΑ
με θέμα
Χωρική Πληροφορία Εξαγώγιμη από Ενδοσκοπική Κάψουλα, με Επεξεργασία Εικόνας και Εφαρμογή Μηχανικής Μάθησης
Endoscopic Capsule Spatial Awareness by using Image Feature Extraction and Machine Learning
Εξεταστική Επιτροπή:
Ζερβάκης Μιχαήλ,
Σταυρακάκης Γεώργιος
Σεργάκη Ελευθερία
Abstract:
Wireless Endoscopy Capsule becomes more and more famous since it is the only way for the physicians to have a non-invasive view of the small intestine and identify bleeding, polyps, Crohn’s disease and other abnormalities of the small intestine. Wireless Capsule Endoscopy is happening with the patient swallowing an electronic capsule, the capsule includes a camera, that way is taking photographs of the Gastrointestinal Track as it moves from one organ to another. Those pictures are transferred to a recorder and from there a software is producing a video stream using those frames. The journey of the capsule in gastrointestinal track might last 8 or more hours based on the movement of the track, during that time it will collect more than 50,000 to 100,000 pictures producing a long video. Examining that amount of frames, it is a very time-consuming procedure and a tiring task for gastroenterologists. There are many researches that try to reduce that time using extra processing of the videos. Nowadays, with the evolution of Machine Learning and Artificial Intelligence for image classification, they are a great supporting tool for physicians.
This thesis studies the spatial information extraction problem for Wireless Endoscopy Capsule using Machine Learning techniques. Being able to locate the endoscopy capsule can provide doctors with the opportunity to examine only the part of the gastrointestinal track that is of their most interest. Moreover, producers of endoscopy capsules can use such techniques in order to save battery, by reducing the pictures tracked in areas that are not of the most importance.
In order to resolve that problem, we developed three different Convolution Neural Net-works models, which achieve the automatic classification of the pictures they receive to the corresponding organ of the digestive system (esophagus, stomach, small intestine and large intestine). The data we used to train and verify our models are from the same col- lection as in the Thesis of Mr. A. Polydorou, at the Electrical and Computer Engineering Department of Technical University of Crete in 2018. For the feature extraction part of the model, Convolutional two-dimensional (Conv2D) and Maxpooling two-dimensional (Max2D) were used with ReLU activation function. For the classification were used Flat- ten and Dense layers with activation function softmax function. In one model, there was also use of Dropout in order to randomly disconnect nodes and their edges.
For the validation of the performance of our models, we used metrics such as Accuracy(Acc), Sensitivity(Sens), Specificity(Spe), Error Rate(Err) and Precision(Pre). Since it is a multi-class classification, those values are calculated for each organ (or class) individually. The best performance among our models holistically comes from Model 2 where is providing for esophagus: Accuracy of 95.16%, Error Rate of 4.83%, Precision of 84.84%, Specificity of 94.73% and Sensitivity of 96.55%. For stomach provides, Accuracy of 91.93%, Error Rate of 8.06%, Precision of 90.9%, Specificity of 96.55% and Sensitivity of 81.08%. For small intestine, is performing with Accuracy of 95.96%, Error Rate of 4.03%, Precision of 92.85%, Specificity of 97.89% and Sensitivity of 89.65%. Finally, for large intestine, Accuracy of 99.19%, Error Rate of 0.8%, Precision of 96.66%, Specificity of 98.94% and Sensitivity of 100%.
Περίληψη:
Η ενδοσκοπική κάψουλα γίνεται όλο και πιο διάσημη καθώς αποτελεί τον μόνο μη-επεμβατικό τρόπο ώστε να υπάρχει μια εικόνα του λεπτού εντέρου, ώστε να αναγνωριστούν αιμορρα- γίες, πολύποδες, ασθένεια του Crohn και άλλες δυσμορφίες του βλενογόννου του λεπτού εντέρου. Για την εξέταση ο ασθενής καταπίνει την ηλεκτρονική κάψουλα, η οποία περιέχει και κάμερα, έτσι μπορεί να λαμβάνει φωτογραφίες του γαστρεντερολογικού συστήματος κα- θώς κινείται από το ένα όργανο στο άλλο. Αυτές οι φωτογραφίες μεταφέρονται σε έναν υπολογιστή και με την βοήθεια λογισμικού παράγεται ένα βίντεο το οποίο περιέχει αυτές τις εικόνες. Το ταξίδι της ενδοσκοπικής κάψουλας μέσα στο γαστρεντερολογικό σύστημα του ασθενούς μπορεί να διαρκέσει από 8 εώς και περισσότερες ώρες ανάλογα με την κίνηση του. Μέσα σε αυτή την ώρα η κάψουλα λαμβάνει 50.000 με 100.000 φωτογραφίες παράγοντας ένα αρκετά μεγάλο σε διάρκεια βίντεο. ́Ετσι η διεξοδική εξέταση αυτού του βίντεο αποτελεί μια εξαιρετικά χρονοβόρα διαδικασία για τους γιατρούς. Υπάρχουν πολλές έρευνες οι οποίες προσπαθούν μέσω προεπεξεργασίας του βίντεο να μειώσουν αυτό τον χρόνο. Σήμερα, με την εξέλιξη της Μηχανικής Μάθησης και της Τεχνητής Νοημοσύνης, ειδικά στον τομέα της ταξινόμησης φωτογραφίων, αποτελούν σπουδαία εργαλεία για τους ειδικούς υγείας.
Αυτή η διπλωματική, μελετάει την εξαγωγή χωρικών πληροφοριών της Ενδοσκοπικής κάψου- λας με την χρήση τεχνικών Μηχανικής Μάθησης. Το να είμαστε σε θέση να εντοπίζουμε την ενδοσκοπική κάψουλα κατά την πορεία της στο γαστρεντερολογικό σύστημα δίνει την δυνα- τότητα στους γιατρούς να εναποθέσουν ενέργεια στην εξέταση μέρους του βίντεο που αφορά μονάχα το σημείο ενδιαφέροντος. Επιπλέον, οι κατασκευαστές της ενδοσκοπικής κάψουλας θα μπορούσαν να χρησιμοποιήσουν τα προτεινόμενα μοντέλα ώστε να κάνουν εξοικονόμι- ση μπαταρίας όπου δεν χρειαζόμαστε πολλές φωτογραφίες και να λαμβάνουν περισσότερες λήψεις, όταν αυτό είναι απαραίτητο.
Για την επίτευξη αυτού, δημιουργήθηκαν 3 διαφορετικά μοντέλα Νευρωνικών Δικτύων, τα οποία επιτυγχάνουν την ταξινόμηση των φωτογραφιών στο αντίστοιχο όργανο που ανήκουν. Τα δεδομένα που χρησιμοποιήσαμε έρχονται από την διπλωματική του κ. Α. Πολυδώρου για την σχολή ΗΜΜΥ, του Π.Κ. το 2018. Για την εξαγωγή των χαρακτηριστικών χρησιμοποι- ήθηκαν Convolutional επίπεδα και Maxpooling επίπεδα και ReLU activation function. Για την πρόβλεψη χρησιμοποιήθηκαν Flatten και Dense επίπεδα με την χρήση Softmax activa-tion function. Σε ένα από τα μοντέλα χρησιμοποιήθηκε και Dropout το οποίο αποσυνδέει τυχαία του κόμβους και όλες τις ακμές τους από το νευρωνικό δίκτυο.
Για την αξιολόγηση των μοντέλων χρησιμοποιήθηκαν μετρήσεις όπως Accuracy(Acc), Sensitivity(Sens), Specificity(Spe), Error Rate(Err) και Precision(Pre). Καθώς είναι ένα πρόβλη- μα με πολλαπλές τάξεις, οι τιμές αυτές υπολογίζονται για κάθε όργανο ξεχωριστά. Η κα- λύτερη ολιστικά απόδοση έρχεται από το Μοντέλο 2 το οποίο προσφέρει όσον αφορά τις τιμές αυτές και για κάθε ξεχωριστό όργανο του πεπτικού συστήμα. Για τον οισοφάγο: Accuracy 95.16%, Error Rate 4.83%, Precision 84.84%, Specificity 94.73% και Sensitivity 96.55%. Για το στομάχι: Accuracy 91.93%, Error Rate 8.06%, Precision 90.9%, Specificity 96.55% και Sensitivity 81.08%. Για το λεπτό έντερο: Accuracy 95.96%, Error Rate 4.03%, Precision 92.85%, Specificity 97.89% και Sensitivity 89.65%. Τέλος, για το παχύ έντερο: Accuracy 99.19%, Error Rate 0.8%, Precision 96.66%, Specificity 98.94% και Sensitivity 100%.
Meeting ID: 934 400 1013
Password: 123456
