Συντάχθηκε 02-11-2017 14:26
από Vasiliki Grigoraki
Email συντάκτη: vgrigoraki<στο>tuc.gr
Ενημερώθηκε:
-
Κύρια: υπάλληλος ΗΜΜΥ.
Άλλες ιδιότητες: Unknown -#-@ΗΜΜΥ
ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών
ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ
ΓΕΩΡΓΙΟΥ ΠΡΟΥΝΤΖΟΥ
με θέμα
Ένα Προσαρμοστικό Σύστημα Επεξεργασίας Σύνθετων Ερωτημάτων πάνω στο Σύστημα Storm
An adaptive complex event processing system over Storm
Δευτέρα 6 Νοεμβρίου 2017, ώρα 09:30 - Τοποθεσία: Κτίριο Επιστημών, Αίθουσα 145.Π42
Εξεταστική Επιτροπή
Αναπληρωτής Καθηγητής Αντώνιος Δεληγιαννάκης (Επιβλέπων)
Καθηγητής Μίνως Γαροφαλάκης
Επίκουρος Καθηγητής Βασίλειος Σαμολαδάς
Περίληψη
Κατανεμημένη επεξεργασία σύνθετων γεγονότων είναι μια μέθοδος ανίχνευσης, ανάλυσης, επεξεργασίας και εντοπισμού συγκεκριμένων γεγονότων ή μοτίβων γεγονότων που εμφανίζονται σε ροές πληροφορίας απο ποικίλες κατανεμημένες πηγές. Κάθε κόμβος εντός δικτύου πραγματοποιεί επί τόπου επεξεργασία στα γεγονότα των πηγών του. Αυτός ο τρόπος χειρισμού μεγάλου όγκου δεδομένων με γεωγραφικά διεσπαρμένες πηγές έχει αρκετά πλεονεκτήματα σε σχέση με την συγκέντρωση και επεξεργασία των δεδομένων σε έναν κόμβο. Η ποσότητα της πληροφορίας είναι δυνητικά τεράστια και οι περιορισμοί στο bandwidth καθιστούν την μέθοδο της συγκέντρωσης ανέφικτη. Έτσι, για αποδοτικότητα στην επικοινωνία υλοποιήθηκε η προσέγγιση της κατανεμημένης επεξεργασίας. Επιπλέον, έχοντας μόνο έναν κόμβο για συγχρονισμό του δικτύου και επεξεργασία δημιουργείται κόμβος αποτυχίας (SPOF) καθιστώντας το σύστημα μη αξιόπιστο οταν η επεξεργασία σε πραγματικό χρόνο είναι σημαντική. Για τους λόγους αυτούς, αναπτύ- χθηκε μια αρχιτεκτονική επί τόπου επεξεργασίας σύνθετων γεγονότων χρησιμοποιώντας το Apache Storm. Η αρχιτεκτονική εντοπίζει πρότυπα ενδιαφέροντος στις εισερχόμενες ροές δεδομένων γεγονότων σε πραγματικό χρόνο σε πολλαπλούς κόμβους δικτύου. Τα πρότυπα, γεγονότα και πράκτορες στο δίκτυο ορίζονται απο το χρήστη και το σύστημα σχεδιάστηκε ώστε να υποστηρίζει πολλαπλά ερωτήματα και να προσαρμόζεται σε σημαντικές αλλαγές στο δίκτυο.
Abstract
Distributed complex event processing is a method of tracking, analyzing, processing and detecting specific events or patterns of events that may occur in event data streams from various distributed sources. Every node within a network does in-situ processing from its sources. This way of handling large sets of data whose sources may be geographically scattered, has a couple of advantages over centralizing the data into a single node and process them there. The amount of information is potentially vast and limitations of the available bandwidth render this approach impractical. Thus, a distributed approach is implemented for communication efficiency. Additionally, having a single node do all the processing and synchronizations of the network creates a Single Point of Failure (SPOF) making the system unreliable when real-time processing is important.
For these reasons, an architecture of an in situ complex event processing is developed using the Apache Storm primitives. The architecture detects patterns of interest on incoming event data streams over a number of nodes in the network in real-time. The patterns, events and network agents are specified from a user in a file and the system is designed to support multiple such queries as well as to adapt to any significant changes in the network.
