Ημερολόγιο Εκδηλώσεων

Περιγραφή:
ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ Σχολή Ηλεκτρονικών Μηχανικών και Μηχανικών Υπολογιστών Πρόγραμμα Προπτυχιακών Σπουδών ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ ΓΕΩΡΓΙΟΥ ΔΙΔΥΜΙΩΤΗ ΒΕΝΤΟΥΡΗ με θέμα Επεξεργασία Πολύπλοκων Γεγονότων στο Κατανεμημένο Σύστημα Storm Complex Event Processing at the Distributed Storm System Εξεταστική Επιτροπή Αναπληρωτής Καθηγητής Αντώνιος Δεληγιαννάκης (Επιβλέπων) Καθηγητής Μίνως Γαροφαλάκης Αναπληρωτής Καθηγητής Πολυχρόνης Κουτσάκης Περίληψη Η Επεξεργασία Πολύπλοκων Γεγονότων (Complex Event Processing) είναι μια μέθοδος εντοπισμού, ανάλυσης και επεξεργασίας ροών πληροφορίας και πιο συγκεκριμένα γεγονότων που συμβαίνουν (events). Διαφέρει από το Επεξεργασία Γεγονότων (Event Processing) διότι συνδυάζει πληροφορία από πολλαπλές πηγές, για να ανταποκριθεί σε πιο περίπλοκες συνθήκες. Στόχος του είναι να εντοπίσει καταστάσεις που εμπίπτουν σε συνθήκες βασισμένες σε μια σειρά από γεγονότα που έχουν συμβεί μέσα σε ένα δυναμικό χρονικό πλαίσιο. Αυτές οι συνθήκες μπορεί να είναι είτε αλληλουχία (SEQUENCE) γεγονότων είτε λογικές πράξεις μεταξύ γεγονότων (AND, OR) είτε και συνδυασμός αυτών. Με αυτής τη μέθοδο καθίσταται εφικτός ο εντοπισμός σημαντικών καταστάσεων και η αντιμετώπιση αυτών το τάχιστο δυνατό. Για να επιτύχουμε την κλιμάκωση ενός CEP συστήματος σε μεγάλο όγκο δεδομένων, είναι επιθυμητή η δυνατότητα παραλληλοποίησης του σε μεγάλο αριθμό από υπολογιστές οι οποίοι ανήκουν σε μία συστάδα (cluster). Για αυτό το λόγο, σε αυτή την εργασία η μέθοδος Επεξεργασίας Πολύπλοκων Γεγονότων (CEP) υλοποιείται χρησιμοποιώντας το κατανεμημένο υπολογιστικό σύστημα Storm που λειτουργεί σε πραγματικό χρόνο. Κατασκευάσαμε μια τοπολογία που χρησιμοποιεί το σύστημα και υλοποιεί τη μέθοδο ΕΠΓ με πλήρη επεκτασιμότητα. Στη τοπολογία μας γίνεται συνεχή επεξεργασία γεγονότων σε πραγματικό χρόνο και ανίχνευση μοτίβων που δίνει, ανανεώνει και διαγράφει ο χρήστης. Abstract Complex Event Processing is a method of tracking, analyzing and processing streams of data and specifically occurring events. CEP differs from Event Processing because it combines information from different sources, in order to correspond to complicated conditions. Its goal is to trace on a system states that fulfill specific conditions based on a series of events that occurred in a dynamic time window. These conditions can be either an event sequence, a series of logical operations between events (AND, OR), or a combination of both. This method enables the detection of important states and accelerates their resolution. In order to achieve the extend of a CEP system to big data, it should be parallelized between a great number of computers belonging to a cluster. For this reason, in this thesis the Complex Event Processing method is implemented on the distributed real time computation system of “Storm”. We developed a fully scalable topology that uses Storm and implements the CEP method. Our topology continuously processes events in real time and traces in real time patterns that the user can provide, refresh and/or remove.