Συντάχθηκε 01-09-2014 10:39
από Esthir Gelasaki
Email συντάκτη: egelasaki<στο>tuc.gr
Ενημερώθηκε:
01-09-2014 11:13
Ιδιότητα: υπάλληλος.
ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρονικών Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Μεταπτυχιακών Σπουδών
ΠΑΡΟΥΣΙΑΣΗ ΜΕΤΑΠΤΥΧΙΑΚΗΣ ΔΙΑΤΡΙΒΗΣ
ΤΣΑΚΩΝΑ ΚΩΝΣΤΑΝΤΙΝΟΥ
με θέμα
«Υπολογισμός κύβου δεδομένων τύπου παγόβουνου με διάσχιση από κάτω προς τα πάνω με τη χρήση της πλατφόρμας Hadoop»
«Bottom up computation of iceberg data cubes with Hadoop»
Τρίτη 2 Σεπτεμβρίου 2014, 12μμ
Αίθουσα 137.Π.39, Κτίριο Επιστημών, Πολυτεχνειούπολη
Εξεταστική Επιτροπή
Αναπληρωτής Καθηγητής Αντώνιος Δεληγιαννάκης (επιβλέπων)
Καθηγητής Σταύρος Χριστοδουλάκης
Καθηγητής Μίνως Γαροφαλάκης
Περίληψη
Η ανάλυση μεγάλου όγκου δεδομένων αποτελεί τα τελευταία χρόνια κομβικό σημείο για την μελέτη μεγάλου αριθμού φαινομένων, τόσο στο πλαίσιο της επιστημονικής έρευνας όσο και στο πλαίσιο των εμπορικών και επιχειρηματικών δραστηριοτήτων και προσπαθειών. Επιπλέον αποτελεί αντικείμενο το οποίο διαφαίνεται ότι θα συνεχίσει να απασχολεί την επιστημονική κοινότητα και στο μέλλον . Η χρησιμοποιούμενες μεθοδολογίες για την ανάλυση δεδομένων On-Line χρειάζεται να μελετηθούν περεταίρω ώστε να επιτευχθεί ακόμα μικρότερη κατανάλωση χρόνου για την αποτελεσματική ανάλυση δεδομένων. Η παρούσα διατριβή προτείνει τον BucDoop, ένα νέο αλγόριθμο ο οποίος εκμεταλλεύεται τα πλεονεκτήματα του μοντέλου Map Reduce και της πλατφόρμας Hadoop για την αποτελεσματική δημιουργία κύβων δεδομένων τύπου παγόβουνου για μεγάλες συλλογές δεδομένων σε περιορισμένο χρόνο. Ο αλγόριθμος BucDoop χρησιμοποιεί την μέθοδο διάσχισης των διαστάσεων των δεδομένων από τις λιγότερο πολυπληθείς ομαδοποιήσεις διαστάσεων προς εκείνες με τις πολυπληθέστερες ομαδοποιήσεις (διάσχιση από κάτω προς τα πάνω-bottom up computation) εκμεταλλευόμενος την αρχιτεκτονική του αλγορίθμου BUC. Με τη χρήση της αρχιτεκτονικής αυτής επιτυγχάνει την δραστική μείωση των απαιτουμένων υπολογισμών στους απολύτως απαραίτητους για την κάλυψη της συνθήκης παγόβουνου (Iceberg problem condition). Η πειραματική μελέτη του αλγορίθμου παρουσιάζει την ευχέρεια του αλγορίθμου να αντιμετωπίσει τα φαινόμενα κλιμάκωσης του όγκου των δεδομένων με επιτυχία, ξεπερνώντας προβλήματα μεγέθους και διαθεσιμότητας μνήμης και χρησιμοποιώντας πόρους ευρείας χρήσης χωρίς ιδιαίτερες προδιαγραφές.
Abstract
Big Data analysis has been a key matter during the recent years for the study of various phenomena in various science contexts as well as in business intelligence. Furthermore it appears for good reason to remain in focus for the future. Online Analytical processing methods and Data Cubes need to be further studied in order to reduce time used for efficient data analysis. This study introduces BucDoop, a novel algorithm that exploits the parallelism benefits of Hadoop Map Reduce, for the efficient iceberg data cube creation in reasonable time. BucDoop includes the use of the Bottom Up Computation (BUC) idea in the context of iceberg cube data lattice traversal, managing to reduce the amount of data handled with early pruning architecture and producing the portion of the cube needed for analysis purposes (iceberg problem). Experiments conducted herein present an efficient scalability factor for the creation of the iceberg cube for very big data, by-passing the data explosion and memory constraints problem while using only commodity hardware.
.
