Ημερολόγιο Εκδηλώσεων

Περιγραφή:
ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών Πρόγραμμα Προπτυχιακών Σπουδών ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ ΑΝΤΩΝΙΟΣ Ι. ΚΟΝΤΑΞΑΚΗΣ με θέμα Ανάλυση Δεδομένων σε ένα Πέρασμα στο RapidMiner One-pass data analytics using RapidMiner Εξεταστική Επιτροπή Αναπληρωτής Καθηγητής Αντώνιος Δεληγιαννάκης (επιβλέπων) Καθηγητής Μίνως Γαροφαλάκης Αναπληρωτής Καθηγητής Βασίλειος Σαμολαδάς Περίληψη Στις μέρες μας δεδομένα παράγονται συνεχώς σε ασύλληπτους ρυθμούς και όλο και περισσότερες επιχειρήσεις και οργανισμοί προσπαθούν να χρησιμοποιήσουν όλα αυτά τα δεδομένα για να πάρουν κρίσιμες αποφάσεις . Η επεξεργασία και ανάλυση δεδομένων για την λήψη αποφάσεων έχει μετατραπεί από πολυτέλεια σε ανάγκη .Η διαχείριση δεδομένων απαιτεί την χρήση πολύπλοκων αλγορίθμων τους οποίους οι περισσότεροι άνθρωποι δεν μπορούν να υλοποιήσουν. Γι'αυτό έχουν δημιουργηθεί προγράμματα τα οποία προσφέρουν ένα φιλικό προς τον χρήστη περιβάλλον για σχεδίαση αυτών περιπλοκών αλγοριθμικών διαδικασιών .Όμως τα περισσότερα από αυτά είναι υλοποιημένα για να εκτελούν αυτούς τους αλγόριθμους σε ένα υπολογιστή. Τι γίνεται όμως όταν ο όγκος των δεδομένων είναι πολύ μεγάλος και απαιτείτε μεγαλύτερη υπολογιστική ισχύς. Σε αυτήν την περίπτωση είναι αναγκαία η χρήση ενός συμπλέγματος από υπολογιστές. Σε αυτήν την εργασία, επιλέξαμε το RapidMiner , ένα σχεδιαστικό πρόγραμμα για διαχείριση δεδομένων, ως use-case και το επεκτείναμε ώστε να έχει την δυνατότητα να εκτελούνται οι διαδικασίες του σε ένα σύμπλεγμα υπολογιστών που διαχειρίζεται από το Apache Spark. Abstract Nowadays data are being produced at an inconceivable rate, and more and more businesses and organizations are trying to use all this data to make critical decisions. Data processing and analysis for decision-making has been converted from luxury to need. Data management requires the use of complex algorithms that most people cannot implement. That's why programs have been created to provide a user-friendly environment for the design of these algorithmic processes. However, most of them are implemented to run these algorithms on a single computer. But what happens when the volume of data is too large and more computational power is required? In that case, it is necessary to use a cluster of computers. For the purpose of this thesis, we chose RapidMiner, a design program for data management as a use-case, and expanded it to enable its processes to run on a cluster of computers managed by Apache Spark.