Ημερολόγιο Εκδηλώσεων

ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών

ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ

Μιχαλίτσας - Μαρίας Πελίκα 

με θέμα

Εκπαίδευση πιάνου Μικτής Πραγματικότητας με τη δημιουργία μουσικής σε πραγματικό χρόνο
MRKeys: Mixed Reality Piano training using real-time generated music

Εξεταστική Επιτροπή

Καθηγήτρια Αικατερίνη Μανιά (επιβλέπουσα)
Καθηγητής Αντώνιος Δεληγιαννάκης
Καθηγητής Γεώργιος Καρυστινός

Περίληψη

Η τεχνολογία έχει διευρύνει σημαντικά τους ορίζοντες της μουσικής πρακτικής, παρέχοντας εναλλακτικές λύσεις στις συμβατικές μεθόδους. Εφαρμογές με ενσωματωμένα μαθήματα και σχόλια σε πραγματικό χρόνο προσφέρουν την ύπαρξη ενός δασκάλου μουσικής απευθείας σε smartphone, ενσωματώνοντας στοιχεία παιχνιδιού που κάνουν την εξάσκηση πιο ενδιαφέρουσα. Οι τεχνολογίες επαυξημένης πραγματικότητας και εικονικής πραγματικότητας επεκτείνουν τα όρια της μουσικής πρακτικής, προσφέροντας περιβάλλοντα όπου οι μαθητές μπορούν να αλληλοεπιδρούν με μουσικά όργανα και συνθέσεις με καινοτόμους τρόπους. Η εργασία αυτή παρουσιάζει το MR Keys, μια καινοτόμο εφαρμογή AR για το Microsoft HoloLens, με στόχο να προσφέρει εναλλακτικές μεθόδους στην εκμάθηση πιάνου. Το MR Keys παρέχει μεθόδους τόσο για αρχάριους όσο και για προχωρημένους πιανίστες για να βελτιώσουν τις δεξιότητές τους, χρησιμοποιώντας ένα δυναμικό σύστημα ένδειξης πλήκτρων  όπου οι χρήστες αλληλοεπιδρούν με την εφαρμογή παίζοντας πιάνου καθώς οι ενδείξεις τους βοηθούν. Τα λάθη οδηγούν σε αφαίρεση πόντων, ωθώντας έτσι τους χρήστες να προσπαθήσουν περισσότερο. Ακόμα, η ύπαρξη ενός νευρωνικού μοντέλου τεχνητής νοημοσύνης επιτρέπει τη δημιουργία συμπληρωματικών μελωδιών όταν οι χρήστες παίζουν ένα σύστημα συγχορδιών. Τα σχόλια των χρηστών ήταν ζωτικής σημασίας για την αξιολόγηση των αποτελεσμάτων μας παράλληλα με την τεχνητή νοημοσύνη, προσφέροντας πληροφορίες για μελλοντική βελτίωση.

Abstract 

Technology has substantially broadened the horizons of music practice, providing alternatives to conventional methods. Mobile apps and software with embedded lessons and real-time feedback deliver the convenience of a music teacher directly to smartphones, incorporating gamification elements that render practice sessions more immersive.The emergence of virtual reality and augmented reality technologies introduces new dimensions to music practice, offering immersive environments for learners to interact with musical instruments and compositions in innovative ways. This thesis introduces MR Keys, an innovative AR application for Microsoft HoloLens, aimed at revolutionizing piano learning. MR Keys provides engaging methods for both novice and advanced pianists to hone their skills, using a dynamic tile system where users interact with the app by playing piano keys as tiles descend upon them. Mistakes result in point deductions, motivating users to strive for perfection. MR Keys' AI integration is a standout feature, enabling the creation of complementary melodies when users play chord progressions. User feedback has been pivotal in evaluating the comparative advantages of practicing alongside AI, offering insights into areas for future refinement.