Συντάχθηκε 04-02-2020 12:32
Θέμα
Αλγόριθμοι Γραφικής σε Πραγματικό Χρόνο βασισμένοι σε Παρακολούθηση Ματιού σε Εικονική Πραγματικότητα (Ray tracing)
Real-Time Foveated Rendering In Virtual Reality For Ray-tracing
Εξεταστική Επιτροπή
Αναπληρώτρια Καθηγήτρια Μανιά Αικατερίνη (επιβλέπουσα)
Αναπληρωτής Καθηγητής Δεληγιαννάκης Αντώνιος
Καθηγητής Μπάλας Κωνσταντίνος
Περίληψη
Σκοπός της παρούσας διπλωματικής εργασίας είναι η δημιουργία μιας διαδικασίας παραγωγής φωτορεαλιστικών γραφικών τα οποία απεικονίζονται σε μάσκες Εικονικής ή Επαυξημένης Πραγματικότητας πραγματικότητας. Η διαδικασία αυτή χρησιμοποιεί τον αλγόριθμο παρακολούθησης ακτινών (ray-tracing) ενώ ταυτόχρονα εκμεταλλεύεται τη γνώση του οπτικού πεδίου κίνησης του ματιού του χρήστη (eye tracking). Oι αλγόριθμοι Γραφικής που εκμεταλλεύονται την ακολουθία κίνησης του ματιού (foveated rendering) χρησιμοποιούν ανιχνευτές ματιού οι οποίοι είναι ενσωματωμένοι σε μάσκες Εικονικής ή Επαυξημένης Πραγματικότητας για να παραχθούν εικόνες με λιγότερη λεπτομέρεια στην εξωτερική περιοχή του οπτικού πεδίου του ματιού. Αυτό γίνεται ώστε να μειωθεί το υπολογιστικό κόστος της διαδικασίας παραγωγής της εικόνας. Σκοπός είναι να υπάρξει υψηλότερος ρυθμός παραγωγής εικόνων χωρίς να γίνεται αισθητή η μείωση της ποιότητας από τον χρήστη. Αυτό επιτυγχάνεται με την χρήση της νέας γενιάς επεξεργαστών για γραφικά (RTX 2060 GPU card) που έχει προτείνει η NVidia και με τη χρήση του λογισμικού OptiX, ώστε να βελτιστοποιηθεί η κατανομή πόρων για τον αλγόριθμο παρακολούθησης ακτινών. Στην μάσκα Εικονικής Πραγματικότητας που χρησιμοποιήθηκε έχουν ενσωματωθεί ανιχνευτές του ματιού από την Arrington Research σκοπεύοντας να γίνει η παρακολούθηση της κατεύθυνσης του ματιού και η εκτίμηση του οπτικού πεδίου του σε πραγματικό χρόνο. Για την επίτευξη της βελτιστοποίησης στην εφαρμογή μειώνεται ο αριθμός των ακτινών που παράχθηκαν με τον αλγόριθμο παρακολούθησης ακτινών στην περιφερειακή όραση παράγοντας ακτίνες για μικρότερο αριθμό pixel. Τέλος, χρησιμοποιείται μια μέθοδο επεξεργασίας της εικόνας για να καλυφθούν τα κενά καθώς και τυχόν ατέλειες λόγω της μειωμένης ποιότητας.
Η αξιολόγηση της μεθόδου έδειξε ότι επιτυγχάνει ικανοποιητική ταχύτητα απεικόνισης γραφικών σε πραγματικό χρόνο ενώ οι οπτικές διαφορές μεταξύ κεντρικού οπτικού πεδίου και περιφερειακού δε γίνονται αντιληπτές. Τέτοιες τεχνικές μπορούν να εφαρμοστούν για αλληλεπίδραση με βάση το βλέμμα (gaze interaction) σε νέες οθόνες Εικονικής και Επαυξημένης Πραγματικότητας.
Abstract
Foveated rendering utilizes an eye tracker embedded in a Virtual Reality or Augmented Reality headset to produce images with progressively less detail in the peripheral vision located outside the zone gazed by the fovea, based on eye tracking input. By doing that, the computational cost of rendering is reduced without any noticeable change of image quality. We propose a ray-tracing rendering pipeline for which we apply foveated rendering in Virtual Reality so that a higher frame rate without perceived reduction in quality.
This is achieved by using Nvidia newest generation of graphic process unit card, the RTX 2060, and OptiX software to have the highest available performance for ray tracing. Arrington Research's Viewpoint EyeTracker embedded in the NVIS SX111 VR Head Mounted Display monitored gaze position in real-time. In our work, we take advantage of the eye tracking capabilities of our HMD to separate the center of the user's field of view from the periphery. We then reduce the sampling conducted using ray tracing in the periphery, taking samples for only a smaller amount of pixels. Next, we duplicate neighboring pixels to cover all blank spots using the information of our closest neighbors. Finally, we use Gaussian blurring to cover all the imperfections in the recreated frame.
Evaluations and user tests show that our method achieves real-time frame rates, while visual differences compared to fully rendered images are hardly perceivable. Foveated rendering techniques have potential for gaze interaction in Virtual and Augmented Reality displays.
Τόπος: Λ - Κτίριο Επιστημών/ΗΜΜΥ, 145Π-42
Έναρξη: 06/02/2020 11:00
Λήξη: 06/02/2020 12:00
