La realtà virtuale non consiste solo nell'indossare un'unità HMD, ma utilizza anche una serie di tecnologie di tracciamento per leggere i movimenti del giocatore o almeno le manopole di controllo specializzate in VR. Ecco perché abbiamo deciso di elencare i diversi meccanismi di tracciamento per la realtà virtuale che sono esistiti e come funziona ciascuno di essi.
Fin dall'inizio della Realtà Virtuale, è stato progettato per l'immersione del giocatore in un ambiente virtuale. Il che significa che non solo la cosiddetta telepresenza deve essere realizzata dal punto di vista audiovisivo. Si cerca anche una correlazione 1:1 tra i movimenti del giocatore e l'ambiente. Che oggi è qualcosa che abbiamo molto, molto verde ed è pura fantascienza oggi. Il giorno in cui abbiamo un Virtual Reality Pedestal ambiente in cui possiamo muoverci liberamente senza problemi e interagire è ancora un'utopia.
Tutto ciò non significa che non ci sia una road map per arrivare a questa idea di libertà. Che è legato allo sviluppo di una serie di tecnologie che si sono evolute negli ultimi anni. Molti di loro sono già nei diversi sistemi di realtà virtuale, ma altri li vedremo a breve, medio o lungo termine.
Ecco perché abbiamo deciso di creare questo articolo in cui elencheremo tutte le tecnologie esistenti utilizzate per il tracciamento nella realtà virtuale.
Tracking Inside-Out e Tracking Outside-In
Esistono due modi per classificare il tracciamento degli utenti in VR, a seconda di dove si trovano i sensori di tracciamento in VR.
- Se questi sono fissati in un punto della stanza, ma fuori dall'unità HMD lo chiamiamo Monitoraggio esterno-interno.
- Se invece i sensori sono all'interno della realtà virtuale o del casco HMD, si chiamano Sensori Inside-Out .
Entrambi i tipi di sistemi di tracciamento non sono esclusivi e possono essere combinati per ottenere una maggiore precisione nel seguire e interpretare i movimenti dell'utente in realtà virtuale.
Fotocamere e computer vision
Oggi vengono utilizzati due tipi di telecamere per tracciare i movimenti, la prima delle quali sono le classiche telecamere RGB che acquisiscono un'immagine in cui ogni pixel rappresenta un colore dello spettro RGB. In altre parole, una fotocamera tradizionale. Anche se questo non è l'unico tipo di fotocamera utilizzata. Poiché sono integrati con telecamere a tempo di volo in alcuni casi o telecamere a infrarossi per un altro in cui ogni pixel dell'immagine non segna il colore, ma la distanza in cui si trova ciascun oggetto nell'immagine.
Tutto questo è combinato oggi con quella che chiamiamo Computer Vision, che consiste in reti neurali che emulano il sistema di visione umano nel suo funzionamento. Questa è la stessa tecnologia che viene utilizzata per le auto intelligenti in modo che possano guidare da sole e ci rende anche più facile parcheggiare. Anche se ha altri usi. Ad esempio, è quello che permette NVIDIA Tecnologia di trasmissione per scartare lo sfondo e lasciarci in pace quando realizziamo un video in diretta su una delle piattaforme di streaming più famose.
Ma qual è l'uso della Realtà Virtuale? Grazie al fatto che possiamo conoscere la distanza degli oggetti in un tracking Outside-In possiamo conoscere la posizione relativa rispetto alla telecamera. Nel caso della tecnologia Inside-Out è più interessante, poiché è ciò che consente di scartare le mani del giocatore dal resto e attraverso una rete neurale allenata di poter interpretare i diversi movimenti delle mani del giocatore.
Ciò è possibile anche da un sistema Outside-In, ma poiché sarebbe necessaria una telecamera a risoluzione più elevata a causa della distanza, è più fattibile farlo dalle telecamere installate nell'HMD.
Sistemi inerziali per il tracciamento in realtà virtuale
I sistemi inerziali non sono una novità e sono utilizzati da tempo nel monitoraggio della realtà virtuale, almeno dall'inizio sotto forma di dispositivi MEMS. I casi più evidenti sono l'accelerometro e il giroscopio che consentono il movimento delle manopole di controllo e del HMD stesso o casco per realtà virtuale per essere posizionato con maggiore precisione.
Il compito dell'accelerometro è misurare l'accelerazione, che non è altro che la variazione di velocità in un determinato periodo di tempo. E in che modo conoscerla può aiutarci a posizionare un oggetto? Ebbene, per il fatto che la velocità è la variazione dello spostamento nel tempo. Con queste informazioni, il sistema non solo può prevedere dove si trova l'oggetto, ma dove si troverà in un determinato momento.
Il giroscopio invece misura il grado di inclinazione dell'oggetto, insieme all'accelerometro permette di tracciare il movimento degli oggetti. Sebbene entrambi richiedano un altro osservatore, sotto forma di visualizzatore esterno ed è per questo che è necessaria una telecamera esterna come quella di cui abbiamo discusso nella sezione precedente. Con tutto questo, il sistema può ora triangolare la posizione degli oggetti nello spazio e sapere dove si trovano in ogni momento. In alcuni casi, per aumentare la precisione, vengono utilizzati sensori come i microfoni ad ultrasuoni come sensore o magnetometri o meglio conosciuti come bussole.
Tracciamento oculare nella realtà virtuale
Uno dei problemi che ha la Realtà Virtuale è l'incoerenza tra ciò che il giocatore dovrebbe vedere e l'immagine mostrata sullo schermo HMD, poiché l'unico movimento che viene letto è il movimento della testa, questo fa sì che l'immagine che viene visualizzata sullo schermo schermo non corrisponde al movimento degli occhi dell'utente.
L'idea del tracciamento oculare è l'installazione di una telecamera a infrarossi ad alta frequenza che consente di seguire il movimento degli occhi dell'osservatore e farlo coincidere con il punto di vista della telecamera durante il rendering. In modo tale che ciò che l'utente vede corrisponda al movimento dei propri occhi ed è un modo per ridurre la mancanza di coordinazione nel movimento che provoca le famose vertigini. Tutto questo coordinato con i dati ottenuti dal resto dei sistemi di tracciamento esterni.
A causa del fatto che nella realtà virtuale gli occhi dell'utente sono nascosti dall'unità HMD che indossa sulla testa, questi tipi di sensori si trovano all'interno del casco della realtà virtuale.
