Sistemas de rastreamento para Realidade Virtual, tipos e características

A realidade virtual não consiste apenas em colocar uma unidade HMD, mas também faz uso de uma série de tecnologias de rastreamento para ler os movimentos do jogador ou pelo menos os botões de controle especializados em VR. É por isso que decidimos listar os diferentes mecanismos de rastreamento para RV que existem e como cada um deles funciona.

Sistemas de rastreamento para realidade virtual

Desde o início da Realidade Virtual, ela foi projetada para a imersão do jogador em um ambiente virtual. O que significa que não só a chamada telepresença tem que ser alcançada do ponto de vista audiovisual. Uma correlação de 1: 1 também é buscada entre os movimentos do jogador e o ambiente. Que hoje é algo que temos muito, muito verde e é pura ficção científica hoje. O dia em que temos um Realidade Virtual ambiente no qual podemos nos mover livremente sem problemas e interagir ainda é uma utopia.

Tudo isso não significa que não haja um roteiro para se chegar a essa ideia de liberdade. Que está relacionado ao desenvolvimento de uma série de tecnologias que vêm evoluindo nos últimos anos. Muitos deles já estão nos diferentes sistemas de realidade virtual, mas outros veremos a curto, médio ou longo prazo.

Por isso decidimos fazer este artigo onde listaremos todas as tecnologias existentes que são utilizadas para rastreamento em Realidade Virtual.

Rastreando de dentro para fora e de fora para dentro

Rastreamento Realidade Virtual

Existem duas maneiras de categorizar o rastreamento do usuário em VR, dependendo de onde os sensores de rastreamento estão localizados em VR.

  • Se estes forem fixados em um lugar da sala, mas fora da unidade HMD, nós o chamamos Rastreamento de fora para dentro.
  • Por outro lado, se os sensores estão dentro da realidade virtual ou capacete HMD, eles são chamados Sensores de dentro para fora .

Os dois tipos de sistemas de rastreamento não são exclusivos e podem ser combinados para obter maior precisão no acompanhamento e interpretação dos movimentos do usuário de realidade virtual.

Câmeras e visão computacional

Realidad-Virtual-01

Dois tipos de câmeras são usados ​​hoje para rastrear movimentos, o primeiro deles são as câmeras RGB clássicas, que capturam uma imagem em que cada pixel representa uma cor do espectro RGB. Em outras palavras, uma câmera tradicional. Embora este não seja o único tipo de câmera usada. Pois são complementadas com câmeras time-of-flight em alguns casos ou câmeras infravermelhas para outras em que cada pixel da imagem não marca a cor, mas sim a distância em que cada objeto da imagem está localizado.

Tudo isso se combina hoje com o que chamamos de Visão Computacional, que consiste em redes neurais que emulam o sistema de visão humana em seu funcionamento. Esta é a mesma tecnologia que é usada para carros inteligentes para que eles possam dirigir sozinhos e também torna mais fácil para nós estacionarmos. Embora tenha outros usos. Por exemplo, é o que permite NVIDIA Tecnologia de transmissão para descartar o fundo e nos deixar em paz quando fazemos um vídeo ao vivo em uma das plataformas de streaming mais famosas.

Rastreamento de mãos Realidad Virtual

Mas qual é a utilidade da Realidade Virtual? Graças ao fato de que podemos saber a distância dos objetos em um rastreamento Outside-In, podemos saber a posição relativa em relação à câmera. No caso da tecnologia Inside-Out é mais interessante, pois é o que permite que as mãos do jogador sejam descartadas das demais e por meio de uma rede neural treinada ser capaz de interpretar os diferentes movimentos das mãos do jogador.

Isso também é possível a partir de um sistema Outside-In, mas como seria necessária uma câmera de maior resolução devido à distância, é mais viável fazê-lo a partir das câmeras instaladas no HMD.

Sistemas inerciais para rastreamento em realidade virtual

Conceito de giroscópio

Os sistemas inerciais não são novidade e têm sido usados ​​no rastreamento de realidade virtual há algum tempo, pelo menos desde o início na forma de dispositivos MEMS. Os casos mais claros são o acelerômetro e o giroscópio que permitem o movimento dos botões de controle e os HMD próprio ou capacete de realidade virtual para ser posicionado com maior precisão.

A função do acelerômetro é medir a aceleração, que nada mais é do que a mudança na velocidade durante um período específico de tempo. E como saber disso pode nos ajudar a posicionar um objeto? Bem, devido ao fato de que a velocidade é a variação do deslocamento no tempo. Com essas informações, o sistema pode não apenas prever onde o objeto está, mas também onde estará em um determinado momento.

O giroscópio, por outro lado, mede o grau de inclinação do objeto, juntamente com o acelerômetro permite rastrear o movimento dos objetos. Embora ambos requeiram outro observador, na forma de um visualizador externo e é por isso que uma câmera externa como a que discutimos na seção anterior é necessária. Com tudo isso, o sistema agora consegue triangular a posição dos objetos no espaço e saber onde eles estão o tempo todo. Em alguns casos, para aumentar a precisão, sensores como microfones de ultrassom são usados ​​como sensores ou magnetômetros ou mais conhecidos como bússolas.

Rastreamento ocular em realidade virtual

Rastreamento da Realidade Ocular Virtual

Um dos problemas que a Realidade Virtual tem é a incoerência entre o que o jogador deve ver e a imagem mostrada na tela do HMD, já que o único movimento que se lê é o movimento da cabeça, isso faz com que a imagem que é exibida no a tela não corresponde ao movimento dos olhos do usuário.

A ideia do rastreamento ocular é a instalação de uma câmera infravermelha de alta frequência que permite acompanhar o movimento dos olhos do observador e fazê-lo coincidir com o ponto de vista da câmera durante a renderização. De forma que o que o usuário vê corresponda ao movimento de seus olhos e seja uma forma de diminuir a falta de coordenação do movimento que causa a famosa tontura. Tudo isso coordenado com os dados obtidos pelos demais sistemas de rastreamento externos.

Devido ao fato de que na Realidade Virtual os olhos do usuário são ocultados pela unidade HMD que ele ou ela usa na cabeça, esses tipos de sensores estão localizados dentro do capacete de Realidade Virtual.