A realidade virtual é uma das tecnologias emergentes mais populares, especialmente desde 2014, quando o Facebook pagou uma grande soma pela Oculus e uma ampla gama de monitores tipo head-mounted display (HMD) tornaram-se prontamente disponíveis.

A Realidade Virtual (RV) usa tecnologia para imergir uma pessoa em um mundo totalmente gerado por computador e removê-la da realidade. Desta forma, a RV é diferente de seu primo, Realidade Aumentada (RA), que visa sobrepor perfeitamente imagens ou animações virtuais sobre a visão do usuário do mundo real.

No entanto, como qualquer termo capturado pelo marketing, há alguma confusão sobre o que realmente é a realidade mista. O que é uma tela de realidade mista? O que é uma experiência de RM? Como a RM está relacionada com RA ou RV?

Fundamentos da realidade mista

A definição de realidade mista pode ser rastreada até 1994, em um artigo de pesquisa escrito por Paul Milgram e Fumio Kishino.

Este foi o primeiro artigo acadêmico a usar o termo “Realidade Mista” no contexto de interfaces de computador. Nos quase 25 anos desde então, este artigo foi citado mais de 2.600 vezes, tornando-o o artigo de pesquisa mais popular para usar o termo, e mais amplamente citado do que a maioria dos artigos de pesquisa em RA ou RV.

Milgram e Kishino definem a realidade mista como “... uma subclasse particular de tecnologias relacionadas à RV que envolve a fusão dos mundos real e virtual.” Mais especificamente, eles dizem que a RM envolve a mistura de mundos real e virtual em algum lugar ao longo do “continuum realidade-virtualidade” (RV) que conecta ambientes completamente reais a outros completamente virtuais.

Conforme mostrado no diagrama abaixo, o continuum RV varia de ambientes completamente reais a completamente virtuais e abrange RA e Virtualidade Aumentada (VA).

VA é um mundo virtual com elementos do mundo real introduzidos nele, da mesma forma que RA é o mundo real com elementos de imagens virtuais introduzidos nele. Virtualidade Aumentada.

A Realidade Mista cobre a parte do contínuo entre o ambiente completamente real e o ambiente completamente virtual.

No entanto, envolve sempre a fusão de elementos do mundo real e virtual, e assim os pontos finais do contínuo não são considerados Realidade Mista.

Simplificando, a experiência RV vista em um Óculos RV que não mostra parte do mundo real não é uma experiência de RM.

Da mesma forma, olhar para uma transmissão de vídeo ao vivo do mundo real em uma tela de TV que não envolve qualquer imagem virtual também não é uma experiência de RM. No entanto, quase qualquer display que combine imagens reais e virtuais é uma experiência de Realidade Mista.

Tipos de Display de Realidade Mista

Para ajudar vocês a entender melhor o conceito de Realidade Mista, confira abaixo os displays ou dispositivos que reproduzem a Realidade Mista:

1. Exibições de vídeo baseadas em monitores (não imersivas). Mostrando vídeo do mundo real sobre o qual as imagens digitais são sobrepostas;

2. Um HMD mostrando vídeo. O mesmo que tipo 1, mas o conteúdo está em um HMD (Tela montada na cabeça, ou headset VR);

3. HMD de infiltração óptica. Um display see-through (transparente) que permite que imagens virtuais apareçam sobrepostas sobre o mundo real;

4. Vídeo see-through (transparente) HMD. O mesmo que 3, mas mostrando vídeo do mundo real na frente do usuário com gráficos virtuais sobrepostos a ele;

5. Sistema VA baseado em monitor. Mostrando gráficos 3D em um monitor com vídeo sobreposto;

6. VA imersiva ou parcialmente imersiva, mostrando gráficos 3D em uma tela imersiva com vídeo sobreposto a ele;

7. Sistemas VA parcialmente imersivos. Sistemas VA que permitem interações adicionais de objeto real, como interagir com a própria mão (real).

O HoloLens da Microsoft é um display óptico que permite que informações virtuais apareçam no mundo real e assim é uma exibição RM tipo 3.

Da mesma forma, uma tela grande que mostra personagens virtuais interagindo com pessoas reais em um feed de câmera é uma tela RM tipo 1.

Como pode ser visto nesta lista quase qualquer display que combine imagens virtuais com imagens reais em tempo real é um tipo de exibição RM. No entanto, eles têm propriedades diferentes. Por exemplo, os tipos 1, 2 e 4 são baseados em vídeo com aprimoramentos gráficos, enquanto o tipo 5 é baseado em gráficos baseados em aprimoramentos de vídeo.

Portanto, há a necessidade de uma taxonomia que possa ser usada para classificar displays de Ressonância Magnética de acordo com essas propriedades.

Uma Taxonomia de Realidade Mista

Em seu artigo Milgram e Kishino descrevem três dimensões que podem ser usadas para classificar experiências de RM;

Extensão do Conhecimento Mundial (EWK): A extensão do conhecimento mundial é a quantidade do mundo real que é modelada e compreendida pelo sistema RM. Isso vai desde que o sistema não saiba nada sobre o mundo real (Mundo não modelado) até o sistema que tem um modelo completo do mundo. Isso também pode ser organizado em um "contínuo", como mostrado abaixo.

Por exemplo, o HoloLens escaneia o mundo real e cria um modelo geométrico dele, e assim é para o fim certo deste contínuo.

No entanto, outros sistemas RM usam visão computacional para rastrear a partir de um marcador visual e, portanto, não sabem nada sobre o mundo real, exceto onde o marcador está, e deve ser para o lado esquerdo do "contínuo".

Fidelidade de Reprodução (FR): Reprodução de fidelidade relaciona-se com o quão realista o mundo real é capturado, ou a qualidade da renderização gráfica computacional. Assim, em termos de captura de mundo, em uma extremidade do "contínuo" está o vídeo monoscópico e na outra o Vídeo 3D de alta definição.

Da mesma forma, em termos de gráficos, em uma extremidade são wireframes simples, enquanto na outra gráficos foto realistas de alta fidelidade em tempo real.

Por exemplo, a tela Cannon MREAL MR tem câmeras de vídeo estéreo para captura do mundo real e assim está no meio deste contínuo, enquanto as telas portáteis com uma única câmera são mais à esquerda.

Extensão da Metáfora de Presença (EPM): A dimensão EPM relaciona-se na medida em que o usuário se sente imerso ou presente na cena exibida. Assim, os HMD´s fornecem uma alta sensação de presença, enquanto olhar para uma cena de RM em um monitor de desktop fornece uma menor sensação de presença.

Displays egocêntricos, como os displays Tipo 2 e 3, tendem a fornecer uma maior sensação de presença que as exocêntricas exibições do Tipo 1.

Usando a Taxonomia da Realidade Mista

As três dimensões acima são em grande parte independentes e, portanto, podem ser usadas como eixos de um espaço de classificação, como mostrado abaixo.

Este espaço de taxonomia pode ser usado para diferenciar entre os displays de Ressonância Magnética disponíveis. Por exemplo, o HoloLens tem um conhecimento mundial extremamente bom (EWK), tem boa fidelidade de reprodução (RF), e fornece uma sensação de presença (EPM) acima da média, e assim seria colocado no topo na parte de trás do cubo.

Em contraste, um celular mostrando gráficos virtuais sobre marcadores rastreados tinha um EWK muito baixo, RF moderado e pequeno EPM, o que significa que seria colocado no canto inferior esquerdo do cubo.

A partir disso, é claro que, embora o HoloLens e o celular sejam ambos displays RM, o HoloLens fornece uma experiência muito melhor.

Conclusão

O artigo de Milgram de 1994 introduziu o conceito de Realidade Mista ao lado dos termos RA, RV e VA existentes. Voltando à definição original de Milgram, uma tela de Realidade Mista é qualquer tela usada na cabeça, portátil ou fixa que pode mostrar uma combinação de imagens reais e virtuais do mundo.

Desde então, ele refinou ainda mais a ideia em vários outros artigos e definiu três dimensões-chave que podem ser usadas para classificar displays de RM. Nos últimos anos, muitas empresas comerciais estão desenvolvendo displays de Realidade Mista e o termo está sendo aplicado de forma mais ampla.

Essas exibições que entram no mercado podem ser classificadas usando as dimensões de Extensão do Conhecimento Mundial, Fidelidade de Reprodução e Extensão da Metáfora de Presença.

Se você gostou deste artigo, não esqueça de deixar um like e compartilhar com um amigo. E se você quer acrescentar algo sobre novas tecnologias de RM, deixe nos comentários.