O Futuro do Áudio VR — Tendências para Acompanhar este Ano

2017 empurrou o setor de VR para a frente de inúmeras maneiras, incluindo o reconhecimento de áudio como um elemento absolutamente crítico nas experiências de VR.

Algumas peças do VR, como o vídeo de Gorillaz ‘Saturnz Barz (Spirit House) 360ou a experiência da Aleluia de Lytro, concentraram-se na experimentação com experiências auditivas. O som não é apenas uma sugestão usada para empurrar a experiência auditiva de forma incremental — é algo que pode mudar totalmente a aventura VR ou mesmo afetar todo o enredo.

Aqui estão alguns esforços de tendência que os criadores estão usando para empurrar o envelope com som.

A indústria adotará áudio baseado em objetos para cada tipo de experiência.

Assim como uma câmera 360 captura toda uma cena 3D de um ponto, um microfone Ambisonics é usado para representar um instantâneo de áudio de uma cena 360 em um determinado momento. Os sinais Ambisonics são ótimos para transmitir ambiente geral, mas podem ser menos do que perfeitos para identificar com precisão sons individuais, uma lacuna que agravou engenheiros de áudio por algum tempo.

Começando no início deste ano, mais engenheiros de áudio começaram a usar uma mistura de áudio baseado em objeto e áudio baseado em cena para criar experiências de audição mais realistas. Essencialmente, o áudio baseado em objeto refere-se a um som individual capturado com um microfone lavalier, enquanto o áudio baseado em cena se refere à esfera geral do som capturado com um micro Ambisonics. Na realidade física, você ouve sons que são próximos ou importantes para você com ótimos detalhes (áudio baseado em objeto), enquanto que tudo o resto é percebido como som de fundo (áudio baseado em cena). É apenas uma questão de tempo até esta combinação de áudio de objeto e cena, e não exclusivamente Ambisonics, será o padrão da indústria para fluxos de trabalho de áudio VR.

A utilização de áudio baseado em objeto também oferece uma liberdade mais criativa aos criadores de conteúdo, pois é mais fácil manipular os efeitos de pós-produção em um único som — pense nisso como um único elemento bruto em oposição a um grande e desordenado glob. Além disso, o áudio baseado em objetos funciona perfeitamente para o conteúdo VR de 6DOF (seis graus de liberdade), que está crescendo rapidamente em popularidade.

O conteúdo de 6DOF é exatamente como um jogo — o personagem se move ao redor dentro do espaço em todas as direções e tem a agência para interagir com objetos no ambiente. Quando o personagem faz qualquer uma dessas coisas, o som precisa mudar de acordo. Porque é melhor em identificar o som e refletir facilmente as mudanças durante a jogabilidade, o áudio baseado em objetos já já foi usado nos motores de jogos 3D por algum tempo. À medida que mais conteúdo de 6DOF está sendo construído em motores de jogo, é plausível que mais engenheiros de áudio sejam forçados a aprender a misturar e dominar o som em mecanismos de jogos, em vez de suas tradicionais Estações de Trabalho de Áudio Digital.

O conteúdo da VR de qualidade será publicado com mais jogadores adotando o áudio espacial.

O áudio espacial é a chave na entrega de experiências VR realistas. As fontes de som spatializadas possuem dados de posição tridimensionais para que os ouvintes sintam que os sons são realmente provenientes desses locais visuais. A partir do momento, o YouTube e o Facebook são as únicas plataformas de jogadores bem conhecidas que atualmente oferecem suporte ao áudio espacial.

Esses limites nas plataformas de publicação desencorajaram os criadores de conteúdo de abraçar completamente o áudio espacial em suas produções. Ainda assim, à medida que o som é satisfeito com uma maior apreciação, os renderizadores ou os jogadores acabarão por suportar o áudio espacial. Quando a Vimeo lançou o Vimeo 360 em março para oferecer suporte ao conteúdo de 360, uma grande quantidade de solicitações dos usuários envolveu o desejo de um recurso de áudio espacial e a página de ajuda oficial afirma que eles estão planejando suportar áudio espacial no futuro próximo. Jogadores e plataformas menores seguirão o caminho estabelecido pelo Facebook, YouTube e Vimeo. À medida que os padrões de usuários para qualidade de conteúdo VR continuam a aumentar, a adoção de áudio espacial corre para continuar com o ritmo.

Dos muitos motivos que impediram as plataformas de publicação de conteúdo de adotar o áudio espacial, o principal foi a ausência de um formato de áudio VR dedicado, juntamente com um renderizador compatível. Com mais ênfase no áudio baseado em objetos, o Ambisonics por si só será eliminado como o formato padrão do futuro.

Na tentativa de unificar os fluxos de trabalho de áudio espacial, o formato GAO foi introduzido no início deste ano para oferecer uma localização e qualidade de som superiores para o áudio VR. Desenvolvido pela empresa de áudio espacial baseada em LA G’Audio Lab , GAO combina sinais de objeto e Ambisonics, bem como sinais estéreo.

“Nós vimos um monte de gente assistir nossas peças de demonstração que começam em formato estéreo normal. Quando chegam à parte em que o som é espacializado e entregue no formato Ambisonics, eles normalmente começarão a sorrir. Então, quando eles observam a porção GAO, muitas pessoas irão involuntariamente deixar um pouco de risada de ser tão agradavelmente surpreendidas “, disse Brooklyn Earick, diretor de desenvolvimento de negócios do G’Audio Lab. Como o GAO vem com um SDK de renderização compatível, a adoção de áudio espacial será mais fácil do que nunca para plataformas de todos os tamanhos.

Os criadores irão além da pós-produção para criar novas experiências de audição.

O áudio VR já está próximo de alcançar precisão ao combinar visuais com seus sons correspondentes. O próximo passo será explorar novas e excitantes técnicas durante a pós-produção (ou mesmo anteriores), a fim de alavancar toda a gama de possibilidades exclusivas para a VR.

O som não é apenas uma sugestão de narração que pode ser usada para incentivar os usuários de VR a procurarem uma determinada direção. Em alguns casos novos de uso, você realmente pode ouvir certos sons sobre outros dentro da mesma experiência, se desejar. O seguinte vídeo gravado de 360, por exemplo, permite aos usuários ouvir o que estão olhando mais claramente do que os outros instrumentos colocados ao seu redor.

Esta nova onda de som não só será parte de uma evolução das técnicas atuais. Em muitos casos, dará lugar a novas formas revolucionárias de entretenimento. A tela virtual para artistas é expandida 360 graus horizontalmente e 360 ​​graus verticalmente além das dimensões físicas de um estágio na vida real. Os músicos agora poderão jogar com “localização virtual”, juntamente com suas considerações tradicionais de pitch, loudness e timing. Eles também estão aprendendo a explorar a percepção auditiva humana para influenciar essas experiências em um nível ainda mais profundo. Alguns princípios psicoacústicos que você já experimentou na vida real podem ser aproveitados no VR para tornar cada experiência diferente ao nível individual. Embora haja muito a considerar nesse reino,

Os avanços no áudio VR serão fundamentais para aperfeiçoar a experiência dos consumidores convencionais e para dar aos pioneiros as ferramentas de que necessitam para gerar experiências inovadoras. Essas três tendências contribuirão para alcançar os dois objetivos e ajudarão a moldar a indústria nos próximos anos.


Like what you read? Give Thiago Toshio Ogusko a round of applause.

From a quick cheer to a standing ovation, clap to show how much you enjoyed this story.