Reality Kit — Entenda a tecnologia AR Apple e seu potencial disruptivo

Conhecendo o Reality kit e suas novas ferramentas anunciadas na WWDC2020

João Victor
Academy@EldoradoCPS
5 min readJul 3, 2020

--

Nesse artigo serão abordadas as novidades da WWDC2020 sobre RealityKit e vamos aprender do zero sobre seu funcionamento com um rápido tutorial.

Novidades WWDC2020:

Reality Kit:

  • Texturas de vídeo

Utilizando o novo VideoMaterials agora é possível adicionar vídeos em qualquer malha de objetos 3D.

  • Componente de modelo de depuração

Novo componente que permite ver diferentes partes das malha e materiais de um objeto.

ARKit para usar em conjunto ao Reality Kit:

  • Áudio espacial

Com o AirPods Pro será possível a reprodução de áudio espacial, proporcionando uma experiência sonora imersiva completa em 3D.

  • Identificação de mãos

Possibilidade de realizar o rastreamento de mãos e gestos com bibliotecas nativas.

Entendendo o Reality Kit

Reality Kit

Reality Kit é um mecanismo de renderização, animação, física e áudio da Apple, feito para facilitar a criação e produção de experiências de AR de alta qualidade e imersão.

Reality Composer

Junto com o RealityKit foi lançado o Reality Composer, que possibilita a criação de animações e interações em realidade aumentada de maneira muito simples e intuitiva, sem precisar programar!

Com o Reality Composer é possível criar animações de maneira muito similar de como são feitas animações no keynote, com sequencia de ações e gatilhos para iniciar.

Reality Kit na prática

Para entendermos melhor sobre a tecnologia, vamos criar uma simples animação AR que seria útil para entender o funcionamento de uma caixa de câmbio automotiva, sendo muito melhor do que manuais técnicos!.

Para isso, seguiremos os seguintes passos:

  1. Criar um projeto no Xcode

2. Baixar os Modelos 3D

3. Importar os Arquivos para a cena

4. Organizar cena

5. Sequenciar ações

6. Criar gatilho de ações

Ao fim do tutorial teremos esse app:

1.0 — Crie um projeto no Xcode iniciando como um “Augmented Reality App”, depois clique no arquivo Experience, inicialmente o projeto já vem com um cubo adicionado, você pode executar o projeto e ver o cubo em AR!.

1.1 — Abra o Reality Composer, vamos criar toda a sequencia de animação e posicionamento através dele. Ao abrir selecione o cubo e clique em delete.

2.0 — Baixe o modelo do motor, no formato USDZ (https://sketchfab.com/3d-models/gearbox-animation-7c9a82e633e5460298032b6d195b236c).

2.1 — Clique em ‘+’, ‘importar’ e selecione o modelo recém baixado.

2.2 — Da mesma forma, adicione o modelo de placa, disponível nos recursos do próprio Reality Composer. Aproveite para ver quantos objetos interessantes estão disponíveis nativamente.

3.0 — Agora precisamos organizar a cena, clique na placa e posicione-a ao lado do motor. Ao clicar nela será aberto a aba de propriedades do objeto, configure-a como nas imagens a seguir.

3.1 — Nossa cena já está pronta! Agora vamos criar um gatilho para que a explosão do motor inicie assim que o usuário clicar em abrir. Clique em Comportamento e depois no botão ‘+’, selecione “Personalizado”.

3.2 — Agora vamos criar o gatilho, clique em ‘+’ no bloco "acionamento", selecione “Toque”, depois use o botão escolher e clique na placa, assim a explosão do motor será iniciada após o usuário clicar na placa.

3.3 — Agora vamos configurar a ação após o clique, vá no botão ‘+’ e selecione “Usdz Animation”

3.4 — Finalmente, selecione o motor como objeto a ser animado e pronto!

3.5 — Concluímos nosso trabalho com o Reality composer, você pode conferir o resultado clicando no botão Play e ver a animação ao clicar no botão Abrir, agora já podemos fechar o reality composer e rodar nosso novo app!!

4.0 — Para testar os conhecimentos aprendidos, tente implementar um segundo botão mostrando os pontos principais de lubrificação para o motor como no gif!. Sinta-se à vontade para deixar duvidas nos comentários.

Como as novas funcionalidades podem nos ajudar?

Trazendo para o nosso exemplo do tutorial, vemos que hoje a possibilidade de vermos modelos em 3D ajudaria por exemplo técnicos em treinamentos sobre motores a não precisarem ter contato direto com a máquina para estudá-lo, sendo mais seguro e menos custoso do que apresentar uma máquina real.

Agora imagine as possibilidades de experiência que a identificação das mãos e gestos podem trazer para o universo AR, como interações com o objeto de acordo com a movimentação das mãos. Também podemos pensar na melhor didática e representatividade se o objeto possuísse sua textura baseada em vídeo, com mais animações.

Além da possibilidade de imersão sonora 3D! também divulgada na WWDC2020.

Todas essas ferramentas tornam possível uma imersão ainda maior no universo AR, trazendo inúmeras possibilidades em que a imaginação é o limite.

Espero que tenha gostado do material!.

Veja o projeto também no github: https://github.com/JoaoFloresDev/RealityComposer

Obrigado pela leitura!

--

--