Fora da Tela — Cap. 01

Venho viajando bastante nos últimos anos, fazendo e “assistindo” conteúdo imersivo, mas, no primeiro semestre de 2018, isto chegou a outro nível com minha estadia de quase dois meses nos EUA para trabalhar na instalação experimental chamada “objects in mirror AR closed than they appear”, uma das cinco experiências selecionadas na mostra competitiva “StoryScapes”, dentro do festival de cinema de Tribeca.

Se já é muito difícil contar como é uma experiência em realidade virtual, explicar como funciona uma instalação física com centenas de caixas de papelão, espalhadas com objetos dentro a serem observados através estereoscópios do século 19, máscaras de soldador, globos terrestres e abajures com celulares rodando softwares de realidade aumentada (AR) escondidos dentro deles fica ainda pior.

(verborrágico mesmo pra perder o fôlego!)

Mas eu vou tentar…

Este era um dos estereoscópios do século 19 com um celular escondido dentro.
Este era o espaço da instalação com as caixas espalhadas.
E é assim que as pessoas usavam, nesta instalação, os celulares escondidos dentro das máscaras e objetos, que traziam uma nova camada de realidade para o mundo físico.

Esta experiência é uma obra artística aberta, baseada numa peça de teatro experimental chamada “The Object Lesson”, criada pelo genial Geoff Sobelle.

Trabalhei neste projeto, produzido pela ARVORE e a Sensorium, como diretor criativo de realidade estendida (sim, eu sei, eu sei …).

Quando acabamos de ganhar ou comprar um objeto, ele é importante. Sabemos tudo sobre ele. Temos orgulho e certeza das razões para tê-lo. Com o tempo, os objetos tendem a ficar de lado. Até que um dia, muito provavelmente, serão jogados fora, doados ou colocados numa caixa de papelão e guardados no fundo de um depósito.

Quando um objeto entra numa caixa destas, ele sai do contexto que mostra qual é a sua história. E, a partir daí, vira algo sem memória.

Na minha leitura, esta instalação fala disto: a relação entre nós, nossos objetos e o tempo. E quais memórias carrega um objeto que já foi importante um dia.

Como funcionava a instalação?

Num espaço de por 5 x 5 m, centenas de caixas foram empilhadas formando uma escultura criada pelo artista plástico Steve Dufala. Centenas de objetos coletados pela equipe de produção foram organizados no que chamávamos de “caixas curadas”. Foram mais de 60 delas. Em um quebra-cabeça nível dificílimo, a sensível arquivista Jamie Boyle juntava em cada caixa curada objetos que pareciam ter vivido juntos em uma fase da vida de alguém, e escrevia um título na lateral, assim como fazemos em uma mudança. Havia, por exemplo, a caixa “Souvenirs da França”, com um livro com pinturas de Edgard Degas, cartões postais de Notre Dame, uma fita k7 com canções românticas. E um cinzeiro usado. (Foi bem surpreendente, pra mim, ver como é possível criar humor de verdade, simplesmente juntando objetos.)

A capa do livro era o “gatilho” para o conteúdo em realidade aumentada aparecer.

A partir do momento em que o usuário olhasse para a capa do livro de Degas, através da máscara de AR, aparecia “voando” sobre a caixa um trecho de um filme clássico do Jacques Tati (afinal de contas estávamos em Tribeca, não é mesmo?). Algumas interações, como esta, eram filmes “planos” e se misturavam com o mundo físico. Outras, vídeos 360º que teletransportavam momentaneamente o usuário pra outro lugar. Fizemos isso em um canto do cenário cheio de objetos de praia. Um calendário velho era o gatilho para revelar as memórias de umas férias paradisíacas em Bali.

Ele estava em Tribeca ou Bali?

Existiam outras intervenções ainda mais sofisticadas. Minha preferida era a que criava a possibilidade de se “entrar” dentro de uma pintura a óleo impressionista genérica “engana turista”, que parecia ser um cenário bucólico europeu de séculos atrás, mas foi criada num canto do Central Park (e você só percebia isso entrando no mundo 360º dela). Em outra, você poderia botar a cabeça dentro de uma porta de carro enferrujada, podendo viver um pouquinho dos seus dias de glória pregressos atravessando a Brooklin Bridge.

Esta era a moldura que permitia que o usuário “entrasse” dentro da pintura.

Metade da equipe era do teatro, com total entendimento de todos os aspectos de realização da peça original e de como criar uma narrativa com objetos dentro de caixas. Mas precisávamos entender também, com a outra metade da equipe (a turma da The Molecule), como o software de reconhecimento de imagens funcionava tecnicamente com a câmera e o poder de processamento de um celular, pra que os “gatilhos” das memórias fizessem aparecer, dentro dos óculos, o conteúdo em realidade aumentada. Meu papel foi, de certa forma, fazer a ponte do mundo físico com o digital. Eu era quem conseguia conversar com estes dois mundos diferentes e fazer com que eles funcionassem juntos da maneira mais harmônica e invisível possível, tendo sempre em vista o que o usuário sentiria na experiência como um todo.

Para criarmos os gatilhos, tínhamos de usar imagens favoráveis ao software de reconhecimento de imagem, entender a distância em que as pessoas estariam das caixas para que a câmera captasse a imagem adequadamente, mas pensar também numa arte que funcionasse na narrativa contida naquela caixa do mundo físico, fora dos óculos.

Se um “gatilho” não funcionasse, não interessava quão profunda ou divertida fosse a memória que aquela caixa remetia. E fazer o gatilho funcionar, dizia respeito a entender também o tamanho que o objeto tinha, como as pessoas o segurariam, se a caixas estavam em uma posição do cenário que fosse favorável à sua leitura e por aí vai. Outro desafio também era fazer o mundo digital “encaixar” no mundo físico de maneira natural.

Como em todos estes processos “fora da tela”, não há uma separação muito clara entre o que é técnica e o que é conteúdo. Um não consegue existir sem o outro. Não que isto seja muito diferente em outras formas de conteúdo audiovisual, mas quando um formato é novo, as tecnologias ainda estão sendo estabelecidas e essa separação fica ainda mais difusa.

Apenas como curiosidade, vale comentar que os eventuais problemas por conta de eu não ser americano e não ter muitas das memórias compartilhadas para várias das caixas que criamos foram resolvidos pela presença dos outros criadores (e proponentes originais) da peça, Graham Sacks, John Fitzgerald e Matthew Niederhauser.

Algumas das interações aconteciam em objetos que eram manipulados pelas pessoas. Com os óculos de AR parecia que você estava segurando o vídeo no ar.

Cada usuário podia ficar o tempo que quisesse no espaço, usando sua máscara de AR para descobrir a história revelada nos objetos de cada uma das caixas de papelão ou microambientes que criamos. Algumas das “memórias” eram mais literais ou genéricas, outras mais abstratas e poéticas, e ainda havia algumas totalmente surreais e absurdas (no tom da peça original). Os óculos de AR eram só um nível a mais dentro de uma experiência que já era muito divertida “a olhos nus”. Num evento onde se espera ver setups físicos ultra futuristas, com pessoas vestindo óculos high-tech de VR ou MR, era muito bom ver a surpresa do público ao encontrar um “porão” com centenas de caixas velhas contendo memórias e histórias compartilhadas.


Agora que tudo foi explicado, aqui vai um vídeo que tenta mostrar como tudo isso aconteceu na prática:

Filosofando um pouquinho …

O efeito colateral mais inesperado e bonito deste ressurgimento das experiências imersivas através da realidade estendida é que, sem querer, estamos trazendo o corpo de volta pro centro da experiência. Desde que a escrita virou protagonista, o conhecimento parecia preso em palavras e imagens apresentadas quase sempre em retângulos (lousa, livros, quadros, fotos, filmes, programas de TV, video essays, artigos no medium e por aí vai). Assim, só a visão e a audição são estimuladas e, por conta disto, tendemos a achar que o corpo é algo desvinculado de “nós”. Quando falamos de atividades intelectuais, seríamos um cérebro com um corpo apenas como recipiente. Por incrível que pareça, a realidade estendida está nos ajudando a lembrar que não. Eu sou o meu corpo. E com ele posso aprender por meio de ações e movimentos.

O diretor Darren Aronofsky e seu filho “brincando” juntos na instalação por quase 30 minutos.

Instalações e experiências em VR “room scale” fazem a gente perceber (ou seria relembrar lá dos tempos de criança?) como podemos aprender, nos divertir e vivenciar ficções ou outras realidades através dos nossos corpos inteiros. E isso traz outro efeito colateral ainda mais legal. Se usamos a experiência com nossos corpos inteiros, faz muito mais sentido quando estamos próximos de outras pessoas.

O cenário apocalíptico de isolamento total que alguns dos profetas do caos tentam trazer sobre a realidade virtual é totalmente contrariado pelas experiências mais bem sucedidas que estamos vendo (e fazendo) por aí. Quando você compartilha um momento com outras pessoas, ele é muito mais significativo e poderoso.