Análise de cena + metadados avançados da HERO7 Black

Especialistas da GoPro explicam os recursos avançados

O papo de hoje é um pouquinho técnico. Vamos falar sobre metadados, ou seja, dados sobre dados. Convidamos alguns especialistas da GoPro para nos explicarem sobre a aplicação dos metadados coletados na ampliação da performance da câmera.

No início de 2017, a GoPro apresentou o Formato de Metadados GoPro, que transformou os metadados de vídeo GoPro em código aberto, compartilhando telemetria, temperatura, exposição de imagem e velocidade do obturador, para citar alguns exemplos, em uma “faixa” MP4 exclusiva (semelhante a uma faixa de áudio ou vídeo em um arquivo). No final de 2017, lançamos o primeiro chip de processamento personalizado da GoPro, o GP1, e a HERO6 Black começou a explorar mais os recursos de metadados.

E em 2018, fomos ainda mais a fundo com a HERO7 Black, a primeira GoPro com reconhecimento de cena, além do reconhecimento facial e de sorrisos aprimorado. Além de ajudarem no balanço de branco automático e na renderização e gradação de cores, essas atualizações aprimoram a experiência de edição automática do QuikStories.

Para ajudar a explicar, pedimos aos especialistas da GoPro que dessem um exemplo de situação na qual o usuário pode se beneficiar. E o que é melhor do que dar um mergulho com a HERO7 Black à prova d’água?

As palavras a seguir são do arquiteto de firmware Anandhakumar Chinnaiyan, que trabalha na sede da GoPro em San Mateo, Califórnia, e do engenheiro de algoritmo Adrien Cariou, que trabalha no escritório da GoPro em Paris.

No fundo do mar: metadados + balanço de branco automático

As fotos e os vídeos debaixo d’água sempre fizeram parte do DNA da GoPro. Desde a HERO5, temos trabalhado para tornar a captura de fotos e vídeos debaixo d’água cada vez mais fácil. Isso significa eliminar a necessidade de filtros de mergulho para correção de cores. Quanto menos equipamentos precisarmos, menos equipamentos esqueceremos.*

Do ponto de vista de um engenheiro de imagens, a água atua como um filtro azul e bloqueia a maioria dos raios de luz vermelhos. Esse fenômeno fica ainda mais intenso em profundidades maiores: quanto mais fundo você mergulhar, menos raios vermelhos chegarão ao seu sensor. Lidar com a ausência da cor vermelha é uma das situações mais desafiadoras para o algoritmo de balanço de branco automático corrigir.

O balanço de branco automático costumava ser aplicado após analisar a cor da cena, mas essa abordagem pode levar a um indesejado fenômeno chamado “metamerismo”. O metamerismo acontece quando uma cor é interpretada de diferentes formas, dependendo da fonte de luz. Por exemplo, uma amostra de cor amarela sob a luz solar pode parecer ter exatamente a mesma cor de uma amostra verde sob uma fonte de luz quente artificial. Isso ocorre simplesmente devido ao cérebro humano e às interpretações dele, e raramente (ou nunca) pensamos em como nossos cérebros interpretam, consciente e inconscientemente, as cores de forma diferente dependendo das fontes de luz do ambiente.

Quando o cérebro humano é removido da equação e um equipamento precisa detectar essas diferenças, as coisas ficam mais complicadas. O balanço de branco automático não consegue reconhecer o metamerismo, fazendo com que seja particularmente difícil corrigir de forma proativa as cores de cenas embaixo d’água com balanço de branco automático ou exposição automática.

É aí que entra a HERO7 Black, equipada com o chip GP1 e com recursos avançados de metadados. Agora, com essa GoPro, conforme você alcança maior profundidade e há menos luminosidade disponível, a análise e os metadados da imagem influenciam o balanço de branco automático e a exposição automática, possibilitando que o conteúdo seja gerado com as cores já corrigidas diretamente na câmera.

Embora essa análise de cena embaixo d’água seja nosso exemplo favorito aqui na GoPro, ela é, na verdade, um dos seis tipos de cena que os metadados da HERO7 Black conseguem diferenciar. Os outros são ambiente interno, urbano, praia, neve e vegetação.

Essas classificações de cenas são integradas ao algoritmo do balanço de branco automático com o uso de metadados e dependem da análise de parâmetros globais, como a condição da exposição, para gerar cores mais precisas e naturais diretamente na GoPro.

Confira a HERO7 Black aqui e leia mais sobre os metadados de código aberto aqui.

*Dica Pro para mergulhos profundos: para todos os amantes de mergulho por aí que chegam a profundidades superiores a 10 metros, há diversas variáveis que nem sempre podemos prever e corrigir, como a cor da água, alterações nas condições de iluminação e a transmissão.Nesse caso, ainda pode ser necessário usar um filtro de mergulho.