Tecnologia pode acelerar a inclusão dos surdos

Por Evandro Metz Flores, Jorge Luis Victória Barbosa, Sandro José Rigo

A inclusão do surdo na sociedade ouvinte sempre esbarrou na falta de conhecimento sobre a língua de sinais. Apesar de ser uma linguagem natural — pois evoluiu de um impulso de comunicação sinalizado — a língua dos surdos não pode ser considerada universal, dado que não pode ser utilizada por todos os surdos de todas as sociedades de maneira uniforme e sem influência de uso.

Apesar de várias propostas internacionais de padronização, os sinais acabam desenvolvendo características locais ao serem influenciados por quatro parâmetros: configuração de mão, ponto de articulação ou locação, movimento e a orientação da palma da mão. Além disso, marcadores não manuais, como as expressões faciais, também são usados como elementos gramaticais.

Por isso, diversos trabalhos com o objetivo de desenvolver ferramentas para identificar e traduzir automaticamente variações específicas, apesar de similares à a Língua Brasileira de Sinais (LIBRAS). Na China, por exemplo, o pesquisador Yang Quan em seu trabalho Chinese sign language recognition based on video sequence appearance modeling aborda uma técnica baseada em visão focando na identificação dos sinais que representam o alfabeto chinês. Para realizar a identificação de cada sinal, o autor desenvolveu um sistema que captura objetos em movimento, ignorando o cenário de fundo e destacando a mão do usuário. Com este passo identificado, é aplicado um filtro destacando as bordas que compõem a imagem da mão.

Através desta imagem resultante é identificado o formato da mão, e por sua vez a letra que está sendo sinalizada. Os resultados descritos para este trabalho reportam acertos na faixa de 95% a 99%, para as letras da Língua Chinesa de Sinais.

Na Grã-Bretanha, o Robust Person-Independent Visual Sign Language Recognition é um projeto que foca a tradução da British Sign Language (BSL) em uma abordagem baseada em visão e em duas formas: dependente e independente de usuário. Essa distinção é criada, pois sua taxa de sucesso pode variar amplamente (de 44,1% a 99,3%) dependendo do usuário.

Para alcançar as maiores taxas de acerto no reconhecimento de cada sinal, é necessário que o futuro usuário do software treine o seu sistema, para que ele melhor se adapte as suas características na execução de cada sinal. Com o treinamento e o teste do mesmo em um ambiente controlado, o sistema dependente de usuário e ambiente controlado, alcança uma média de acertos no reconhecimento dos sinais em cerca de 98,9%, enquanto que em um ambiente real e independente de usuário o sistema pode alcançar apenas 3,7%.

Projeto gerado pela Microsoft, o Digits busca criar um novo meio de interação Humano-Máquina, somando ao pulso do usuário um equipamento capaz de interpretar seus sinais manuais e movimentos de braço [Kim et al. 2012]. Isso ocorre por possuir canhão, laser e luz difusa todos em infravermelho e possuir um sensor capaz de detectar as três emissões separadamente, conforme ilustrado na Figura 5, além de usar suas características para identificar posição e ângulo dos dedos em relação ao pulso.

Com estas informações o software é capaz de reproduzir virtualmente a mão do usuário e interpretar seus gestos e sinais. O resultado desta interpretação pode resultar em diferentes interações como: mudar o canal da televisão, atender o telefone, abrir/fechar as cortinas da sala entre outras. Este projeto também não foi desenvolvido visando a comunicação em LIBRAS, por isso algumas limitações como os de movimento de pulso podem limitar e até prejudicar a comunicação entre os usuários.

O projeto Sensor Libras visa a tradução interlínguas-intermodal da LIBRAS para oral-auditiva, o português brasileiro. O foco deste trabalho encontra-se na datilologia dos sinais LIBRAS. Para realizar a leitura da posição da mão, uma dataglove deve ser colocada na mão prioritária do surdo (direita para destros, esquerda para canhotos). Uma segunda dataglove é colocada na outra mão, apenas para apresentar o retorno do módulo Feedback.

A luva colocada na mão prioritária possui um Sun Spot, hardware que capta sua movimentação e orientação nos eixos X Y Z em um ambiente, e os envia a uma base ligada a um computador, onde os cálculos são feitos. Um software realiza todas as leituras referentes ao posicionamento e movimentação da mão prioritária, gerando pontos nas coordenadas X Y e Z a cada cinco milissegundos e as enviando a um computador host. Essas coordenadas são analisadas e interpretadas visando modelar matematicamente o sinal gesticulado, que é comparado com a base de dados, retornando o caractere correspondente.

Todas essas possibilidades prometem mudar o padrão de inclusão dos surdos na sociedade ouvinte em muito pouco tempo.


Originally published at www.gvwise.com.br on April 19, 2016.

Like what you read? Give GVWise a round of applause.

From a quick cheer to a standing ovation, clap to show how much you enjoyed this story.