Reconocedor de Letras de la Lengua de Senas Mexicana

Durante el semestre pasado trabajamos en un reconocedor de señas del lenguaje de sordos y logramos hacer que reconociera entre 6 distintas letras. Yo me dedique al área del pre procesamiento de imágenes, mi trabajo era tomar imágenes previamente tomadas y descubrir cuál era la mejor forma para resaltar la mano de toda la imagen y cortarla. Con esto logramos obtener un dataset para las 6 señas y con esa técnica se procesaba una imagen tomada y se clasificaba entre las del dataset.

Este semestre toca ampliar el conocimiento del reconocedor para que sea capaz de diferenciar entre todas las letras de la lengua de señas mexicana (LSM), con la excepción de las letras que incluyen movimiento como son las letras: J, K, Ñ, Q, X, Z. Existe la posibilidad de que un grupo (Q, X, Z) si sea reconocidas ya que su pose inicial no es parecida a la pose de alguna otra letra.

Inicialmente el dataset se construyó con 100 fotos de cada letra tomadas manualmente por 4 manos distintas. Estoy trabajando en una forma de cortar y procesar imágenes para el dataset adquiriendo imágenes de una fuente de video en vivo. Esto da la posibilidad de sacar cerca de 100 imágenes cada 10 segundos de video y así conseguir muchas imágenes con un mejor filtrado y procesado para alimentárselas al reconocedor. A continuación se muestra la diferencia en las imágenes obtenidas.

Aunque se requería de este tamaño, la técnica de pre procesado dejaba imperfecciones.

El enfoque para el procesamiento cambio y ahora la máscara se crea con base en los colores. Este enfoque también lo estaremos utilizando para otro proyecto el cual es un dron que detectara objetos de color rojo y se dirigirá hacia ellos. Explicado aquí.

Obteniendo este dataset de más opciones, mayor tamaño, y mejor calidad se le pueden aplicar otras técnicas de machine learning para así lograr reconocer una mayor cantidad de señas.

Originally published at inteligenciaartificial101.wordpress.com on September 18, 2015.