Construcción de un prototipo para el reconocimiento y traducción del lenguaje de señas a texto utilizando el sensor kinect.

Abstract

En el presente trabajo de investigación se presenta un sistema para la traducción del lenguaje de señas ecuatoriano específicamente del abecedario de este lenguaje basado en técnicas de aprendizaje automático, para facilitar de cierta forma, la comunicación de las personas que padecen de algún tipo de discapacidad auditiva con aquellas que no manejan o conocen este lenguaje. Para cumplir con el objetivo se combinaron ideas e investigaciones de varios autores con el fin de definir el procedimiento del que se constituye este prototipo, mismo que consta de cuatro fases: Detección de la mano, obtención de las características descriptivas de la misma, clasificación e interpretación de la información obtenida en las etapas anteriores. Los datos adquiridos con Kinect mediante el sensor de profundidad se almacenan en una base de datos de entrenamiento para luego ser preprocesadas, adecuando su tamaño a uno fijo, y transformándolas a imágenes binarias de tal forma que el coste computacional sea el menor posible. Los datos de entrenamiento son empleados para el entrenamiento de las máquinas de aprendizaje denominada Maquinas de Soporte Vectorial (SVM) , previa extracción de características a través del descriptor de Histogramas de Gradientes Orientados (HOG), una vez obtenido el detector se podrá aplicar a imágenes para identificar manos en ellas y realizar la traducción correspondiente. La traducción se podrá visualizar en tiempo real a través de una Guide realizada en Matlab que muestra la seña realizada por el usuario, el redimensionamiento de la misma y finalmente la traducción que corresponde a la seña emitida originalmente.