INVESTIGADOR(ES) PRINCIPAL(ES):

Julián David Echeverry Correa

13 horas

CODIGO CIE

6-16-4

Lady Janeth González Varela

Estudiante

0 Horas

Susana Andrea Hurtado Perea

Estudiante

0 Horas

Leidy Esperanza Pamplona Berón

Coinvestigador

0 Horas

Daniel Eduardo Escalante Córdoba

Estudiante

0 Horas

Arley Bejarano Martínez

Coinvestigador

0 Horas

TIPO DE CONVOCATORIA

2015. Programas Académicos

TIPO DE PROYECTO

Investigación Aplicada

OBJETIVO(S)

Objetivo general:Formular y desarrollar una metodología para el reconocimiento de señas aisladas en la Lengua de Señas Colombiana (LSC) y su traducción al castellano utilizando técnicas de visión por computador. Objetivos específicos: * Generar una base de datos de videos y secuencias de imágenes de profundidad en la que se registre un conjunto seleccionado de señas de la Lengua de Señas Colombiana (LSC). Las señas que componen esta base de datos serán provenientes de distintos dominios y contarán con diferentes niveles de dificultad desde el punto de vista de la visión por computador y el procesamiento de imágenes. *Desarrollar una metodología en el área de visión por computador para la identificación de señas en la Lengua de Señas Colombiana. *Desarrollar una estrategia de evaluación y validación de la metodología de reconocimiento de señas y su traducción al castellano mediante técnicas de visión por computador.

RESUMEN

** Descripción del proyecto: En este proyecto se realizó un estudio estructurado que permitió formular y desarrollar una metodología para el reconocimiento de señas aisladas en la Lengua de Señas Colombiana utilizando algoritmos de visión por computador y aprendizaje de máquina para reconocer y traducir las señas realizadas por personas sordas al castellano. Dentro de los resultados de este trabajo se encuentra la generación de la primera base de datos anotada de video e imágenes de profundidad de Lengua de Señas Colombiana, así como también el desarrollo de un conjunto de algoritmos de segmentación y seguimiento que permiten reconocer y traducir cada una de las señas. Consideramos que el impacto de este proyecto no es sólo investigativo, sino también social y académico ya que permite establecer las bases de futuras tecnologías para mejorar el nivel de vida de las personas sordas en nuestro país. ** Metodología utilizada: Tal como se había propuesto desde la formulación del proyecto, este se realizó por medio de una metodología estructurada consistente en diferentes fases, las cuales permitieron alcanzar cada uno de los objetivos específicos y posteriormente conseguir el objetivo general de la investigación. Las fases que se trabajaron en el proyecto fueron las siguientes: a) Se capturó la base de datos. Se contó con personas intérpretes no oyentes de ambos géneros y de diferentes características físicas, con el fin de tener una base de datos amplia y diversa. Se empleó el sensor Kinect el cual entregó imágenes a color y un mapa de profundidad. La base de datos se componer de más de 250 señas aisladas y más de 50 frases compuestas. b) Se realizó el etiquetado de la base de datos con ayuda de una persona traductora de lenguaje de señas. Adicionalmente, se generó un corpus textual de traducciones múltiples de lengua de señas. c) Se plantearon diversas estrategias para la caracterización de las imágenes y vídeos a partir de métricas antropomórficas extraídas de los puntos articulados aportados por el sensor Kinect. d) Se plantearon estrategias basadas en aprendizaje de máquina para desarrollar el sistema de reconocimiento automático de señas. e) Se desarrolló un sistema automático de traducción basado en modelos estadísticos que permitió traducir al español con tasas de acierto de hasta el 68% las señas del lenguaje de señas colombiano. Los principales resultados de este trabajo son: a) Un trabajo de grado en pregrado desarrollado por las estudiantes Estefanía Marín y Diana López titulado: Implementación de un sistema de traducción automática basado en modelos estadísticos para la traducción de la lengua de señas colombiana al español, el cual ya fue evaluado y sustentado. Se anexa página del trabajo en donde se hace mención al proyecto de investigación. b) Un trabajo de grado en la Maestría en Ingeniería Eléctrica desarrollado por el ingeniero Arely Bejarano. Su trabajo lleva por título: Metodología para la caracterización de imágenes en el reconocimiento de lenguaje de señas colombiano y su traducción al español. Este trabajo ya ha sido presentado al Comité Curricular de la Maestría y ha sido ya revisado por los evaluadores. En este momento se encuentra en proceso de elaboración de correcciones y está a la espera de disertación. Se anexa página del trabajo en donde se hace mención al proyecto de investigación. c) Dos artículos de investigación publicados en Lecture Notes in Computer Science (al momento de su publicación dicho journal estaba catalogado como A2 por Colciencias). ANDRES MARINO ALVAREZ MEZA, ALVARO ANGEL OROZCO GUTIERREZ, JORGE FERNANDEZ RAMIREZ, HECTOR QUINTERO, JULIAN DAVID ECHEVERRY CORREA, "Multilayer-Based HMM Training to Support Bearing Fault Diagnosis". En: Alemania - Lecture Notes in Computer Science ISSN: 0302-9743 ed: Springer, v.11047 fasc.N/A p.43 - 50 ,2018, DOI: 10.1007/978-3-030-01132-1_5. CARLOS RAMIREZ, VIVIANA GOMEZ, IVAN DE LA PAVA, ANDRES ALVAREZ, JULIAN ECHEVERRY, JORGE RIO

ESTADO

Concluye Satisfactoriamente

FECHA DE INICIO

18/01/2016

FECHA DE FINALIZACION

18/01/2018

FECHA DE FIN(PRÓRROGA)

18/07/2018

PRODUCTOS

An Automatic Brain Tumor Segmentation Approach Based on Affinity Clustering

Artículos en revista A1 ó A2

Formulación de curso en Maestría - Técnicas de Procesamiento de Lenguaje Natural

Estrategia pedagógica

Implementación de un sistema de traducción automática basado en modelos estadísticos para la traducción de la lengua de señas colombiana al español

Pregrado

Metodología para la caracterización de imágenes en el reconocimiento de lenguaje de señas colombiano y su traducción al español

Maestría o Especialidad clínica

Multilayer-Based HMM Training to Support Bearing Fault Diagnosis

Artículos en revista A1 ó A2

URL

Participación como conferencista en Tendencias de la Electrónica en Colombia

Comunicación social del conocimiento