Presentación


 

El proyecto "Visualizando la SignoEscritura" fue el ganador de la IV Convocatoria de ayudas a proyectos de investigación en Tecnologías Accesibles, convocada por Indra y Fundación Universia. El investigador principal es Antonio F. G. Sevilla, estudiante de doctorado en la Facultad de Informática de la Universidad Complutense de Madrid, centro en el que se desarrolló el proyecto entre los años 2020 y 2021. El proyecto tuvo como objetivo el desarrollo de herramientas y aplicaciones informáticas para mejorar la accesibilidad y el uso de la SignoEscritura en el mundo digital. Los resultados del proyecto y otra información relacionada están recopilados en esta página web, incluyendo enlaces a las publicaciones y a los programas desarrollados que están disponibles online como software libre.

 

Detalles

 

La SignoEscritura es una forma de representar la Lengua de Signos en dos dimensiones, como pueda ser el papel o una pantalla, usando un sistema esquemático y formal pero también muy visual e icónico. Sin embargo, al no ser texto "tradicional" sino imágenes, los ordenadores no pueden procesarla. En este proyecto hemos creado una serie de resultados software que permiten hacer un tratamiento computacional de la SignoEscritura:

  • Corpus: el Corpus VisSE es un conjunto de muestras reales de SignoEscritura hecha a mano, que contiene más de 900 transcripciones de signos de la Lengua de Signos Española. Las transcripciones están anotadas de manera manual, utilizando un esquema de anotación que permite tratar automáticamente la SignoEscritura usando algoritmos de deep learning. Progresivamente avanzamos en la anotación y aumentamos la cobertura del corpus, y cada versión se publica en abierto en internet.
    • Corpus VisSE versión 2.0: https://doi.org/10.5281/zenodo.6337885
    • La construcción del corpus está descrita en la publicación "Building the VisSE Corpus of Spanish SignWriting [Creando el Corpus VisSE de SignoEscritura Española]", Antonio F. G. Sevilla, Alberto Díaz Esteban, & José María Lahoz-Bengoechea, en Language Resources and Evaluation, 2023.
  • Quevedo: Aplicación y librería python que sirve para gestionar la anotación de corpus (como el corpus VisSE), así como realizar deep learning sobre ellos, y finalmente utilizar este entrenamiento para incluirlo en aplicaciones o sistemas expertos. Se encuentra libremente disponible online:
  • Reconocedor: utilizando los datos del Corpus VisSE y la funcionalidad de Quevedo, hemos desarrollado un sistema experto para reconocer SignoEscritura. Este sistema utiliza varias redes neuronales profundas para superar el desafío que es procesar automáticamente un sistema de escritura icónico y bidimensional como es la SignoEscritura. La configuración del sistema y las redes neuronales entrenadas se distribuyen como parte del Corpus VisSE, y se puede utilizar con Quevedo.
    • Este sistema está descrito en la publicación "Automatic SignWriting Recognition: Combining Machine Learning and Expert Knowledge to Solve a Novel Problem [Reconocimiento automático de SignoEscritura: combinando aprendizaje automático y conocimiento experto para resolver un problema novedoso]", Antonio F. G. Sevilla, Alberto Díaz Esteban, & José María Lahoz-Bengoechea, en IEEE Access, vol. 11.
  • Aplicación Web: Como demostración de los resultados del proyecto, y para incluirlos en una aplicación práctica de tecnologías accesibles, se ha desarrollado una aplicación web progresiva, apta para dispositivos móviles así como de sobremesa. Esta aplicación permite analizar las trascripciones de SignoEscritura de manera visual, incluyendo una descripción textual de su significado así como un modelo tridimensional de la mano para representar cómo debe usarse en cada signo. El código de la aplicación está disponible en abierto, y una demostración se puede ver online:

 

El proyecto VisSE se organizó digitalmente en un meta-repositorio de GitHub que también se encuentra disponible libremente: