Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal

Reunión de seguimiento en ETSIT

13/01/2009

TAREAS: OBJETIVO Y

PLANIFICACIÓN GENERAL

OBJETIVO CONCRETO

Diseño, desarrollo y evaluación de una arquitectura software que permita la traducción de voz a Lengua de Signos Española (LSE) aplicados a la traducción de las frases que un funcionario público pronuncia cuando atiende personalmente a una persona sorda.

Dos servicios elegidos: Renovación del Documento Nacional de Identidad (DNI). Información y gestión de los servicios que presta la DGT (Dirección General de Tráfico).

PLANIFICACIÓN GENERAL

Tareas T0 T1 T2 T3 T4 T5 T6 T7 T8 T9 T10 T11

T1: Estudio Lingüístico

T2: Diseño Arquitectura

T3: Reconocimiento de voz

T4: Traducción por reglas

T5: Traducción estadística

T6: Generación de signos

T7: Evaluación prototipos

T8: Gestión/documentación

ESTUDIO LINGÜÍSTICO Frases del DNI

Frases recogidas Proceso de traducción finalizado

Frases de la DGT Frases recogidas Proceso de traducción en curso

DISEÑO DE LA ARQUITECTURA

Primera versión del interfaz Mejora de la ergonomía

Se ha definido un documento de

etiquetado de glosas

RECONOCIMIENTO DE VOZ

Herramientas automáticas de generación de modelos de lenguaje y vocabularios a partir de las frases

TRADUCCIÓN BASADA EN REGLAS Frases del DNI

Entorno de desarrollo de reglas Proceso de generación de reglas casi terminado

Frases de la DGT Entorno de desarrollo de reglas No reglas desarrolladas

ADAPTACIÓN AL LOCUTOR DEL RECONOCEDOR

Reconocimiento independiente de locutor. Adaptación: sólo en caso de voces con acentos muy marcados. Mejora de tasa y velocidad muy importante. Grabación de 100 frases y regeneración de los modelos (1 hora aprox.)

TRADUCCIÓN ESTADÍSTICA Frases del DNI

Algoritmos desarrollados y probados Evaluados con las nuevas frases

Frases de la DGT Algoritmos desarrollados y probados Falta evaluarlos con las frases

GENERACIÓN DE LOS SIGNOS Aprendizaje de HamNoSys Desarrollo de signos para DNI Desarrollo de signos para DGT

SEA - HAMNOSYS

No es perfecto (75%). Permitiría generar primera versión para luego modificar. Demos en web

GENERACIÓN DE SIGNOS

ESCALERA.txt

EVALUACIÓN DE PROTOTIPOS Definir escenarios Probar con personas sordas + cuestionarios Análisis de medidas objetivas y subjetivas

DOCUMENTACIÓN 2 personas están trabajando en la documentación de todos los programas generados Desarrollo de programas de instalación

TRADUCCIÓN DE LSE A VOZ

Primera versión del interfaz Integración del CTV de Loquendo Módulo de traducción basado en reglas generadas a partir de las frases. Hecho para el caso del DNI.

WEB DEL PROYECTO

LO QUE QUEDAENERO FEBRERO MARZO

GTH

Fundación CNSE

Conjuntos

Traducción DGT Signos DGT

Reglas DNI Reglas DGT

Evaluación

Documentación