sistema para la rehabilitación oral y auditiva

2o Congreso Universitario en Tecnologías de Información y Comunicaciones 2007. Memorias del Evanto con ISBN: 970-769-101-8. Universidad Autónoma del Estado de Hidalgo, Pachuca, Hidalgo, México. 24 al 26 de Abril del 2007.

Sistema para la Rehabilitación Oral y Auditiva SIRO 1.0 Basado en Tecnología de Realidad Virtual

Omar Arturo Domínguez Ramírez, Arturo Austria Cornejo,

Edgar David Carrillo González, Mariano Javier Pozas Cárdenas, Martha Idalid Rivera González, Arturo Curiel Anaya

y Josué Enríquez Zárate*

Universidad Autónoma del Estado de Hidalgo Centro de Investigación en Tecnologías de Información y Sistemas Carretera Pachuca-Tulancingo Km 4.5, Pachuca, Hidalgo, México

e-mail: [email protected], [email protected].

* Universidad Nacional Autónoma de México Centro de Ciencias Aplicadas y Desarrollo Tecnológico

Laboratorio de Micromecánica y Mecatrónica Circuito Exterior S/N. Cd Universitaria C.P. 04510. México, D.F.

Resumen: El presente artículo da a conocer el diseño y desarrollo de un sistema de interacción hombre máquina virtual mediante el uso de una interfaz humana P5Glove. La interfaz se relaciona en forma directa con un programa de computo que permite el control de un objeto tridimensional asociado al P5 Glove (guante de realidad virtual), el cual captura el lenguaje de símbolos universal a través de los movimientos armónicos de la mano del usuario, implementando algoritmos que utilicen agentes de voz para traducir los valores capturados en el escenario tridimensional y que permitan la reproducción a través de un sintetizador del idioma ingles o español a partir del lenguaje de símbolos universal utilizado. [1], [2],[3]. Palabras clave: Realidad virtual, robótica, discapacidad oral y auditiva, interacción hombre-máquina, P5Glove, Java 3D, cinemática. 1. Introducción

Este artículo presenta la integración de técnicas de programación en 3D, dispositivos de realidad virtual y agentes de voz, herramientas que permiten generar una aplicación como alternativa para las personas con discapacidad oral y auditiva, utilizando el lenguaje de símbolos universal para su traducción al lenguaje ingles o español.


Este informe esta organizado en 18 secciones, que reportan la integración de los diferentes subsistemas que integran al sistema de rehabilitación oral y auditiva SIRO 1.0, así como las referencias consultadas y que fueron de utilidad para el buen término de este trabajo de investigación. 2. Antecedentes

La comunicación oral es una de las capacidades esenciales y básicas del ser humano, es la forma más utilizada e importante que existe para intercambiar información. Las ondas sonoras generadas por el habla transportan información lingüística, provocando que el habla juegue un rol importante en nuestras vidas. Sin embargo, en el año 2002 en un censo realizado por el INEGI se encontró que existe un millón setecientos noventa y cinco mil personas con discapacidad y que aproximadamente el 20% de estas personas padecen de alguna discapacidad auditiva o de habla. Este tipo de personas requieren valerse de alguna técnica para poder comunicar sus ideas a los demás, entre estas técnicas podemos mencionar el lenguaje de signos o emplear algún método para reproducir voz en forma artificial. En México pocas personas con esta discapacidad llegan a ser profesionistas, pues se les ha brindado un sistema educativo deficiente con limitadas oportunidades de desarrollarse tanto personal como profesionalmente. Además, la ignorancia y prejuicios de la población en general limitan su posibilidad de encontrar un empleo. Un estudio realizado en Centros de Atención Múltiple (CAM) y en Unidades de Servicio de Apoyo a la Educación Regular (USAER) de México, mostraron que únicamente el 37% de los alumnos reciben el servicio complementario de terapia del lenguaje como apoyo a la comunicación oral [2]. Afortunadamente, la tecnología permite desarrollar herramientas que ayudan a personas con discapacidades de este tipo. Este trabajo de investigación propone crear una aplicación de software, basado en el reconocimiento de valores de posicionamiento de un ambiente virtual en donde el usuario utilice el lenguaje de símbolos y a través de un guante virtual los valores de posicionamiento de la mano del usuario sean traducidos en voz a algún idioma (ingles y español). [1] El inicio de las investigaciones en el área de la reproducción de voz en forma artificial se da con el desarrollo de sintetizadores mecánicos


de voz a finales del siglo XVIII, a mediados del siglo XIX se desarrollaron mecanismos que producían vibraciones vocales. Como estos, vendrían muchos tipos de sintetizadores que tomaban la idea de sustituir el tracto vocal por su equivalente mecánico o eléctrico [3]. La reproducción de voz artificial ha tenido una gran evolución en las últimas décadas gracias a los avances tecnológicos y computacionales, es entonces razonable esperar el hecho de que la información que proporcionan las maquinas a los usuarios pueda ser transmitida en forma mas eficiente vía voz en lugar de utilizar medios como luces, sonidos o pantallas de texto [4]. La forma mas simple de producir voz en forma artificial es reproducir ejemplos de voz natural pregrabada. Este método proporciona alta calidad y naturalidad, pero tiene un vocabulario limitado y usualmente solo se puede reproducir una sola voz [5]. Otro método frecuentemente utilizado es el de síntesis articulatoria el cual simula de forma directa o indirecta los movimientos del tracto vocal para producir los sonidos. Un tercer método es el sintetizador de texto a voz, el cual construye la voz utilizando pequeñas unidades de voz almacenadas y un procesamiento lingüístico [6]. La producción de voz mediante un sintetizador de texto a voz ofrece la ventaja de que se puede sintetizar cualquier frase o palabra, actualmente existen sintetizadores de texto a voz de muy alta comprensibilidad, calidad y naturalidad del sonido de salida. La calidad de los nuevos sintetizadores ha alcanzado un nivel adecuado para algunas aplicaciones tales como multimedia, telecomunicaciones, ayuda para personas discapacitadas, aplicaciones para ciegos y aplicaciones educativas [7]. 3. Justificación Este trabajo de investigación propone desarrollar una interfaz basada en algoritmos computacionales que permitan leer los valores de posicionamiento de las manos a través de un dispositivo de realidad virtual (guante de realidad virtual). Estos valores obtenidos son generados por los movimientos armónicos del usuario utilizando para


ello el lenguaje de símbolos, para que posteriormente utilizando agentes de voz tengamos como resultado la voz artificial de una palabra compuesta del lenguaje de símbolos. El propósito de la integración de esta interfaz es favorecer la calidad de vida a través de la comunicación entre la sociedad y las personas con discapacidad oral y auditiva. 4. Planteamiento del problema

No existe una arquitectura definida para poder realizar la integración de un escenario virtual del dispositivo de interfaz humana P5 GLOVE que permita obtener los valores de posicionamiento en un escenario virtual (caso de estudio) e implementarlos bajo un algoritmo de traducción del lenguaje de símbolos universal a algún idioma (ingles o español) utilizando agentes de voz. La interfaz P5 GLOVE es un dispositivo de entrada en arquitectura cerrada, es empleado para interactuar con mundos virtuales sin comportamientos complejos, considera parcialmente la fisiología del operador humano para la interacción hombre – máquina, además de no existir un modelo matemático que permita la representación virtual exacta de posición operacional, articular y coordenadas de orientación representativas de la mano humana a través de la interfaz P5 GLOVE, esta interfaz humana es empleada actualmente para transformaciones homogéneas de posición y orientación de un objeto virtual sólido 3D y no interactúa con objetos virtuales con movimientos relativos entre sus componentes. 5. Solución propuesta La propuesta de solución esta estructurada en cuatro secciones de estudio, de la siguiente forma. En la primera sección nos enfocaremos al análisis y estudio de la arquitectura del dispositivo de interfaz humana P5 GLOVE, abriendo la arquitectura del guante para poder utilizar el lenguaje de programación Java y obtener la información necesaria de los sensores del guante y aplicarla en un entorno virtual. En la segunda sección analizaremos el lenguaje de símbolos que se utilizará. La tercera sección está conformada por diseño, modelado matemático y programación en 3D de los eslabones y articulaciones que componen


a la mano virtual que se representará en el ambiente virtual. Para lo cual se utiliza el apoyo del lenguaje de programación Java 3D para la manipulación de los objetos modelados, sincronizando los valores obtenidos de la interfaz humana P5 GLOVE con los movimientos del robot virtual. En la cuarta sección se integra el diseño y programación del ambiente virtual con la interfaz humana P5 GLOVE y se aplica la tecnología de agentes de voz para traducir los movimientos de la mano del operador a la voz artificial utilizando el idioma ingles o español. 6. Contribución del artículo

La contribución de esta investigación es proponer técnicas de aplicación de los elementos de la realidad virtual, orientados al desarrollo de una aplicación para aquellas personas con discapacidad oral y auditiva. Aprovechando las ventajas del trabajo con tecnología de punta (en la materia de realidad virtual) mejorando la calidad de vida en personas con esta discapacidad. 7. Plataforma experimental El Sistema para la Rehabilitación Oral y Auditiva 1.0 (SIRO) está constituido por el P5 Glove, siendo esta una herramienta que nos permite interactuar con la realidad virtual en nuestro caso de estudio. Esta herramienta es utilizada para sincronizar los movimientos de la mano del usuario y representarlos en un ambiente virtual creado en Java3D, (ver figura 1) [8]. Utilizando los modelos matemáticos correspondientes en su estudio [10], en donde posteriormente procesamos los valores de posicionamiento capturados por el guante virtual y estos valores son traducidos al idioma ingles o español en base al lenguaje de señas.


Figura 1. Plataforma experimental de realidad virtual. 8. Esquemas de operación y programación La base principal en la programación de un entorno virtual es la representación de los objetos a visualizar, por ello presentamos los símbolos que constituyen los diagramas de Java 3D que son utilizados en este articulo para facilitar la programación de nuestra interfase del SIRO. Los símbolos que representamos a continuación se estructuran de la siguiente manera: los dos primeros símbolos representan objetos de clases especificas: Universo Virtual (VirtualUniverse) y Local (Locale). Las tres siguientes clases representan objetos de grupo (Group), Hoja (Leaf) y Componente de Nodo (NodeComponent). Estos tres símbolos suelen usarse para indicar subclases de un objeto específico. El último símbolo se utiliza para representar cualquier otra clase de objeto (ver tabla 1 ).

Tabla 1. Nodes y NodeComponents (objetos).

Además de las clases de objetos se usan flechas para representar los diagramas de programación de Java 3D. La flecha continua representa la dependencia padre - hijo (parent-child) entre dos objetos. La flecha discontinua hará referencia (reference) a otro tipo de objetos. Un objeto puede hacer más de una referencia a otros objetos de otras ramas del árbol por lo que el número de flechas que pueden salir de un objeto no están limitadas a una, ver tabla 2.


Tabla 2. Flechas (relaciones entre objetos) El diagrama de la figura 2 muestra una visión global de la representación del dedo de una mano, en él se muestra cómo está compuesta esta interfaz virtual a través de los objetos de Java.

Figura 2. Diagrama de Escena de la representación de un dedo de la mano humana en un escenario virtual.

9. Especificaciones técnicas

El guante está constituido por sensores que son detectados por una torre receptora de infrarrojos, el usuario mueve la mano delante de la torre receptora que captura las posiciones de los sensores, como se muestra en la figura 3.

|

Torre Receptora

P5 Glove

Conexión USB


Figura 3 P5 GLOVE y torre receptora. El guante cuenta con 8 LED’s emisores que envían valores de posicionamiento en x, y y z en un espacio de un metro cúbico (suficiente para la creación de entornos virtuales a escala), estos valores permiten la ubicación del P5 GLOVE en el espacio virtual, estos LED’s emisores de posicionamiento también proporcionan una orientación en términos de pitch, yaw, and roll con respecto a la muñeca de la mano, además cuenta con cinco sensores de fibra en cada uno de los dedos del guante que proporcionan valores de curvatura para detectar si los dedos del guante se encuentran abiertos o cerrados y por ultimo cuenta con cuatro botones en la tapa del guante(ver figuras 4 y 5).

Figura 4. LED’s emisores de posicionamiento y sensores de fibra.

Figura 5. Botones del P5 GLOVE.

1

2

3

4

56

7

8Sensores de

Fibra

A B C

D


Las especificaciones del sensor del dedo son:

0.5 grados de resolución (en un rango de 0 a 90 grados)

Las especificaciones del sistema de tracking (Captura) son:

Sistema de captura óptico. 60 Hz de refresh. 6 grados de libertad (X, Y, Z, yaw, pitch y roll)

Las especificaciones sobre X, Y, y Z son:

0.3175 centímetros de resolución sobre 91.44 centímetros de alcance desde el receptor torre.

1.27 centímetros de exactitud sobre 91.44 centímetros de alcance desde el receptor torre.

10. Lenguaje de símbolos. El lenguaje de señas (Ver figura 6) se divide en un lenguaje de símbolos que es aplicado en diferentes países. La representación de las letras con señas es un lenguaje universal, pero las señas de palabras compuestas pueden variar de un país a otro. El vocabulario del Lenguaje de Símbolos Mexicano (LSM) esta fuertemente influenciado con el idioma español. Existe un grado muy elevado de inicialización española en el vocabulario del LSM. (El uso en la seña de la configuración manual tomada del alfabeto del lenguaje de signos que corresponde a la primera letra de la palabra que se usa para explicar la seña en el lenguaje oral nacional.)

Figura 6.. Lenguaje de símbolo universal.


11. Virtualización La representación virtual de la mano se lleva a cabo a partir de la estructura morfológica de la mano humana, simulando sus articulaciones y huesos. La mano está compuesta de huesos, músculos y ligamentos que permiten una gran cantidad de movimientos y destrezas. Ver figura 7. Existen tres tipos principales de huesos en la mano, incluyendo los siguientes:

Falanges: los 14 huesos que se encuentran en los dedos de cada mano y también en los dedos de cada pie. Cada dedo tiene tres falanges (distal, media y proximal); el pulgar tiene sólo dos.

Huesos metacarpianos: los cinco huesos que componen la

parte media de la mano.

Huesos carpianos: los ocho huesos que forman la muñeca. Los huesos carpianos están conectados a dos huesos del brazo: el cúbito y el radio.

Figura 7. Estructura real y virtual de la mano humana.


12. Representación virtual de la mano humana

Una vez analizada la composición de la mano humana podemos representarla en un ambiente virtual. Para lo cual cada uno de los dedos de la mano estarán compuestos de articulaciones y eslabones que serán controlados bajo los valores de posicionamiento que se adquieren en tiempo rea por la interfaz humana P5 Glove a través de los sensores. (Ver figura 8).

Figura 8. Representación virtual de la mano humana. 13. Modelos Matemáticos Dentro del estudio de los movimientos referentes a los robots manipuladores, así como la forma en que podemos calcular la posición de cada uno de los eslabones que lo componen. Estos son representados en el Modelo Cinemático de Posición Directa (MCPD) y que permite el cálculo preciso de las coordenadas operacionales o


cartesianas de las distintas articulaciones del robot y extremo final de cada dedo, dichos modelos resultan ser útiles para definir la manipulabilidad de la mano en su conjunto. (Ver figura 9).

Figura 9. Representación del MCPD de un dedo de la mano humana.

14. Sistema de comunicación P5 Glove – SIRO El P5 GLOVE es un dispositivo de interfaz humana utilizado para interactuar con la realidad virtual, es un guante que es utilizado por un operador humano con la mano derecha y que está constituido por un sistema de adquisición de datos infrarrojo, que permite detectar los sensores del guante. Este sistema de adquisición de datos del guante, tiene la compatibilidad de conexión a un computador por medio del controlador de bus serie universal denominado USB (Ver figura 10).

Figura 10. Conexión de la interfaz humana P5 Glove.

La compatibilidad de conexión de la interfaz humana P5 Glove se logra a través de la API (Application Programming Interface) java de Kenner. El controlador Kenner’s Dual Mode esta integrado por: P5DLL.dll, CP5DLL.java y CP5DLL.JAR.


La clase CP5DLL consiste en constantes, variables, y métodos públicos numerosos, y está constituida por tres clases internas: P5Data, P5Info, y P5State (según lo ilustrado en la figura 11). La clase P5Data tiene la compatibilidad con controladores en versiones anteriores desarrollados por la empresa Essential Reality; las clases P5Info y P5State contienen las funciones de operación soportadas por el guante.

Figura 11. Clases internas del P5 GLOVE: P5Data, P5Info y P5State.

15. Integración del sistema

Una vez generada la interfaz virtual de la mano humana y sincronizada con el guante de realidad virtual P5 Glove, se realiza la programación de los movimientos de los valores proporcionados por la posición de la mano del usuario. Para que posteriormente sean desarrollados los programas que identifiquen los movimientos de la mano que utilizaran los agentes de voz, como se muestra en la figura 12.

Figura 12.Integración del SIRO.


16. Conclusiones La representación de la mano humana a través de la realidad virtual proporciona una herramienta de investigación científica muy importante en el impacto de la robótica y sus diversos sectores de nuestra sociedad sobre todo en aquellos donde existen limitaciones, como las descritas en este informe de investigación. La integración de subsistemas electromecánicos, percepción propioceptiva y exteroceptiva, de comunicación y decisión, ha sido presentada a lo largo de este artículo, describiendo con ello una metodología en al ámbito de la mecatrónica y cuyos propósitos intentan resolver problemáticas médicas como lo es la rehabilitación oral y auditiva.

17. Perspectivas

Este proyecto de investigación nos abre las puertas a utilizar nuevas tecnologías de guantes de realidad virtual que son utilizados como herramientas para la manipulación de ambientes virtuales. [11], [12].|Algunas de sus propiedades en las cuales desarrollaremos mas investigación son las siguientes (Ver figura 13).

Posicionamiento, abducción, mayor exactitud y sistemas inalámbricos.

Sensores de detección de contacto

Interfaz háptica .

Figura 13. Guantes de realidad virtual.


18. Bibliografía

[1] S. Sidney Fels and Geoffrey E. Hinton. “Glove-TalkII—A Neural-Network Interface which Maps Gestures to Parallel Formant Speech Synthesizer Controls”. IEEE Transactions on Neural Networks, Vol. 9, No. 1, January 1998. [2] Wu jiangqin Gao wen Song yibo Liu wei Pang bo. “A Simple Sign Language Recognition System based on data Glove”. Proceedings of ICSP ’98. [3] Syed AtifMehdi, Yasir Niaz Khan. “Sign Language Recognition using sensor Gloves”. Proceedings of the 9th International Conference on Neural Information Processing (ICONIP‘02), Vol. 5. [9] S.Oda, M.Kyoso, A.Uchiyama, A.Takatsu, A.Hattori, N.Suzuki. “Development of a glove-type interface for data manipulation of the virtual environment in the operating room”. Proceedings of the 20th Annual International Conference of the ZEEE Engineering in Medicine and Biology Society, Vol. 20, No 3,1998. [10] Yu Su, Charles R. Allen, David Geng, David Burn, Una Brechany, G. Duncan Bell, and Roger Rowland. “3-D Motion System (“Data-Gloves”):Application for Parkinson’s Disease”. IEEE Transactions on Instrumentation and Measurement, Vol. 52, No. 3, June 2003. [11] F. Axisa, C. Gehin, G. Delhomme, C. Collet, O. Robin, A Dittmar. “Wrist Ambulatory Monitoring System and Smart Glove for Real TimeEmotional, Sensorial and Physiological Analysis”. Proceedings of the 26th Annual International Conference of the IEEE EMBS San Francisco, CA, USA • September 1-5, 2004. [12] V. Popescu, G. Burdea, and M. Bouzit. “Virtual Reality Simulation Modeling for a Haptic Glove”.

sistema para la rehabilitación oral y auditiva

Documents