XXII JORNADAS EN INGENIERÍA ELÉCTRICA Y ELECTRÓNICA

MOUSE PARA PERSONAS CON DISCAPACIDAD MOTRIZ

Jarrín Zambrano Dina Patricia, Ing.Álvarez Rueda Robin, PhD.

Grupo de Aplicaciones en Biotecnología y Telecuidado (GABT)

Escuela Politécnica Nacional

INTRODUCCION

El presente proyecto se desarrolla con elpropósito de permitir a personas condiscapacidad motriz, tener la posibilidad deutilizar el mouse del computador.

Ya que se utilizara una cámara web de bajocosto, para evitar problemas de iluminación, seutilizará un objeto reflector que facilite sudetección mediante el procesamiento digital deimágenes, de modo que su seguimiento emule elpuntero del mouse. Se estudiará alternativaspara la activación tanto del botón derecho comodel izquierdo.

Finalmente se realizan las pruebas de losdiferentes algoritmos planteados, para definircuál de ellos es el más idóneo que permitancumplir con los objetivos planteados.

1. ESTADO DEL ARTE

En esta sección se van a presentar avances ytécnicas que se han desarrollado hasta elmomento; los cuales son comentados acontinuación:

1.1 Camera Mouse realizado por laUniversidad “Boston College”; emuladopor detección facial, utilizan una cámaraweb con conexión USB, haciendo depuntero la nariz del usuario, o el borde delas cejas de la imagen captada, el controldel mouse se dará por el movimiento de lacabeza. [1]

Este trabajo ha sido dedicado paraadolescentes con diferentes discapacidadesque impiden movimientos motricesnormales. En la figura1 se puede ver unejemplo de aplicación de este sistema.

Figura1. Zubair, estudiante del colegio“Holly Bank School” usando el sistema dela cámara web. [5]

1.2 Emulador de Mouse para personas conalteraciones motoras: realizado en laescuela ORT de Argentina con el apoyo deCentro de Investigación y Desarrollo deAsistencias Tecnológicas para laDiscapacidad del Instituto Nacional deTecnología Industrial (INTI). [2]

Utilizan una cámara web ubicada en lacabeza del usuario, sujetada con unabincha, gorro o casco y con un ledinfrarrojo ubicado sobre el monitor. El clicizquierdo, derecho y doble clic lo hacenmediante software.

A continuación se muestra en la figura2esta aplicación.

Figura2. Mouse para personas conalteraciones motoras.

1.3 HeadMouse1 realizado por el Grupode Robótica - Universitat de Lleida.

Utilizan una cámara web y por mediodel movimiento de la cabeza conservael control del puntero y las diferentesopciones de clic. [3]

A continuación se mostrará en lafigura3 un menú de diferentesdecisiones para un óptimo control delpuntero del mouse.

Figura3. Menú de opciones deaplicaciones.

1.4 Tetramouse realizado por TetraLiteProducts, Seattle WA, USA, con laboca realiza el control emulando el clicderecho y el clic izquierdo, estedispositivo está conectado alcomputador por USB o con eladaptador PS/2. [4].

Figura6. Paquete de Tetramouse

A continuación en la figura7 semuestra el cuadro de dialogo deaplicaciones para el puntero del mouse.

Figura7. Funciones del Tetramouse

2. MOUSE PARA PERSONAS CONDISCAPACIDAD MOTRIZ

Figura8. Mouse para personas con discapacidadmotriz.

Después de un breve análisis encomparación de otros procedimientosse podrá notar ventajas y desventajasacerca del control del puntero delmouse.

El uso del objeto reflector ayudará amantener el control del puntero delmouse, lo que resulta más óptimo encomparación otros sistemas dados pormouse facial, ya que depende muchomás de la iluminación del ambiente.

Como se habrá notado otros paquetes(software de instalación, cámara web ydispositivos extras), tienen un costoconsiderable, mientras que nuestroprograma, aún en desarrollo.

2.1 MATERIAL Y MÉTODOS

a) MATERIAL:

Hardware:

Cámara Web (de característicasbásicas).

Un objeto reflector.

Un computador.

Software:

Software desarrollado.

Sistema Operativo XP o WindowsVista.

b) METODO:

El algoritmo que se ha desarrollado es elresumido en la figura8 y que produjo lossiguientes resultados:

3. RESULTADOS

Se toma una muestra de la imagen, capturadapor la webcam que va a permitir el inicio delanális (figura9).

Figura9. Adquisición de imagen

La imagen de colores verdaderos RGB seconvierte a escala de grises para facilitar laaplicación de los algoritmos posteriores(figura10).

Figura10. Imagen en escala de Grises

La imagen de muestra RGB, puede ser deprecisión uint8, uint16, solo, o doble. Al serconvertida a imagen en escala de grisies, esta esde la misma clase como la imagen RGB. Paraasegurar los mejores resultados, convertimos ala imagen a precisión doble, como se puede veren la figura11.

Figura11. Imagen doble

Sobre esta imagen, aplicamos un algoritmo dedetección de bordes, mediante el algoritmo dePrewitt (figura12).

Figura12. Detección de bordes mediantealgoritmo de PREWIT

A la imagen resultante, le aplicamos unalgortimo de eliminación de objetos inferiores a80 pixeles (figura 13).

Figura13. Imagen después de aplicar elalgortimo de eliminación de objetos inferiores a80 pixeles.

Mediante una operación morfológica cerrada, serellena los objetos cerrados de la imagenanterior (figura14).

Figura14. Relleno de objetos cerrados medianteoperación morfológica cerrada.

A partir de este resultado, procedemos arealizar segmentación para poder reconocerobjetos y cuestionar:¿Cuántos objetos hay?¿Cuál de ellos es redondeado?

Para responder a las preguntas anteriores, seextrae las filas y columnas de cada objeto,ubicamos su centroide (figura15) y respecto deeste, se compara la longitud del eje veritical conla del eje horizontal aceptando una ciertatolerancia con lo cual estaremos verificando sifue o no un objeto redondeado (figura16).

Figura15. Obtención del centroide del objetoseleccionado.

Figura16. Resultado de aplicar el algoritmo dedetección de objetos redondeados.

Para facilitar la visualización de filas ycolumnas del objeto, y así verificar el resultadodel algoritmo anterior, se utiliza unaherramienta de matlab (figura 17).

Figura17. Visualización de la ubicación delobjeto en pixeles

Finalmente, tomando solamente dichocentroide, este será el que sirva paraseguimiento del puntero del mouse (figura

18).

Figura18. Centroide que sirve para seguimientodel puntero: dos imágenes en posicionesdiferentes.

3.1 Método para seleccionar clic derecho oclic izquierdo.

Se procede a leer el tiempo que el usuariomantiene inmóvil su cabeza (el puntero delmouse) en un lugar determinado y si el tiempoes mayor a lo indicado por el programa (porejemplo t > 10s), se ejecutará el cuadro deselección de clic derecho y clic izquierdo (figura19).

Para la utilización de los comandos del punterodel mouse se utiliza las librerías de Java yRobot, con el fin de hacer coincidir el punterodel mouse con el centroide del objeto calculado.

Figura 19. Opcion de clic derecho y clicizquierdo.

DIAGRAMA DE FLUJO

MOSTRAR OPCION DE CLICDERECHO E IZQUIERDO (figura 19)

(Figura.8)

CENTROIDE = PUNTERO DELMOUSE (Figura18.)

DESPLAZAMIENTO DELPUNTERO DEL MOUSE

TIEMPOPUNTERO >10

SEGUNDOS

TIEMPO < 10SEGUNDOS

¿EL OBJETOREFLECTOR ESREDONDO?

NO ESCÍRCULO

Algoritmo de operación morfológicacerrada para rellenar objetos (Figura14.)

Algoritmo de detección de objetosredondeado (Figura15)

INICIO

TOMAR IMÁGENES DEVIDEO (Figura9.)

PASAR A IMAGINES EN ESCALA DEGRISES PARA HACER LA

SEGMENTACIÓN (Figura10.)

Algoritmo de detección debordes (Figura12.)

Algoritmo de eliminación deruido (Figura13.)

4. DISCUSION

Al igual que proyectos anteriores, se habuscado la mejor alternativa para queel proyecto sea más accesible parapersonas con discapacidad motriz yque puedan hacer uso de este tipo detecnología, viendo la factibilidad deuso y alcance para el usuario.

El proyecto actual se estáimplementando por primera vez ennuestro país lo que es una graniniciativa para que las personas condiscapacidad motriz puedan hacer usodel mouse.

Haciendo un breve análisis de losproblemas de iluminación que se danen otros proyectos similares, como elde detección facial, se determinó que eluso del objeto reflector servirá paraminimizar este inconveniente.

Se probaron varios métodos paraeliminar objetos no deseados (ruido),para esto se intentó con Filtros en 2Dprediseñados, con métodos basados enpixeles (umbralización) pero ningunodio los resultados esperados. Entoncesla mejor solución que se encontró fuela eliminación de pixeles “suaves” pormedio de la herramienta que el mismotoolbox de Matlab posee, y finalmentese eliminaron los objetos no deseados.

Ahora en base a las características delobjeto se extrae el valor del centroide yse lo hace coincidir con el puntero delmouse, mediante librerías de Java yRobot se ejecuta el control del punterodel mouse en Matlab, logrando así elcontrol del desplazamiento de este enla pantalla, con ayuda del movimientode la cabeza, pero siempre tratando deque el haz de luz incida en el objetoreflector y la cámara web detecte elreflejo.

Analizando aspectos económicos deotros proyectos se ha considerado quenuestro proyecto es más económicodebido a que simplemente se usa unacámara web con requerimientosbásicos y un objeto reflector como unespejo redondo de radio pequeño yfácil de encontrar en el mercado,haciendo así que el requerimientopresupuestario sea mínimo encomparación a otros proyectos.

5. CONCLUSIONES

El programa utilizado para el desarrollodel proyecto es Matlab, el mismo quenecesita un alto nivel de programacióny con la ayuda de las librerías de Java yRobot se pudo desarrollar la emulacióndel movimiento del mouse.

Es aconsejable revisar las propiedadesde la cámara web como es laresolución que esta ofrece y si fueranecesario ajustar las propiedades debrillo, el contraste, los balances decolores, etc.

Las imágenes obtenidas deben serprocesadas con el propósito de facilitarla detección y discriminación deobjetos que se presentan en el plano dela imagen.

Para el procesamiento de las imágeneses necesario realizar operacionesmorfológicas de relleno, filtrado yeliminación de ruido, con el propósitode poder optimizar la detección denuestro objeto base

Es necesario en el proceso de detecciónde imágenes obtener las propiedades decada elemento con el fin de poderseleccionar el elemento deseado que seencuentran en el mismo plano de laimagen.

Finalmente se hizo un análisis delpuntero del mouse respecto al cuadrode selección de clic derecho y clicizquierdo, para lograr unaconcordancia de funcionamiento entreel cuadro de selección y el puntero.

6. REFERENCIASBIBLIOGRAFICAS

[1]http://www.bc.edu/schools/csom/eagleeyes/cameramouse/about.html#q1

[2]http://www.canal-ar.com.ar/noticias/noticiamuestra.asp?Id=4496#comentario

[3]http://robotica.udl.cat/headmouse/headmouse1/headmouse1.html#CONTROL

[4]http://tetramouse.com/manual.html#connect

[5]http://www.bc.edu/schools/csom/eagleeyes/cameramouse/gallery/page11.html

7. BIOGRAFÍAS

Dina P. Jarrín Zambrano

Nació en QuitoEcuador el 14 de mayode 1980, se encuentracursando el últimosemestre de la carrerade IngenieríaElectrónica Control yAutomatización en la

facultad de Ingeniería Eléctrica yElectrónica. Fue miembro activo de laIEEE, participó en eventos realizados en suUniversidad en el área de Electrónica yPotencia, Instrumentación Industrial,además fue parte del grupo de Robótica dela facultad, el mismo que ganó el primerlugar en el concurso internacional realizadoen Perú.

Robin Álvarez RuedaNacido en Cayambe,Ecuador, en 1969.Ingeniero en

Telecomunicaciones,graduado de la EscuelaPolitécnica Nacional,Quito - Ecuador, 1995;M.Sc. en

Telecomunicacionespor la Universidad de Cantabria, Santander -España, 2001; Ph.D en Telecomunicaciones porla Universidad Politécnica de Madrid-España,Enero-2006. Su interés desde hace seis años estáen el campo de la bioingeniería.