sistemas de interacción multimodal
Post on 17-Mar-2016
43 Views
Preview:
DESCRIPTION
TRANSCRIPT
Sistemas de Interacción Multimodal
XMMVR: Framework de integración de interacción multimodal con mundos 3D
David Escudero ManceboDoctorado 2008-2009
Curso T02306
2
Presentación Introducción Presentación del lenguaje XMMVR Arquitectura de soporte El leguaje XMMVR en profundidad Evaluación Trabajo futuro Conclusiones Bibliografía
Introducción Los sistemas de Realidad Virtual y los Sistemas de Diálogo tienen
un gran potencial para mejorar la interacción hombre máquina. Ambos campos de investigación han experimentado un gran
avance en las últimas décadas. La integración podría ser vista como una evolución natural.
Sin embargo no ha sido así: escasas aproximaciones en el estado del arte.
Se han centrado en evolucionar intensivamente. Sigue habiendo problemas técnicos en ambos campos.
XMMVR es una aportación en este sentido.
3
Introducción Los sistemas de diálogo pueden mejorar la interacción en sistemas de realidad
virtual: Permiten introducir comandos sin usar las manos. Permiten referenciar objetos fuera del campo visual.
Existen dificultades de cara a la integración por la heterogenidad de los recursos a combinar: Modelos 3D estáticos o dinámicos Recursos de interacción gráfica: ratón, display, hápticos. Recursos para la interacción vocal: sistema de diálogo.
Planteamos un lenguaje de definición común donde podamos describir estos tres elementos así como la interacción entre ellos.
4
Introducción Los Sistemas de Diálogo y los Sistemas de Realidad Virtual se caracterizan por:
Existencia de abundantes prototipos de investigación. Bastantes sistemas comerciales Algunos estándares. X3D o VXML por ejemplo.
Los sistemas de marcas han mostrado su eficacia a la hora de definir marcos de desarrollo y estándares a los adaptar productos.
Nuestra propuesta se apoya en un lenguaje de marcas: Utiliza componentes en X3D y VXML Especifica la interacción entre el mundo gráfico y el mundo hablado.
Existen multitud de lenguajes de marcas que abordan problemas similares: VXML, SALT, X+V, Behaviour3D, VHML, MPML, MIML, Ninguno con el objetivo que nos planteamos.
5
El lenguaje XMMVR eXtensible markup language for MultiModal interaction with Virtual Reality words o
(XMMVR) es un lenguaje para especificar escenas 3D, comportamientos e interacción.
Los mundo o componente 3D se modelan como un elemento de XMMVR. Es un lenguaje híbrido que incluye VXML y X3D. Se apoya en una metáfora de teatro guiada por eventos.
6
El lenguaje XMMVR
7
El reparto o cast incluye los actores (elementos 3D) que participan en la aplicación.
Una secuencia especifica las escenas que forman parte de la aplicación
El contexto permite guardar el estado.
El lenguaje XMMVR
8
Cada actor Tiene una apariencia gráfica (fichero VRML) Tiene una serie de comportamientos predefinidos
Formato <evento, condición, acción>
El lenguaje XMMVR
9
Eventos: El usuario genera eventos gráficos usando dispositivos GUI. Los diálogos generan eventos vocales VUI al finalizar (los diálogos se especifican
en VXML). Los actores pueden generar eventos lanzando mensajes a otros actores (tipo
ACT) El sistema puede lanzar eventos (tipo SYS) por ejemplo al empezar una escena.
El lenguaje XMMVR
10
Acciones: Tipo GUI, VUI, ACT, SYS Acciones GUI que cambian la apariencia de las escenas. Acciones VUI para lanzar diálogos. Acciones ACT para lanzar mensajes a otros actores. Acciones SYS para navegar entre escenas.
El lenguaje XMMVR
11
El elemento sequence gestiona la distribución de escenas: Las escenas por defecto se van mostrando en el en orden en que son
especificadas. Los eventos y acciones tipo SYS alterarían la secuencia. La escena incluye un escenario de fondo VRML y los actores que participan.
La plataforma XMMVR
12
Hemos desarrollado una plataforma software que da soporte al lenguaje XMMVR
Cada nueva aplicación se programa en el lenguaje XMMVR.
La plataforma interpreta este lenguaje y ejecuta la aplicación correspondiente.
La plataforma gobierna los elementos 3D y gestiona la interacción recogiendo eventos y ejecutando las acciones correspondientes.
La plataforma XMMVR
13
Un objetivo es que sea operativa en entornos web: Condicionó el leguaje de representación 3D VRML, Condicionó el lenguaje de especificación de diálogos VXM Condicionó el lenguaje de definición de la arquitetura: Java
Los actuales trabajos están también condicionados por esta restricción.
La plataforma XMMVR
14
Problemas a resolver: Gestión de los diálogos. El control del mundo 3D. La gestión de los eventos. La realización concurrente de acciones.
15
Gestión de los diálogos: Un módulo embebido en el navegador solicita un diálogos al
módulo DISPATCHER. La dinámica arranca con una solicitud de diálogo.
16
Dinámica de la interacción vocal.
17
Tecnología: JAVA Aplet en IE. CORTONA como visualizador de VRML, EAI API para la interacción con
elementos VRML. Servlet en Apache Tomcat. Intérprete de VXML propio, Plataforma vocal ATLAS.
18
La arquitectura XMMVR.
19
Comunicación con elementos externos:• Interpreta el documento XMMVR.• Recibe eventos VUI y GUI introducidos por el usuario.• Los nodos VRML usan el EAI para modificar el aspecto de la película.
20
Event Scheduling:• Los eventos se encolan.• La tabla determina las acciones a realizar• Las acciones se ejecutan concurrentemente.
Alarm Manager
21
Control Stage:• Ejecuta métodos de los actores.• Mantiene una tabla con el estado.
22
W3C Multimodal Interaction Group (MMI): Componte gráfica y vocal. Interaction manager y Data Component.
El lenguaje XMMVR en profundidad Ver DTD Ver Ejemplo ¿Por qué shockwave?
Herramienta gráfica potente: 3D Studio, web… Comunicación con otras aplicaciones: flash, activeX
¿Cómo se hizo? Interprete de xml Dualidad de los actores. Sensibilidad de actores a eventos. Invocación dinámica a métodos. Indireccionamiento de símbolos. Carga dinámica de escenarios.
¿Qué falta por hacer? Diálogos
23
Evaluación La evaluación en entornos virtuales y en HCI es un campo de investicación en el que
hay todavía mucho que hacer. En J.L. Gabbard, D. Hix, J.E. Swan II. User-Centered Design and Evaluation of
Virtual Environments. IEEE Computer Graphics and Applications, 1999 se establece una propuesta con cuatro tareas iterativas: User task analysis is the process of identifying a complete description of tasks, subtasks,
and methods required to use a system, as well as other resources necessary for user(s) and the system to cooperatively perform tasks.
Expert guidelines-based evaluation (heuristic evaluation or usability inspection) aims to identify potential usability problems by comparing a user interaction design—either existing or evolving—to established usability design guidelines.
Formative user-centered evaluation is an empirical, observational evaluation method that ensures usability of interactive systems by including users early and continually throughout user interaction development.
Summative comparative evaluation is an empirical assessment of an interaction design in comparison with other maturing interaction designs for performing the same user tasks.
Nosotros presentamos un lenguaje que esperamos sea de prosópito amplio, por lo que el análisis de tareas…
La evaluación centrada en usuario es prematura. El Expert guideline se centra en la revisión de metáforas.
24
Evaluación Metáforas de interacción gráfica:
(CONTIGRA: http://www.contigra.com/ ) Fundamental metaphors Structural metaphors Navigational metaphors
Metáforas de interacción vocal . McGlashan, T. Axling. Talking to Agents in Virtual Worlds, UK VR-SIG Conf., 1996
Metáforas de cooperación entre modos J. C. Martin. TYCOON: theoretical and software tools for multimodal
interfaces, AAAI Press , 1998 25
Evaluación
Interacción gráfica, Fundamental metaphors: Theatre metaphor (tm): User has an static position and a point
of view where world changes around. Locomotion metaphor (lm): User has a dynamic position and
will be translated through a structure.
26
Evaluación Interacción gráfica, Structural
metaphors Rooms: Can be considered as parts of both fundamental
metaphors (tm, lm) and are applied on areas like virtual entertainment, education or electronic commerce.
Revolving stages: Are characteristical examples of the theatre metaphor (tm), because the user’s point of view keeps constant.
Buildings with floors, corridors, levels: Are typical examples of the locomotion metaphor (lm).
Space stations, molecules, bubble-nets: Belong to the locomotion metaphor (lm).
Urban metaphors: Are examples of the locomotion metaphor (lm).
27
Evaluación Interacción gráfica, Navigational
metaphors Elevator / hydraulic ramp: Due to its lineal movement, they
support sequential tasks. Track vehicle / train: Two directions are possible with this
sequential metaphor in most of the cases. Cable railway / slide: Sequential metaphor with one way where
an only strict sequence of visited action spaces is allowed. Flying chair / carpet: Belongs to the group of parallel metaphors
because user can fly to more than one or two action spaces. Tele-Portage / “Beam me up”: Despite of disorientation, it is an
appropriate metaphor for completely free structures and allows the election of several destination spaces.
28
Evaluación Metáforas de Interacción gráfica:
Structural metaphors are quickly developed with our solution: metaphor of “rooms” can be developed assigning the scene element to every room defined in the application; metaphor of “revolving stages” could be solved assigning the element scene to each of the stage as well; in the cases of “buildings”, “space stations” and “urban” the solution could be the same delimiting the building, space station or urban in several levels that could be our scenes.
To implement Navigational metaphors we can assign every element of these metaphors to element actor of our language. Thus, the elevator metaphor could be an actor moving over floors (element scene) resulting a combination of a navigational metaphor (elevator) and a structural metaphor (building).
29
Evaluación Interaction vocal
Proxy: The user can take control of various agents in the virtual world and thereby interacts with the virtual world through them; for example, painter, paint the house red!
Divinity: The user acts like a god and controls the world directly; for example, Let the house be red!
Telekinesis: Objects and agents in the virtual world can be dialogue partners in their own right; house, paint yourself red!
Interface Agent: The user communicates with an agent, separate from the virtual world, which carries out their spoken commands.
The system is prepared to resolve Proxy and Interface Agent metaphors because the dialogues are vinculated to the different actors through the behaviour element. Nevertheless, the use of the Proxy metaphor should demand the availability of a VoiceXML interpreter with different voices to associate to the different agents to play.
Telekinesis and Divinity metaphors will be simulated using an actor without graphical appearance responsible to dialogue with the user and to interact with the rest of agents through ACT type events.
Evaluación Cooperation between modalities
Transfer: Part of the information produced by a modality is used by another modality.
Equivalence: Both types could treat the same information. Specialization: A determinated type of information is always
processed by the same modality. Redundancy: The same information is processed by both
modalities. Complementarity: Different parts of information are processed
by each modality but have to be combined. Transfer y complementarity: hash table State of the World Equivalence also can be done because the sequence of actions can be executed as a consequence of a vocal or
graphical event. Specialization is responsiveness of the programmer of scenes that can delegate determinated task to one or other
modality. By last, Redundancy: locking situations because actions can be executed concurrently. This is predicted with the inclusion
of the element Alarm manager expected to be able to cancel actions from the queues.
31
Trabajo futuro
Consolidar el lenguaje. Migración a otras plataformas. Sincronización entre modos. Desarrollo de aplicaciones ilustrativas. Evaluación basada en usuarios.
32
Conclusiones XMMVR permite escribir scripts para especificar mundos virtuales
con interacción multimodal. Aporta modularidad, mejorando las posibilidades de reutilización. Se ha implementado una plataforma de soporte.
La evaluación evidencia carencias que abren la posibilidad de afrontar nuevas versiones.
La migración a otras tecnologías es también un desafío.
33
Bibliografía Congreso Español de Informática Gráfica 2004, Sevilla Congreso Español de Interacción Hombre Máquina 2006,
Puertollano Congreso Español de Informática Gráfica 2007, Zaragoza Congreso Español de Interacción Hombre Máquina 2007, Zaragoza International Workshop on Computer Graphics 2008, Chequia Jornadas Españolas sobre Realidad Virtual 2008, Albacete Jornadas de Tecnologías del Habla 2008, Bilbao Human Computer Interaction International 2009, San Diego Capítulo de Libro en Springer 2009
34
Sistemas de Interacción Multimodal
XMMVR: Framework de integración de interacción multimodal con mundos 3D
David Escudero Mancebo
Doctorado 2008-2009Curso T02306
top related