1

Presentación de las actividades

BP 53 - 38041 Grenoble Cedex 9 - FranceFédération IMAG

Communication Langagière etInteraction Personne-Système

Director: Jean Caelen

E-mail : Jean.Caelen@imag.frWeb : www-clips.imag.fr

2

Tutelas

3

La sociedad de la información

Estudiar, diseñar y evaluar nuevos medios de comunicación y de trabajo• entre personas• con computadoras

Convergencia entre + telecomunicación + informática

4

Temas de investigación

Interacción persona-sistemaInteracciones humanas electrónicas

Herramientas multimedia y hipermedia para la educaciónBúsqueda de información multimedia en el WebIndices sobre los documentos multimedia (sonidos,

imágenes, video)Ingenería de la interacción y nuevas interfaces multimodalInterfaces colaborativas, realidad aumentadaInteracción con la palabra y diálogo hombre-máquinaTratamiento de la lengua y multilingüismoTratamiento de la voz y del sonido

5

Equipos de investigación

ARCADE (J.P. Peyrin, prof. UJF)Plataforma para Realizar Aplicaciones de Educación

GEOD (J.F. Serignat, MCF INPG)Grupo de Investigación sobre la Voz y el Diálogo

GETA (C. Boitet, prof. UJF)Grupo de Investigación sobre la Traducción Automática

IIHM (J. Coutaz, prof. UJF)Ingenería de la Interacción Hombre-Máquina

MRIM (M.F. Bruandet, prof. UJF)Modelización y Búsqueda de Informaciones Multimedia

6

MultiCom

Una plataforma tecnológica para :• Estudiar los usos y la utilisabilidad en situación de

trabajo• Crear, desarollar y evaluar a los sistemasen,• Experimentando escenarios de uso• Simulando maquetas

Y ofrecer al mundo industrialUna red de competencias multidisciplinarias (sociología

de los usos, ergonomía, ingenería)Herramientos y métodosUna formación especializada para ingenieros

7

Valorización

1998 : Creación de la start-up NOVADIS, consejo en ergonomía

1999 : Creación de la start-up ARLYS, servicio de explotación de redes de educación

2000 : Creación de la start-up SpatioGuide, servicio vocal de ayuda a los peatones ciegos

2001 : Creación de la start-up Dmailer, sortear automaticamente los mensajes electrónicos sobre el contenido lingüístico

8

Principales proyectos

C-STAR : Traducción de diálogos en el campo del turismo (ATR Japan, ETRI Corea, CMU USA, ISL Alemania, IRST Italia)

RICOM : Búsqueda de información Interactiva, Colaborativa y Multimodal

FORMID : FORMación Interactiva a DistanciaEspacios perceptivos y objetos comunicantes : (tele-

médica, domótica, arqueología…)Realidad aumentada : Pizarra mágica, Mesa de diseño,

Cirurgia

9

C-STAR : Consortium for Speech Translation Advanced Research (Japan, Corea, USA, Alemania, Italia, Francia)NESPOLE! (EU project) : NEgotiating through SPOken Language in E-commerce (USA, Alemania, Italia, Francia)

10

Proyecto C-STARTraducción de diálogos entre humanosAplicación al turismo y al comercio electrónico

11

Modulos lingüísticos : 2 caminos posibles

Texto en lengua de entrada

Reconocimiento de la palabra

Traducción

Síntesis de la palabra

Texto en lengua de salida

texto IFtexto IF

Análisis hacia IF

Generación

12

Interchange Format

• Representación del sentido independiente de las lenguas

• Representación edificada sobre los– Actos de habla

• Lo que quiere o lo que hace

– Conceptos• De que se habla (focus de la información)

– Argumentos• Valores de las variables del discurso

give-information

+availability+room

room-type=(single ; double)

« Tengo una habitación doble »

13

IF : beneficios

• N lenguas de salida posibles por el precio de una• Ejemplo

• Posibilidad de « retroconstruir » en francés para el control o la verificación

IF

Análisis hacia IF

Generación

14

Los componentes : “reconocimiento de voz”

• Reconocimiento « multilocutor »– vocabulario (centrado sobre el turismo) de 64k palabras– palabra continua y espontánea

• Arquitectura « cliente-servidor »• Modulo RAPHAEL construido sobre la herramienta

de JANUS III en cooperación con las universidades de Karlsruhe y de Carnegie Mellon

Proyecto de ricerca con INAOE y IIMAS por el español-mexicano

15

“Francés hacia IF”

• Entrada : trascripción ortográfica de la palabra (texto)

• Análisis morfológico y lematisación de las palabras

• Primer análisis con el diccionario de traspaso francés-IF

• Análisis sintáctico y reconocimiento de las estructuras gramaticales semánticamente pertinentes– Datos, cuantos, nombres, precios, etc.

• Segundo análisis con el diccionario de traspaso francés-IF

• Generación sintáctica y morfológica de la IF

• Salida : texto en lengua IF

16

El 22 de julio 1999a Grenoble

cliente agentes

sala de prensa

17

RICOM : Búsqueda Interactiva, Colaborativa y Multimodal de información• HALPIN : Diálogo hombre-máquina en el Web• CoVitesse : Navegación cooperativa en una gran cantidad de información

18

Tengo 1206 documentos en el tema inteligencia artificial. Quisiería precisar su pregunta?

Qué hay en el tema ... e, inteligencia artificial ?

HALPIN : Diálogo en languaje natural para la búsqueda de informaciones en el Web

El usuario dialoga con el sistema HALPIN. El dice su pregunta con la voz y la máquina responde de la misma manera. La respuesta es cooperativa : en este ejemplo, se hace una nueva pregunta con la finalidad de reducir la cantidad de documentos a consultar.

19

Histórico del diálogo

Entrada de la pregunta al teclado

Repuesta de la máquina

Detalle de un documento

Botones de controlEntrada del reconocimiento IBM ViaVoice

20

VITESSE

• Una interfaz gráfica en “ojo de pescado”

• Búsqueda sobre una gran cantidad de documentos

• Multimodal para la navegación

21

COVITESSE

• Navegación colaborativa en el Web

• Definición de los tipos de navegación :“Twidale, M., Nichols, D., Paice, C. Browsing is a collaborative process.”

• Preguntar a otro usuario,• Buscar con otros, participando sus búsquedas, • Mostrar y explicar, como un guía en un museo,

un conjunto de páginas a grupos,• Sólo ver a la actividad del grupo.

22

Conflicto

Alto

Bajo

Multidirectional

Monodirectional

Grande

Minimum

Informal

Maximum

Formal Pequeño

Estilo

TamañoModo de comunicación

Control

Visita guiada

Navegación participante

Navegación libre

Protócolos de las interacciones colaborativas

23

Interfaz para la navegación colaborativa

24

Aplicación colaborativa : VITICOL

Navegación colaborativa y asíncrona

Pertinencia social y pertinencia "sistema"

Búsqueda de opinión a cada página visitada

Visibilidad de las estadísticas de opinión dentro de una lente mágica

25

RESIDE-HIS : Casa Inteligente y SaludCOMEDI : Comunicación Electrónica Informal

26

Domótica : sensores de información y inteligencia

27

Dispositivo de salud a la casa

Decision local / distante - Memoria de eventos- Identificación- Comunicación

Teléfono público

Modem

HModem

Bus domótico

Sensores fisiológicos- Corazón- Movimientos - Peso

Senores de ruidos, de palabras

Fusión de señales

28

Mapa del pisoexperimental

29

CoMedi : Espacio de comunicación informal

Espejo : control y observación

Focus, matriz

Zona de acceso

Control

30

Ejemplos de filtros de publicación

Poster

Cortina

Video

31

EigenSpace Filter

Data basis de imágenes Eigen Space

Imagen vista Imagen recibida

32

Pizarra transparenteFORMID : FORMación Interactiva a Distancia

33

Piz

arra

tra

nsp

aren

te

34

FORMID : FORMación Interactiva a DistanciaMetáfora de una clase virtual

FORMID

ComediPizarra tansparenteGeneSimu

GeneSimu es un generador para simular ejercicios. Esta simplificación a un campo dedicado permite a los diseñadores usar GenSimu para desarollar productos de educación

35

Pizarra mágica : escritura natural y virtualMesa de diseño : « brainstorming » aumentadoCirurgia : mejor control y seguridad

36

Piz

arra

mág

ica

37

Mes

a d

e d

iseñ

o

38

Cir

urg

ia

CASPER (Computer ASsisted PERicardial puncture)Ayuda al cirujano para conducir la operación con una aguja cerca del corazón

39

Es necesario decomponer la arquitectura del sistema sobreelementos tan concretos comó abstretos, en particular en función del contexto

IHM

concrète

IHMfinale

IHM

concrète

IHM

finale

Mac/PC Pilot

Tâches&

Concepts

IHMabstraite

Tâches&

Concepts

IHM

abstraite

IHM

concrète

IHM

finale

WAP

Cómo tener en todos lugares y sobre todos los dispositivos la misma calidad de información ?

40

Plataforma para experimentar (diseñar, desarollar y evaluar)

sistemas interactivos

Plataforma para experimentar (diseñar, desarollar y evaluar)

sistemas interactivos

41

Objetivos

Estudiar los usos y la utilisabilidadDesarrollar y Evaluar a los sistemascon escenario de uso sobreprototipos o productos finales

42

El proceso de desarrollo en espiral

Un buen inicio : enriquecer la idea

Es muy importante para evitar paradas en el proceso enriquecer la idea del ingeniero antes de dasarrollar el producto considerando(a) El uso, (b) La utilidad, (c) El precio,(d) La técnica

Idea

Funciones

CC

Escenario

ObservaciónDiagnóstico

Evaluación

Maqueta

Evaluación

43

El proceso empieza...

Analizando el uso

Analizando las funcionalidades

Capturando la actividad del usuario

=> Para especificar el sistema

44

El proceso continua y se acaba...

Desarrollando el sistema

Evaluando el sistema final

• las funcionalidades (uso)• la « ergonomía » (utilidad)

Con criterios de calidad

45

Una plataforma « mago de Oz »

Client Magicien - Agent

Echange de- images- plans- textes

DAT

Vidéo-disque

1 Magicien "Gestion du dialogue" 1 Magicien "Annotation"

Usuario

Dispositivo de observación

Magos

Video de control

Grabación sonora

46

Para concluir… CLIPS es…

Un centro de ricerca de 100 personas con :• Una red de competencias multidisciplinarias

(sociología de los usos, ergonomía, ingenería)• Una plataforma de herramientas de captura del

comportamiento y de métodos de análisis cognitivos