experiencias en robótica social. interacción, motivación y...
TRANSCRIPT
![Page 1: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/1.jpg)
I I WorkshopWorkshop Español de Robótica, ROBOT 2007Español de Robótica, ROBOT 2007CEDI 2007CEDI 2007
Experiencias en robótica social. Experiencias en robótica social. Interacción, motivación y aprendizajeInteracción, motivación y aprendizaje
Eduardo Zalama Casanova Eduardo Zalama Casanova -- Universidad de ValladolidUniversidad de ValladolidSalvador Domínguez Quijada Salvador Domínguez Quijada -- Fundación CartifFundación CartifJaime Gómez García Bermejo Jaime Gómez García Bermejo -- Universidad de ValladolidUniversidad de Valladolid
![Page 2: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/2.jpg)
Robótica social Robótica social Robot social:Robot social: Entidad fEntidad fíísica a la que se le ha dado sica a la que se le ha dado una apariencia compleja, dinuna apariencia compleja, dináámica, y un entorno mica, y un entorno social que le conduce hacia la consecucisocial que le conduce hacia la consecucióón de sus n de sus objetivos y a los de su comunidad.objetivos y a los de su comunidad.
ARISCO: (Android Robot Interface for Social Comunication and Operation)
![Page 3: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/3.jpg)
Requisitos (segRequisitos (segúún n DauthenhahnDauthenhahn, 1999):, 1999):
Robótica social Robótica social
• Personificación. • Emoción• Diálogo• Personalidad• Percepción orientada a humanos• Modelado del entorno• Aprendizaje• Intencionalidad
![Page 4: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/4.jpg)
Complejidad:Complejidad:Robótica social Robótica social
• Integración de técnicas de diferentes campos: electrónica, mecánica, comunicaciones, localización, navegación, etc.
• Estudio e integración de aspectos psicológicos, sociológicos y biológicos.
• Dificultad de implementar aspectos de inteligencia social y representación del conocimiento.
• Sistemas perceptivos poco robustos: Reconocimiento visual, reconocimiento de voz, etc.
![Page 5: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/5.jpg)
Soluciones de implementaciSoluciones de implementacióón:n:Robótica social Robótica social
• Acotar el problema, reduciendo la funcionalidad en contextos definidos.
• Definir arquitectura escalable, incorporar nuevas funcionalidades e interfaces.
• Incorporar sistemas de aprendizaje como fórmula para evitar la programación explícita.
• Validación en entornos reales. Fuera del entorno del laboratorio.
![Page 6: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/6.jpg)
Robótica social Robótica social MotivaciMotivacióón:n:Experiencia previa con Tito, el robot guía del Museo de la Ciencia de Valladolid
![Page 7: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/7.jpg)
Expresividad y emoción. Expresividad y emoción. Estructura física de AriscoEstructura física de Arisco
Cara
Cuello
Plataforma “craneal”
Plataforma base
30cm 30cm
45cm
![Page 8: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/8.jpg)
Expresividad y emoción. Expresividad y emoción. Movimientos del cuello de AriscoMovimientos del cuello de Arisco
Movimiento inclinaciMovimiento inclinacióón lateral de la cabezan lateral de la cabezaMotor 4Motor 4
Movimiento adelanteMovimiento adelante--atratráás de la cabezas de la cabezaMotor 3Motor 3
Movimiento arribaMovimiento arriba--debajo de la cabezadebajo de la cabezaMotor 2Motor 2
Movimiento de giro de la cabezaMovimiento de giro de la cabezaMotor 1Motor 1
FunciFuncióónnMotoresMotores
Total: 4 servo motores
![Page 9: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/9.jpg)
Expresividad y emoción. Expresividad y emoción. Rasgos gestuales de AriscoRasgos gestuales de Arisco
Giro independiente de las comisuras para Giro independiente de las comisuras para simular el movimiento del msimular el movimiento del múúsculos sculos zigomzigomáático mayor de los humanostico mayor de los humanos
(2 servos) comisura de los (2 servos) comisura de los labioslabios
Apertura y cierre de la mandApertura y cierre de la mandííbula inferiorbula inferior(1 servo) apertura de (1 servo) apertura de mandmandííbulabula
Labios y bocaLabios y boca
Giro de las orejas de manera independiente Giro de las orejas de manera independiente estirestiráándolas hacia fuera o recogindolas hacia fuera o recogiééndolas ndolas
hacia la cabezahacia la cabeza
(2 servos) estiramiento de (2 servos) estiramiento de cada orejacada oreja
Giro o rotaciGiro o rotacióón de las orejas de manera n de las orejas de manera independiente echindependiente echáándolas hacia delante o ndolas hacia delante o
hacia atrhacia atrááss(2 servos) giro de cada oreja(2 servos) giro de cada oreja
OrejasOrejas
Giro del subconjunto pGiro del subconjunto páárpados, cejas y ojos rpados, cejas y ojos en el plano vertical del campo visual en el plano vertical del campo visual simulando el movimiento epicraneal simulando el movimiento epicraneal
humano.humano.
(1 servo) movimiento vertical (1 servo) movimiento vertical de la miradade la mirada
Giro simultGiro simultááneo de ambos ojos en el plano neo de ambos ojos en el plano horizontal del campo visualhorizontal del campo visual
(1 servo) movimiento (1 servo) movimiento horizontal de ojoshorizontal de ojos
Apertura y cierre de los pApertura y cierre de los páárpados de rpados de manera independientemanera independiente
(2 servos) 1 servo para cada (2 servos) 1 servo para cada ppáárpado superiorrpado superior
Movimiento de giro de las cejas de manera Movimiento de giro de las cejas de manera independienteindependiente
(2 servos) 1 servo para cada (2 servos) 1 servo para cada cejaceja
PPáárpados, rpados, cejas y ojoscejas y ojos
FunciFuncióónnServosServosZona de la Zona de la caracara
Total: 13 servo motores
![Page 10: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/10.jpg)
Expresividad y emoción. Expresividad y emoción. Sistema de control de movimientos de AriscoSistema de control de movimientos de Arisco
Hardware
Controladora Motores 1
Controladora Motores 2
Controladora Servos
MCMot MCSer
MCSeg
RReeffeerreenncciiaass ddee sseegguuiimmiieennttoo
MCGes
EExxpprreessiioonneess eemmoocciioonnaalleess
Hardware
M M M M ServosCuello Cara
Control de movimientos
Control de GDL
![Page 11: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/11.jpg)
InteracciInteraccióón, aprendizaje, estados de n, aprendizaje, estados de áánimonimoSorpresa
Felicidad
Tristeza
SomnolenciaLocura
Ira
Aversión
Miedo
Neutro
Robótica socialRobótica social
![Page 12: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/12.jpg)
Sensores visuales, sonoros, proximidad, otrosSensores visuales, sonoros, proximidad, otros
Micrófonos: Localización
sonido Micrófono:
Reconocimiento sonido
Dispositivo Emisor-receptorde códigos IR
Webcam: Localización
Movimiento 180º
Webcam: Detección
Caras y colores
Sensor IR: Medición
de distancias
Mando de controlpor IR
Internet
Sistema sensorial Sistema sensorial
![Page 13: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/13.jpg)
Arquitectura S. ComportamientosArquitectura S. Comportamientos
Planificador
Comportamiento
Modulos actuadores Modulos perceptores Bases de datosreconocimiento
Hardware
Acciones
Acciones
Acciones
Estím
ulos
Acciones
Ordenesexternas
Informaciónexterna
Referencias
Niv
el re
activ
oN
ivel
inte
rmed
ioN
ivel
pla
nific
ació
nPlanes y
secuencias
RedesNeuronalesMotivación
Acciones
Acciones
Arquitectura Arquitectura
![Page 14: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/14.jpg)
Arquitectura funcional. Arquitectura funcional. AquitecturaAquitectura hardwarehardware
CF 1GB
PC104
![Page 15: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/15.jpg)
VisiVisióón perifn periféérica para rica para movimientomovimiento
DetecciDeteccióón de n de carascaras
DetecciDeteccióón de n de color saturado y brillocolor saturado y brillo
Seguimiento por Seguimiento por histograma de colorhistograma de color
TrackingTracking
PercepcciónPercepcción Visual Visual
![Page 16: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/16.jpg)
Detección visual demovimiento, 180ºCámara + espejo convexoMáscara semianillo para determinar ROI
Visión PeriféricaVisión Periférica
![Page 17: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/17.jpg)
BradskiBradski & & DavisDavis (2002)(2002)
IHM(timestamp)
GradienteImagen en grises(*)
),()),(),(( yxcyxmyxpabs σ>−*
Algoritmo detección de movimiento Algoritmo detección de movimiento
![Page 18: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/18.jpg)
DirecciDireccióón movimiento con relacin movimiento con relacióón al cuellon al cuelloExperimentos detección de movimientoExperimentos detección de movimiento
![Page 19: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/19.jpg)
Reconocedor de Viola (2001), Reconocedor de Viola (2001), LienhartLienhart (2002)(2002)Cascada de clasificadoresCascada de clasificadoresBasadas en Basadas en ““caractercaracteríísticassticas”” (funciones Harr)(funciones Harr)Diferencia de sumas (ponderadas) de pDiferencia de sumas (ponderadas) de pííxelesxeles
Visión Central: Detección de caras Visión Central: Detección de caras
![Page 20: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/20.jpg)
Grupos de caracterGrupos de caracteríísticas (distintos tamasticas (distintos tamañños):os):
CCóómputo eficiente, una sola pasadamputo eficiente, una sola pasada
Características Características
![Page 21: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/21.jpg)
FasesFases(1) Entrenamiento con (miles de) im(1) Entrenamiento con (miles de) imáágenes +/genes +/--(2) Aplicaci(2) Aplicacióón de clasificadores en cascadan de clasificadores en cascada
Cada clasificador: rechaza noCada clasificador: rechaza no--objetosobjetos
Cascada de clasificadores Cascada de clasificadores
![Page 22: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/22.jpg)
ExperimentaciExperimentacióónnResultados detección de caras Resultados detección de caras
![Page 23: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/23.jpg)
Espacio HSV Espacio HSV ---- regiones alta S, Vregiones alta S, VPPííxeles de cada uno de los 7 coloresxeles de cada uno de los 7 coloresClusteringClustering meanmean--shiftshift y y cdgcdg zonas mzonas máás extensass extensas
ROJO
NARANJA
AMARILLO
VERDE
CIAN AZUL
VIOLETA
SATMIN Hue
Imagen en formato HSV
Puntos con (H, S) Є intervalos(respectivamente V)
Calcular Centro de Masas Ventana de Búsqueda
Centrar VB en CM. Tamaño VB
¿Converge?Resultado (X,Y)
SI NO
MEANSHIFT
Detección de color saturado y brillo Detección de color saturado y brillo
![Page 24: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/24.jpg)
ExperimentaciExperimentacióónnResultados detección color saturadoResultados detección color saturado
![Page 25: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/25.jpg)
FukanavaFukanava (1990), (1990), BradskiBradski (1998)(1998)Algoritmo Algoritmo camcam--shiftshift: mean: mean--shiftshift con adaptacicon adaptacióónn
Elegir posición y tamaño Ventana de BúsquedaEj: última cara detectada
Región de Cálculo doble y centrada en VB
Calcular histograma de color de región de cálculo
Imagen en formato HSV
Calcular Imagen de Densidad Probabilística: p(pixel) Є patrón
Calcular Centro de Masas de IDP bajo la VB
Centrar VB en CM. Tamaño VB
¿Converge?Resultado (X,Y)
SI NO
MEANSHIFT
Seguimiento por histograma de colorSeguimiento por histograma de color
![Page 26: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/26.jpg)
ExperimentaciExperimentacióónnSeguimiento por histograma de colorSeguimiento por histograma de color
![Page 27: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/27.jpg)
ExperimentaciExperimentacióón:n:Seguimiento Seguimiento
![Page 28: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/28.jpg)
Seguimiento de caras: Seguimiento de caras: LienhartLienhart + histograma de color+ histograma de colorSeguimiento de caras Seguimiento de caras
![Page 29: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/29.jpg)
ExperimentaciExperimentacióónnSeguimiento de color saturado Seguimiento de color saturado
![Page 30: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/30.jpg)
Localización de sonidosLocalización de sonidos
Cálculo del ángulo a partir del DIT
sonidoVdDIT Δ
=
sonidoVsenrdrsenrdr
tDIT2222 ))90(())90cos(())90(())90cos(( αααα −⋅++−⋅−−⋅+−−⋅
=Δ=
Aproximación
D
⎟⎠⎞
⎜⎝⎛ ⋅
=⎟⎠⎞
⎜⎝⎛ Δ≈ −−
DVDITsen
Ddsen sonido11α
FOCO(x,y)
-dMI
+dMI
ΔdD
α
α
![Page 31: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/31.jpg)
Localización de sonidosLocalización de sonidos
MIC.IZQ.
MIC.DER.
Previo Filtro Rectificador uControladorRS232
(Angulo,Niveles máximo)
PC
Implantación:Implantación:
![Page 32: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/32.jpg)
ExperimentaciExperimentacióón:n:Seguimiento sonidoSeguimiento sonido
![Page 33: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/33.jpg)
Aprendizaje en AriscoAprendizaje en AriscoModelos de aprendizaje:Modelos de aprendizaje:
Aprendizaje condicionanteAprendizaje condicionanteAprendizaje operanteAprendizaje operante
Asociación Estímulo - Respuesta
Estímulos:Estímulos:Visuales: Cara, color, brilloVisuales: Cara, color, brilloSonoros: Palmada, RuidoSonoros: Palmada, RuidoVocales: Reconocimiento vozVocales: Reconocimiento voz
Respuesta:Respuesta:Estado emocional: Triste, enfadado, contento, …Estado emocional: Triste, enfadado, contento, …Movimiento: foco de atenciónMovimiento: foco de atenciónVocal: Información Vocal: Información metereológicametereológica, chiste, …, chiste, …
![Page 34: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/34.jpg)
Modelos neuronales dinámicos
Modelo multiplicativo (on-center off surround)
( ) ( )[ ] ( )∑≠
−+−+−=ji
jiiiiii xfxxfIxBAx
dtdx - +
- --
)( jxf
En Arisco f(x)=Dx2 i≠j , f(xi)=0
F2
F1
xj
Si
j
i
jjijji Szx
dtdz
)( −=
Modelo instar
- +
- --
)( jxf
F2
F1
Si
j
i
Aprendizaje competitivo
∑ ⋅=i
ijij zSx
![Page 35: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/35.jpg)
Motivación y aprendizaje. Arquitectura del sistema de comportamientos
F0 Estímulos
F2 Comportamientos
Yj
F1 Estímulos habituados
Ki
Hi Ii
+
+
xi gi
Si
Generador aleatorio
Red de habituación
iiii IaKaS
dtdS
+−=
Filtro de entrada
iiii gSFgE
dtdg
−−= )1(
Habituación
Capa de estímulos
[ ] ∑≠
−+−+−=ji
jiiiiiii DxxDxgSxBAx
dtdx 22)(
∑=
=N
jijjj zxy
1
Capa de comportamientos
[ ] ∑≠
−+−+−=ji
ijjjjjj DyyDyTyBAy
dtdy 22)(
jijiijij xzyz
dtdz
)( −+−= βγAprendizaje
![Page 36: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/36.jpg)
Motivación y aprendizaje. Habituación y filtro de entrada
iiii IaKaS
dtdS
+−=
Filtro de entrada
iiii gSFgE
dtdg
−−= )1(
Habituación
E n t r a d a s
0
0 . 2
0 . 4
0 . 6
0 . 8
1
1 17 33 49 65 81 97 113
129
145
161
177
193
209
225
241
257
273
289
305
321
337
353
369
C o lo r R o jo Im p u ls o s o n o ro C o m a n d o d e vo z
Decaimientopor habituación
Decaimientopor desestimulación
![Page 37: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/37.jpg)
Motivación y aprendizaje. Competición entre neuronas
N iv e l de activ idad de las ne uronas de e stímulo
00.10.20.30.40.50.60.70.8
1 17 33 49 65 81 97 113
129
145
161
177
193
209
225
241
257
273
289
305
321
337
353
369
A c tividad Rojo Ac tividad sonido Ac tividad com ando verbal
Competiciónentre estímulos
[ ] ∑≠
−+−+−=ji
jiiiiiii DxxxfgSxBAx
dtdx 2)()(
![Page 38: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/38.jpg)
Motivación y aprendizaje.Motivación y aprendizaje.Motivación en AriscoMotivación en Arisco
Subsistema comportamientos
Otrasacciones
Drive j
Modificación degananciasde neurotransmisiónKs=f(q), s=[1,...,n]
qj
Carga/Descarganivel motivacional j
Δqj
Drive m
qm
......
Drive 1
q1
Xi
Módulo motivacional
Drive j
qj
Δqj
Drive m
qm
......
Drive 1
q1
Módulo motivacional
Plan
Acción de Carga/DescargaDrive j con Δqj
Planificador
Interacción con el sistema de comportamientos Interacción con el planificador
![Page 39: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/39.jpg)
( ) ( ) ( ) ( ) ⎟⎠
⎞⎜⎝
⎛+∗∗−−⎟⎟
⎠
⎞⎜⎜⎝
⎛+∗∗−= ∑∑
lilliii
jjjii pYCQmYQB
dtdQi ηρ
↑↑∼∼↑↑AburrimientoAburrimiento
↓↓∼∼↑↑Recibir peticiRecibir peticióón de informacin de informacióónn
↓↓↓↓↑↑Recibir insultosRecibir insultosAcercamiento de cosas a la caraAcercamiento de cosas a la cara
↓↓↑↑↑↑Recibir piroposRecibir piroposRecibir peticiRecibir peticióón de chistesn de chistesRecibir a saludosRecibir a saludos
↑↑∼∼↓↓DormirDormir
Necesidad de Necesidad de InteracInterac. Social. SocialHumorHumorCansancioCansancio
( ) ( )( ) ( ) ( )( ) ⎟⎠
⎞⎜⎝
⎛ +−∗−−⎟⎟⎠
⎞⎜⎜⎝
⎛+−∗−= ∑∑
lilllii
jijjjii
i rCQEkpQBkDdtdk μγ **
Nivel motivacional
Ganancia de sensibilidad a estímulo
Ejemplo:
Motivación y aprendizaje.Motivación y aprendizaje.“Drives”“Drives”
![Page 40: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/40.jpg)
Resultados.Resultados.AprendizajeAprendizaje
ASUSTADO
ASUSTADO
Palmada
TarjetaRoja
TarjetaRoja
ENC
+EC
RNC
RCEC
Aprendizaje condicionante de primer orden
![Page 41: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/41.jpg)
Resultados.Resultados.AprendizajeAprendizaje
E s t í m u l o d e e n t r a d a
00 . 10 . 20 . 30 . 40 . 50 . 60 . 70 . 80 . 9
11 49 97 145
193
241
289
337
385
433
481
529
577
625
673
721
769
817
865
913
961
1009
1057
1105
t ( S e g x 1 0 )
Valo
r
C o lo r R o jo P a lm a d a
C a p a d e c o m p o r t a m ie n t o s
0
0 .1
0 .2
0 .3
0 .4
0 .5
0 .6
1 50 99 148
197
246
295
344
393
442
491
540
589
638
687
736
785
834
883
932
981
1030
1079
t ( S e g . x 1 0 )
Y j
A s u s ta d o E n fa d a d o A le g r e T r is te D o r m id o
AprendizajeAprendizaje condicionantecondicionante de primer ordende primer orden
![Page 42: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/42.jpg)
Resultados.Resultados.AprendizajeAprendizaje
Aprendizaje condicionante de segundo orden
ASUSTADO
ASUSTADO
TarjetaRoja
ComandoVerbal
ComandoVerbal
EC1
+EC2
EC2
![Page 43: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/43.jpg)
Resultados.Resultados.AprendizajeAprendizaje
E s tím u lo s d e e n tr a d a
00.10.20.30.40.50.60.70.80.9
1
1 75 149
223
297
371
445
519
593
667
741
815
889
963
1037
1111
1185
1259
1333
1407
1481
1555
1629
1703
t (S e g . x 10)
S ig i
C o lo r R o jo P a lm ada C om ando de voz
A c tiv id a d c a p a d e c o m p o rta m ie n to s
00 .0 5
0 .10 .1 5
0 .20 .2 5
0 .30 .3 5
0 .40 .4 5
1 80 159
238
317
396
475
554
633
712
791
870
949
1028
1107
1186
1265
1344
1423
1502
1581
1660
t (S e g . x 1 0 )
Yi
A sus ta d o E nfa d a d o A le g re Tris te D o rm id o
Aprendizaje condicionante de segundo ordenAprendizaje condicionante de segundo orden
![Page 44: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/44.jpg)
Triste
Alegre
Dormido Enfadado
Asustado
Comando:"Triste"
Comando:"Alegre"
Comando:"Dormido"
Comando:"Enfadado"
Comando:"Asustado"
Comando:"Enfadado"
Comando:"Triste"
. . .
Resultados.Resultados.AprendizajeAprendizaje
Aprendizaje por condicionamiento operante
![Page 45: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/45.jpg)
Resultados. Resultados. AprendizajeAprendizaje
Entradas capa de estímulos(Fase de aprendizaje)
00.10.20.30.40.50.60.70.80.9
1
1 24 47 70 93 116
139
162
185
208
231
254
277
300
323
346
369
392
415
438
461
484
507
t (Seg. x 10)
S ig i
Asustado Triste Enfadado Contento Dormido
Activ idad capa de com portam ientos (Fase de aprendizaje)
00.020.040.060.08
0.10.120.140.16
1 25 49 73 97 121
145
169
193
217
241
265
289
313
337
361
385
409
433
457
481
505
t (Se g. x 10)
Y i
Asustado Enfadado Alegre Tris te Dorm ido
FASE DE APRENDIZAJE
E ntradas capa de es tím u los (Fase de test)
00.10.20.30.40.50.60.70.80.9
1
1 12 23 34 45 56 67 78 89 100
111
122
133
144
155
166
177
188
199
210
221
232
243
t (Se g. x 10)
S ig i
Asus tado Tris te Enfadado Alegre D orm ido
Activ idad capa de com portam ientos (Fase de tes t)
0
0.005
0.01
0.015
0.02
0.025
1 13 25 37 49 61 73 85 97 109
121
133
145
157
169
181
193
205
217
229
241
t (Se g. x 10)
Y i
Asus tado Enfadado Alegre Tris te Dorm ido
TRAS EL APRENDIZAJE INICIAL
Aprendizaje por condicionamiento operante.Aprendizaje por condicionamiento operante.
![Page 46: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/46.jpg)
Resultados. Resultados. MotivaciónMotivación
Humor
Sma. Comportamientos
Insulto ¿Enfadarse?
![Page 47: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/47.jpg)
PresentaciónPresentación
![Page 48: Experiencias en robótica social. Interacción, motivación y ...webdiis.unizar.es/~neira/docs/EZalama-CEDI2007.pdf · Experimentos detección de movimiento Reconocedor de Viola (2001),](https://reader031.vdocumento.com/reader031/viewer/2022021908/5bcb7ad909d3f2d30a8c193a/html5/thumbnails/48.jpg)
ReferenciasReferencias• S. Domínguez. Contribución a la robótica social:“Arisco”, un robot con capacidContribución a la robótica social:“Arisco”, un robot con capacidad de interacción ad de interacción y aprendizaje. Tesis Doctoral. Departamento de Ingeniería de Sisy aprendizaje. Tesis Doctoral. Departamento de Ingeniería de Sistemas y Automática. temas y Automática. Universidad de Valladolid. 2007.Universidad de Valladolid. 2007.
• S.Domínguez, E. Zalama, J. G. García-Bermejo. “Arisco” Un Robot Social con Capacidad de Interaccion, Motivacion y Aprendizaje. Enviado a 'RIAI: Revista Iberoamericana de Automática e Informática Industrial'. 2007.
• S. Domínguez, E. Zalama, J. G. García-Bermejo, Jaime Pulido. Robot Learning in a Social Robot. Lecture notes in Artificial Intelligence. ISBN 3-540-38608-4. Vol 4095. pp:691-702. Springer Ed., 2006.
• S. Dominguez, E. Zalama, J.G. García-Bermejo, Jaime Pulido. “Arisco” un Robot Social con capacidad de Aprendizaje. Proceedings de XXVII Jornadas de Automática. (ISBN: 84-689-9417-0) pp: 570-576. Almeria 2006.
• S. Domínguez. E. Zalama, J. G. García-Bermejo. Arisco. Un Robot Social con Vocación de Recepcionista. Proceedings de VII Workshop de Agentes Físicos. ISBN: 84-689-8115-X. Las Palmas de Gran Canaria. 27-28 de Abril 2006.
• S. Tapias, S. Domínguez Quijada, E. Zalama Casanova, J. Gómez García-Bermejo. Desarrollo de un Sistema de Localizacion de Fuentes Sonoras Basado en Microcontroladores. Proceedings de XXVI Jornadas de Automática. ISBN: 84-689-0730-8. Alicante 2005.
• S. Domínguez Quijada, E. Zalama Casanova, J. Gómez García Bermejo. Desarrollo de una Cabeza Robótica con Capacidad de Seguimiento Visual e Identificacion de Personas. Proceedingsde XXVI Jornadas de Automática. ISBN: 84-689-0730-8. Alicante 2005.
• S. Dominguez, E. Zalama, J. Gómez García Bermejo, J.R. Perán A mobile robot with enhanced gestual abilities. . 9th IEEE International Conference on Mechatronics and Machine Vision in Practice (M2VIP'2002). Proceedings of 9th IEEE International Conference on Mechatronics and Machine Vision in Practice (M2VIP'2002). ISBN 962-442-228-1. Chiang Mai (Tailandia). 2002.
• S. Domínguez, E. Zalama, J. Gómez García Bermejo, J.R. Perán. Development of an Expressive Social Robot. Mechatronics and Machine Vision 2002: Current Practice, pp. 341-348, ISBN 0-86380-278-8. Research Studies Press Ltd, Baldock, Hertfordshire, England. 2002.