servicios de recomendación contextual para instituciones de educación superior mediante realidad...

Servicios de recomendación contextual para Instituciones de Educación Superior mediante realidad aumentada utilizando Smartphones y ontologías organizacionales

Ing. Rodrigo Alejandro Morán Leal

Director: Dr. Juan Gabriel González Serna

Codirectora: Dra. Azucena Montes Rendón CARS

Contenido

Introducción

Marco Teórico

Estado del Arte

Metodología de Solución

Pruebas y Resultados

Conclusiones

2

Contenido

Introducción

Marco Teórico

Estado del Arte



Conclusiones

3

Introducción En los sistemas de recomendación sensibles al contexto

(SRSC) se analizan y toman en consideración diferentes factores contextuales para inferir el contexto en que se encuentra el usuario (situación) y adaptar las recomendación a esas circunstancias.

Serminario II

4

Introducción En el laboratorio de Sistemas Distribuidos del

CENIDET se ha desarrollado un Sistema de Recomendación Sensible al Contexto (SRSC) denominado T-Guía.

Con esta SRSC, se le podía proporcionar al usuario información de contexto enriquecido a través de su dispositivo móvil.

5 Estacionam

iento 1

Edificio de Computación

Edificio de Electrónica

Edificio Administrativo

Estacionamiento 2

Cafetería

Introducción Sistema T-Guía

6

T-GuíaServidor

Gestor de conocimiento

Módulo de pre-filtrado de ítems

Módulo de extracción de items

Generador recomendaciones adaptativo

Módulo para actualizar ítems pre-filtrados

Cliente T-Guía

Bitácora de actividad

Aplicaciones WebSistema de poblado de ontologías

Sistema generador de mapas SVG

Módulo para el monitoreo de acciones y evaluación

Módulo gestor de mapas SVG

Servicios de Ubicación

Repositorio de recursos ontológicos

Repositorio de recursos no ontológicos

Base de hechos semántica

Módulo de ubicación WiFi/BT

Módulo de ubicación RFID/NFC

Módulo de ubicación QRCode

Mapeo de espectro inalámbrico

Repositorio de Mapas SVG

Repositorio de Recomendaciones

Base de Conocimiento Generador de argumentación adaptativo

Servicios de Guiado

Módulo de gestión de mapas SVG

Módulo de gestión RA

Sistema de poblado automático

Recomendaciones

Módulo para gestión de Realidad Aumentada

Módulo de entrenamiento para servicio de ubicación

Módulo para servicio de ubicación Wifi/BT/RFID/QRC

Módulo gestor de recomendaciones

Mapas SVG

Módulo gestor de argumentación

Argumentación

Sistema de entrenamiento RA

Sistema de entrenamiento servicio de ubicación wif/BT/RFID/QRCode

Base de hechos Relacional

cenidet

Edificio Computación- Aula 1 (Cañón, Smartboard, pinzarrón)Actividades:-7-8 Clase-8-10 Libre-10-12 Clase-12-14 Seminario-14-18 Libre

Mapa Computación

Ver Planta alta>>

Introducción 7

Empresas Academia IES/CI

Dependencia de Gobierno

Sistema Recomendador

Capacidades Tecnológicas

Capital Intelectual

Infraestructura Tecnológica

Serv

icio

s

Productos

Mapas SVG POIs

Organización

Repositorio de USUARIOS

Usuarios

Usuario

Introducción Para innovar la interacción con la información

contextual de la organización en esta tesis se diseñaron e implementaron componentes tecnológicos de realidad aumentada para complementar T-Guía.

8

Interfaz convencional

Objetivo

El objetivo de esta tesis es el análisis, diseño e implementación de componentes tecnológicos para sistemas de recomendación sensibles al contexto aplicados a instituciones de educación superior, que utilicen tecnologías de realidad aumentada para mostrar información de personas, lugares y objetos de conocimiento mediante dispositivos multisensoriales.

9

Descripción del Problema La técnica de interacción multimodal que explota técnicas de realidad

aumentada implica insertar información contextual del entorno real a través de objetos virtuales sobre las imágenes de video en tiempo real.

Para la inserción de objetos virtuales en el video en tiempo real se requiere que el dispositivo utilice sus capacidades sensoriales para determinar la orientación del campo electromagnético y la orientación hacia donde está apuntando la cámara para poder visualizar los ítems seleccionados por el SRSC que se encuentran contextualmente .

10

Contenido

Introducción

Marco Teórico

Estado del Arte



Conclusiones

11

Computación ubicua

La computación ubicua se encarga del diseño de ambientes inteligentes que integran computadoras o dispositivos que sean capaces de registrar los cambios o actividades que se efectúan en el entorno [Weiser 1993]

12

Tecnologías sensoriales en los Smartphones Un sensor es un dispositivo capaz de transformar los datos recibidos del

entorno y permite que algún dispositivo móvil pueda interpretarlos [Akyildiz 2002].

Los sensores que ayudan al dispositivo a conocer su orientación son los siguientes: Magnetómetro

Giroscopio

Acelerómetro

13

Magnetómetro

Es el tipo de sensor que permite medir la intensidad y dirección de alguna señal magnética.

Se utiliza para saber hacia donde quedan los puntos cardinales, utilizando el norte magnético de la tierra

14

Giroscopio

El giroscopio registra el posicionamiento de la orientación con respecto a los 3 ejes del dispositivo

15

Acelerómetro

El acelerómetro se encarga de medir las aceleraciones y las vibraciones del dispositivo en determinada dirección

Algunos dispositivos implementan acelerómetros de 3 ejes para conocer la orientación

16

Realidad aumentada

Es un área de investigación que se procura mejorar la interacción con el entorno real mediante la superposición de información virtual [Schmalstieg 2011]

Se enfoca en 3 principales características Inserción de objetos virtuales en entornos reales

Identificación de elementos en el entorno

Interacción en tiempo real

17

Realidad aumentada

Los elementos del entorno pueden ser identificados mediante diferentes tipos de técnicas Marcadores visuales

Reconocimiento visual

Identificación sensorial

18

Marcadores visuales

Son imágenes que contienen un código preestablecido Ayudan a controlar los patrones visuales que serán identificados

19

Reconocimiento visual

Se identifican formas y puntos clave de los objetos en tercera dimensión

Requieren algoritmos de reconocimiento visual de objetos

20

Identificación sensorial

Se emplean los sensores de orientación para identificar los elementos del entorno

21

Contenido

Introducción

Marco Teórico

Estado del Arte



Conclusiones

22

Estado del arte Se analizaron sistemas y herramientas que tuvieran un objetivo similar a

este proyecto de tesis

Se evaluaron las técnicas utilizadas para identificar los diversos elementos en el entorno

23

Estado del arte 24

Entorno Captura Aumentación Dispositivo Usuario

[Park 2010] Museo de patrimonio cultural, suele utilizar el GPS para la localización

Reconocimiento visual y por orientación

Inserción personas y objetos virtuales en los objetos contextualizados del entorno

· Cámara · GPS · Acelerómetro · Giroscopio · Magnetómetro

inserción de objetos virtuales para representar información de las exhibiciones

[Zöllner 2009] museos de arqueología y patrimonio cultural

Reconocimiento visual de pinturas en el entorno

inserción de lugares virtuales, cuadros con mensajes de texto

· Cámara · Acelerómetro · Giroscopio

El usuario podía obtener información y visualizar lugares virtuales desde distintas perspectivas

[Turk 2010] institución de educación superior

Identificación sensorial por orientación y reconocimiento visual de objetos en 3D

Remarca la figura de los objetos detectados

· Cámara · Acelerómetro · Giroscopio · Magnetómetro

Permitió desarrollar una metodología para insertar objetos de manera precisa

[Ajanki 2011] institución de educación superior

reconocimiento facial, marcadores visuales, reconocimiento de voz

Recuadros transparentes con texto informativo

· Cámara · Micrófono

Proporcionaba al usuario información del entorno a partir su interacción y el contexto en que se encuentre

25

Entorno Captura Aumentación Dispositivo Usuario

[Zhu 2008] Centro comercial, se implementó localización por marcadores visuales

reconocimiento visual de los productos

elabora un acercamiento del producto y muestra información y recomendaciones de otros productos similares

· Cámara Se tiene un registro del historial del usuario para elaborar las recomendaciones de los productos

[Bellón 2011] Considera la implementación en cualquier entorno, incluye servicios de localización Wi-Fi

Reconocimiento sensorial por orientación de los objetos

capaz de insertar objetos en 2D y 3D

· Magnetómetro · Acelerómetro · Giroscopio

permite insertar objetos virtuales especificando la orientación de estos

[Woo 2009] diseñado para cualquier entorno en interiores

Reconocimiento visual de los objetos

Genera un entorno virtual con anotaciones de acuerdo a los modelos de reconocimiento de objetos

· Cámara Permite insertar objetos en 2D y 3D sobre los objetos del entorno

[Woo 2010] Orientado para museos, implementa un servicio de localización por marcadores visuales

Reconocimiento visual de objetos

se basa en el Framework de [Woo 2009], integra el reconocimiento por localización y orientación del dispositivo

· Acelerómetro · Giroscopio · Cámara

Le permite insertar a los usuarios anotaciones sobre las exhibiciones del museo

Proyecto desarrollado

institución de educación superior

Reconocimiento por orientación

Insertará iconos representativos e información de los objetos

· Magnetómetro · Acelerómetro · Giroscopio

proporciona recomendaciones del entorno de acuerdo al contexto y al perfil del usuario

Estado del arte

Muchos de estos proyectos implementaron varias tecnologías para la identificación de POI’s

A pesar que el proyecto desarrollado esta orientado a IES puede ser adaptado fácilmente a cualquier otra organización

26

Contenido

Introducción

Marco Teórico

Estado del Arte



Conclusiones

27

Metodología de solución 28

Estacionamiento 1

Edificio de Computación

Edificio de Electrónica

Edificio Administrativo

Estacionamiento 2

Cafetería

Repositorio de ontologías organizacionales

Extrae la información necesaria de la ontología

para elaborar recomendaciones

Genera un archivo XML con recomendaciones Archivo XML

Recibe el archivo de recomendaciones

generado

Obtiene la ubicación del

usuario

Envía la información

de ubicación

Presenta información mediante realidad

aumentada

Metodología de solución

El usuario descubre elementos que pueden ser de su interés enfocando la cámara del dispositivo el cual despliega información contextual de la IES.

29

Arriba

Abajo

9

10 Norte

Sur

Este

Oeste

Arriba


Este método de identificación de elementos que rodean a un usuario cuando está dentro de una IES depende de su ubicación.

El modelo desarrollado propone 10 (8+2) orientaciones, ocho con respecto a los puntos cardinales, y dos orientaciones adicionales (arriba y abajo).

30

N

S

E O

NE

SE SO

NO

1 2

3

4 5

6

7

8

N

S

EO

NE

SESO

NO

12

3

45

6

7

8

N

S

EO

NE

SESO

NO

12

3

45

6

7

8N

S

EO

NE

SESO

NO

12

3

45

6

7

8

Arriba

Abajo

9

10 Plano de un edificio


Las orientaciones pueden apuntar a varios puntos de interés y estos pueden ser referenciados desde las orientaciones de otros nodos en donde puede estar el usuario.

Serminario II

31

POI1

POI2

POI n

.

.

.

N

S

E O

NE

SE SO

NO N

S

E O

NE

SE SO

NO

Ubicación 1 Ubicación 3 Ubicación 2


Para poder capturar la información contextual de una IES se desarrollo un sistema de información semántico.

32

N

S

EO

NE

SESO

NO

12

3

45

6

7

8

Modificaciones a la ontología

Para poder modelar los aspectos anteriores se decidió implementar la ontología ONALIN [Dudas 2009]

Esta ontología permite modelar aspectos de orientación, localización del usuario, puntos de interés y rutas de navegación

33

Modificaciones a la ontología

La ontología ONALIN se integro a la red de ontologías de la siguiente manera

34

Contenido

Introducción

Marco Teórico

Estado del Arte



Conclusiones

35

Pruebas Se elaboraron pruebas mas completas con ayuda de los archivos de

prueba desarrollados en [González 2012]

El archivo JSON instanciará la infraestructura y referenciará a los POIs en el archivo XML

36

Generación de objetos virtuales

Elaboración de pruebas Las recomendaciones están orientadas a 3 tipos de usuarios Se consideraron 9 archivos para cada tipo de usuario, 27 en total Para cada uno de estos archivos se generara un archivo JSON de la planta

alta y la planta baja Para cada uno de los niveles se probará la aplicación en 4 ubicaciones de

manera aleatoria

En total se hicieron 108 pruebas en cada nivel, dando 216 pruebas en total

37

Pruebas

La aplicación probó las características que ayudaron a comprobar los requerimientos del proyecto Inserción de los objetos virtuales en el entorno Lectura de la información de la ontología Acceso a las recomendaciones creadas en [González

2012] Características excluidas

Precisión del sistema Información recibida en las recomendaciones

38

Escenario de pruebas 39

9

3 8 2

7

1

6 5 4

2 3 7

1

5

4

6

Escenario de pruebas 40

10 11

12 13

14 15

16

17

11

12

13 14 15 16

17 18 19 20 21 22

23

25 24

27 26

29 28

34

33

30

31 32

Resultados 41

Resultados 42

Resultados

En la primera ejecución de las pruebas el 98.14% resultaron exitosas

Los errores principalmente se debieron a la sintaxis de los archivos JSON y XML

Una vez corregidos esos errores se volvieron a ejecutar las pruebas, obteniendo un 100% de éxito

43

Contenido

Introducción

Marco Teórico

Estado del Arte



Conclusiones

44

Conclusiones

Pudo desarrollarse una aplicación capaz de presentar las recomendaciones del entorno a través de tecnologías de realidad aumentada

Se implementaron algoritmos que permiten aprovechar los sensores de orientación para descubrir los diferentes elementos en el entorno

46

Aportaciones se publico en el CIINDET el articulo con el título “Análisis de Técnicas para

el Reconocimiento de Objetos en Aplicaciones de Realidad Aumentada” Se elaboró un modelo de identificación por orientaciones, capaz de

reconocer POI’s que estén fijos o que se encuentren temporalmente fijos Se amplio la red de ontologías, incluyendo un segmento de la ontología

ONALIN para modelar orientaciones y conexiones entre pasillos, áreas funcionales y plantas de edificios

47

Trabajos futuros

Esta aplicación puede integrarse al sistema junto con las aplicaciones desarrolladas anteriormente

Puede aprovecharse la implementación de la ontología ONALIN para implementar un sistema de navegación, que utilice los estándares definidos para proporcionarle rutas de navegación a usuarios con discapacidades motrices

Otro proyecto que se contempla es la generación semiautomática de los mapas SVG a partir de la instanciación de las ontologías de infraestructura y ONALIN

48

Referencias 49

[Ajanki 2011] An Augmented Reality Interface to Contextual Information, Antti Ajanki, Mark Billinghurst, Hannes Gamper, Toni Järvenpää, Melih Kandemir, Samuel Kaski, Markus Koskela, Mikko Kurimo, Jorma Laaksonen, Kai Puolamäki, Teemu Ruokolainen, Timo Tossavainen, Special Issue on Augmented Reality, Volumen 15, 2011

[Akyildiz 2002] A survey on sensor networks, Ian F. Akyildiz, Weilian Su, Yogesh Sankarasubramaniam, and Erdal Cayirci, IEEE communications magazine, Agosto del 2002

[Bellón 2011] Look!: Framework para Aplicaciones de Realidad Aumentada en Android, Sergio Bellón Alcarazo, Jorge Creixell Rojo, Angel Serrano Laguna, Jorge J. Gómez Sanz, Universidad Complutense de Madrid, Facultad de Informática, 2011

[Dudas 2009] ONALIN: Ontology and Algorithm for Indoor Routing, Patrick M. Dudas, Mahsa Ghafourian, Tenth International Conference on Mobile Data Management: Systems, Services and Middleware, 2009

[Estrada 2010] Generación y explotación de mapas semánticos de instalaciones organizacionales mediante el uso de ontologías, Ricardo Estrada Peláez, CENIDET, México 2010

Referencias 50

[González 2012] Servicio de recomendación contextual mediante ontologías multidimensionales para dispositivos Smartphone, Nimrod González Franco, CENIDET, México 2012

[Park 2010] A Tracking Framework for Augmented Reality Tours on Cultural Heritage Sites, Byung-Kuk Seo, Kangsoo Kim, Jungsik Park, Jong-II Park, Proceedings of the 9th ACM SIGGRAPH Conference on Virtual-Reality Continuum and its Applications in Industry, Estados unidos 2010

[Turk 2010] Location-based augmented reality on mobile phones, Rémi Paucher, Matthew Turk, IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2010

[Woo 2009] CAMAR Tag Framework: Context-Aware Mobile Augmented Reality Tag Framework for Dual-reality Linkage, Hyejin Kim, Wonwoo Lee, Woontack Woo, International Symposium on Ubiquitous Virtual Reality, 2009.

Referencias

[Woo 2010] Unified Context-aware Augmented Reality Application Framework for User-Driven Tour Guides, Choonsung Shin, Hyejin Kim, Changgu Kang, Youngkyoon Jang, Ahyoung Choi, Woontack Woo, International Symposium on Ubiquitous Virtual Reality, 2010.

[Yris 2012] API Para servicios de localización basada en tecnología RFID, QRCode, WIFI y Bluetooth, Miguel Ángel Yris Pastor, CENIDET, México 2010

[Zhu 2008] Personalized In-store E-Commerce with the PromoPad: an Augmented Reality Shopping Assistant, Wei Zhu, Charles B. Owen, Hairong Li, Joo-Hyun Lee, Electronic Journal for E-commerce Tools, 2008

[Zöllner 2009] An Augmented Reality Presentation System for Remote Cultural Heritage Sites, M. Zöllner, J. Keil, H. Wüst, D. Pletinckx, The 10th International Symposium on Virtual Reality, Archaeology and Cultural Heritage VAST, 2009

51

¡Gracias! 52

servicios de recomendación contextual para instituciones de educación superior mediante realidad...

Technology