aplicaciÓn de realidad virtual orientada a la...
TRANSCRIPT
1
APLICACIÓN DE REALIDAD VIRTUAL ORIENTADA A LA
POBLACIÓN SORDA PARA EL USO DE EQUIPOS DEL
LABORATORIO DE ELECTRÓNICA DE LA UDFT
JUAN JOSÉ CHAPARRO VARGAS
UNIVERSIDAD DISTRITAL FRANCISCO JOSÉ DE CALDAS
FACULTAD TECNOLÓGICA
TECNOLOGÍA EN ELECTRÓNICA
FEBRERO 2019.
2
APLICACIÓN DE REALIDAD VIRTUAL ORIENTADA A LA
POBLACIÓN SORDA PARA EL USO DE EQUIPOS DEL
LABORATORIO DE ELECTRÓNICA DE LA UDFT
JUAN JOSÉ CHAPARRO VARGAS
Trabajo de grado como requisito para optar título de:
Tecnólogo en electrónica
Directora:
Ing. Esperanza Camargo Casallas PhD
UNIVERSIDAD DISTRITAL FRANCISCO JOSÉ DE CALDAS
FACULTAD TECNOLÓGÍCA
TECNOLOGÍA EN ELECTRÓNICA
FEBRERO 2019.
3
NOTA DE ACEPTACIÓN
_____________________________________
_____________________________________
_____________________________________
_____________________________________
_____________________________________
_____________________________________
_____________________________________
_____________________________________
_____________________________________
_____________________________________
_____________________________________
____________________________
Evaluador 1
____________________________
Evaluador 2
4
Agradecimientos
En primera instancia agradezco a mi familia por el apoyo brindado, la comprensión
y el cariño, a Dios por no dejar que me rindiera y seguir cada día, a mis colegas
por cada momento en el que necesité ayuda y estuvieron para apoyarme y
colaborar en lo que pudieron, la profesora e ingeniera Esperanza Camargo por su
comprensión, consejos, apoyo y por siempre estar pendiente, al proyecto de
investigación ACACIA UD-UE por darme la oportunidad de trabajar a su lado y su
acompañamiento en todo el proceso llevado acabo, a la interprete Ruth Esperanza
Pinzón Pérez por el trabajo realizado en los videos de traducción al lenguaje de
señas al igual que la señora Erika por su asistencia en esta parte del proyecto. A
demás ingenieros y docentes de la Universidad Distrital Francisco José de Caldas,
Facultad Tecnológica tanto del proyecto curricular de Tecnología en Electrónica
como de Tecnología en Sistematización de datos por aquellos momentos en los
que tenía dudas pertinentes al proyecto y muy cordialmente me ayudaron a
esclarecerlas y ofrecer soluciones.
5
RESUMEN: El proyecto consiste en el desarrollo de una aplicación que sirve
como herramienta para la comprensión y buena realización de las prácticas
llevadas a cabo por estudiantes de Tecnología en Electrónica e Ingeniería en
Control y Telecomunicaciones en los laboratorios de electrónica básica de la
Universidad Distrital Francisco José de Caldas, Facultad Tecnológica, más
específicamente hablando, la población con déficit auditivo. El estudiante por
medio de la cámara de su dispositivo móvil (Tablet o celular) enfoca un código QR
el cual está adherido a un costado del equipo (osciloscopio o generador de
ondas), usando la aplicación que se encargará de escanear la imagen y proyectar
al usuario un modelo 3D que corresponde bien sea a un osciloscopio o un
generador de ondas dependiendo del código QR enfocado y la opción
seleccionada previamente. Luego, al oprimir el modelo 3D en cualquier lado se
reproduce un video de bienvenida y al finalizar se visualiza una interfaz 2D
cargada con videos explicativos de las funciones de cada botón en el equipo.
Adicionalmente cuenta con un módulo para añadir nuevos manuales para otros
equipos al igual que una sección de precauciones. La aplicación se llama “Real
electronic lab”; está diseñada con el lenguaje de programación JavaScript usando
el software Android Studio, Unity 2017.3.1f1, SketchUp 2017 y Vuforia. Como se
mencionó, la población a la que vá dirigida esta aplicación son los estudiantes con
discapacidad auditiva, a lo cual se adapta el lenguaje de señas, además de un
sistema de subtitulado, sin embargo, la aplicación puede ser empleada por
cualquier otro estudiante, pues el proyecto se presenta con el objetivo de
educación con mayor inclusión.
Palabras clave: Realidad virtual, educación inclusiva, discapacidad auditiva,
lenguaje de señas.
6
ABSTRACT: The project consisted in the development of an application which
works as a tool for the understanding and proper execution of the practices carried
out by the students of Technology in Electronic and Engineering in Control and
Telecommunications on the laboratories of electronic basic at the District University
Francisco José de Caldas, Technology Faculty, specifically, the population with
hearing disability. The user, in this case, the student, through the camera of their
mobile device (Tablet or smartphone) scan a QR code, which is adhered to the
equipment (oscilloscope or a wave generator), using the application which will scan
the image and then lead the student to a 3D interface which resemble either an
oscilloscope or a wave generator depending of the QR code and, then can interact
with it, creating an experience as real as possible. The application name is “Real
electronic lab”; it is designed in JavaScript using the software Android Studio, Unity
2017.3.1f1, SketchUp 2017 and Vuforia. As said, the target group is the student
community with hearing impairment, using a system of sign language, as well as
closed caption. The application, however, can be used by any student, as the goal
of this project is inclusion.
Keywords: Virtual reality, inclusive education, hearing impairment, sign language.
7
Contenido RESUMEN: ....................................................................................................................................... 5
ABSTRACT: ..................................................................................................................................... 6
1 INTRODUCCIÓN .................................................................................................................... 10
2 PROBLEMÁTICA ................................................................................................................... 11
2.1 OBJETIVOS .................................................................................................................... 12
2.1.1 GENERAL ................................................................................................................ 12
2.1.2 ESPECÍFICOS ........................................................................................................ 12
3 ESTADO DEL ARTE ............................................................................................................. 12
3.1 ARLAB: LABORATORIO CON REALIDAD AUMENTADA .................................. 13
3.2 IMPLEMENTACIÓN DE UN OSCILOSCOPIO EN UNA PLATAFORMA DE
INSTRUMENTACIÓN VIRTUAL RECONFIGURABLE ....................................................... 13
3.3 REALIDAD AUMENTADA Y EDUCACIÓN: ANÁLISIS DE EXPERIENCIAS
PRÁCTICAS ............................................................................................................................... 15
3.4 CÓDIGOS QR Y REALIDAD AUMENTADA EN EL AULA DE MATEMÁTICAS
19
3.5 REALIDAD AUMENTADA: UNA TECNOLOGÍA EN ESPERA DE USUARIOS 22
4 MARCO TEÓRICO ................................................................................................................ 22
4.1 MARCO CONCEPTUAL ............................................................................................... 23
4.1.1 DISCAPACIDAD AUDITIVA O HIPOACUSIA ................................................... 23
4.1.2 EDUCACION INCLUSIVA ..................................................................................... 24
4.1.3 SISTEMA DE SUBTITULADO .............................................................................. 25
4.1.4 LENGUAJE DE SEÑAS ........................................................................................ 26
4.1.5 REALIDAD VIRTUAL ............................................................................................. 27
4.2 ESPECIFICACIONES TÉCNICAS .............................................................................. 28
4.2.1 UNITY3D .................................................................................................................. 28
4.2.2 VUFORIA ................................................................................................................. 30
4.2.3 SKETCHUP ............................................................................................................. 32
4.2.4 VISUAL STUDIO 2017 .......................................................................................... 32
8
4.2.5 ANDROID STUDIO ................................................................................................ 33
5 METODOLOGÍA ..................................................................................................................... 34
5.1 DIAGRAMA DE BLOQUES ......................................................................................... 34
5.2 DIAGRAMA DE FLUJO DEL PROYECTO ............................................................... 35
5.3 MARCADORES 2D........................................................................................................ 36
5.4 DESARROLLO ............................................................................................................... 36
6 PRUEBAS Y RESULTADOS ............................................................................................... 37
7 RECOMENDACIONES Y SUGERENCIAS ....................................................................... 47
7.1 RECOMENDACIONES Y SUGERENCIAS PARA EL USUARIO ......................... 47
7.2 RECOMENDACIONES Y SUGERENCIAS TÉCNICAS .......................................... 47
8 CONCLUSIONES ................................................................................................................... 48
9 REFERENCIAS ...................................................................................................................... 49
9
Lista de figuras
Imagen 1 Ilustración alusiva a la discapacidad auditiva o hipoacusia ................. 24
Imagen 2 Ilustración alusiva a la educación inclusiva .......................................... 25
Imagen 3 Abecedario del lenguaje de señas ....................................................... 26
Imagen 4 Expresiones en lenguaje de señas ....................................................... 27
Imagen 5 Expresiones en lenguaje de señas ....................................................... 27
Imagen 6 Logo del software Unity ........................................................................ 29
Imagen 7 Logo del software SketchUp ................................................................. 32
Imagen 8 Logo del software Android Studio ......................................................... 33
Imagen 9 Marcador, código QR del generador de ondas ..................................... 36
Imagen 10 Marcador, código QR del osciloscopio ................................................ 36
Imagen 11 Osciloscopio Rigol DS1102E .............................................................. 38
Imagen 12 Generador de ondas SCIENTIFIC SM5030-5 ..................................... 38
Imagen 13 Diseño del modelo 3D del generador de ondas basado en el equipo
SCIENTIFIC SM5030-5 ......................................................................................... 38
Imagen 14 Diseño del modelo 3D del osciloscopio basado en el equipo DS1102E
.............................................................................................................................. 39
Imagen 15 Diseño de escenas en Unity 2017.3.1f1 ............................................ 39
Imagen 16 Interfaz de usuario en realidad virtual del osciloscopio ....................... 39
Imagen 17 Interfaz de usuario en realidad virtual del generador de ondas .......... 40
Imagen 18 Interfaz fija 2D del osciloscopio........................................................... 40
Imagen 19 Interfaz fija 2D del generador de ondas .............................................. 40
Imagen 20 Página 1 de 3 de diálogos de los videos ............................................. 41
Imagen 21 Página 2 de 3 de diálogos de los videos ............................................. 42
Imagen 22 Página 3 de 3 de diálogos de los videos ............................................. 43
Imagen 23 Videos realizados en sala de prácticas de la UDFT............................ 44
10
Imagen 24 Archivos .SRT ..................................................................................... 44
Imagen 25 Ejemplo de video resultado ................................................................ 45
Imagen 26 Recuadro para insertar licencia del SDK ........................................... 46
Lista de diagramas
Diagrama 1 Diagrama de bloques de los datos del SDK Vuforia. ........................ 30
Diagrama 2 Diagrama de bloques del proyecto ................................................... 34
Diagrama 3 Diagrama de flujo de la aplicación .................................................... 35
1 INTRODUCCIÓN
En el proceso de aprendizaje se hace fundamental la comunicación entre el
educador y el educando, pues éste se basa en la transferencia de información,
conceptos, prácticas y demás para que de esta manera, el estudiante adquiera de
forma exitosa el conocimiento que se le quiere impartir. Siendo entonces la
comunicación entre estas dos partes algo tan indispensable, ésta no debe ser
afectada puesto que impactaría de forma directa el objetivo principal de éste
proceso que en resumidas cuentas, es que el estudiante aprenda. Ahora bien,
algo muy importante en esta labor, es llevar a la práctica los conceptos instruidos
en el alumnado, pues ésta es una muy buena técnica de enseñanza, dado que
familiariza de forma directa al aprendiz con el tema en cuestión. Por otro lado,
cuando el estudiante no cuenta con las capacidades ya sea físicas o psicológicas
necesarias, se torna aún más complicado el asunto, pues éste requiere de un
tratamiento especial. Particularizando el tema, se hablará entonces de los
estudiantes con discapacidad auditiva, quienes al tener este “obstáculo
comunicativo” precisan de dicho tratamiento especial.
La tecnología es ahora un instrumento básico de trabajo en cualquier ámbito, pues
se encuentra al servicio de la sociedad y se ha extendido inclusive hasta la
11
comodidad de los hogares, es por esto que al incluirla dentro del campo educativo
resulta muy provechoso y útil para el aprendizaje del estudiante. Ahora bien,
considerando una educación inclusiva debemos pensar también como se puede
articular esta herramienta con el aprendizaje de los estudiantes con
discapacidades, más específicamente hablando, a aquella población con
discapacidad auditiva. La realidad virtual, es un gran avance tecnológico que le
abre al mundo gran cantidad de aplicaciones en diversos ámbitos, entonces, como
se mencionó anteriormente al articular éste concepto en la educación resulta ser
muy benéfico pues estimula el progreso del aprendizaje de una manera muy
eficaz, generando soluciones didácticas y dinámicas con respecto al tema
interactivo y respecto al comunicativo se plantea la idea de la traducción al
lenguaje de señas al igual que un sistema de subtitulado para así cumplir con el
objetivo de la educación inclusiva.
2 PROBLEMÁTICA
En el proceso de aprendizaje se hace fundamental la comunicación entre el
educador y el educando, pues éste se basa en la transferencia de información,
conceptos, prácticas y demás para que de esta manera, el estudiante adquiera de
forma exitosa el conocimiento que se le quiere impartir. Siendo entonces la
comunicación entre estas dos partes algo tan indispensable, ésta no debe ser
afectada puesto que impactaría de forma directa el objetivo principal de éste
proceso que en resumidas cuentas, es que el estudiante aprenda.
Ahora bien, algo muy importante en esta labor, es llevar a la práctica los
conceptos instruidos en el alumnado, pues ésta es una muy buena técnica de
enseñanza, dado que familiariza de forma directa al educando con el tema en
cuestión. Por otro lado, al verse afectado éste proceso comunicativo se incurre en
la susceptibilidad de accidentes debido al desconocimiento o imprudencia de la
población estudiantil en éstos espacios pedagógicos.
Particularizando la situación, éstos hechos son propensos a ocurrir en mayor
medida en la población con discapacidades sensoriales y/o anatómicas, a
consecuencia de sus condiciones de salud menos favorables, dentro de lo cual se
12
hace énfasis en la población estudiantil con déficit auditivo, debido a que al
momento de la explicación del proceso a realizar en las prácticas de laboratorio, a
esta población se le dificulta la posibilidad de la lectura de los labios, ya que quien
manipula los equipos esta frente a éstos dando la espalda a los estudiantes.
Teniendo en cuenta que el mal manejo de los equipos de laboratorio puede causar
el deterioro, accidentes al que esté maniobrándolos y en ocasiones el daño total
de dichos instrumentos, esto genera costos para la institución y situaciones de
malestar al estudiante, su familia y seres queridos. Por lo tanto el desarrollo de
una aplicación de realidad virtual para dispositivos móviles es ideal en este caso,
pues su funcionalidad de presentar un entorno al usuario de una realidad alterna
se adapta a la población con déficit auditivo, la cual se vale de herramientas
visuales para comunicarse.
2.1 OBJETIVOS
2.1.1 GENERAL Desarrollar una aplicación de realidad virtual orientada a la población sorda para el
uso de equipos del laboratorio de electrónica de la UDFT.
2.1.2 ESPECÍFICOS
Desarrollar un manual virtual interactivo para el osciloscopio y generador
de la sala de prácticas libres del laboratorio de electrónica de la UDFT.
Adaptar la aplicación de manera accesible para población con dificultad
auditiva (traducción a lenguaje de señas y subtitulado).
Desarrollar un módulo de actualización para la inclusión de nuevos
manuales.
3 ESTADO DEL ARTE
Una de las principales dificultades de los procesos educativos es la transmisión de
conocimientos por medios verbales o escritos, sin emplear ayudas visuales
apropiadas que permitan al estudiante entender la temática tratada de una manera
precisa y sencilla. Con el paso del tiempo, los procesos de enseñanza-aprendizaje
han dejado de ser definidos por la interacción docente-tablero-alumno para
13
convertirse en un aprendizaje orientado por el docente y asistido por las nuevas
tecnologías [1].
La tecnología denominada Realidad Aumentada presenta una alternativa para
abordar esta área de oportunidad. Dicha tecnología incorpora un componente
virtual sobre uno real, para generar un escenario mixto. Esta tecnología se ha
usado en publicidad, revistas, juguetes, etc. Marcando una tendencia hacia el
campo de la mercadotecnia y entretenimiento. Sin embargo, dicha tecnología
puede ser incorporada al área pedagógica [2]. La realidad aumentada es una
prometedora tecnología, ya presente en muchas aulas, que puede ayudar a
mejorar el proceso de enseñanza-aprendizaje [3]. La Realidad Aumentada se
puede definir como una técnica que permite añadir información virtual a la
información física ya existente [4].
3.1 ARLAB: LABORATORIO CON REALIDAD AUMENTADA
ARLAB es un laboratorio con realidad aumentada innovador ya que incorpora la
tecnología de realidad aumentada a los experimentos clásicos de control y
automatización industrial, permitiendo integrar y que interactúen varias tecnologías
desarrollándose experimentos mixtos, parte real y parte virtual en 3D, que se
visualiza con un dispositivo inteligente, como lo es un celular o tableta electrónica;
con el fin de generar una visión del conocimiento más profunda y clara. Dada la
necesidad de apoyos pedagógicos que refuercen las habilidades prácticas de los
ingenieros, en particular Mecatrónicos, y la tendencia hacia el aprendizaje móvil y
virtual, en este artículo se presenta ARLAB (Laboratorio con Realidad
Aumentada). Que es un laboratorio basado en realidad aumentada y dispositivos
móviles, que combinados con los elementos físicos clásicos del laboratorio permite
desarrollar experimentos para reforzar y complementar el conocimiento teórico, así
como las habilidades prácticas [2].
3.2 IMPLEMENTACIÓN DE UN OSCILOSCOPIO EN UNA PLATAFORMA
DE INSTRUMENTACIÓN VIRTUAL RECONFIGURABLE
14
En este trabajo se presenta el desarrollo de un osciloscopio pensado para
implementarse en una plataforma de instrumentación virtual reconfigurable. Esta
plataforma está compuesta por módulos descritos en lenguajes de descripción de
hardware para configurar una FPGA, un software para utilizar en una computadora
de propósito general y una placa de desarrollo.
Se enfatiza el diseño basado en bloques con el objeto de crear una librería de
componentes que puedan ser reutilizados en otros diseños.
La estructuración de información mediante sistemas hipermedia y multimedia, y las
redes de comunicación de área extendida, es decir, Internet, son herramientas
valiosas en la creación de sistemas de apoyo al aprendizaje, de materias dotadas
de una componente práctica no muy fuerte. Una de las soluciones de e-learning
más interesantes son los laboratorios [5].
A diferencia de los instrumentos tradicionales, los cuales están contenidos
completamente en su propia “caja”, un instrumento virtual está compuesto por una
computadora de propósito general, un software y una o más unidades de hardware
externas. El software posee una interfaz gráfica que emula el panel de control del
instrumento y permite realizar la visualización de las señales de entrada o el
control de las señales de salida. Dentro de las unidades de hardware externas se
realiza el acondicionamiento, la conversión A/D, D/A y cierto tipo de control y
procesamiento en tiempo real de las señales que no pueda ser realizado en la PC.
La instrumentación virtual permite brindar una mayor flexibilidad y reducir costos
en la implementación de los diferentes instrumentos utilizados en laboratorios,
gracias al aprovechamiento de los recursos disponibles en las computadoras
modernas. Mediante la utilización de dispositivos lógicos programables para la
implementación del control y procesamiento en las unidades de hardware externa,
es posible pensar en un instrumento virtual reconfigurable. Se entiende por esto un
versátil dispositivo de hardware capaz de ser reconfigurado para utilizarlo como
diferentes instrumentos virtuales. Este panorama se diferencia mucho de las
arquitecturas de hardware más rígidas, ya que posibilita el cambio o la
15
modificación del instrumento a través de la reconfiguración de la lógica del mismo
y de la utilización del software correspondiente en la PC.
Una plataforma de instrumentación virtual involucra la creación de un conjunto de
bibliotecas tanto de software como de hardware (IP Cores) y la utilización de una
placa de desarrollo con FPGA que posea los componentes adecuados. Para ello
se enfatiza la utilización de un diseño basado en bloques reutilizables y la
publicación de los códigos bajo una licencia de código abierto, lo que permite
nuevos diseños basados en fuentes previamente desarrolladas, facilitando la
incorporación de otros instrumentos o mejoras a la plataforma. Existen abordajes
anteriores en el campo de la instrumentación virtual reconfigurable, pero éstos han
puesto poco énfasis en la construcción de bloques de FPGA reutilizables.
Este trabajo pretende colaborar con la creación de esta plataforma de
instrumentación virtual reconfigurable. Para ello se presenta el diseño de un
osciloscopio virtual completo y funcional, desarrollado siguiendo las ideas
planteadas, como punto de partida para el proyecto [6].
3.3 REALIDAD AUMENTADA Y EDUCACIÓN: ANÁLISIS DE
EXPERIENCIAS PRÁCTICAS
La Realidad Aumentada, a partir de ahora RA, es una tecnología que superpone a
una imagen real obtenida a través de una pantalla imágenes, modelos 3D u otro
tipo de informaciones generados por ordenador. Un ejemplo muy claro e ilustrativo
de este tipo de escenarios se tienes en conocidos videojuegos como Invizimals
que aplican esta tecnología.
A pesar de que el concepto de RA se remonta a la década de 1960, el primer
sistema formal de RA no se desarrolló hasta los años 90 por la compañía Boeing.
A partir de entonces, se han ido llevando a cabo distintas conferencias sobre el
tema incluyendo simposios internacionales sobre la RA o sobre los mundos
virtuales, y los investigadores se han visto atraídos por las posibilidades de esta
16
tecnología .La definición más popular sobre RA es la dada por Milgram y Kishino
quienes indican que: “entre un entorno real y un entorno virtual puro esta la
llamada realidad mixta y esta se subdivide en 2, la realidad aumentada (más
cercana a la realidad) y la virtualidad aumentada (más próxima a la virtualidad
pura)” [7].
Los proyectos etiquetados como realidad aumentada no han parado de crecer en
los últimos años. Existen multitud de definiciones de la realidad aumentada y todas
aportan algo interesante a la caracterización de este tipo de tecnología. En el
informe sobre realidad virtual de Durlach y Mavor se habla de la RA como
sistemas en los cuales entornos reales y virtuales se combinan, aunque esta
definición es sencilla adolece de ciertas carencias ya que llevaría a catalogar
algunos sistemas de RA cuando realmente no lo son tal y como ejemplifica
Reinoso , si se piensa en la previsión del tiempo que se ofrece en la televisión
todos los días; ¿es RA ese mapa sobre el que el presentador señala el tiempo que
va a hacer en cada parte del país? La respuesta es que no, aunque podría caber
en lo que ofrece esta primera aproximación.
Otros autores ofrecen elaboraciones del concepto más complejas que contienen
más elementos de discernimiento. Así por ejemplo De Pedro explica la RA como
«aquella tecnología capaz de complementar la percepción e interacción con el
mundo real, brindando al usuario un escenario real aumentado con información
adicional generada por ordenador. De este modo, la realidad física se combina con
elementos virtuales disponiéndose de una realidad mixta en tiempo real». En esta
definición, mucho más amplia, se observa la aparición de conceptos de gran
trascendencia en los entornos de RA como son la interacción, la realidad mixta o
el tiempo real.
Uno de los gurús de la RA da lo que él delimita como una definición funcional de la
RA (únicamente se fija en para qué sirve la RA) y define la RA como objetos
virtuales o anotaciones que pueden ser superpuestos en el mundo real como si
realmente existieran. Aunque sencilla y fácil de entender, esta definición de RA
17
incluye los mismos elementos que la anterior pero comprimidos en esa expresión
de como si realmente existieran.
Por su parte Basogain, Olabe, Espinosa, Rouèche y Olabe afirman que «la
realidad aumentada no reemplaza el mundo real por uno virtual, sino al contrario,
mantiene el mundo real que ve el usuario complementándolo con información
virtual superpuesto al real. El usuario nunca pierde el contacto con el mundo real
que tiene al alcance de su vista y al mismo tiempo puede interactuar con la
información virtual superpuesta». Otros autores se fijan más en qué tipo de
hardware o dispositivos se pueden utilizar para los sistemas de RA. Así Fombona,
Pascual y Madeira afirman: «la realidad aumentada amplía las imágenes de la
realidad, a partir de su captura por la cámara de un equipo informático o
dispositivo móvil avanzado que añade elementos virtuales para la creación de una
realidad mixta a la que se le han sumado datos informáticos». Está claro que si se
analizan todas estas aportaciones de los diferentes autores se obtiene una imagen
bastante clara de lo que es la RA, pero sin duda si se quiere una definición
técnica, completa y precisa de RA se debe atener a la ya clásica que otro de los
gurús de la RA dio en su famoso artículo de 1997 «A survey of augmented reality».
En este artículo Azuma dice textualmente lo siguiente: para evitar limitar la
realidad aumentada a tecnologías específicas, este artículo define la RA como
sistemas que tienen las tres siguientes características:1) Combina lo real y lo
virtual. 2) Interactiva y en tiempo real. 3) Registrada en 3D».
Estas tres características delimitan de forma clara lo que es o no es un sistema de
RA. Específicamente se excluyen los sistemas 2D y se obliga a la interactividad en
tiempo real: el primer usuario debe poder provocar acciones en el entorno y que el
entorno se vea modificado y se lo haga saber a su vez al usuario.
Hay varios autores que hablan de niveles de RA como Estebanell, Ferrés, Cornellà
& Codina, en el 2012; Lens-FitzGerald en el 2009; Reinoso en el 2012 y Rice en el
2009. Se pueden entender los niveles como una forma de medir la complejidad de
las tecnologías involucradas en el desarrollo de sistemas de RA. En principio, a
más nivel, mayores son las posibilidades de las aplicaciones. Entre los diferentes
18
autores hay algunos cambios de criterio en cuanto a los niveles que presentan y
dónde caería alguna de las tecnologías que se comentan. En este punto es de
destacar, por ejemplo, que tanto Reinoso como Estebanell et al. Introducen la
activación mediante imágenes como realidad aumentada markerless mientras que
Lens FitzGerald considera este tipo de RA como nivel 1 (no markerless). Rice
incluso advierte de que el término markerless fue utilizado más que nada como
una campaña de marketing por parte de las empresas para distinguir el uso de
imágenes del uso de las marcas o patrones predefinidos en la activación de las
aplicaciones de RA. Para el propósito de este trabajo se ha optado por la
utilización del esquema de Lens- FitzGerald. Lens-FitzGerald, el cofundador de
Layar, uno de los navegadores de RA más importantes del mundo, escribió un
artículo en 2009 donde define los niveles de la RA. En Lens FitzGerald se
mencionan cuatro niveles (del 0 al 3). Este autor introduce los códigos QR (Quick
Response) como nivel 0 de RA. Su clasificación queda por tanto de esta manera:
· Nivel 0. Hiperenlazando el mundo físico (physical world hyper linking). Basado en
códigos de barra (enlaces 1D, Universal Product Code), códigos 2D (por ejemplo,
los códigos QR) o reconocimiento de imágenes aleatorias. Lo característico de
este nivel 0 es que los códigos son hiperenlaces a otros contenidos, no existe
registro en 3D ni seguimiento de los marcadores (básicamente funcionan como un
hiperenlace HTML, pero sin necesidad date clear) [3].
En los últimos años la Realidad Amentada está consiguiendo un protagonismo
cada vez más importante en diversas áreas de conocimiento, mostrando la
versatilidad y posibilidades que presenta esta nueva tecnología derivada de la
Realidad Virtual. La capacidad de insertar objetos virtuales en el espacio real y el
desarrollo de interfaces de gran sencillez, la han convertido en una herramienta
muy útil para presentar determinados contenidos bajo las premisas de
entretenimiento y educación, en lo que se conoce como “edutainment” [8]
19
Quizá una de las aplicaciones más conocidas de la Realidad Aumentada en la
educación sea el proyecto Magic Book del grupo activo HIT de Nueva Zelanda. El
alumno lee un libro real a través de un visualizador de mano y ve sobre las
páginas reales contenidos virtuales. De esta manera cuando el alumno ve una
escena de Realidad Aumentada que le gusta puede introducirse dentro de la
escena y experimentarla en un entorno virtual inmersivo [9].
3.4 CÓDIGOS QR Y REALIDAD AUMENTADA EN EL AULA DE
MATEMÁTICAS
Es una experiencia de aula dividida en cuatro fases, cuyo vídeo–resumen
explicativo podéis ver aquí abajo, narrado por Eva Perdiguero Garzo, quien ha
llevado a cabo la experiencia con su alumnado de matemáticas de Primer Curso
de Bachillerato a partir del segundo trimestre del curso 2013/2014 en el IES Ribera
del Bullaque, de Porzuna, en Ciudad Real.
En la primera fase, esta experiencia combina el uso de QR con animaciones
diseñadas con la herramienta Geogebra. Partiendo de unas fotocopias que la
profesora reparte entre su alumnado y que incluyen los correspondientes códigos
QR para escanear y acceder a dichas animaciones en cualquier momento y desde
cualquier lugar tan sólo apuntando con un dispositivo móvil, el alumnado avanza
hasta la resolución de problemas de aplicaciones con derivadas. En este caso
concreto, la profesora se ha decantado por el uso de la app Junaio como lector de
códigos QR, app que tiene instalada en las tablets que utiliza para que el
alumnado trabaje en el aula .Trabajando por parejas, el alumnado llega a la
segunda fase, en la cual ha de exponer al resto de la clase sus conclusiones; esta
exposición sirve además para evaluar al alumnado, resolver dudas, plantear
preguntas entre todos y reflexionar de manera colaborativa mientras se graban las
exposiciones, verdaderos tutoriales, en vídeo.
20
Con toda la información recogida, avanzan hasta la tercera fase, en la cual visitan
su blog de aula:
Curso 1º Bachillerato. Matemáticas. Porzuna, para seguir consolidando su
aprendizaje mediante la realización de actividades diseñadas con ThatQuiz a
través de las tablets. En este mismo blog de aula también se pueden visualizar
todos los vídeos con las exposiciones del alumnado, así como descargar las
actividades base.
Por último, en la cuarta fase, aparece el uso de la Realidad Aumentada, que
consiste en el diseño de unas tarjetas interactivas tras las cuales se esconden los
vídeos de las exposiciones de los alumnos grabadas anteriormente, y que podrán
verse escaneando las tarjetas con la app Layar [10].
Hay tres formas de presentar la tecnología de Realidad Aumentada, con el
computador tradicional, con dispositivos portátiles miniaturizados, y con equipos
específicos de realidad aumentada. Gestión de Realidad Aumentada en
computador tradicional. La cámara conectada al equipo informático digitaliza la
imagen captada, a la que se le incorporan capas con otros datos, imágenes fijas o
en movimiento, textos y/o sonidos. Esta información se añade a partir de un
software que selecciona documentos específicos de una base de datos propia o
del acceso a los datos de la red Internet. Una pantalla presenta la síntesis,
muestra de forma sincronizada tanto las imágenes reales captadas, junto al resto
de datos superpuestos sincronizados en tamaño, posición y en tiempo real. Se
intenta que los elementos virtuales estén coordinados con precisión con los
objetos reales y su posición, puesto que un pequeño error de orientación provoca
un desajuste perceptible. Gestión de Realidad Aumentada en equipo portátil. Los
dispositivos móviles avanzados son pequeñas mini computadoras que incorporan
cámaras de captura de imágenes móviles. Con ello se puede reproducir el efecto
de realidad aumentada y presentar en la pantalla del dispositivo, el resultado de
Realidad Aumentada.
21
El advenimiento y el desenvolvimiento de las tecnologías digitales viene
provocando aceleradamente modificaciones no apenas en la organización social,
económica y política mundial, pero, también (y tal vez principalmente) en los
modos de percibir, pensar y hacer sobre el mundo dicho “real” y la propia
condición humana. Evidentemente, esa consideración no implica en que el curso
de la transformación tecnológica y la naturaleza de las tecnologías sean
determinantes de las formas de experiencia y de acción de los sujetos y grupos
socioculturales, sino apenas que existe un diálogo entre las prácticas tecnológicas
y la percepción, el raciocinio y la acción, individuales y colectivas. Las estructuras
socio-culturales y económicas influencian el desarrollo tecnológico, al mismo
tiempo que sufren sus efectos.
Incluidos en esa concepción, también los modos de ser y de pensar sobre sí
mismo y sobre el mundo influencian y son influenciados por la disponibilidad y
configuración de nuevas tecnologías [11].
El estudio se ha realizado con seis modelos físicos de aluminio pintado. Se ha
dispuesto de la versión digital de seis modelos en Realidad Aumentada y en
tableta multitáctil. Se ha realizado una valoración global y una valoración
específica sobre las tecnologías utilizadas. De los resultados de este estudio se
obtiene que ambas tecnologías son alternativas válidas para la sustitución de los
modelos físicos en entornos digitales [13]. Gestión de Realidad Aumentada con
equipos específicos. En ocasiones, hay dispositivos específicos captura y visión
que se integran en unas gafas especiales y permiten al usuario ver la realidad a
través de la lente y superponer y mostrar otra información gráfica.
En el caso de los equipos portátiles se puede añadir información de los sistemas
de posicionamiento geográfico GPS, necesarios para poder localizar con precisión
la situación del usuario. La Realidad Aumentada es capaz de mostrar al usuario
una representación realista del entorno que se ha añadido virtualmente, por ello es
importante determinar la orientación y posición exacta del usuario. Esta
localización se hace difícil en espacios interiores o en zonas afectadas por campos
magnéticos [8].
22
La investigación ha puesto de relieve que las actitudes hacia las personas con
discapacidad no han sido ni son predominantemente positivas. Esta situación
plantea la conveniencia y urgencia de poner en marcha campañas de
sensibilización e intervenciones estructuradas con el objetivo de promover
cambios en tales actitudes. Con este fin se ha realizado el programa de cambio de
actitudes que se muestran en este artículo. Para evaluar los cambios logrados y su
mantenimiento temporal se ha utilizado, en medidas de pre y post test, la Escala
de Valoración de Términos Asociados con Discapacidad EVT. Se ha seleccionado
una muestra de 83 niños de primero y segundo de la ESO, entre 12 y 15 años,
asignados 23 al grupo experimental y los 60 restantes al grupo control. Se han
empleado como técnicas información directa e indirecta, contacto y experiencia e
información sobre ayudas técnicas en siete sesiones con discusión guiada de
aproximadamente una hora de duración a la semana. También se ha efectuado un
seguimiento de tres años. Los resultados sugieren que el tratamiento es eficaz y
que se mantiene en el tiempo, aunque con oscilaciones [12].
3.5 REALIDAD AUMENTADA: UNA TECNOLOGÍA EN ESPERA DE
USUARIOS
Este trabajo se aborda el tema de la Realidad Aumentada, que es una estrategia
tecnológica poco conocida y usada, debido a que para su uso es necesario
integrar varias tecnologías, lo cual se ha hecho a través de dispositivos
especializados (lentes de realidad aumentada, que incluyen como base un sistema
de captura de video y uno de proyección, los cuales son integrados por software
en una computadora equipada con hardware gráfico). Además, se aborda el tema
de las tecnologías para la representación tridimensional de datos e ideas y la
interacción humano-máquina más sofisticada; sus procesos para entender cómo
funciona; los avances obtenidos y los que quedan pendientes; y se ofrecen ideas
para iniciar proyectos como desarrolladores de aplicaciones o de contenidos [13].
4 MARCO TEÓRICO
23
4.1 MARCO CONCEPTUAL
Para el desarrollo de éste trabajo es importante saber los conceptos que están
relacionados tanto directa como indirectamente con el mismo, ya que son
necesarios para comprender tanto el funcionamiento como las bases teóricas que
son aplicadas en él; es por esto que a continuación se presentan algunos de
éstos. Además de ello se pueden apreciar las especificaciones técnicas que
puntualizan conceptos específicos en el proyecto y en el ámbito del estudio en el
cual fue elaborado, tales como el software utilizado y demás.
4.1.1 DISCAPACIDAD AUDITIVA O HIPOACUSIA
La discapacidad auditiva se define como la dificultad que presentan algunas
personas para participar en actividades propias de la vida cotidiana, que surge
como consecuencia de la interacción entre una dificultad específica para percibir a
través de la audición los sonidos del ambiente y dependiendo del grado de pérdida
auditiva, los sonidos del lenguaje oral, y las barreras presentes en el contexto en
el que se desenvuelve la persona.
Respecto de las barreras, estas son de distinto tipo, entre las más frecuentes se
pueden encontrar:
La cercanía o distancia de las fuentes auditivas. Si los sonidos son débiles
o distantes, se presentará dificultad para su discriminación.
La interferencia de sonidos de distinto tipo. Cuando los lugares presentan
mucho ruido ambiental se tendrán dificultades para captar los mensajes.
Las dificultades asociadas al lenguaje oral o escrito. Si una persona posee
una pérdida auditiva severa o profunda y sólo se usa como forma de
comunicación el lenguaje oral y/o no se la mira al hablar se estará
dificultando su comprensión generalizada de lo que ocurre en el contexto.
24
Como se aprecia en esta definición, el déficit auditivo, no depende únicamente de
las características físicas o biológicas del niño o niña, sino que se trata más bien
de una condición que emerge producto de la interacción de este déficit personal
con un contexto ambiental desfavorable.
Ahora bien, es preciso señalar que en los últimos años, ha cobrado fuerza una
mirada diferente de la discapacidad auditiva, que se desprende de una perspectiva
socio-antropológica de la sordera. Esta mirada, se centra en la Persona Sorda,
como persona que se mueve visualmente en el mundo, que desarrolla como
lengua natural la Lengua de Señas y que forma parte de una cultura.
La Federación Mundial de Sordos es enfática en indicar a este respecto, que la
Lengua de Señas es un importante símbolo de identidad y al mismo tiempo
patrimonio cultural que evidencia una comunidad, con valores y costumbres
propios, que conforman la cultura sorda. [15]
Imagen 1 Ilustración alusiva a la discapacidad auditiva o hipoacusia [16]
4.1.2 EDUCACIÓN INCLUSIVA
La Educación inclusiva implica que todos los jóvenes y adultos de una
determinada comunidad aprendan juntos independientemente de su origen, sus
condiciones personales, sociales o culturales, incluidos aquellos que presentan
cualquier problema de aprendizaje o discapacidad. Se trata de una escuela que no
25
pone requisitos de entrada ni mecanismos de selección o discriminación de ningún
tipo, para hacer realmente efectivos los derechos a la educación, a la igualdad de
oportunidades y a la participación. En la escuela inclusiva todos los alumnos se
benefician de una enseñanza adaptada a sus necesidades y no sólo los que
presentan necesidades educativas especiales.
La Educación Inclusiva se entiende como la educación personalizada, diseñada a
la medida de todos los niños en grupos homogéneos de edad, con una diversidad
de necesidades, habilidades y niveles de competencias. Se fundamenta en
proporcionar el apoyo necesario dentro de un aula ordinaria para atender a cada
persona como ésta precisa. Entendiendo que podemos ser parecidos, pero no
idénticos unos a otros y con ello nuestras necesidades deben ser consideradas
desde una perspectiva plural y diversa [7].
Imagen 2 Ilustración alusiva a la educación inclusiva [17]
4.1.3 SISTEMA DE SUBTITULADO
El sistema de subtitulado es una herramienta empleada en videos, películas y
demás archivos multimedia con el objetivo de traducir el dialogo que se está
usando en el archivo, bien sea a una lengua extranjera o para personas con déficit
auditivo. Para el desarrollo de éste sistema se requiere de un archivo .srt el cual
puede ser creado a través de la aplicación Bloc de notas, luego de ello se procede
a la unión del archivo MP4, AVI o MKT con el .srt y finalmente se genera el nuevo
archivo MP4.
26
4.1.4 LENGUAJE DE SEÑAS
Es una lengua que surge al interior de la Comunidad Sorda, como una lengua
natural que ha servido a generaciones de personas sordas , no solo para su
comunicación sino también como base para el desarrollo identitario de esta
comunidad.
Es una lengua que tiene una gramática propia, es un sistema mediante el
cual se pueden expresar ideas abstractas relacionadas con cualquier tema
que requieren sus usuarios.
Expresa sentimientos, melodía, ritmo, intensidad, gracia, es un ballet de las
manos.
Es un valor fundamental de la cultura del sordo, sin ella no hay
comunicación.
EL ABECEDARIO DACTILOLÓGICO:
Está compuesto por 27 letras, por medio de las cuales se puede formar
cualquier palabra.
Es importante identificar la dirección hacia la cual están orientados los
dibujos de cada letra.
Imagen 3 Abecedario del lenguaje de señas [18]
27
Imagen 4 Expresiones en lenguaje de señas [18]
Imagen 5 Expresiones en lenguaje de señas [18]
4.1.5 REALIDAD VIRTUAL
La realidad virtual es por lo general un mundo virtual generado por ordenador (o
sistemas informáticos) en el que el usuario tiene la sensación de estar en el
interior de este mundo, y dependiendo del nivel de inmersión este puede
interactuar con este mundo y los objetos del mismo en un grado u otro.
No obstante el termino realidad virtual también puede aplicarse a otros mundos
virtuales generados por otros medios, como por ejemplo a través de la
imaginación (sueños, libros, cine, etc...) La realidad virtual ideal sería la que desde
28
una inmersión total permita una interacción sin límites con el mundo virtual,
además de aportar como mínimo los mismos sentidos que tenemos en el mundo
real (vista, oído, tacto, gusto, olfato). Sin embargo, la mayoría de los sistemas
actuales se centran en únicamente 2 sentidos (vista y oído), debido a las
dificultades y costes de simular los otros sentidos. [19].
4.2 ESPECIFICACIONES TÉCNICAS
4.2.1 UNITY3D
Es un motor gráfico 3D para PC y Mac que viene empaquetado como una
herramienta para crear juegos, aplicaciones interactivas, visualizaciones y
animaciones en 3D y tiempo real. Unity puede publicar contenido para múltiples
plataformas como PC, Mac, Flash(Hasta la version 4), XBox, PS2/3/4, Android,
PSVita y iPhone. [20]
4.2.1.1 DESCRIPCIÓN
El editor de Unity es el centro de la linea de producción, ofrece un completo editor
visual para crear juegos. El contenido del juego es construido desde el editor y el
gameplay se programa usando un lenguaje de scripts. Esto significa que los
desarrolladores no necesitan ser unos expertos en C++ para crear juegos con
Unity, ya que las mecánicas de juego son compiladas usando una versión de
JavaScript, C# o Boo, un dialecto de Python.
Los juegos creados en Unity son estructurados en escenas como el motor
Gamebryo. En Unity una escena puede ser cualquier parte del juego, desde el
menú de inicio como un nivel o área del juego.
El motor también incluye un editor de terrenos, desde donde se puede crear un
terreno (como una hoja en blanco), sobre la que los artistas podrán esculpir la
geometría del terreno usando herramientas visuales, pintar o texturizar, cubrir de
29
hierba o colocar árboles y otros elementos de terreno importados desde
aplicaciones 3D como Blender, 3DS Max o Maya. [20]
Imagen 6 Logo del software Unity [21]
4.2.1.2 HERRAMIENTAS
Assets
Son los bloques constructivos de todo lo que el Unity posee en sus proyectos. Se
guardan en forma de archivos de imagen, modelos del 3D y archivos de sonido, el
Unity se refiere a los archivos que se usarán para crear su juego como activos.
Game Objects
Cuando un activo es usado en una escena de juego, se convierte en un "Game
Object". Todo GameObjects contiene al menos un componente con el que
comenzar, es decir, el componente Transform. Transformacion simple la cual le
dice al motor de Unity la posición, rotación, y la escala de un objeto.
Components
Los componentes vienen en formas diversas. Pueden ser para crear
comportamiento, definiendo apariencia, e influenciando otros aspectos de la
función de un objeto en el juego. Los componentes comunes de producción de
juego vienen construidos dentro del Unity, desde el Rigidbody, hasta elementos
más simples, como luces, las cámaras, los emisores de partículas, y más.
Scripts
30
El Scripting es una parte esencial de Unity ya que define el comportamiento del
juego. Este tutorial introducirá los fundamentos del Scripting usando JavaScript.
No se requiere ningún conocimiento previo de JavaScript o Unity. El Scripting es la
forma en la que el usuario define el comportamiento del juego (o las normas) en
Unity. El lenguaje de programación recomendado para Unity es JavaScript,
aunque C# puede ser igualmente usado. En Mac, es llamado como Unitron, y en
PC, Uniscite.
Prefabs
Almacena los objetos como activos para ser reusado en partes diferentes del
juego, y luego creados o copiados en cualquier momento. [20]
4.2.2 VUFORIA
Diagrama 1 Diagrama de bloques de los datos del SDK Vuforia.[22]
Vuforia es un SDK que permite construir aplicaciones basadas en la Realidad
Aumentada; una aplicación desarrollada con Vuforia utiliza la pantalla del
dispositivo como un "lente mágico" en donde se entrelazan elementos del mundo
real con elementos virtuales (como letras, imágenes, etc.). La cámara muestra a
través de la pantalla del dispositivo, vistas del mundo real, combinados con
objetos virtuales como: modelos, bloque de textos, imágenes, etc.
4.2.2.1 ¿QUE OFRECE?
31
Una aplicación desarrollada con Vuforia ofrece la siguiente experiencia:
Reconocimiento de Texto.
Reconocimiento de Imágenes.
Rastreo robusto. (el Target fijado no se perderá tan fácilmente incluso
cuando el dispositivo se mueva).
Detección Rápida de los Targets.
Detección y rastreo simultáneo de Targets.
4.2.2.2 ARQUITECTURA
Una aplicación desarrollada con Vuforia está compuesta de los siguientes
elementos:
Cámara: La cámara asegura que la imagen sea captada y procesada por el
Tracker.
Base de datos: La base de datos del dispositivo es creada utilizando el
Target Manage; ya sea la base de datos local o la base de datos en la
nube, almacena una colección de Targets para ser reconocidos por el
Tracker.
Target: Son utilizadas por el rastreador (Tracker) para reconocer un objeto
del mundo real; los Targets pueden ser de diferentes tipos; entre los
principales tenemos:
Image Targets: Imágenes; tales como: fotos, páginas de revistas, cubierta
de libros, poster, tarjetas, etc.
Word Targets: Elementos textuales que representen palabras simples o
compuestas: Libros, revistas, etc. Hay dos modos de reconocimiento
posible: la palabra entera o por caracteres.
Hay muchas otras, en este artículo, sólo nombramos las principales; las
demas podras encontrarlas en el siguiente enlace: Create Targets.
Tracker: Analiza la imagen de la cámara y detecta objetos del mundo real a
través de los frame de la cámara con el fin de encontrar coincidencias en la
base de datos. [22]
32
4.2.3 SKETCHUP
SketchUp es un software de modelado 3D que permite modelar en 3D de edificios,
paisajes, escenarios, mobiliario, personas y cualquier objeto o artículo que imagine
el diseñador o dibujante, diseñado con el objetivo de que pudiera usarse de una
manera intuitiva y flexible. El programa incluye una galería de objetos, texturas e
imágenes listas para descargar. [23]
SketchUp en la versión libre, es una herramienta para modelar 3D , ampliamente
difundida, siendo utilizada por profesionales del diseño como arquitectos,
diseñadores de interiores escenógrafos etc , por su gran facilidad. [23]
Imagen 7 Logo del software SketchUp [24]
4.2.4 VISUAL STUDIO 2017
Es un entorno de desarrollo integrado (IDE, por sus siglas en inglés) para sistemas
operativos Windows. Soporta múltiples lenguajes de programación, tales
como C++, C#, Visual Basic .NET, F#, Java, Python, Ruby y PHP, al igual que
entornos de desarrollo web, como ASP.NET MVC, Django, etc., a lo cual hay que
sumarle las nuevas capacidades online bajo Windows Azure en forma del editor
Monaco.
Visual Studio permite a los desarrolladores crear sitios y aplicaciones web, así
como servicios web en cualquier entorno que soporte la plataforma .NET (a partir
de la versión .NET 2002). Así, se pueden crear aplicaciones que se comuniquen
33
entre estaciones de trabajo, páginas web, dispositivos móviles, dispositivos
embebidos y consolas, entre otros. [25]
4.2.5 ANDROID STUDIO
Android Studio es el entorno de desarrollo integrado (IDE) oficial para el desarrollo
de aplicaciones para Android y se basa en IntelliJ IDEA . Además del potente
editor de códigos y las herramientas para desarrolladores de IntelliJ, Android
Studio ofrece aún más funciones que aumentan tu productividad durante la
compilación de apps para Android, como las siguientes:
Un sistema de compilación basado en Gradle flexible
Un emulador rápido con varias funciones
Un entorno unificado en el que puedes realizar desarrollos para todos los
dispositivos Android
Instant Run para aplicar cambios mientras tu app se ejecuta sin la
necesidad de compilar un nuevo APK
Integración de plantillas de código y GitHub para ayudarte a compilar
funciones comunes de las apps e importar ejemplos de código
Gran cantidad de herramientas y frameworks de prueba
Herramientas Lint para detectar problemas de rendimiento, usabilidad,
compatibilidad de versión, etc.
Compatibilidad con C++ y NDK
Soporte incorporado para Google Cloud Platform, lo que facilita la
integración de Google Cloud Messaging y App Engine [26]
Imagen 8 Logo del software Android Studio [27]
34
5 METODOLOGÍA
5.1 DIAGRAMA DE BLOQUES
En la Imagen10 se observa el diagrama de bloques el cual representa la línea
acciones en las que se desarrolla el proyecto.
Diagrama 2 Diagrama de bloques del proyecto [Elaboración propia]
Cámara: Es la encargada de suministrar la información necesaria al
usuario para el enfoque del código QR.
Código QR: Es Ilustración 2D designada como imagen de acceso del
dispositivo móvil a la App, la cual está adherida al equipo de laboratorio.
Equipo de laboratorio: Osciloscopio o generador de ondas en el cual
está adherido código QR impreso.
Dispositivo móvil: Es el instrumento maniobrado por el usuario. La
cámara es parte del dispositivo móvil y por medio de esta se enfoca la
ilustración 2D (Código QR) en donde el dispositivo móvil concederá el
acceso a la aplicación y así mismo en el será reproducido el video
realidad virtual.
Usuario: Ejecutor del proceso, quien le maniobrará el dispositivo móvil,
recibirá información sobre el enfoque de la ilustración 2D y del mismo
modo será instruido por el video realidad virtual y el sistema de
subtitulado, éste además manipulará el menú de opciones dispuesto por
la aplicación.
35
Aplicación (Real electronic lab): Software instalado en el dispositivo
móvil, el cual es el encargado de generar un menú de opciones, un
sistema de subtitulado y reproducir el video realidad virtual.
Video realidad virtual: Ambiente generado por la aplicación para ser
visualizado por el usuario.
Menú de opciones: Integrado a la interfaz 3D bien del osciloscopio o
del generador de ondas la cual recibirá instrucciones del usuario y se las
dará a su vez a App.
5.2 DIAGRAMA DE FLUJO DEL PROYECTO
En la Imagen11 se observa el diagrama de flujo del proyecto, el cual representa el
algoritmo en el cual se desarrolla el proyecto.
Diagrama 3 Diagrama de flujo de la aplicación [Elaboración propia]
36
5.3 MARCADORES 2D
Imagen 9 Marcador, código QR del generador de ondas [28]
Imagen 10 Marcador, código QR del osciloscopio [28]
5.4 DESARROLLO
Se requirió del uso del software SketchUp para la elaboración de los modelos 3D
tanto del osciloscopio como del generador de ondas, se hizo uso de los manuales
de los equipos “OSCILOSCOPIO RIGOL DS1102E 100 MHZ” y el generador de
ondas “SCIENTIC SM5030”, facilitados por el laboratorista e Ingeniero Henry,
dichos equipos se pueden encontrar en el laboratorio de prácticas libres de
electrónica de la facultad tecnológica UD.
37
En cuanto a los marcadores o imágenes objetivo que en éste caso son los códigos
QR, fueron diseñados a través de una página web generadora de códigos QR en
donde se especifican los parámetros de seguridad y calidad de la información.
Luego éstos marcadores son subidos al SDK Vuforia quien se encarga de
compilarlos y evaluar la calidad de imagen. Ya teniendo todo esto se procede a
trabajar en Unity PRO 2017.3.1f1 dado que esta versión permite cargar los videos.
Para la elaboración de los videos, se usó la cámara de un celular Moto C Plus y
las grabaciones se realizan en un aula de la UD Facultad tecnológica.
Se contrataron los servicios de una intérprete de lenguaje de señas quien en
colaboración con una persona perteneciente a la población con déficit auditivo
realizaron la traducción mediante la lectura de un diálogo previamente elaborado
respecto a los manuales anteriormente mencionados, dichos videos quedaron
guardados en formato .MP4 en primera instancia y al momento se encontraban sin
subtitulado, para ello se empleó la aplicación de Windows “Bloc de notas” donde
se redactan los diálogos y los tiempos de duración para posteriormente guardarlo
como archivo .SRT. Ahora, teniendo tanto el archivo .MP4 como el .SRT se
procede a unirlos por medio del software MKV Tools Nix. Luego de ello el nuevo
archivo queda guardado con la extensión .MKV donde ya estarían el audio, la
imagen y el texto pero en dicho momento se presenta un nuevo problema y es que
en Unity solo se admiten videos con formato .MP4, por ello se hace uso del
software FormatFactory quien hace la respectiva conversión, .
Con los videos ya disponibles, se procede a importarlos a Unity en donde por
medio del uso de escenas el usuario navega a través del menú que proveen las
dos interfaces 3D (Osciloscopio y generador de ondas).
6 PRUEBAS Y RESULTADOS
En el marco del desarrollo del proyecto se determinó trabajar con los equipos que
se encuentran en el laboratorio de prácticas libres de electrónica UDFT:
38
RIGOL DS1102E
Imagen 11 Osciloscopio Rigol DS1102E [Elaboración propia]
SCIENTIFIC SM5030-5
Imagen 12 Generador de ondas SCIENTIFIC SM5030-5 [Elaboración propia]
Para la elaboración de los modelos 3D se requirió del uso del software SketchUp
PRO 2017. Basandose en el diseño real de cada equipo se lograron obtener los
siguientes modelos:
Imagen 13 Diseño del modelo 3D del generador de ondas basado en el equipo SCIENTIFIC SM5030-5 [Elaboración propia]
39
Imagen 14 Diseño del modelo 3D del osciloscopio basado en el equipo DS1102E [Elaboración propia]
Se realiza la respectiva adecuación de los modelos 3D en el software Unity
2017.3.1f1
Imagen 15 Diseño de escenas en Unity 2017.3.1f1 [Elaboración propia]
Se obtienen los siguientes modelos 3D reproducidos al momento de enfocar el
target image o imagen objetivo que en este caso son los códigos QR.
Imagen 16 Interfaz de usuario en realidad virtual del osciloscopio [Elaboración propia]
40
Imagen 17 Interfaz de usuario en realidad virtual del generador de ondas [Elaboración propia]
Se procede a crear un botón oculto en el modelo 3D para que reenvíe al usuario a una interfaz fija
2D en la cual están cargados los videos en cada botón correspondiente
Imagen 18 Interfaz fija 2D del osciloscopio [Elaboración propia]
Imagen 19 Interfaz fija 2D del generador de ondas [Elaboración propia]
41
Imagen 20 Página 1 de 3 de diálogos de los videos [Elaboración propia]
42
Imagen 21 Página 2 de 3 de diálogos de los videos [Elaboración propia]
43
Imagen 22 Página 3 de 3 de diálogos de los videos [Elaboración propia]
44
En primera instancia se elaboran los videos a través de la lectura de los diálogos,
la interpretación y grabación, en total son 22 videos. Posteriormente se elabora las
grabaciones en donde se muestra de forma práctica lo que se menciona en los
diálogos para finalmente elaborar los respectivos subtítulos.
Imagen 23 Videos realizados en sala de prácticas de la UDFT [Elaboración propia]
Para el sistema de subtitulado se procede a elaborar el contenido respectivo en la
aplicación “Bloc de notas” y al finalizar se guarda el archivo con la extensión .SRT
Imagen 24 Archivos .SRT [Elaboración propia]
45
Por medio del software MKV Tools Nix se une cada video con su respectivo
archivo .SRT donde el archivo resultante es una extensión .MKV, por lo cual por
medio del software FormatFactory se retorna a la extensión .MP4 Finalmente por
medio del software Vegas Pro 15 se unen los videos que muestran de forma
práctica lo mencionado en los diálogos con los que inicialmente se hicieron sobre
la traducción al lenguaje de señas. Teniendo esto se procede a importar los videos
a Unity en donde se ubican dependiendo del botón de interfaz de usuario.Como
ejemplo se toma la siguiente captura:
Imagen 25 Ejemplo de video resultado [Elaboración propia]
Respecto al módulo “añadir equipo” se diseña un botón del cual emerge el
siguiente mensaje “Por favor actualice el APK”, entonces, el usuario deberá tener
todas las herramientas para añadir el equipo, tanto la imagen objetivo, el diseño
3D y los respectivos mensajes, éste deberá ingresar la licencia de Vuforia para la
aplicación en la plataforma Unity en la sección:
46
Imagen 26 Recuadro para insertar licencia del SDK [Elaboración propia]
(AcUxVbz/////AAABmWtjDSv5Rk0qreGlfddNCTSLF+KCBrXE16UgAWXX/0gFdgDy8l
XdsJqC5w9VUiW1+ydetcnT92++yJw1AznGyagVizPeTmaex4LePptbwddPvv0kgchz
Gcx+l0xBCEqICLlvVu+uQavzsG2XYYdTlQ3Sp/FbSPTchdlv5agxME7wrksg9in6f8
/u4jqpJmZHp/YaW+b8b7LpO0HiL0YMPx3u2IH3GRzE7ISVDfNP//WvbF2LiaBeBTpD
e4zjjueu0XhaBXxYRzb37+kVuAV4+DJFG20XM03Dz9ZXozaZ6Jy16rkIgJvqmMbbAv
bXBSRGZvAaRxcIqgNks9aazVEcxIQ7Djb+Daa5newggCYpXytH) deberá generar el
nuevo archivo APK e instalarlo en el dispositivo móvil.
Nota: Ésta sección solo podrá ser manipulada por personal que tenga
conocimientos en el entorno Unity, Android Studio y el lenguaje de programación
JavaScript.
47
7 RECOMENDACIONES Y SUGERENCIAS
7.1 RECOMENDACIONES Y SUGERENCIAS PARA EL USUARIO
Enfocar correctamente el código QR para poder acceder de manera exitosa
al modelo 3D del equipo y por consiguiente a la interfaz de usuario 2D.
Observar de manera minuciosa las instrucciones de cada video.
No acercar demasiado la vista a su dispositivo móvil por cuidado a su salud
visual.
En la sección “precauciones”, seguir las instrucciones acompañado del
personal técnico especializado.
Para la instalación del APK en el dispositivo móvil, se debe contar con una
aplicación gestora de archivos y seguir los pasos pertinentes.
7.2 RECOMENDACIONES Y SUGERENCIAS TÉCNICAS
Hacer un estudio de la cantidad de estudiantes que ingresan a la UDFT con
déficit auditivo semestralmente y las opciones de accesibilidad con las que
cuentan para adaptarse al modelo educativo actual a nivel institucional.
Gestionar la inclusión de estudiantes con otros tipos de discapacidades
tanto en éste ámbito de la práctica como a nivel general, es decir tanto
académico como social.
Habilitar la opción de que el usuario pueda pausar los videos para que
pueda visualizarlos con mayor comodidad.
Extender en lo posible el manual para así poder ofrecer una información
más completa tanto del generador de ondas como del osciloscopio.
Promover técnicas de comunicación para que la aplicación extienda su
alcance a otras instituciones educativas.
En la sección “añadir equipos” priorizar aquellos que aún no se encuentran
en la aplicación como fuente de poder, multímetro y demás. Luego de ello
se podrá pensar en la inclusión de equipos con nuevas referencias (por
48
ejemplo: el osciloscopio con el que se trabajó es el RIGOL DS1102E y el
generador de ondas SCIENTIFIC SM 5030-5).
8 CONCLUSIONES
Con todo lo presentado anteriormente y los estudios realizados se llegaron a las
siguientes afirmaciones:
La realidad virtual se presenta en este ámbito educativo, como una
herramienta de enseñanza muy útil por su carácter asistencial en ésta
labor, la cual favorece y fortalece la parte práctica en el proceso de
aprendizaje, en especial a la población con déficit auditivo, quienes al
requerir del uso de técnicas de comunicación visuales, se acogen en mayor
medida a dicho entorno.
El centro de apoyo CADEP-ACACIA es ideal en éste contexto pues su
experiencia y sus metas son aspectos en común que se encuentran ligados
al presente proyecto ya que el objetivo de inclusión trasluce al ofrecer sus
servicios con el fin de evitar la deserción estudiantil por motivos de rechazo,
accesibilidad y demás factores que impiden que la oportunidad de ofrecer
educación superior sin excepción sea posible. El CADEP-ACACIA se
convierte entonces en una herramienta al servicio de la sociedad con el
propósito de expandir el conocimiento y el progreso sin fronteras.
La propensión a accidentes en el laboratorio de prácticas libres de la UDFT,
respecto a la población con déficit auditivo, se reduce en gran medida al
contar con ésta aplicación.
La educación inclusiva promueve la no discriminación y contribuye a la
accesibilidad de las poblaciones que cuentan con condiciones de salud
menos favorecidas, a lo cual éste proyecto responde de manera afable,
pues se adapta a éste concepto de forma directa.
49
De manera indirecta, el presente proyecto alude el uso de las TIC
contribuyendo a la relación entre la sociedad y la tecnología, teniendo en
cuenta que al acoger el concepto de inclusión, permite un mayor impacto en
la población, en éste caso, estudiantil.
El módulo de actualización de equipos “añadir equipos” facilitado a través
de la aplicación, posibilita una mayor sostenibilidad al proyecto, pues
permite la inclusión de nuevas tecnologías evitando así la obsolescencia.
9 REFERENCIAS
[1] M. A. A. VELANDlA, F. H. F. MORALES, J. E. DUARTE, and G. de D. para la
E. de la C. y la T. en Niños, “Material educativo computarizado para enseñanza de
la instrumentación básica en electrónica,” Tecnura, vol. 11, pp. 114–122, 2007.
[2] T. A. Fecha, “ARLAB : Laboratorio con Realidad Aumentada,” 2013.
[3] C. Prendes, “Experiencias Prácticas Augmented Reality and Education :
Analysis of,” Pixel-Bit. Rev. Medios y Educ. (46), 187-203., 2015.
[4] J. Peula and F. Torres, “Aplicación de Realidad Aumentada para la educación y
difusión del patrimonio,” Artículo Present. en el …, no. 1, pp. 22–24, 2008.
[5] L. Rosado and J. Herreros, “Nuevas aportaciones didácticas de los laboratorios
virtuales y remotos en la enseñanza de la Física,” Recent Res. Dev. Learn. …, pp.
1–5, 2005.
[6] A. Ing and C. Ariel, “AADECA 2008 – Semana del Control Automático – XXIo
Congreso Argentino de Control Automático 1,” 2008.
[7] J. M. G. S. C. G. M. C. S. A. Asociación Iberoamericana de Educación Superior
a Distancia. and Universidad Nacional de Educación a Distancia., Revista
iberoamericana de educación a distancia., vol. 17, no. 2. Asociación
Iberoamericana de Educación Superior a Distancia, 1998.
[8] D. Ruiz Torres, “Realidad Aumentada, educación y museos,” Rev. ICONO14.
Rev. científica Comun. y Tecnol. emergentes, vol. 9, no. 2, p. 212, May 2011.
50
[9] X. Basogain, M. Olabe, K. Espinosa, and C. R. J. C. Olabe, “Realidad
Aumentada en la Educación : una tecnología emergente,” Semana, no. 5, pp. 12–
15, 2010.
[10] “EducaconTIC podcast 37 - Códigos QR y Realidad Aumentada en el Aula de
Matemáticas | Nuevas tecnologías aplicadas a la educación | Educa con TIC.”
[Online]. Available: http://www.educacontic.es/blog/educacontic-podcast-37-
codigos-qr-yrealidad-aumentada-en-el-aula-de-matematicas. [Accessed: 25-Sep-
2017].
[11] J. D. la T. Universidad de Murcia., N. Martin-Dorta, J. L. S. Pérez, C. C.
Carrera, and M. C. González, Revista de educación a distancia., vol. 0, no. 37.
Universidad de Murcia, 2015.
[12] J. . Fernández-Ríos, L. y Cornes, “Anuario de Psicología Clínica y de la
Salud,” Apl. la Psicol. Posit. en Clínica y Salud, vol. 5, pp. 15–28, 2009.
[13] L. Universidad Nacional Autónoma de México. Dirección General de Servicios
de Cómputo Académico. and J. L. Universidad Nacional Autónoma de México.,
Revista digital universitaria : RDU. Dirección General de Servicios de Cómputo
Académico, UNAM, 2000.
[14] J. S. Ierache et al., “Realidad Aumentada (RA) en el contexto de usuarios
finales,” Oct. 2014
[15]http://especial.mineduc.cl/wpcontent/uploads/sites/31/2016/08/GuiaAuditiva.pdf
[16] https://slideplayer.es/slide/3384952/
[17]https://www.redem.org/la-evaluacion-de-centros-educativos-desde-la-
perspectiva-de-la-educacion-inclusiva/
[18] https://es.slideshare.net/elianaachurra1/lenguaje-de-seas-6094889
[19] http://www.realidadvirtual.com/que-es-la-realidad-virtual.htm
[20]https://www.ecured.cu/Unity3D
[21] https://forum.unity.com/threads/why-unity-5-splash-screen-logo-is-bigger-than-
unity-4.358863/
[22]https://www.desarrollolibre.net/blog/android/realidad-aumentada-con-
vuforia#.XF3NJ9JKgdU
[23] http://www.beplusimage.com/blog/que-es-sketchup-definicion/
51
[24] https://blog.sketchup.com/sketchupdate/brand-new-brand-sketchup
[25]Https://www.microsoft.com/es-co/p/suscripcion-a-visual-studio-
professional/dg7gmgf0dst3/0003. Consultado 10 de abril de 2018
[26] https://developer.android.com/studio/intro/?hl=es-419
[27] https://m.xatakandroid.com/programacion-android/android-studio-3-0-ya-
disponible-la-version-estable-con-soporte-para-kotlin-y-las-nuevas-apis-de-android
[28] http://www.codigos-qr.com/generador-de-codigos-qr/