Presentacin de PowerPoint

Buenos das, mi nombre es Santiago Gonzlez Izard y voy a presentar un sistema que he desarrollado junto con Juan Antonio Junes Mndez y la colaboracin de la empresa en la que trabajo: ARSOFT. En Arsoft llevamos ms de 4 aos desarrollando sistemas avanzados de Realidad Aumentada y Realidad Virtual; llevamos ms de un ao colaborando con el Grupo de Investigacin Visual Med de la Universidad de Salamanca, desarrollando sistemas de Realidad Virtual para la formacin mdica.1

Viaje alucinante, Richard Fleischer, 1966

Seguramente todos nos acordamos de unas pelculas en los que los protagonistas se hacan diminutos y se introducan en el interior del cuerpo humano, dando lugar a unos viajes alucinantes. Ese es precisamente el nombre de la pelcula de Richard Fleischer del ao 66. 2

El chip prodigioso, Joe Dante, 1987

Y la que ms me suena a m, ya que la otra tiene ya unos aos, es la de El Chip Prodigioso, que apareci unos aos despus, con Dennis Quaid y Meg Ryan. El protagonista se haca diminuto y era capaz de viajar por el interior de otro cuerpo humano, resultando muy interesante para el espectador, que de pronto se descubra aprendiendo sobre la anatoma humana.

En estas pelculas podamos ver el interior del cuerpo humano de una forma nica, pero claro, era slo ciencia ficcin. 3

Con la Realidad Virtual podemos hacer un verdadero viaje por el interior de las diferentes estructuras anatmicas del ser humano. Una experiencia nica y una herramienta formativa que nos permiten llegar donde hasta ahora slo la ciencia ficcin nos haba conseguido llevar. Introduccin:

http://movie-inventions.wikia.com/wiki/Kraken_II_Submersible_Pod

El objetivo de este proyecto es acercar un poco esa posibilidad de viajar por el interior del cuerpo humano gracias a la con Realidad Virtual. Por ahora no somos capaces de hacernos diminutos e introducirnos dentro de un cuerpo humano de verdad, pero s que podemos hacer este viaje mediante una inmersin virtual.4

Presentar una herramienta tecnolgica, de RV, que facilite la formacin mdica en el campo de anatoma humana, con extensin aplicativa al mbito de la neurorradiologa y la neurociruga; facilitando la comprensin de la morfologa del crneo mediante la inmersin en un entorno virtual realistaObjetivo:FORMACIN MEDIANTE INMERSIN VIRTUAL

La idea es justo esa: el usuario, en este caso un alumno de medicina, se pone las gafas de Realidad Virtual y elige la explicacin que quiere ver. Este curso concreto lo hemos realizado sobre el crneo humano, pero lo cierto es que se podra hacer de cualquier parte del cuerpo, como explicar ms adelante. Entonces cuando el alumno se pone las gafas lo que ver ser el crneo desde el interior, como si se hubiera hecho pequeo y se hubiera metido dentro.

Mientras est ah dentro, obtendr una serie de explicaciones y, acompaando a las explicaciones, se ejecutarn ciertas animaciones virtuales. El objetivo es hacer mucho ms ameno el curso pero tambin que el alumno aprenda ms y mejor, ya que podr ver de una forma nica aquellas partes del cuerpo humano que est estudiando.5

Brindar al usuario la posibilidad de interactuar con el sistema para valorar las diferentes explicaciones y poder aplicar estos conocimientos a la prctica clnica, aprovechando las ventajas que aporta la Realidad Virtual.Objetivo:AUTOEVALUACIN

Se incluye tambin un apartado de autoevaluacin que, en el caso de este curso, consiste en introducir al usuario/alumno dentro del crneo e indicarle que seale ciertas partes del mismo, para saber si realmente conoce ya toda su estructura anatmica. Esta autovaluacin se puede hacer todo lo compleja que queramos.6

Metodologa:Gafas Samsung Gear VR

Disponen de un pequeo panel tctil que nos permite disponer de una herramienta hardware para interactuar con el usuario. Alcanzan una alta resolucin de pantalla y resultan muy cmodas para el usuario.Se ha creado el sistema adems para gafas Cardboard, pudiendo desarrollar cursos de Realidad Virtual para prcticamente cualquier smartphone y gafas. Adems estas gafas tienen un coste muy reducido.

Gafas VR de bajo coste CardboardSamsung Gear VR Innovator Edition

En cuanto a la metodologa, est claro que necesitaremos unas gafas de Realdiad Virtual para disfrutar del curso, sin embargo esto no implica tener que gastar una gran cantidad de dinero, ya que los alumnos podrn utilizar sus propios smartphones y comprar unas gafas desde 3, ya que son simplemente una estructura de cartn con unas lentes tipo lupa y algn botn o similar para interactuar con el sistema.

Por tanto estamos hablando de un curso virtual que cualquier alumno podra disfrutar con una inversin mnima.7

Metodologa:

Modelo 3D del crneoTomgrafo computarizado Asteion, marca Toshiba Medical Systems.Complejo Hospitalario Universitario de Salamanca.Tomgrafo Computarizado utilizado. Intervalo de corte de 1,5mm

El modelo 3D del crneo que hemos utilizado para disear el curso virtual, lo hemos generado utilizando un tomgrafo computarizado Asteion, de Toshiba, instalado en el Complejo Hospitalario Universitario de Salamanca, con un intervalo de corte de 1,5 mm.8

Metodologa:Modelo 3D del crneo

A partir de los ficheros raw data DICOM que nos proporcion el equipo, se reconstruy, para cada orientacin, un volumen que fue salvado en formato ANALYZE 7.5

Secciones realizadasComposicin de mallado 3D partiendo de las secciones

Esto nos ha dado como resultado imgenes DICOM que nos han permitido generar una malla 3D del crneo gracias al software Analyze.9

Metodologa:Se obtuvieron modelos 3-D de superficie, consistentes en modelos geomtricos delimitados por mallas poligonales

Modelo 3D del crneoMallado resultante

El resultado como vis es una malla con mucha calidad10

Metodologa:Aplicando un algoritmo conocido como marching cubes, se obtuvo un modelo de malla triangular de la superficie de cada una de estas estructuras craneales. Dada la alta resolucin de las imgenes, se procedi a la simplificacin y suavizado de la malla.

Modelo 3D del crneoInterior de un crneo con el esfenoides remarcado

Para la generacin del modelo se utiliz el algoritmo Marching Cubes, que es muy conocido y utilizado y que a da de hoy tiene ya muchas variantes. El problema de los sistemas de Realidad Virtual es que se ejecutan normalmente en dispositivos mviles, y esto tiene un problema: que los mviles a pesar de ser muy potentes tienen ciertas limitaciones en cuanto a rendimiento. Lo que quiero decir es que no podemos cargar un modelo 3D con millones de polgonos, es decir, de mucha calidad, porque el sistema podra ir muy lento. Por eso se procedi a disminuir el nmero de polgonos de la malla, para que luego el mvil pueda cargar el modelo sin ningn problema. 11

Metodologa:Para la implementacin del sistema hemos utilizado el motor de videojuegos Unity3D, junto con el paquete de herramientas de desarrollo o SDK que provee Oculus (desarrollado tambin para Cardboard).

Desarrollo de la experiencia virtual del curso mediante Unity3D

Una vez tenamos la malla del modelo, tenemos que disear todo el curso, o lo que es lo mismo, toda la experiencia de Realidad Virtual.

Lo primero es dar una apariencia ms real al modelo, asignndole un material, color, luz

Luego hay que disear todas las animaciones siguiendo el guin preparado del curso, programando dicho guin en diferentes scripts.

Para que posteriormente se pueda ver todo esto en 3D con una visin estereoscpica hemos utilizado los SDK de Oculus y de Cardboard. Un SDK bsicamente consiste un conjunto de herramientas software que nos facilitan mucho la tarea. 12

Existen diferentes entornos de desarrollo que estn orientados a la implementacin de sistemas de Realidad Virtual, que hasta ahora se limitaban a videojuegos: Unreal y Unity 3D

Metodologa:

Aunque ambos sistemas son estables y potentes, se ha elegido Unity para el desarrollo de este sistema porque se integra fcilmente con los SDKs de Oculus y Cardboard

Como hemos visto, nosotros hemos utilizado el motor de videojuegos Unity 3D, que tiene la ventaja de ser multiplataforma, por lo que el mismo desarrollo nos ha valido para disear el curso para mviles Android, iPhone o incluso las gafas Oculus Rift o HTC Vive. Incluso podramos sacar una versin del curso virtual para colgarlo en una web, aunque obviamente el usuario ya no tendra la sensacin de inmersin.

13

RESULTADOS

Visualizacin estereoscpica, explicaciones iniciales desde el exterior del crneoGafas Samsung Gear VR Innovator Edition utilizadas

Los resultados que hemos obtenido han sido muy satisfactorios, consiguiendo una sensacin de inmersin y mejorando considerablemente la capacidad de comprensin de los alumnos. Yo por ejemplo que no tengo ni idea de medicina, he conseguido aprender bastante sobre las estructuras anatmicas del crneo, pero obviamente cualquiera que entienda realmente de esto lo valorar mucho ms que yo.14

Men inicialMen de navegacin del curso

Visin estereoscpicaRESULTADOS

Lo primero que vemos al entrar en el curso virtual, es un men con dos opciones. La sensacin es como si estuviramos flotando en el Universo con dos imgenes a nuestro alrededor, que son nuestros botones.

Cuando elegimos la opcin de Visita Guiada o curso virtual, nos aparecer un men con los distintos apartados del temario, en este caso una pequea introduccin sobre el crneo, donde lo veremos desde fuera, luego nos mostrara el exocrneo, la fosa anterior, que ya la veremos desde dentro, y por ltimo la fosa media y fosa posterior., que por supuesto tambin se ven desde dentro.15

RESULTADOSVisin EstereoscpicaVisin Estereoscpica

Y en qu consiste una visin estereoscpica?

Bueno, bsicamente visin estereoscpica o estereoscopa consiste en cualquier tcnica que nos permita tener la sensacin de profundidad en una imagen. En este caso, lo que tenemos son dos imgenes que son prcticamente iguales, pero no iguales del todo. Cada una est tomada desde una perspectiva ligeramente diferentes, y un ojo ver una imagen y el otro ojo la otra, de forma que nuestro cerebro las junta y se crea un efecto 3D. En realidad, es el mismo mecanismo por el cual nosotros vemos el mundo en 3D gracias a nuestros dos ojos, donde cada uno de ellos coge una imagen del mundo desde una perspectiva ligeramente diferente.

16

RESULTADOS

Como vemos, se sealan diferentes huesos para que el alumno pueda identificarlo fcilmente durante las explicaciones.17

RESULTADOS

Aqu tenemos sealado por ejemplo el esfenoides.18

RESULTADOS

o los huesos temporales. Vemos que durante las explicaciones, mientras que algunos huesos se sealan, hacemos que otros sean semitransparentes, para dar ms importancia a los sealados o para poder ver a travs de ellos y poder sealar as un hueso de la parte interior del crneo.19

RESULTADOS

Esta imagen est tomada en el momento en que entramos dentro del crneo a travs del agujero magno. Lo que hacemos es mover la cmara con un movimiento programado para que se introduzca por el agujero y se site en un punto concreto. Aunque con estas gafas no es posible, tambin podramos permitir al usuario andar por el interior de un crneo, pero claro, eso supondra contar con un espacio difano para que se pudiera mover con libertad.20

RESULTADOS

Como vemos, no se trata simplemente de sealar huesos, tambin inclumos ciertas animaciones virtuales para hacer la experiencia ms atractiva y tambin para mejorar las explicaciones. Por ejemplo vemos como las lneas separan las diferentes fosas craneales y las flechas me sealan la fosa craneal posterior,21

RESULTADOS

fosa craneal media,22

RESULTADOS

y fosa craneal anterior.23

RESULTADOS

Los diferentes formenes del crneo los hemos sealado con unos esferas en 3D que vibran para que el alumno vea claramente dnde se encuentran. Adems, la cmara se va moviendo por el interior del crneo para sealar que se vean correctamente.24

Interior de un crneo con el esfenoides remarcado

Visin del foramen ptico desde el interior del crneoRESULTADOS

RESULTADOSEl alumno viaja por el interiordel crneo para visualizar susdistintas partes

Por tanto como podis ver se trata de un primer acercamiento a un viaje por el interior del cuerpo humano, empezando por el crneo y orientando la herramienta completamente hacia la formacin. 26

El usuario debe sealar la estructura anatmica sobre la cual se le est preguntandoRESULTADOS

AUTOEVALUACIN

Como deca al principio, se introduce adems un pequeo apartado de autoevaluacin donde se pretende que el propio alumno compruebe sus conocimientos, para saber si tiene que repetir el curso o no. La ventaja de esta forma de evaluacin es que el alumno no reconoce una estructura anatmica por una imagen, sino que realmente es como si la tuviera delante y debe sealarla como si fuera real.

Vamos a ver un vdeo del sistema, aunque la verdad es que el vdeo no muestra mucho del mismo, ya que en realidad para comprobar las ventajas que aporta hay que verlo con gafas, para obtener una experiencia inmersiva, que es la principal ventaja.27

RESULTADOSVIDEO 70 SEGUNDOS

Conclusiones:Se ha conseguido una experiencia virtual, cuidadosamente diseada, que puede proporcionar, al usuario (estudiante), un sentido de control sobre el entorno, y facilitar en gran medida los procesos de aprendizaje y entrenamiento en el mbito mdico.La utilizacin de estos medios tecnolgicos de visin estereoscpica en la formacin mdica, facilitan y ayudan a mejorar la capacitacin en habilidades clnicas y quirrgicas.

Bueno, como vis el video no impresiona nada, pero he trado las gafas y quien quiera probarlo que me lo comente porque es cuando realmente se entienden sus ventajas.

Para finalizar, decir que se ha conseguido una herramienta de formacin que realmente es til para los alumnos y que adems se puede utilizar para mejorar las capacidades clnicas y quirrgicas de los mdicos.29

Hagamos un viaje alucinante!

Para el futuro, estamos creando una nave en 3D para que la experiencia acabe siendo lo ms parecida posible a lo que veamos en las pelculas que comentaba al principio, pudiendo navegar realmente de forma autnoma por el interior de un cuerpo humano.

Muchsimas gracias por su atencin.30