guió de realitat virtual basat en prototip relacionat amb...

Realitat Virtual

Guió de Realitat Virtual basat en prototip

relacionat amb els casos estudiats a la PAC1

PAC 2Pere Amengual GomilaNovembre 2016

2

Realitat Virtual - PAC 2

Índex

Consideració dels canvis a incorporar .............................. 3

El repte de la sensació d’agència ....................................... 5

Proves inicials i modificacions al prototip ...................... 5

Descripció de les tecnologies utilitzades ...................... 6

Efecte de les modificacions realitzades ......................... 7

Diagrama d’autómat finit ...................................................... 8

Funcionament previst de l’aplicació ................................. 8

Vídeo del prototip actual en funcionament .................. 9

Bibliografia i fons consultades ........................................... 10

3


A partir del prototip creat prèviament dins de l’assignatura de Disseny d’Interacció i dels casos analitzats a la PAC1 considerar quins canvis es podrien incorporar per aprofundir en l’especificitat de la Realitat Mixta desenvolupant millor alguns dels punts de l’apartat Objectius.

Abans d’entrar en el contingut a que fa referència l’enunciat pot ser d’ajuda elaborar una definició del que és la Realitat Mixta. Segons Paul Milgram i Fumio Kishino en el seu article “A taxonomy of Mixed Reality Visual Displays” (1), la realitat mixta és un subconjunt de tecnologies relacionades amb la Realitat Virtual que impliquen la unió de mons reals i virtuals en un punt al llarg del “continu de la virtualitat”. Aquest continu descriu una escala contínua que oscil·la entre el que es pot definir com completament virtual, és a dir la realitat virtual, i allò que és completament real, és a dir, la realitat física(2).

El prototip objecte del present treball es correspon amb la feina presentada el semestre anterior com a Pràctica Final de l’assignatura Disseny d’Interacció. L’esmentat prototip consisteix en un instrument

musical que, mitjançant un trio d’interfícies d’entrada (teclat, ratolí+GUI i controladors nunchuck connectats a Arduino) permet la creació de sons amb un sintetitzador proveït d’oscil·ladors de quadratura implementat sota Processing i la llibreria Minim. Aquests sons, a més de sentir-se, es poden visualitzar tant en pantalla com a l’entorn físic amb una projecció de llum làser, en forma de figures de Lissajous, de manera semblant a com funcionaven les consoles làser analògiques dels anys 70.

Amb la finalitat d’aprofundir en l’especificitat de la Realitat Mixta, el conjunt dels canvis proposats passa per fer servir un entorn de visualització híbrid basat en un monitor convencional (no immersiu), també conegut amb el nom de WoW (“window on the world”), en el que les imatges generades per l’ordinador es sobreposen a les obtingudes per la càmera del dispositiu Leap Motion(3). En aquest prototip, la pantalla mostra l’usuari i les seves mans reals i, sobreposat, un model tridimensional de les mans per poder tenir feedback sobre el tracking que està realitzant Leap Motion. La posició dels dits i les mans genera fluxos de dades que posteriorment són mapejats per controlar els paràmetres del sintetitzador de sons que, alhora, genera els patrons visuals de forma reactiva.

http://graumultimedia.com/practica-disseny-dun-sistema-interactiu-quadralight-consola-laser/

4


El repte principal consisteix en la substitució progressiva de components de la interfície anterior per les possibilitats de control que ofereix el dispositiu sensor Leap Motion.

L’entorn virtual del prototip proposat (entès com el conjunt d’objectes lògics, propietats i regles que modelen els objectes i el seu comportament) és inicialment molt bàsic i mostra en pantalla els següents elements:

a) esquelet de les mans de l’usuari, fent servir la informació de seguiment proporcionada pel dispositiu

b) botons amb els valors dels paràmetres del sintetitzador

c) visualització en 2D de la figura de Lissajous

Cal destacar la importància que presenta el so dins aquest entorn virtual, ja que la generació de sons és en realitat la finalitat principal del prototip. Els sons són produïts per dos oscil·ladors de quadratura seguint el model habitual en els sintetitzadors musicals.

La interfície física d’entrada és proporcionada pel controlador Leap Motion, un petit dispositiu perifèric proveït de connector USB que, amb mitjançant una cinta elàstica i adhesius amb velcro es posiciona sobre el front de l’usuari. Mitjançant dues càmeres d’infrarojos i tres LEDs emissors d’infrarojos, el dispositiu pot observar una àrea circular aproximadament d’un metre. El firmware del dispositiu sintetitza dades de la posició dels dits i les mans, l’objecte físic principal del prototip,

en 3D mitjançant la comparació dels quadres en 2D generats per les dues càmeres.

La interfície física de sortida principal és un monitor d’ordinador convencional, la primera de les opcions enumerades per Milgram-Kishino pel que fa als entorns de visualització possibles en la Realitat Mixta. Un projector làser equipat amb interfície ILDA mostra els patrons Lissajous sobre una paret o pantalla de grans dimensions, el que proporciona un major grau d’immersió. Ja que el dispositiu és, inicialment, un sistema generador de sons no podem obviar el sistema de so com una de les interfícies de sortida principals.

La interfície lògica (representació virtual de la interfície física) és un esquelet de les mans de l’usuari que es presenta en pantalla com objecte virtual principal i que dóna referència directa a l’usuari de les accions que duu a terme amb la interfície física i que es correspon, en darrer terme, amb les seves pròpies mans.

Descobrir quines seran les propietats del subjecte virtual, format per la interfície lògica i per les regles de comportament respecte de l’entorn virtual, serà un dels principals reptes del projecte. D’una banda, comptem amb l’anàlisi que es pot realitzar de les possibilitats que ofereixen instruments musicals com el Theremin, que es fa sonar també variant la posició dels dits i les mans respecte d’uns sensors o antenes. Però, per altra part, el prototip a desenvolupar resulta potencialment més complexe i ric tant en possibilitats expressives com en paràmetres sonors.

5


Per maximitzar la sensació de coherència de l’experiència i intentar aconseguir un apropament entre les expectatives de l’usuari i l’experiència pròpiament dita, s’analitzaran diverses alternatives pel que fa a la representació de la interfície lògica fent que l’aspecte visual de l’esquelet de les mans pugui canviar alguns dels seus paràmetres (opacitat, color, mides, etc.). Amb la mateixa finalitat, també es realitzarà un anàlisi detallat dels tant dels paràmetres d’entrada proporcionats per la interfície com dels mapatges corresponents.

Com correspon a un instrument musical, el bucle principal de l’aplicació és on té lloc la lectura de les dades de la interfície d’entrada, el seu mapatge i la corresponent sortida de dades sonores i visual a les interfícies de sortida. A més, també en el bucle principal l’usuari pot triar entre les dues interfícies d’entrada disponibles: teclat+ratolí+GUI o Leap Motion.

El repte de la sensació d’agència

La sensació d’agència (o sensació de control) fa referència a la consciència subjectiva que un està posant en marxa, executant i controlant les pròpies accions(4). En el cas del prototip a desenvolupar equivaldria la la consciència pre-reflexiva que l’usuari és qui està executant les accions que donen lloc als canvis de la interfície lògica i, especialment, a la manera en que les regles de comportament respecte de l’entorn virtual defineixen les característiques del so i la seva corresponent representació gràfica.

L’absència d’una interfície física exterior a l’usuari basada en objectes físics (comandaments, superfícies de control, etc...) pot donar lloc a

una interfície amb un grau de transparència tan elevat que dificulti la sensació de control de l’usuari respecte dels sons i les imatges que genera. El risc de una sensació d’agència fallida no és exclusiu d’aquest tipus d’interfícies, ja que en un cert grau era ja present en el prototip original degut a la dificultat que trobava l’usuari en relacionar la posició dels nunchuks detectada pels accelerómetres amb les propietats sonores del so generat.

Per aconseguir maximitzar la sensació d’agència el prototip intentarà assegurar una correspondència inequívoca i clara entre la posició de dits i mans i els principals paràmetres del so: altura tonal, volum i timbre. Un mapatge adeqüat i la presència de feedback visual sobre l’objecte virtual principal (les mans) en forme de canvis de color, llums, etc. aniran a favor de la consecució d’aquest objectiu.

Proves inicials i modificacions al prototip per avaluar-ne la seva viabilitat

Les primeres proves passaran per incorporar al codi del prototip l’opció de controlar un dels paràmetres del sintetitzador amb Leap Motion. Per implementar aquesta funcionalitat primer haurem de comprovar que la configuració del dispositiu i la connexió amb Processing funciona de la forma esperada. Es realitzarà un mapatge provisional, només per comprovar el correcte funcionament de la nova interfície.

En segon lloc, eliminarem les opcions de control amb nunchucks ja que són incompatibles amb els gestos de les mans que controlaran el nou prototip

6


Finalment, en aquesta fase de proves presentarem en pantalla la interfície lògica en forma de esquelet bàsic de les mans. Es deixa pel prototip final la implementació dels canvis de color, opacitat, mides, etc... dels objectes de l’entorn virtual en resposta a la lectura de la posició de les mans.

Encara que resulta possible mostrar en pantalla la imatge de les càmeres IR del dispositiu Leap Motion, de moment només optarem per mostrarla en un petit requadre, quedant pendent la correcció de la distorsió de la imatge per superposar aquesta imatge corregida en una capa de vídeo sota la interfície lògica, amb la finalitat d’aconseguir una visualització de tipus “Window on the World”.

Descripció de les tecnologies utilitzades: Processing, Minim, ControlP5 i Leap Motion

Per la realització d’aquest prototip s’ha fet servir el llenguatge de programació de codi obert Processing, basat sobre Java.

https://processing.org/

La llibreria Minim proporciona les classes per la creació i manipulació de sons. S’ha escollit aquesta llibreria en comptes de la integrada amb Processing 3.0 ja que permet el control de la fase dels oscil·ladors.

http://code.compartmental.net/tools/minim/

La llibreria ControlP5 permet la creació d’una GUI de forma ràpida i senzilla amb botons virtuals per visualitzar i/o modificar els paràmetres del sintetitzador.

http://www.sojamo.de/libraries/controlP5/

En aquests moments, es troben disponibles tres llibreries per fer servir Leap Motion dins l’entorn de programació Processing. La primera opció és fer servir la llibreria inclosa dins la darrera versió de l’SDK; lamentablement, aquesta versió no funciona correctament amb la darrera versió de Processing. Les dues opcions restants passen per fer servir les llibreries LeapMotion i Leap Motion for Processing. La segona alternativa ha estat provada amb Processing 3.0 i és la que presenta un codi més actualitzat, com podem comprovar a GitHub.

https://github.com/nok/leap-motion-processing

7


Concepte Prototip anterior Prototip actualentorn virtual Objectes lògics propis d’una GUI convencional i representació

visual del so generat en forma de patrons Lissajous tant a pantalla com fora d’ella fent ús d’un projector làser. Creació sonora generativa en temps real.

Substitució progressiva dels elements de la GUI per una interfície lògica que mostra una recreació de les mans de l’usuari, mantenint la representació visual del so en pantalla i làser. Sense canvis en el subsistema de síntesi sonora.

subjectivitat virtual Limitada a l’exploració dels paràmetres mitjançant elements propis d’una GUI (botons rotatoris, interruptors de canvi d’estat). Semplant a la interpretació d’un instrument musical.

Reforçada per representació en pantalla element del cos que reporta un major grau d’immersió. Sensació d’agència menys evident degut a l’ús d’una interfície poc habitual.

interfície lògica Elements de la GUI mostren els paràmetres del sintetitzador. Representació virtual de les mans de l’usuari amb implementació progressiva d’elements addicionals: esferes, formes geomètriques de color, mida i opacitat variable.

interfície física Teclat + ratolí + potenciómetres + nunchucks Leap Motion + teclat + ratolímapatge Mapatge lineal dels paràmetres amb escalament i offsets per

ajustar el recorregut dels elements de la GUI al rang de sons i imatges més interessants des del punt de vista estàtic.

Mapatge similar al prototip original, però analitzat els rangs útils d’expressions permeses amb la interfície Leap Motion: pinch, altura i posició dels dits i les mans, etc.

sensors Accelerómetres, potenciómetres Càmera IR estereocòpicacomportaments L’usuari interacciona amb el sistema de manera parescuda

a com un músic interpreta un instrument musical. Els seus moviments modifiquen en temps real la generació de so i imatges.

En aquest cas, l’instrument s’interpreta sense tocar-lo físicament, com en el cas del Theremin. El sistema també respon en temps real creant sons i imatges però la desaparició la confirmació tàctil que proporcionava la interfície física del prototip anterior aporta nous reptes a superar

objectes físics Els elements de la interfície física L’únic objecte físic (les mans de l’usuari) és alhora el principal element de la interfície

objectes virtuals elements de la interfície lògica + representació Lissajous del so generat

elements de la interfície lògica + representació Lissajous del so generat + objectes addicionals reactius al so

Efecte de les modificacions realitzades en els conceptes dels punts recollits als objectius

8


Diagrama d’automat finit dels comportaments i estats més rellevants previstos

Funcionament previst de l’aplicació en la versió final

En la seva versió definitiva el prototip permetrà la creació de sons i la modificació en temps real d’alguns dels seus paràmetres. Ja que el sintetitzador es basa en un sistema de dos oscil·ladors i dos LFO’s, es farà correspondre cadascuna de les mans amb l’oscil·lador i l’LFO corresponent.

Alguns dels paràmetres de la interfície d’entrada, corresponents amb mètodes de la classe Hand proporcionada per la llibreria Leap Motion for Processing, que s’analitzaran en primera instància són els següents: getStabilizedPosition(), getDirection(), getDynamics(), getRoll(), getPitch(), getYaw(), getGrabStrength(), getPinchStrength() i getSpherePosition().

Els paràmetres del sintetitzador susceptibles de ser controlats són: amplitud de cada oscil·lador prèvia al processat de waveshaping, freqüència base dels oscil·ladors quan no hi ha modulació per part dels LFOs, forma d’ona dels oscil·ladors, qüantitat de waveshaping i els índexs de modulació dels LFOs.

El prototip mostrarà, tant en pantalla com fent servir un projector làser, la correlació en fase dels sons generats en forma de figures de patrons de Lissajous.

9


7. Vídeo del prototip actual en funcionament

https://vimeo.com/190778645

10


Bibliografia i fonts consultades

Referències bibliogràfiques i en línia

(1) Milgram-Kishino. A taxonomy of mixed reality visual displays. [en línia]. IEICE Transactions on Information Systems, Vol E77-D, No.12 De-cember 1994. [data de consulta: 30 de maig del 2014]. Disponible en <http://etclab.mie.utoronto.ca/people/paul_dir/IEICE94/ieice.html>

(2) Col·laboradors de la Viquipèdia. Continu de la Virtualitat [en línia]. Viquipèdia, l’Enciclopèdia Lliure, 2014 [data de consulta: 30 de maig del 2014]. Disponible en <//ca.wikipedia.org/w/index.php?title=Continu_de_la_Virtualitat&oldid=13498951>.

(3) https://www.leapmotion.com/

(4) Wikipedia contributors. “Sense of agency.” Wikipedia, The Free Encyclopedia. Wikipedia, The Free Encyclopedia, 26 Feb. 2016. Web. 26 Feb. 2016.

Wikipedia contributors. “Leap Motion.” Wikipedia, The Free Encyclopedia. Wikipedia, The Free Encyclopedia, 13 Oct. 2016. Web. 13 Oct. 2016.

Imatges

Imatge de portada. Pere Amengual (cc by-sa) 2016.

Continu virtualitat. (pd) https://commons.wikimedia.org/wiki/File:Continu_virtualitat.JPG

Camera Images. Pere Amengual (cc by-sa) 2016.

guió de realitat virtual basat en prototip relacionat amb...

Documents