ambientes aumentados e novas formas narrativas
TRANSCRIPT
Ambientes Aumentados e Novas Formas Narrativas
Nuno CorreiaDI/FCT/UNL e CITI (Centro de Informática e Tecnologias de Informação)
http://img.di.fct.unl.pt
Resumo
Introdução e contextoConvergência dos media, interfaces tangíveis, wearables, realidade aumentada, realidade aumentada
Hipermédia no mundo realNovas formas narrativas
Projecto InStory
Perspectivas
Dep. Informática, FCT-UNLInvestigação fundamentalInvestigação aplicadaPós-graduação (PhD, MSc)
No âmbito do departamentp de Informática:• Mestrado em Engenharia Informática
Em programas europeus
CITI (Centro de Informática e Tecnologias de Informação)
Cerca de 40 doutoradosEstudantes de doutoramento e mestradoFinanciado pelo Ministério da Ciência e Ensino Superior:
Cerca de 100K Euro cada anoAdicionalmente 133K Euro ProgramáticoAvaliação externa: Muito Bom (2004)
Projectos financiados:Projectos nacionais (FCT)Projectos internacionais (UE)
CITI (Centro de Informática e Tecnologias de Informação)
Linhas de investigação:Programming Languages and ModelsSoftware EngineeringParallel and Distributed ProcessingLarge-Scale Distributed ComputingComputer GraphicsInteractive Multimedia (IMG)Geographic Information SystemsNatural Language Processing
CITI (Centro de Informática e Tecnologias de Informação)
IMG Direcções de Investigação
Ambientes aumentados e mistosHipermédiaPersonalizaçãoGeração semi-automática de informaçãoNovos modelos narrativos e novos mediaAnotação e Metadata (MPEG-7)Processamento de imagem e vídeo
Convergência dos Media
A televisão e o computador vão coexistir com muitos outros dispositivos
Mil canais?
Mobilidade assume um papel essencialMúltiplas formas de acesso, múltiplos estímulos sensoriais
Multimodal -> Intermodal
Desafios tecnológicos e novos modelos narrativos
Telecomunicações
Mudança de paradigma: evolução das comunicações/evolução do computador pessoalFlexibilidade na gestão e configuração das redes (móveis)Redefinição da função do terminal (Java?)Redes ad-hoc, estabelecidas de acordo com necessidades temporáriasPartilha de recursos incluindo processamento e comunicação
Comunicação viral, peer to peer (modelo Napster)
Inteligência nos Objectos
Redes de comunicação e processamento distribuídas pelos objectosRede de sensores (RF tags, IR, ...)Modelos de computação massivamente distribuídos
Computadores como tinta
Interfaces tangíveis: o mundo como interface
Wearable Computer
Cada pessoa veste o seu computador (e comunicador) pessoalRede pessoal comunica com sensores, objectos, computadores (exemplo, Jini)Realidade aumentada, fornece informação adicional sobre o mundo que nos rodeia
Realidade Aumentada
Composição, em tempo real, de imagens sintéticas com imagens reais Acesso a informação adicionalPermite que o utilizador tenha uma melhor percepção sobre o mundo real
Hipermédia e Realidade Mista
Mecanismos hipermédia para realidade mistaEm desenvolvimento DI/FCT/UNL, colaboração de FBA/ULO mundo através do Internet Explorer?
Como se guardam os sítios visitados num sistema deste tipo?Como se fazem bookmarks?...
Protótipo de Museu (Edward Hopper)
Cenário
Espaço físicoUtilizador caminha pelo espaçoVídeo real e detecção de locais/objectosInformação aumentada sobre vídeoHistória da experiênciaNarrativas contextuais
Aplicações
Assistente de informação num museu/galeriaJogo (mistério/aventura/exploração)Objectos físicos são quadros em diferentespartes de uma salaModelos 3D destes quadros permitem a navegação em busca de novas experiências e informaçãoAmbiente de teste: PC Portátil com rede wireless, câmara, óculos see through, usa AR Toolkit
Cenário
Quadros de Edward HopperNighthawksDrugstore
Localização do utilizador e dos quadrosHistória de mistério: quem roubou o diário?
Componentes do Sistema
Sistema LocalDispositivo portátilCaptura de vídeoReconhecimento óptico de marcas (AR Toolkit)Game engine
Serviços RemotosServidor 3D da cena (ANTS)Grafo Hipermédia
Novas Formas Narrativas
Modelo narrativo tradicional é passivoTelevisão interactiva, filmes interactivos, potenciam novas formas narrativas e de interacção
Existem limitações tecnológias a ultrapassar
Múltiplas histórias e múltiplos canais de interacçãoO espectador passa também a ser autorNarrativas no espaço
Hipervídeo
Hipermédia em que o tipo de informaçãodominante é vídeo
Natureza dinâmica e processo narrativo do vídeoAspectos estéticos e retóricos da integraçãocom outros mediaModelação do tempo (hiperligações)
Sistemas relevantes:AHM (Amsterdam Hypermedia Model)Kontiki MuseumHyperCafe
Aspectos estéticos e retóricos
Integração nas dimensões estéticas e retóricas [Liestøl, ECHT94]Evitar descontinuidades ao passar de um meio a outro
Exemplo: Forma passiva/experiencial de ver vídeo para a leitura activa/reflexiva de um livro
Resulta num conjunto de regras: Dimensão topográfica para o vídeoAtribuição de propriedades temporais ao textoNarração para efeito de continuidade
HyperCafe
Café virtual, que integra um conjunto de situações/cenasnas quais é possível navegar[Sawhney96] ACM Hypertext
Conceitos (HyperCafe)
Cena: Menor unidade do hipervídeo, sequência de imagens.Sequência narrativa: Um caminho (path) dinâmico através do conjunto de cenas.Ligações
Temporais: Referência baseada no tempo entre diferentes cenas (um instante na cena de origem provoca apresentação do destino).Espacio-temporais: Zona espacial na cena de origem provoca apresentação de outra cena, a partir de um determinado instante.
Conceitos Cont.(HyperCafe)
Oportunidades de ligaçãoTemporais: Pequenas sequências de vídeo referentes a cenas destino, numa cena de origem, que são apresentadas durante um determinado período, em pontos específicos no tempo.Espaciais: Uma zona espacial dinâmica na fonte de vídeo que pode provocar a apresentação de diferentes nós de destino.
HyperCafe
Temporal Hypertext Intruding on a Scene
Temporal Opportunity as a Video-based Preview
Spatio-Temporal Opportunitiesin a Scene
Metacinema
Narrativas baseadas na localização do utilizador
Caça ao tesouro
Dispositivos e redes móveisParticipação dos utilizadores
Fotografias, filmes, anotações
Personalização e contextualizaçãoExemplos: M-Views (MIT Media Lab), InStory (DI/FCT/UNL e IST/INESC)
InStory
Projecto financiado pela FCT/MCES centrado na Quinta da Regaleira(DI/FCT/UNL, IST, Univ. de Évora)Histórias personalizadas
Localização do utilizadorInteressesHistórias para grupos de utilizadores
Dispositivos móveis para acesso (PDA iPaq) Arquitectura cliente-servidor, redes ad-hocVários cenários: personagens virtuais, jogos, caça ao tesouro, percursos Colaboração MIT Media Lab
Arquitectura
Arquitectura cliente-servidor sobre uma rede wireless 802.11
Actualização da posição
Tabela de conteúdos
Pedido de documento
Documento
Actualizaçãoda posição
Sistema deposicionamento
Selecção deconteúdos
Cliente Servidor
- req (in, out, pos)- user (username)- lat (latitude)- lon (longitude)
Example: server_url/index.php?req="in"&user="LuisAlves"&lat="20"&lon="40"
sever_url/index.php?req="pos"&user="LuisAlves"&lat="35"&lon="40"
sever_url/index.php?req="pos"&user="LuisAlves"&lat="60"&lon="45"
sever_url/index.php?req="out"&user="LuisAlves"&lat="25"&lon="45"
<content><image x="0" y="0" url="saladosreis.jpg" /><link x="0" y="0" width="640" height="480"
url="plantapisoterreo.xml"/></content>
Requests
Interfacedefinition
Comunicação cliente-servidor
Cliente InStory v2.0
Aplicação com características de browser de documentos hypermediaInterface definida pelas páginas apresentadasCapacidade de determinar a sua posição geográfica recorrendo a dois sistemas distintosVisualização da posição actual através de uma interface de mapaPosicionamento explícito através da interface de mapa, caso os sistemas automáticos falhemUpload de imagens anotadas para o servidor
Cliente InStory v2.0 -Arquitectura
Arquitectura de módulosMódulo de posicionamento utiliza um parser de frases NMEA 0183 escrito por Monte VariakojisBiblioteca de parsing XML utiliza a biblioteca TinyXML da autoria de Lee Thomason
ControlModule
PresentationModule
FileModule
XML ContentLibrary
PositioningModule
Server LocalFiles
HTTPTCP/IP
Userinput
UploadLibrary
Graphicaloutput
Audiooutput
Projecto InStory - NarrativasEm desenvolvimento para a Quinta da Regaleira, Sintra, em parceria com a Fundação CulturSintra
Projecto InStory - Narrativas
Narrativa actual:Temática alusiva à caça, utilizando elementos presentes no espaço da QuintaNarrativa gira em torno de quatro personagens principais, representando quatro pontos de vista sobre o temaAs personagens propõem actividades relacionadas com a narrativa; e durante as quais o desempenho do jogador decide o desenrolar da história
InStory Project - Narrativas
# 1 Palace
# 2 Chapel(Goes to Garden?) YES
NO
# 3 Garden(Goes to Chapel?)
YESNO
# 4 Gate
# 0 Reception
# 5 Banquet
Cliente InStory - Interface
Interface definida pelas páginas apresentadasAs páginas são descritas por documentos XML, àsemelhança das páginas webElementos possíveis:
Imagens, textoÁudio (futuramente vídeo e/ou animações)Links, acções genéricas (adjudicadas pelo cliente)Balões de ajuda (tooltips)Barra de ferramentas (retráctil)Lista de valores (página de upload)Mapa
Cliente InStory – Modos
Divisão das páginas em cinco tipos distintos, consoante o seu propósito:
Opções da aplicaçãoEstatísticas do jogadorDesenrolar do jogo/narrativaMapa do espaço físicoInformação disponível acerca da área
O modo do cliente ajuda a organizar a informação para o utilizador, reflecte o tipo de página apresentada e determina o comportamento do cliente na selecção e apresentação de novas páginas.O modos pode ser seleccionado explicitamente por intermédio de vinhetas presentes na maioria das páginas
Cliente – Modos – Opções
O modo de opções providencia um menu de opções, comum em aplicações de diversos tipos. As páginas são maioritariamente locais ao cliente para possibilitar a sua configuração sem necessidade de protocolo com o servidor.
Página de opções do cliente
Cliente – Modos – Jogador
O modo de jogadorapresenta informação acerca das estatísticas do utilizador no sistema tais como o seu nickname, o grupo a que pertence, o tempo decorrido no sistema, os seus objectivos actuais e objectos virtuais em sua posse. Este modo permite ainda o acesso à interface de upload de contribuições.
Página de estatísticas do jogador
Cliente – Modos – Jogo
O modo de jogo destina-se exclusivamente àapresentação de conteúdo relativo à narrativa ou jogo – que só fará sentido para uma dada posição geográfica e um dado estado do sistema. No geral pode ser uma interacção com uma personagem virtual, um quiz ou atéinformação intimamente relacionada com a narrativa.
Uma personagem virtual desafia o jogador com um quiz
Cliente – Modos – MapaO modo de mapaapresenta páginas que possuem um mapa do espaço físico. As páginas deste tipo destinam-se a auxiliar o utilizador na compreensão da sua localização geográficaCaso o posicionamento automático não esteja disponível o utilizador pode indicar a sua posição no mapa
Página de mapa, mostrando uma tooltipe a posição actual do utilizador
O modo de informaçãopermite o acesso e navegação em páginas hypermediapertencentes a uma colecção de informação geo-referenciada, não necessariamente ligada ànarrativa.Faceta típica de hypermediabrowser.
Cliente – Informação
Página de informação acerca de um local
Cliente InStory – Contribuição
Captura e upload de imagens com anotação de voz e subjacentes a um temaOs dados são geo-referenciados e armazenados no servidor permitindo:
Cumprimento de objectivos nas actividades propostasAfixação virtual de mensagens para utilizadores ou gruposCriação de memórias digitais que podem ser reproduzidas mais tarde para diversos fins
Cliente InStory – Posicionamento
Dois sistemas de posicionamento distintosGlobal Positioning System (GPS)
• Baseia-se numa malha formada por 24 satélites à volta do globo
• Informação da posição geográfica, direcção e velocidade, relógio global, percurso...
• Comunicação com o dispositivo receptor através do protocolo NMEA 0183
Ekahau Positioning Engine™• Triangulação de dispositivos em redes 802.11• Comunicação com o motor através do protocolo YAX,
baseado em sockets TCP• Necessita de calibração do motor de posicionamento
Posicionamento explícito por parte do utilizador