Manovich. Capítulo 3 – El Software Toma el Mando 1 / 25
Capítulo 3: Hibridación1
Lev Manovich
Hibridación vs. mult imedia
“El primer metamedio”, imaginado por Kay y Goldberg en 1977, se volvió gradualmente una
realidad en los 90’s. Empezando con Sketchpad y hasta las recientes versiones del software de
medios, la mayoría de los medios físicos han sido simulados a detalle y muchas nuevas
propiedades han sido añadidas. En paralelo, un nuevo medio computacional sin precedentes
físicos se estaba gestando: por ejemplo, los espacios 3D navegables (Ivan Sutherland);
multimedios interactivos (“Aspen Movie Map” de Architecture Machine Group); hipertexto e
hipermedia (Ted Nelson); cine con narrativa interactiva (Graham Weinbren); Internet (Licklider,
Bob Taylor, Larry Roberts, entre otros); World Wide Web (Tim Berners-Lee); medios sociales como
servicio (SixDegrees.com) 2, plataformas masivas de colaboración como Wikipedia (Jimmy Wales y
Larry Sanger).
Nuevas técnicas de generación, manipulación y presentación de medios, sin precedentes en
medios físicos, también se estaba desarrollando. Por ejemplo: generación algorítmica de
imágenes, interpretación foto-realista 3D, parámetros y comandos, llegados con Sketchpad.
También surgieron técnicas especificas y generales a los nuevos medios como la gestión de
datos. Pero aún más importante, a mediados de los 90’s, las computadoras se volvieron
suficientemente rápidas para “correr” estos medios. O sea que la visión de Kay de la
computadora como metamedio (una plataforma que alberga muchos medios existentes y nuevos)
se realizó.
Entonces, ¿qué pasa después? ¿cuál es la siguiente etapa en el desarrollo del metamedio? (uso
aquí la palabra “etapa” en un sentido lógico, más que histórico). Esto es algo que, según yo, no
escribieron los inventores de los medios computacionales: Sutherland, Nelosn, Engelbart, Kay y
sus colaboradores. Pero como ellos prepararon las condiciones, son indirectamente responsables
de ello.
La discusión del metamedio computacional, al final del famoso artículo de Kay y Goldberg, da la
impresión que se desarrollaría con “adiciones”, a medida que los usuarios construyeran nuevos
tipos de medios para satisfacer sus necesidades, usando las herramientas de la computadora
personal Dynabook. Al ver el desarrollo del metamedio computacional de los últimos 30 años,
parece que se confirma esta conclusión.
1 Fragmento del libro Software Takes Command, versión del 30 de septiembre de 2012, publicada bajo licencia Creative Commons en manovich.net. Traducción de Everardo Reyes-García. Este documento tiene únicamente intenciones educativas, artísticas y científicas. 2 d. boyd & N. B. Ellison, “Social network sites: Definition, history, and scholarship,” Journal of Computer-
Mediated Communication, 13 (1) (2007), http://jcmc.indiana.edu/vol13/issue1/boyd.ellison.html.
Manovich. Capítulo 3 – El Software Toma el Mando 2 / 25
Por ejemplo, si vemos el uso de los medios computacionales en el arte, que empezó en los 50’s
(adopción de computadoras para la composición musical y la generación algorítmica de
imágenes), para el 2003, el influyente libro Digital Art (de Christiane Paul) lista ya una docena de
diferentes áreas. El artículo de Wikipedia sobre “software colaborativo” contiene también una lista
de docenas de tipos de programas (y claro, dentro de cada uno hay cientos de productos) 3. El
artículo sobre “software social” enlista 20 grandes tipos de medios sociales y ninguno de ellos
existía prácticamente en los 60’s (mensajes instantáneos, chats, blogs, etc.).
Para continuar con ejemplos de estas adiciones, un típico diseño visual hecho hoy con
aplicaciones de software puede parecer la suma de medios previos: un dibujo + pintura al óleo +
fotografía + collage. Si ponemos atención en las interfaces de edición de medios, también parece
que se confirma nuestra impresión. Aquí vemos infinitas opciones para modificar un documento,
acomodadas una con otra en múltiples menús. Mientras las nuevas opciones se van haciendo
disponibles, debido a que la manufactura de software lanza una nueva versión o porque
compramos plug-ins por separado, se muestran como adiciones en los mismos menús.
Ciertamente, el número de comandos en aplicaciones de medios populares se incrementa con
cada nueva versión: se añaden más técnicas de creación, edición, remix y creación, con salida
hacia diferentes plataformas de distribución.
Sin embargo, estos procesos de adición y acumulación no son los únicos que definen la evolución
del metamedio computacional. Aunque efectivamente funcionan, no creo que estén al centro de
la transformación (o, si queremos, mutación) de este metamedio (y por extensión de toda la
cultura moderna vía software) en las tres décadas que han seguido el artículo de Kay y Goldberg.
De hecho, tomo 1977 como la fecha simbólica que marca la primera etapa de la “invención de
medios”.
Creo que el periodo que va de finales de los 70’s a mediados del los 2000’s, representa una
segunda etapa fundamentalmente distinta en el desarrollo del metamedio computacional. Esta
etapa continúa la implementación práctica inicial y la podemos llamar hibridación de medios.
Una vez que la computadora se convirtió en un cómodo hogar para un gran número de medios
simulados y nuevos, se vuelve lógico esperar que se empiecen a crear híbridos. Y esto es
exactamente lo que ha estado pasando en esta nueva etapa de la evolución de medios. Tanto los
medios simulados como los nuevos (texto, hipertexto, fotografía fija, video digital, animación 2D,
animación 3D, espacios navegables, mapas, informaciones geográficas) operan como los
componentes básicos para nuevas combinaciones de medios.
3 http://en.wikipedia.org/wiki/Collaborative_software, consultado el 4 de febrero, 2012.
Manovich. Capítulo 3 – El Software Toma el Mando 3 / 25
He aquí algunos ejemplos de medios híbridos computacionales: Google Earth combina fotografía
aérea, imágenes satelitales, gráficas computacionales 3D, fotografía fija y demás medios pata
crear una nueva representación híbrida que los ingenieros de Google llaman “interfaz 3D del
planeta”. Una secuencia de gráficos animados (motion graphics) combina contenido y técnicas de
diferentes medios como el video de acción viva, animación 3D por computadora, animación 2D,
pintura y dibujo. Los motion graphics son visuales animados que nos rodean diario; los vemos en
los títulos de películas y programas de TV, gráficos de la TV, gráficas para contenido de medios
móviles, spots publicitarios y videoclips musicales. El diseño de un sitio Web puede mezclar fotos,
tipografía, gráficos vectoriales, elementos interactivos y animación. Las instalaciones físicas que
se integran en espacios culturales y comerciales (por ejemplo el Nobel Field en el Centro Nobel de
la Paz en Oslo, hecho por Small Design, las pantallas interactivas en tiendas Nokias y Diesel
hechas por Nanika, o el Memory Wall del Hotal Puerta América en Madrid, hecho por Karen Finlay
y Jason Bruges, etc.) combinan animaciones, video, control computacional y varias interfaces
físicas de sensores téctiles para crear el ambiente espacial interactivo4.
El diccionario que vienen incluido en la versión Microsoft Word que stoy usando para escribir este
texto tiene unas definiciones para “híbrido”: “una planta producida de la cruza de plantas con
diferentes componentes genéticos”; “un animal que resulta del apareo entre distintas especies o
subespecies”. Estos significados biológicos de “híbrido” captan muy bien la esencia de lo que está
pasando en los medios con su “softwareización” en los 80’s y 90’s. O sea, la translación
sistemática de numerosas técnicas para la creación y edición de medios, procedentes de
tecnologías físicas, mecánicas y electrónicas, en las aplicaciones de software. Una vez traducidas
en software, las técnicas empiezan a actuar como especies en una ecología común, en este caso
un ambiente de software compartido. Una vez que se “liberan” en este ambiente, empiezan a
interactuar, mutar y hacer híbridos.
Si queremos relacionar el inicio de esta nueva etapa de hibridación con algunos proyectos y
tecnologías importantes en la historia de los medios computacionales, el famoso sistema
interactivo hipermedia Aspen Movie Map, desarrollado en el MIT entre 1978-1979, sería un buen
punto de partida5. Precursor del Google Street View (2007), este sistema combinaba películas de
las calles de Aspen, fotografías fijas, un mapa de navegación con fotografías aéreas y diagramas
de dibujo, y audio. El segundo evento sería el lanzamiento del software multimedia QuickTime
(Apple, 2 de diciembre, 1991) como adición a su System Software 6. Como lo explicó Apple en su
artículo técnico “QuickTime 1.0: You Oughta be in Pictures” (verano de 1991): “el nuevo
QuickTime 1.0 facilita añadir medios dinámicos, como video y sonido, en tus aplicaciones. Y esto
4 http://www.davidsmall.com/articles/2006/06/01/nobel-field/; http://www.nanikawa.com/;
http://www.jasonbruges.com/projects/international-projects/memory-wall. 5 “The Interactive Movie Map: A Surrogate Travel System,” video, (The Architecture Machine, 1981),
http://www.media.mit.edu/speech/videos/.
Manovich. Capítulo 3 – El Software Toma el Mando 4 / 25
es sólo el inicio” 6 . En los siguientes diez años desarrolladores comerciales, ingenieros,
diseñadores y artistas independientes invirtieron mucha energía creativa para explorar la nueva
habilidad de la computadora para presentar múltiples medios. Entonces, pienso en los 90’s como
en el periodo en que se fundan las bases y formas de combinar medios en una solo plataforma
computacional. A esto sigue el periodo de comercialización de dichas invenciones en los 2000’s y
la adopción de plataformas móviles.
Para empezar el estudio de la hibridación de medios, es importante aclarar que no sólo nos
estamos refiriendo a algo que ya tiene un nombre, la “multimedia computacional” o,
simplemente, la “multimedia”. Éste término se hizo popular en los 90’s para describir las
aplicaciones y los documentos electrónicos en los cuáles diferentes tipos de medios coexisten.
Es común que estos medios (típicamente texto, gráficos, fotografías, video, escenas 3D y sonido)
estén situados en lo que parece visualmente un espacio bidimensional. O sea que una típica
página Web de los 2000’s es un ejemplo de multimedia, lo mismo una presentación PowerPoint.
Hoy, éstas siguen siendo las formas más comunes de estructurar documentos multimedia. De
hecho, incluso vienen predefinidas en muchas aplicaciones de creación de medios. Cuando un
usuario de Word, PowerPoint o Dreamweaver crea un “nuevo documento”, se le muestran una
página en blanco lista para empezar a teclear texto. Otros tipos de medios deben ser “insertados”
mediante comandos especiales. Pero las interfaces para crear “multimedios” no deben seguir
forzosamente esta convención. El e-mail y los mensajes instantáneos siguen otro paradigma para
agregar elementos de distintos tipos: “los archivos adjuntos”. Entonces, el usuario de un teléfono
con MMS (Multimedia Messaging Service) puede enviar mensajes de texto con archivos adjuntos
como imágenes, sonidos, videos y textos enriquecidos. Otro paradigma más, igual de persistente
en la cultura digital, de Aspen Movie Map (1978) a Second Life (2003), pasando por VRML
(1994), son los espacios 3D como plataforma: aquí, otros medios son anexados o insertados
directamente en el espacio.
La “multimedia” fue un término muy importante cuando las aplicaciones culturales interactivas
empezaron a aparecer a inicios de los 90’s. El desarrollo de estas aplicaciones estuvo apoyado en
la introducción de medios de almacenamiento apropiados, por ejemplo los CD-ROM para grabar
en 1991, las arquitecturas de computación y los formatos de archivo diseñados para soportar
diversos formatos y el software de producción de multimedios (la primera versión de un software
que más tarde se Macromedia Director salió en 1987). Para mediados de los 90’s, las
exhibiciones de arte digital tenían ya una variedad de proyectos multimedia; los programas
educativos en arte digital empezaron a introducir cursos de “narrativa multimedia”; y, los museos
de arte, como el Louvre, empezaron a publicar CD-ROM’s multimedia con visitas virtuales a sus
6 Apple, “QuickTime 1.0: ‘You Oughta be in Pctures” (verano, 1991),
http://www.mactech.com/articles/develop/issue_07/Ortiz_Text.html.
Manovich. Capítulo 3 – El Software Toma el Mando 5 / 25
colecciones. En la segunda parte de la década de los 90’s, la multimedia tomó el Web, a medida
que más y más sitios empezaban a incorporar diferentes tipos de medios. A finales de la misma
década, la multimedia se había vuelto el estándar de las aplicaciones computacionales
interactivas. Los CD-ROM’s, sitios Web, kioscos interactivos y comunicación multimedia vía
dispositivos móviles se volvieron tan comunes que el término perdió relevancia. De esta manera,
hoy vemos multimedia todos los días y no nos asombrarnos de las capacidades de los nuevos
aparatos para mostrar múltiples medios al mismo tiempo.
Desde el punto de vista de la historia de medios, la “multimedia computacional” es un desarrollo
de gran importancia. Los “documentos multimedia” de antes combinaban múltiples tipos de
medios (los manuscritos medievales ilustrados, la arquitectura sagrada, o el cine y la TV del siglo
XX) pero no eran interactivos (en el sentido de las potencialidades particulares que proveen las
computadoras interactivas, en lugar de otras tecnologías igualmente interactivas como los libros
de papel) ni en red. Pero la coexistencia de múltiples tipos de medios en un mismo documento, o
aplicación, es sólo uno de los desarrollos de la simulación de varios tipos de medios en la
computadora. Al poner el acento en el término medios híbridos, quiero llamar la atención a otro
desarrollo, igual de esencial y que, contrario a la multimedia, no ha recibido un nombre formal.
Es cierto que la multimedia puede ser vista como un caso particular de medios híbridos. Sin
embargo, prefiero pensar en ellos como superpuestos uno sobre otro; como dos desarrollos
diferentes. Y es que sólo algunas de las clásicas aplicaciones multimedia de los 90’s eran medios
híbridos, pero la mayoría no. Al contrario, mientras los medio híbridos incluyen contenido de
diferentes medios, éste es solamente un aspecto de su apariencia. Entonces, ¿cuál es la
diferencia entre los dos? En los documentos multimedia y las aplicaciones interactivas, los
contenidos de múltiples medios aparecen juntos. En una página Web, las imágenes y el video
están junto al texto; un blog muestra texto, seguido de imágenes, seguido de más texto. En un
mundo 3D, una superficie plana puede ser usada para mostrar un video. Y en una aplicación
MMS, cada elemento de un mensaje se despliega en una ventana diferente o en su propio pre-
visualizador (por lo menos eso es lo que sucede en los teléfonos móviles de los 2000’s). Por el
contrario, en el caso de medios híbridos, las interfaces, las técnicas y las formas y tradiciones de
los medios se unen y dan como resultado una nueva Gestalt de los medios. Esto quiere decir que
se fusionan para ofrecer una nueva experiencia, diferente a la que se vive con elementos
separados.
Otra manera de resaltar esta diferencia es con la metáfora de la reproducción sexual. El resultado
de la reproducción sexual son nuevos individuos que combinan material genético de ambos
padres (no son ensambles mecánicos de las partes físicas de los padres, lo que sería analógico a
la multimedia). Usando esta metáfora, podemos decir que los nuevos medios son hijos que
combinan el DNA de sus padres mediáticos.
Manovich. Capítulo 3 – El Software Toma el Mando 6 / 25
Un modelo relacionado que ayuda a comprender otros aspectos de este proceso es el de la
evolución biológica. Este proceso trae como resultado nuevos organismos, nuevas especies y
nuevos componentes básicos (moléculas como el DNA y las proteínas). De forma similar, algunas
veces los nuevos medios son ligeramente diferentes a los existentes; en otras ocasiones, las
combinaciones con DNA del software producen nuevas “especies”. El proceso de la evolución de
medios también produce nuevas técnicas para su creación, edición, colaboración e intercambio,
nuevas convenciones de interfaz y nuevos algoritmos. Estos son los equivalentes a los
componentes básicos de la evolución biológica.
Una metáfora más, que nos puede ayudar a entender la nueva etapa del desarrollo de medios, es
el remix. En el proceso de desarrollo del metamedio computacional, diferentes tipos de medios se
mezclaron y formaron nuevas combinaciones. Partes de estas combinaciones entraban en nuevos
remix y así consecutivamente ad infinitum.
Cada metáfora resalta algunos aspectos de nuestro fenómeno de estudio, pero también oculta
otros. Las metáforas de la reproducción sexual, de la evolución biológica y del remix musical
funcionan de forma similar. Cada una de ellas tiene ventajas y desventajas que explican esta
segunda fase del desarrollo de medios computacionales. En este capítulo, usaré ampliamente los
conceptos de hibridación y evolución para describir la nueva etapa del desarrollo de medios. Y en
los capítulos de la tercera parte usaré la metáfora del remix.
Es probable que, debido a que usaré estas metáfora en diferentes partes de mi narración, dé la
impresión de que son partes complementarias de una misma descripción. Pero éste no es el caso
de la hibridación y de la evolución biológica. Además del significado cotidiano de “hibridación”,
también se usa de una manera muy particular en la teoría evolutiva. Así que, si pensamos la
hibridación en ese sentido, no podemos usar el concepto en conjunto con el modelo de la
evolución biológica.
Las teorías contemporáneas de la evolución biológica comparten la definición básica que las
especies son un conjunto de organismos que pueden tener relaciones sexuales entre ellos, pero
no con otras especies. A través del proceso de evolución basado en la separación geográfica de
grupos de una misma especie, estos grupos evolucionan y eventualmente ya no pueden tener
relaciones entre grupos. Estos nuevos grupos se llaman nuevas especies.
En contraste, un híbrido animal es resultado de la cruza entre especies. La mayoría de los
híbridos son producidos artificialmente, aunque se han registrado unos cuanto naturalmente7. Por
eso, os híbridos son excepciones en el proceso evolutivo normal. Cuando uso el término “híbrido”,
estoy haciendo referencia a un significado más general, más allá del ámbito de la biología.
7 M.L. Arnold (1996). Natural Hybridization and Evolution (New York: Oxford University Press, 1996).
Manovich. Capítulo 3 – El Software Toma el Mando 7 / 25
También debo hacer una observación sobre mi uso del modelo evolutivo biológico. No estoy
diciendo que los medios computacionales (o el desarrollo de la tecno-cultura en general)
“evolucionan” como los mecanismos biológicos, ni que los mecanismos de dicha evolución son
los mismos de la evolución biológica, como lo formula la biología contemporánea. (Franco Moretti,
en si libro Graphs, Maps, Trees: Abstract Models for a Literary History, da explicaciones
convincentes de porqué algunas de las ideas de la evolución biológica no son compatibles con la
historia cultural8). En su lugar, pretendo usar la teoría evolutiva como una caja de herramientas
conceptual, que nos puede ayudar a pensar sobre cualquier tipo de proceso temporal. Si así la
entendemos, la teoría evolutiva complementa otras sobre procesos físicos, sociales y psicológicos
(cada una de ellas con sus conceptos únicos, que permiten conceptualizar el desarrollo). Algunos
ejemplos son: la teoría del desarrollo social de Marx, con conceptos como modo de producción,
base, superestructura, etc.; la teoría del “trabajo del sueño”, formulada por Freud en su La
interpretación de los sueños (1899), con conceptos como condensación y desplazamiento; la
teoría de sistemas complejos, con conceptos como emergencia y auto-regulación; el modelo de
cambio de fases de la termodinámica, y muchas otras.
Como yo lo percibo, la hibridación de medios es una reconfiguración del universo de medios más
profunda que la multimedia. En ambos casos se nota la convergencia de múltiples tipos de
medios. Sin embargo, la multimedia no pone riesgo la autonomía de los diferentes medios,
quienes mantienen sus propios lenguajes, es decir, formas de organizar, acceder y modificar los
datos de medios. Los ejemplos típicos de múltiples medios en el Web y en presentaciones
PowerPoint ilustran claramente este punto. Imagina una clásica página Web de los 2000’s, que
tiene texto y video. Ambos medios están separados en todos sus niveles. Sus lenguajes
mediáticos no se riegan entre ellos. Cada medio usa su propia interfaz. Con el texto podemos
deslizarnos hacia arriba y abajo, podemos también hacer zoom con los controles del navegador o
incluso cambiar la fuente o quitar el estilo visual. Con el video, podemos su interfaz para
reproducirlo, detenerlo o retrocederlo, o también podemos subir o bajar el volumen. Así, ambos
están juntos pero sus interfaces no interactúan. Esto es, según yo, un caso típico de la
multimedia.
Por su parte, en los medios híbridos, los lenguajes de distintos medios se unen: intercambian
propiedades, crean nuevas estructuras e interactúan en sus niveles más profundos. Por ejemplo,
en los gráficos animados (motion graphics), el texto adquiere propiedades que eran únicas al
cine, la animación y al diseño gráfico. En otras palabras, el texto mantiene sus dimensiones
tipográficas tradicionales, fuente, tamaño, espaciamiento, pero se enriquece de otras
posibilidades expresivas de otros medios. Cuando una palabra se va acercando a nosotros se
puede ir desenfocando, como si fuera un objeto físico filmado con cámaras y lentes del siglo XX. Al
mismo tiempo, puede volar en un espacio virtual, hacer movimientos físicos imposibles (como
cualquier otro objeto 3D). Sus proporciones cambian según el lente virtual que use el diseñador.
8 Franco Moretti, Graphs, Maps, Trees: Abstract Models for Literary History (Verso, 2007).
Manovich. Capítulo 3 – El Software Toma el Mando 8 / 25
Las letras individuales pueden explotar en cientos de partículas, etc. Así, en el proceso de
hibridación, el lenguaje de la tipografía no es estático, fijo o fiel a sus orígenes. Se genera un
nuevo metalenguaje que combina las técnicas de distintos lenguajes previos.
Otra manera de distinguir entre “multimedia” y “medios híbridos” es verificando si la estructura
original de los datos es afectada, o no, cuando los medios se combinan. Por ejemplo, en los
videos en documentos multimedia, como los mensajes MMS, los e-mails en formato HTML, las
páginas Web convencionales y las presentaciones PowerPoint, la estructura de los datos del video
no cambian de ninguna manera. Un archivo de video digital es una secuencia de fotogramas
individuales, que tienen el mismo tamaño y proporción, justo como lo fueron el cine y el video del
siglo XX. En consecuencia, los métodos estándar para interactuar con estos tipos de datos no
desestabilizan nuestra idea de lo que es un “video”. De la misma manera que con una
videocasetera de los 80’s, el usuario oprime el botón de “play” y los cuadros rápidamente se van
sustituyendo, unos por otros de forma secuencial, para producir el efecto de movimiento. El video
sigue siendo video.
Esto es clásico en la multimedia. Un ejemplo de cómo sería reconfigurada (la reconfiguración es
una habilidad clave de los medios híbridos) ésta misma estructura se ve en The Invisible Shape of
Things Past, una famoso proyecto de patrimonio cultural digital sobre la historia de Berlín,
desarrollado por la compañía de medios Art+Com entre 1995 y 20079. Aquí, los clips del video se
convierten en objetos sólidos, ubicados en un espacio virtual 3D. Cada objeto está construido a
partir de los fotogramas individuales, que se van ordenando uno tras otro, en un apilamiento 3D.
El ángulo entre los fotogramas y el tamaño de cada fotograma está dado por los parámetros de la
cámara que originalmente tomó la película. Es posible interactuar con estos nuevos “objetos
fílmicos”, como cualquier otro espacio 3D, mediante una cámara virtual.
Al mismo tiempo, también es posible “ver la película”, usando el apilamiento de fotogramas como
reproductor de video. Pero esta operación ha sido repensada. Cuando un usuario hace click sobre
el fotograma inicial de un apilamiento, los fotogramas subsecuentes detrás de él se van borrando
rápidamente. Esto da la ilusión de movimiento, como en el siglo XX, y la contracción del objeto
virtual 3D, al mismo tiempo.
En este ejemplo de reestructuración de medios, que caracteriza a los medios híbridos, los
elementos que componen la “estructura de datos” de la película original (los fotogramas
individuales) se componen en una nueva configuración. La antigua estructura se vuelve una
nueva estructura que mantiene los datos y relaciones originales (los fotogramas siguen
ordenados secuencialmente) pero también tiene nuevas dimensiones (el tamaño y ángulo de los
fotogramas). La nueva estructura permite un nuevo tipo de interfaz para acceder a la película, que
combina atributos del espacio virtual y del cine.
9 http://www.artcom.de/en/projects/project/detail/the-invisible-shape-of-things-past/.
Manovich. Capítulo 3 – El Software Toma el Mando 9 / 25
Espero que esta discusión haya dejado porqué los medios híbridos no son lo mismo que la
multimedia y porqué necesitamos éste nuevo término. El término “multimedia” capturó el
fenómeno de juntar el contenido de diferentes medios, pero no sus lenguajes. Hay otro término
que se usa frecuentemente en estudios de medios computacionales pero que tampoco nos
conviene usarlo: “convergencia”. El significado de diccionario incluye “alcanzar un mismo punto” y
“volverse cada vez menos diferentes y, eventualmente, lo mismo”. Pero esto no es lo que sucede
cuando los lenguajes de los medios se hibridan. Lo que sucede en este caso es que adquieren
nuevas propiedades, se enriquecen. Ya hemos citado el ejemplo de los motion graphics, en donde
el texto adquiere propiedades del cine y de la animación por computadora. En gráficas 3D, la
interpretación de los objetos 3D puede usar las mismas técnicas que la pintura tradicional. En
globos terráqueos virtuales como Google Earth y Microsoft Virtual Earth, las fotografías se
combinan para crear nuevas representaciones híbridas y con nuevas interfaces enriquecidas.
En breve, la “softwareización” de los medios pasados no nos llevó a su “convergencia”. Más bien,
lo que vino después de la representación de formatos de medios viejos fueron las técnicas para
crear contenidos y las interfaces para accederlos. Todo esto se independizó de sus bases físicas y
se tradujo a software, y las partes empezaron a interactuar creando nuevos híbridos.
Esta es, para mí, la esencia de la nueva etapa del metamedio computacional en donde vivimos
actualmente. Las propiedades y técnicas únicas de diferentes medios se volvieron elementos de
software que se pueden combinar de formas imposibles previamente.
Entonces, si en 1977 Kay y Goldberg previeron que el nuevo metamedio computacional
contendría “una variedad de medios existentes y aún-no-inventados”, ahora podemos describir
uno de los mecanismos clave detrás de la invención de estos nuevos medios. Este mecanismo es
la hibridación. Las técnicas y formatos de representación de medios físicos y electrónicos se unen
a las nuevas técnicas de manipulación de información y formato de datos que son únicas ala
computadora.
En retrospectiva, quizá no es accidental que la publicación del artículo de Kay y Goldberg haya
estado directamente seguida de un proyecto decisivo en esta nueva etapa de hibridación de
medios simulados en el software. En 1978-1979, un grupo de jóvenes investigadores, en el grupo
Architecture Machine en el MIT (dirigido por Nicholas Negroponte y precursor del Media Lab),
crearon Aspen Movie Map, un nuevo tipo de aplicación que combina varios medios: video, mapas,
gráficas y su nueva forma híbrida similar a lo que ofrece Google Street View actualmente (lanzada
en 2007, casi 30 años después). Esta variedad de medios se integró en una nueva forma de
interfaz hipermedia. El nombre de la aplicación, Aspen Movie Map, dejaba ver que no se trataba
ni de un mapa ni de una películas sino de un híbrido de ambos. Este proyecto inaugura una etapa
fundamental en la evolución de medios basada en la “softwareización”: su etapa de hibridación.
Manovich. Capítulo 3 – El Software Toma el Mando 10 / 25
La evolución de un metamedio computacional
Sigamos con la metáfora de la evolución biológica. El título de Darwin lo deja claro: El origen de la
especies (1859). El objetivo central de esta teoría evolutiva era explicar el desarrollo de diferentes
especies. Darwin propuso que el mecanismo básico era la selección natural y, en el siglo XX, otros
biólogos supusieron ideas derivadas (desvío genético, mutación, etc. 10). Nos queda claro que los
mecanismos que rigen el desarrollo del metamedio computacional son diferentes, pero es posible
usar las ideas básicas de la teoría evolutiva: el surgimiento, con el tiempo, de nuevas especies y
el incremento de su número. Pero, aún con esta idea básica, quedan otras diferencias
importantes entre la evolución biológica y de medios.
Si comparamos el desarrollo del metamedio computacional con la evolución biológica podemos
considerar las nuevas combinaciones de tipos de medios como nuevas especies 11 . En la
evolución biológica, el surgimiento de nuevas especies es un proceso lento y gradual, que
requiere muchas generaciones 12 . Pequeños cambios genéticos se acumulan durante largos
periodos antes de que surja una nueva especie. Sin embargo, nuevas “especies de medios”
pueden aparecer de la noche a la mañana: sólo hace falta una idea novedosa y algo de
programación. Los programadores y diseñadores de hoy pueden usar diversas librerías de
software para manipular medios pero también lenguajes especializados creados específicamente
para crear ideas y experimentos (por ejemplo Pure Data Extended o Processing, entre otros). Una
persona con talento puede inventar una nueva especie mediática en una cuantas horas.
En la biología evolutiva, las especies se definen como grupos de organismos pero, en la evolución
de medios, las cosas son diferentes. Algunas combinaciones innovadoras de medios sólo
aparecen una o dos veces. Por ejemplo, un artículo en ciencias computacionales puede introducir
el diseño de una nueva interfaz; o un diseñador puede crear una combinación única, que sólo
sirve para un proyecto en particular; o una película puede combinar diferentes técnicas de medios
de forma creativa. Imaginemos que, para casa caso, ningún híbrido se vuelve a recrear. Esto sólo
pasa de vez en cuando.
10 http://en.wikipedia.org/wiki/Evolution#Mechanisms, Febrero 6, 2012. 11 Estoy consciente de que no sólo algunos detalles, sino también postulados fundamentales, son tema de
debate en la comunidad científica. En mis alusiones a la teoría evolutiva, tomo en cuenta algunas ideas que
son generalmente aceptadas. A pesar de estas ideas sigan siendo cuestionadas y que puedan ser
desaprobadas, actualmente forman parte del “sentido común”, del conjunto de ideales acerca del mundo. 12 “La selección natural es el proceso gradual, no aleatorio, mediante el cuál los rasgos biológicos se
vuelven más o menos comunes en una población, como resultado de una diferencia reproductiva de sus
pares. Es un mecanismo clave de la evolución“. http://en.wikipedia.org/wiki/Natural_selection, consultado
el 7 de febrero, 2012.
Manovich. Capítulo 3 – El Software Toma el Mando 11 / 25
Entonces, algunas combinaciones de medios que van surgiendo en la evolución no son
“selectivas”. Otras combinaciones, por su lado, puede que sobrevivan y que se “reduzcan”.
(Insisto: recuerda que sólo estoy evocando el modelo evolutivo como metáfora. No intento
aseverar que los mecanismos de la evolución de medios son similares a los biológicos).
Eventualmente, estos híbridos exitosos se pueden volver convenciones en el diseño de medios; u
opciones de software en programas de producción; u opciones en sitios de medios sociales; u
patrones de diseños; y así. En otras palabras, se vuelven nuevos componentes básicos del
metamedio computacional que se pueden combinar con otros componentes.
Un ejemplo de una combinación exitosa de “genes” mediáticos es la técnica de “mapa de
imágenes” en el diseño Web. Esta técnica surgió a mediado de los 90’s y rápidamente fue
adoptada en varios proyectos de medios interactivos, juegos y sitios Web. ¿Cómo funciona? Una
imagen bitmap continua (una fotografía, un dibujo, un fondo blanco o cualquier otra parte de una
pantalla) es dividida en cierto número de partes invisibles. Cuando un usuario hace clic sobre una
de esas partes, ésta activa un hipervínculo conectado su parte gráfica correspondiente.
Como medio híbrido, el “mapa de imágenes” combina la técnica de hipervínculos con las técnicas
de creación y edición de imágenes fijas. Antes, los hipervínculos sólo se añadían en palabras o
frases, y se hacían explícitos con alguna estrategia visual (casi siempre subrayados). Cuando los
diseñadores empezaron a usar hipervínculos en las diferentes partes de un mapa de imágenes, o
de otras partes de una página Web, sin hacerlos explícitos, una nueva “especie” de medio fue
creada.
Como nueva especie, ésta define nuevos comportamientos de usuario y genera una nueva
experiencia de medios. En lugar de que se presente de forma clara e inmediata, un usuario debe
explorar la pantalla, posicionar el mouse y haciendo clic de manera intuitiva. En lugar de pensar
en los hipervínculos como ubicaciones discretas dentro de una pantalla “muerta”, un usuario la
considera como una superficie viva e interactiva. A nivel experimental, en lugar de imaginar un
hipervínculo como algo presente o ausente, un usuario lo vive como una dimensión continua, con
algunas partes de su superficies “más” vinculadas que otras.
Otros exitoso ejemplo de híbrido, que ha sobrevivido y se ha reproducido en la reciente evolución
de medios, es el modelo de la cámara virtual usada en la animación 3D por computadora. Éste
fue desarrollado en los 80’s para crear secuencias animadas para películas y se ha vuelto uno de
los elementos más usados en el desarrollo de videojuegos, ambientes virtuales, interfaces de
programa, películas, gráficas animados, etc13.
13 Para un análisis del uso de la cámara virtual, consulta Mike Jones, “Vanishing Point: Spatial Composition
and the Virtual Camera,” Animation 3, no. 2 (2007): 225-243.
Manovich. Capítulo 3 – El Software Toma el Mando 12 / 25
Como veremos a detalle en la próxima sección de este libro, el nuevo lenguaje del diseño visual
(una categoría que abarca el diseño gráfico, diseño Web, gráficos animados, diseño de cine, y
demás áreas) que surgió en la segunda parte de los 90’s ofrece un ejemplo prominente de
hibridación de medios. Al trabajar con software, un diseñador puede acceder y combinar
cualquiera de las técnicas del diseño gráfico, tipografía, pintura, cinematografía, animación,
animación por computadora, dibujo vectorial y modelado 3D. Al mismo tiempo, también puede
usar muchas técnicas algorítmicas para la generación de nuevas imágenes y formas (como
sistemas de partículas y modelado procedural) y su transformación (mediante el uso de filtros y
demás técnicas de procesamiento de imágenes), que no tienen equivalente en medios físicos,
mecánicos o electrónicos previos. Todas estas técnicas se encuentran disponibles en cierto
número de programas para la producción de medios (Photoshop, Illustrator, Flash, Maya, Final
Cut, After Effects, varios editores HTML, etc.) y se pueden fácilmente combinar entre ellas en un
mismo diseño.
El resultado es el nuevo lenguaje de diseño usado actualmente en casi todas partes del mundo.
La nueva “estética global” celebra la hibridación de los medios y los emplea para hacer una
ingeniería de reacciones emocionales, contar historias y modelar experiencias de usuario. O sea,
todo es hibridación. O, para decirlo diferente, la combinación de técnicas previamente
incompatibles entre los diferentes medios es la característica común de millones de diseños
creados diariamente, tanto por profesionales como por estudiantes, que se ve en el Web y en
medios impresos, en pantallas grandes y pequeñas, en cualquier ambiente y plataforma.
Como sucedió con el post-modernismo de los 80’s y con la revolución Web de los 90’s, la
“softwareización” de los medios (la conversión en software de todas las técnicas e interfaces de
las tecnologías de medios precedentes) ha aplanado la historia… y específicamente la historia de
los medios modernos. Esto es, mientras que los orígenes históricos de los componentes básicos
que constituyen al metamedio computacional pueden ser importantes en ciertos casos, ahora son
la excepción y no la regla. Está claro, para un historiador de medios como yo, que los orígenes de
cualquier técnica disponible en el software de producción de medios de hoy es sumamente
interesante. De la misma manera, también puede ser importante para personas a cargo de un
proyecto de diseño de medios específico, pero sólo si el diseñador decide resaltarlas. Por ejemplo,
en la secuencia animada del logotipo de DC Comics (Imaginary Forces, 2005), los diseñadores
usan de forma exagerada artefactos impresos y fílmicos para evocar periodos históricos del siglo
XX. Pero cuando uno se pregunta sobre el proceso real de diseño de medios, estos orígenes
históricos no son importantes. Cuando un diseñador prende su computadora y empieza a trabajar,
no le importa si la técnica que emplea fue originalmente desarrollada en un medio físico o
electrónico o ninguno de ellos. Así, ya sean los pinceles digitales, o los filtros que simulan
texturas, o un paneo de cámara, o una perspectiva aérea, o modelos poligonales, o filtros en
enfoque y desenfoque, o sistemas de partículas, y demás, todos tienen el mismo estatus si los
vemos como componentes básicos de los nuevos híbridos.
Manovich. Capítulo 3 – El Software Toma el Mando 13 / 25
Treinta años después de que Kay y Goldberg predijeron que el nuevo metamedio computacional
contendría “una amplia gama de medios existentes y aún no inventados”, podemos darnos
cuenta que su predicción fue correcta. El metamedio computacional se ha en realidad expandido
sistemáticamente. Sin embargo, como podemos ver ahora, esta expansión no debe ser entendida
como una simple adición de más y más nuevos “medios”. A pesar de que algunos nuevos medios
de software han sido inventados en los cincuenta años que siguieron a Sketchpad, su número se
puede contar en menos de dos docenas. El proceso clave en la evolución del metamedio
computacional va de la mano con la innovación a un nivel más local: los tipos de medios
precedentes simulados en software (texto, sonido, dibujo, etc.), las técnicas para su manipulación
y las nuevas técnicas nativas a la computadora se combinan y crean un gran número de nuevas
“especies”.
Parafraseando: después de la primera etapa, en donde la mayoría de los medios existentes
fueron simulados en el software y que un número considerable de técnicas computacionales para
generar y editar medios fueron inventadas (una etapa que se completó conceptual y
prácticamente a finales de los 80’s), entramos en un nuevo periodo regido por la hibridación. Los
medios simulados empiezan a intercambiar propiedades y técnicas. Como resultado, el
metamedio computacional llegó a contener infinitas nuevas especies. En paralelo, vemos un
proceso continuo de invención de lo nuevo: pero lo que se inventa no son nuevos tipos de medios
sino nuevos elementos (nuevas técnicas para crear, modificar y compartir datos de los medios).
Tan pronto como son inventados, dichos elementos empiezan a interactuar con otros elementes
ya existentes. Así, los procesos de invención e hibridación están íntimamente ligados y funcionan
juntos.
En mi opinión, este es el mecanismo clave, responsable de la evolución y expansión del
metamedio computacional, desde finales de los 80’s hasta nuestros días (y no veo alguna razón
por la cuál el mecanismo se vuelva menos importante en el futuro). Y aunque en el tiempo en
que Kay y Goldberg escribieron su artículo el proceso de hibridación apenas empezaba
(recordemos que el primer medio híbrido significativo fue Aspen Movie Map creado por el grupo
Architecture Machine del MIT en 1978-79), hoy es de lo que se trata el diseño de medios.
Entonces, desde un punto de vista contemporáneo, el metamedio computacional es de hecho un
paraguas para muchas cosas, pero en lugar de solamente abarcar medios diferentes, también
abraca un gran número de pequeños componentes básicos que se unen para crear híbridos.
Estos componentes básicos incluyen algoritmos para la creación y edición de medios, formatos de
datos, metáforas de interfaces, técnicas de navegación, técnicas de interacción física y demás
tipos elementales. Con el tiempo, se inventan nuevos elementos y se vuelven parte del
metamedio computacional. Periódicamente, la gente encuentra nuevas formas en que los
elementos pueden funcionar juntos, produciendo nuevas especies. Algunas de estas especies
podrán sobrevivir. Otras se podrán volver nuevas convenciones que serán tan omnipresentes que
no ya serán percibidas como combinación de elementos que pueden separarse. Otras se
olvidarán pero ser reinventadas posteriormente.
Manovich. Capítulo 3 – El Software Toma el Mando 14 / 25
Evidentemente, no todos los componentes básicos que forman el metamedio computacional
tienen la misma importancia y las mismas posibilidades de “conectividad”. Algunos son usados
con más frecuencia que otros, entrando en muchas más combinaciones. Por ejemplo, un modelo
de cámara virtual 3D es más popular que una técnicas de interpretación realista para cabello y
pelo. La cámara viene incluida en toda aplicación de animación 3D y, por consecuencia, es usada
en más animaciones y efectos visuales, en spots para TV, gráficos animados, noticias y películas.
Es una parte de la interfaz de usuario de los juegos 3D y también una interfaz popular de globos
virtuales 3D como Google Earth14 . En contraste, los algoritmos de cabello y pelo no están
disponibles en cada paquete de animación y sus aplicaciones son más ilimitadas debido a que
sólo caracteres humanos o animales las usan.
Algunas innovaciones se pueden volver tan importantes e influyentes que pareciera inadecuado
referirse a ellas simplemente como elementos. Más bien, sería conveniente usar la apelación
plataformas de medios o, simplemente nuevos medios.
Las plataformas de medios móviles que surgieron a finales de los 2000’s (iOS y Android en
tabletas y teléfonos) son un ejemplo perfecto. También lo son: un espacio virtual 3D, el World
Wide Web, y los geo-medios (medios que incluyen coordenadas GPS). Estos son tres ejemplos de
plataformas de nuevos medios que se hicieron populares en los 80’s, 90’s y 2000’s,
respectivamente. Estas plataformas reconfiguran profundamente la forma en que se conciben los
demás medios y cómo se pueden usar. De esta manera, cuando añadimos coordenadas
espaciales a objetos mediáticos, los ponemos en un hipertexto global en red (el Web), o usamos
espacios virtuales 3D como plataforma de diseño (no sólo de edificios u objetos industriales sino
de películas y caricaturas), la identidad de lo que creemos que son los “medios” cambia
fundamentalmente. De hecho, podemos decir que estos cambios son tan radicales como los
efectos de la “softwareización” de medios.
¿Pero qué tan cierto es esto? No hay una manera simple de responder a esta pregunta. Al final, se
trata de un problema de perspectiva. Por ejemplo, si vemos la estética visual y espacial
contemporánea del diseño, notaremos que la simulación de medios existentes con software, y su
subsecuente periodo de hibridación de medios, ha tenido efectos más substanciales que la
invención del Web y los navegadores del Web gráfico.
Alternativamente, si nos interesamos en la comunicación visual, su historia, sus técnicas de
representación y su memoria cultural, sí creo que la adopción universal del software en las
industrias culturales globales es tan importante como la invención de la imprenta, la fotografía o
el cine. Pero si nos enfocamos en aspectos políticos y sociales de la cultura de medios e
14 Una lista de otras aplicaciones de globos virtuales y herramientas de software puede verse en:
http://en.wikipedia.org/wiki/Virtual_globe (consultado el 7 de febrero, 2012).
Manovich. Capítulo 3 – El Software Toma el Mando 15 / 25
ignoramos cómo se ven y qué pueden representar (preguntar quién crea y distribuye los medios,
cómo la gente se ve ella misma y al mundo y cómo crean y mantienen relaciones sociales), sería
mejor ubicar a las redes computacionales en el centro.
Y aún así, no está de más recordar que sin el software, las redes contemporáneas no existirían.
Lógica y prácticamente, el software está en la epidermis de todo lo que viene después.
Imaginemos que desconecto mi laptop de la red inalámbrica ahora mismo. Podría seguir usando
la mayor parte de mis aplicaciones (incluyendo Word para escribir este enunciado). También
puedo editar imágenes y video, crear una animación digital, diseñar un sitio Web funcional y
redactar entradas de blog. (Para cuando leas esto, Microsoft estará ofreciendo Word como
servicio en línea, pero otros procesadores de texto que funcionen localmente debe seguir
existiendo).
Pero si alguien deshabilita el software que permite funcionar a la red, ésta perecería15. En otras
palabras, sin las capas fundamentales de software, La Galaxia Internet (citando el título del libro
de Manuel Castells de 200116) no existiría. El software que estuvo a cargo de la computadora en
red de ARPANET, que vinculó dos máquinas remotas el 29 de octubre de 1969 (una en el Centro
de Network Measurement en la Escuela de Ingeniería y Ciencias Aplicadas de la UCLA y la otra el
sistema NLS de Douglas Engelbart en el SRI International de Menlo Park, California), sólo se ha
vuelto más variado e importante a medida que las redes sean desarrollado. Así, una innumerable
cantidad de tecnologías de software es lo que permite la existencia de los medios en el Web:
imágenes y videos en páginas Web, blogs, Facebook y Twitter, servicios de intercambio de medios
como YouTube y Flickr, las fotografías aéreas y los edificios 3D de Google Earth, etc. De manera
similar, el uso de un espacio virtual 3D como plataforma de diseño (que será estudiado
posteriormente con más detalle), en realidad significa usar un número de algoritmos que
controlan la cámara virtual, la posición de los objetos en el espacio y su vista en perspectiva, la
simulación espacial de la difusión de la luz sobre las superficies, etc.
Hibridación: ejemplos
15 Desde finales del 2010, hay un movimiento gradual que tiende a ofrecer cada vez más funciones en
aplicaciones Web. Sin embargo, todavía hoy (en 2012), a menos que esté en Singapur o Tallinn, que tienen
cobertura total de red inalámbrica gratis, cortesía del gobierno, no sabré si tendré conexión o no, así que no
me confío ciegamente en el webware. 16 Manuel Castells, The Internet Galaxy: Reflections on the Internet, Business, and Society (Oxford University
Press, 2001).
Manovich. Capítulo 3 – El Software Toma el Mando 16 / 25
Ejemplos de medios híbridos están por todos lados: los podemos ver en interfaces de usuariom,
aplicaciones Web, apps móviles, diseño visual, diseño interactivo, efectos visuales, medios de
localización, ambientes interactivos, arte digital y demás áreas de la cultura digital. He aquí
algunos ejemplos que he elegido de diferentes áreas. Mappr!, creado en 2005 por Stamen Design
(San Francisco), fue uno de los primeros mashups populares17. Combinaba mapas geográficos y
fotos de Flickr 18 . Usando información suministrada por los usuario de Flickr, la aplicación
adivinaba y mostrabas las ubicaciones geográficas en donde las fotos habían sido tomadas.
Desde 2007, Google Maps ofrece Street Views, que añade vistas panorámicas (fotografías) de las
calles a los demás medios que ya usa Google Maps19. Street Views es un híbrido de fotografía e
interfaces de navegación espacial que permite a sus usuarios explorar las calles mediante flechas
superimpuestas a las fotos panorámicas20.
En 1991, el artista de medios japonés Masaki Fujihata creó una serie de proyectos llamados Field
Studies21. Estos proyectos ponían grabaciones de video, tomadas en lugares particulares, sobre
espacios virtuales 3D altamente abstractos que representaban dichos lugares. Fujihata empezó a
trabajar en Field Studies una década antes de que el término “medios de localización” apareciera.
Debido a que las cámaras comerciales aún no tenían GPS incluido, el artista construyó una
cámara especial que capturaba las coordenadas geográficas de cada entrevista (así como el
ángulo, dirección y movimiento de la cámara mientras grababa). El artista usaba estas
informaciones para crear una interfaz única que combinaba especio navegable 3D y video.
Para crear la instalación Alsace (2000) 22, Fujihata grabó entrevistas a personas que vivían y
cruzaban la frontera entre Francia y Alemania. El proyecto enfrenta al usuario con una pantalla
negra y unas líneas blancas tridimensionales, que representan el movimiento del artista mientras
grababa las entrevistas. A medida que navegamos su espacio, los cambios de perspectiva de
estas líneas sugieren las formas del terreno alsaciano. También vemos unos rectángulos
aplanados, ubicados en los puntos donde se grabó la entrevista. Cada uno de ellos está puesto
en el ángulo que corresponde a su grabación original. Cuando hacemos clic sobre un rectángulo,
el video de la correspondiente a la entrevista se reproduce.
Para mí, Alsace representa un tipo de medio híbrido muy interesante. Fusiona fotografía (las
imágenes fijas dentro de los rectángulos), video documental (el video que se reproduce cuando
un usuario hace clic), medios de localización (las trayectorias de movimiento) y espacio virtual 3D.
17 http://en.wikipedia.org/wiki/Web_mashup, febrero 7, 2012. 18 www.mappr.com, enero 27, 2006. 19 http://maps.a9.com, enero 27, 2006. 20 http://en.wikipedia.org/wiki/Google_Street_View, julio 17, 2008. 21 www.field-works.net/, enero 27, 2006. 22 http://www.medienkunstnetz.de/works/field-work/, febrero 11, 2012.
Manovich. Capítulo 3 – El Software Toma el Mando 17 / 25
Además, Alsace emplea una nueva técnica de medios desarrollada por Fujihata: la grabación no
sólo de ubicación 2D sino también de la orientación 3D de la cámara.
El resultado es una nueva forma de representar experiencias colectivas usando los espacios 3D
como sistema general de coordenadas, en lugar de, por ejemplo, una historia o una base de
datos. Al mismo tiempo, Fujihata inició una forma sencilla y elegante de interpretar las
propiedades subjetivas y únicas de cada entrevista de video, al situar cada rectángulo en el
ángulo particular que refleja la posición de la cámara durante la grabación. Adicionalmente, al
definir el espacio 3D como un hueco vacío, mostrando únicamente las trayectorias de los
movimientos de Fujihata en la región geográfica, el artista introdujo una nueva dimensión de
subjetividad. Incluso hoy, después de que Google Earth popularizó la navegación de espacios 3D
con fotos y video, Alsace, y otros proyectos de Fujihata, continúan imponiéndose. Estos proyectos
muestran que para crear un nuevo tipo de representación no basta con “añadir” diferentes
formatos y técnicas de medios. Más bien, se trata de cuestionar sistemáticamente la
convenciones de los diferentes tipos de medios que dan forma a un híbrido; cambiando su
estructura en el proceso.
Otro proyecto célebre de arte de medios, que ya evocamos antes, es Invisible Shape of Things
Past de Joachim Sauter y su estudio Art+Com, también usa espacios 3D como contenedor de
otros tipos de medios. Este proyecto mapea clips de video históricos de Berlín, grabados a lo
largo del siglo XX, en nuevas formas espaciales, integradas en una reconstrucción 3D de la
ciudad23. Las formas están construidas mediante el posicionamiento sucesivo de fotogramas del
film, uno tras otro. Además de que es posible movernos en el espacio y reproducir los videos, el
usuario puede combinar y empatar partes de Berlín, según diversos mapas, y crear un
representación del desarrollo de la ciudad en distintos periodos del siglo XX. Así como Alsace,
Invisible Shape recombina tipos de medios y cambia sus estructuras. Un video se vuelve un objeto
3D con una forma única. En lugar de representar un territorio (una época determinada), un mapa
puede combinar partes de diferentes épocas.
Otro proyecto pionera de medios híbridos, creado por Sauter y Art+Com, es Interactive Generative
Stage (2002), un set virtual en donde sus parámetros son controlados interactivamente por los
actores durante la ópera 24 . Mientras se realiza el performance, la computadora lee los
movimientos del cuerpo y los gestos de los actores y los usa como información para controlar la
generación del set virtual proyectado en la pantalla detrás del escenario. Las posiciones de los
cuerpos humanos son mapeadas en varios parámetros de la arquitectura virtual: disposición,
textura, color y luz.
23 Consultar: www.artcom.de 24 El nombre completo del proyecto es Interactive generative stage and dynamic costume for André Werners
`Marlowe, the Jew of Malta.’ Para más información e imágenes, ver: www.artcom.de
Manovich. Capítulo 3 – El Software Toma el Mando 18 / 25
Sauter consideró que era importante preservar las características del formato de ópera tradicional
(actores resaltados mediante la iluminación y un escenario trasero), pero añadiéndole
cautelosamente nuevas dimensiones 25 . Por ende, al seguir las convenciones de la ópera
tradicional, el set virtual aparece como un telón atrás de los actores, cuando en realidad no es
una imagen fija sino una arquitectura dinámica que cambia durante el espectáculo. Como
resultado, la identidad del espacio teatral cambia, yendo del telón al actor principal (y se vuelve
un elemento importante porque adopta diferentes personalidades y sorprende cada vez a la
audiencia con nuevos comportamientos). Este tipo de redefinición de diseño de un medio híbrido
es infrecuente, pero cuando un diseñador logra su propósito el resultado es muy fuerte.
No todos los híbridos son elegantes, convincentes o atractivos a la vista. Algunas de las interfaces
de software para la creación y acceso a medios parecen el trabajo de un estudiante de DJ que
mezcla operaciones de interfaces tradicionales con nuevos principios de la GUI de forma
discutible e impredecible. Para mí, un ejemplo claro de esta problemática de hibridación es la
interfaz de Adobe Acrobat versión 8.0, lanzada en noviembre 200626. (Hay que notar que las
versiones del software comercial cambian de una versión a otra. Éste ejemplo se refiere a la
versión mencionada). Esta versión de la interfaz de usuario de Acrobat combina metáforas de
diferentes tradiciones y tecnologías de medios en una manera que no siempre parece lógica. En
una sola interfaz, tenemos: 1) los elementos de la interfaz de grabadoras de medios análogos del
siglo XX, es decir, el estilo de botones de las videocaseteras; 2) elementos de la interfaz del
software de edición de imágenes, o sea, la herramienta zoom; 3) los elementos de la interfaz
asociados con la tradición de medios impresos que, aunque nunca existieron en los libros, se ven
como iconos de páginas; 4) los elementos que han existido en libros (los separadores); 5) los
elementos estándares de la GUI como buscar, filtrar, múltiples ventanas. Parece que los
diseñadores de Acrobat querían dar a los usuarios una gran variedad de formas de navegar un
documento. Sin embargo, considero que algunas de estas metáforas son confusas. Por ejemplo,
debido a que Acrobat fue hecho con la intención de simular la experiencia de documentos
impresos, no me queda claro porqué hay que moverse en las páginas mediante botones con
flechas que apuntan hacia adelante y hacia atrás, lo que es una convención de interfaz
normalmente usada en medios de imágenes animadas.
Los híbridos no implican, necesariamente, una reconfiguración “profunda” de los lenguajes de los
medios que lo componen, ni de la estructura de sus objetos mediáticos (tal como lo hace The
Invisible Shape con la estructura de un objeto fílmico). Tomemos los mashups Web, que
“combinan datos de múltiples fuentes, ocultos detrás de una interfaz gráfica simple y unificada”
27. Además del ejemplo de mashup antes mencionado (Mappr!), he aquí otros: Flickrvision 3D
(David Troy, 2007) usa datos de Flickr y de Poly 9 FreeEarth para crear un mashup que muestra
25 Joachim Sauter, comunicación personal, Berlín, julio, 2002. 26 http://en.wikipedia.org/wiki/Adobe_Acrobat#Version_8.0, febrero 8, 2012. 27 http://en.wikipedia.org/wiki/Mashup_(web_application_hybrid), julio 19, 2008.
Manovich. Capítulo 3 – El Software Toma el Mando 19 / 25
las fotos que se publican en Flickr y la ubicación donde se tomaron en un globo virtual 3D.
LivePlasma (2005) usa servicios de datos de Amazon en un “motor de descubrimiento”. Cuando
un usuario busca algún artista o director de cine o grupo musical o DVD, la aplicación genera un
mapa interactivo de sus relaciones entre similares. La disposición espacial sigue diferentes
parámetros basados en estilo, influencias, popularidad, etc28. A pesar de que el propósito de los
mapas de LivePlasma es que descubramos elementos que nos puedan gustar (para que los
compremos en amazon.com), estos mapas generados son interesantes por ellos mismos. Ahí se
ve cómo los datos de preferencias culturales y comportamientos de las personas, recolectados
por sitios Web 2.0 como Amazon, se pueden usar para algo que no era posible antes de los
2000’s. En lugar de graficar relaciones culturales según la idea una sola persona o grupo de
expertos, estos mapas muestran las relaciones desde el punto de vista de los consumidores
culturales reales.
El desarrollo de mashups tiene el apoyo de un número creciente de API’s Web puestas a la
disposición por gran variedad de compañías. Una API (acrónimo de Application User Interface o
Interfaz de Programación de Aplicaciones) da a los programadores un modo fácil de crear nuevos
programas, que usan servicios o datos de otras compañías Web. Por ejemplo, podemos usar el
API de Google Maps para generar mapas interactivos en nuestro propio sitio. Cuando un usuario
visita nuestra página y lanza una búsqueda o manipula la interfaz, el servicio de datos se conecta
a los servidores de Google para localizar datos y traerlos de nuevo. Cuando revisé el sitio de
rastreo de mashups programmableweb.com el 8 de febrero de 2012, enlistaba 2,337 mashups
que usaban el API de Goolge Maps29. Muchos mashups combinan hasta una docena de API’s de
diferentes servicios. A inicios de 2012, había más de 5,000 API’s30. La distribución de los más
populares era: el 2,341 mashups usaban el API de Google Maps; 680 el de Twitter; y, 609 el de
YouTube. Estos números representan un pequeño porcentaje de todos los mashups que existen
actualmente. Sin embargo, son indicadores útiles de la magnitud de los mashups que usan API’s
de diversas compañías.
Visualmente, quizá muchos mashups parecen una típica página Web multimedia, pero en realidad
son más que eso. El artículo de Wikipedia en inglés sobre “mashup (web application hybrid)”
explica: “un sitio que permite a un usuario incrustar un video YouTube, por ejemplo, no es un
mashup… el sitio debe acceder a datos de terceros usando un API, y procesar esos datos de
alguna manera que permita dar valor agregado a los usuarios” (énfasis de Lev Manovich). No
importa que la formulación de la frase “dar valor agregado” parezca centrada en los negocios, se
sigue percibiendo la diferencia entre multimedios y medios híbridos de forma teórica muy clara.
Parafraseando, podemos decir que, en el caso de medios híbridos artísticos exitosos, como The
28 http://www.liveplasma.com/, agosto16, 2008. 29 http://www.programmableweb.com/apis/directory/1?sort=mashups, febrero 8, 2012. 30 http://blog.programmableweb.com/2012/02/06/5000-apis-facebook-google-and-twitter-are-changing-
the-web/, febrero 6, 2012.
Manovich. Capítulo 3 – El Software Toma el Mando 20 / 25
Invisible Shape o Alsace, la separación de formatos de representación (video, fotografía, mapas
2D, globos virtuales 3D) y de técnicas de navegación de medios (reproducir un video, hacer zoom
en un documento 2D, moverse en el espacio con una cámara virtual) se unen de forma tal que
aumentan el valor representacional y expresivo de cada medio empleado. Sin embargo, al
contrario de los mashups Web que aparecieron en 2006, cuando Amazon,Flickr, Google y demás
compañías abrieron el acceso a sus bases de datos, estos proyectos también usan sus propios
datos, creados y seleccionados cuidadosamente por los artistas mismos. Como resultado, los
artistas tienen más control sobre la experiencia estética y la “personalidad” proyectada por sus
obras, en comparación con el creador de un mashup que confía en los datos e interfaces de otras
compañías.
(No intento criticar aquí la tecnología de los mashups, sólo estoy diciendo que, si el objetivo de un
proyecto es enfatizar un modelo de representación diferente o una experiencia estética única, la
elección de las mismas fuentes y datos disponibles para cualquiera en el Web quizá no sea la
mejor. Y el argumento de que un creador de mashups toca como DJ que mezcal lo que ya existe
tampoco tiene justificación aquí. Un DJ tiene mayor control sobre los parámetros de un mix y
grabaciones de dónde escoger).
Mi revisión de estos ejemplos de híbridos los ha presentado, implícitamente, como combinaciones
y reconfiguraciones de medios precedentes, que incluyen tanto simulaciones de medios físicos
como de nuevos medios. En otras palabras, me he basado en la idea (consistente con la de Kay)
que el metamedio computacional puede ser visto como una colección de diferentes medios. Por
ejemplo, hablamos de cómo Alsace combina fotografía y video documental (medios pre-digitales
simulados en una computadora) con datos de localización y espacio virtual 3D (nuevos medios
computacionales).
Sin embargo, podemos pensar en la hibridación de medios mediante una conceptualización
distinta del metamedio. Esto implica, en lugar de poner acento en el medio “completo” podemos
enfocarnos en sus componentes básicos: los diferentes tipos de datos de los medios (o el
“contenido de los medios”) y dos tipos de técnicas que pueden operar en ellos (las que son
“específicas a los medios” y las que son “independientes de ellos”).
Desde esta perspectiva, las nuevas especies de medios (un proyecto, un servicio Web, un
programa de software) representan la unión de varias técnicas que antes pertenecieron a
diferentes medios. En los siguientes capítulos desarrollaré esta idea con más detenimiento, con
ejemplos de diseño, gráficos animados y efectos visuales. También veremos cómo la hibridación,
tal como es posible con el software, se volvió la estética dominantes de los medios
contemporáneos. Pero, con el fin de seguir avanzando, tomemos un ejemplo de hibridación y
analicémoslo en términos de sus tipos de datos y técnicas de manipulación de los mismos. Para
esto, consideráremos una aplicación familiar a muchas personas actualmente: Google Earth.
Manovich. Capítulo 3 – El Software Toma el Mando 21 / 25
Google Earth está basada en una aplicación previa llamada Earth Viewer, desarrollada por
Keyhole, Inc. y adquirida por Google en 2004. En su momento, Earth Viewer se inspiró de la
navegación interactiva al estilo del cinematográfico del proyecto Terravision (1996), que
exploraba un tipo de representación detallada, híbrida y espacial. A su vez, este proyecto fue
hecho por el mismo grupo de creativos atrás de proyectos que ya citamos: Joachim Sauter y
Art+Com31. Google Earth, en su versión 5 (2009), permitía navegar alrededor de la superficie de la
Tierra, hacer acercamientos o distanciamientos, activar o desactivar un capas sobrepuestas de
información, buscar lugares y rutas, marcar lugares y compartir estas informaciones con demás
usuarios, importar nuestros propios datos (imágenes y datos GPS), crear videos de nuestros
desplazamientos, etc.
Cuando Google Earth se lanzó en junio 2005, Google lo llamó una “interfaz 3D del planeta” 32.
Esta descripción indica rápidamente que no estamos tratando con un mapa del siglo XX u otro
tipo de representación familiar a los usuarios. Entonces, ¿cuáles son los elementos principales de
la experiencia que ofrece esta “interfaz 3D del planeta” que la hacen sobresalir de otras
aplicaciones culturales que permiten al usuario navegar y realizar acciones con datos (Google
Maps en 2D, navegadores Web, iTunes, aplicaciones multimedia educativas, etc.)? Estos
elementos son su campo de hibridación y sus mecanismos de navegación híbrida.
La representación de la superficie de la Tierra que aparece en la ventana principal del mapa,
llamada “visualizador 3D”, combina fotografía satelital, datos de elevación 3D, modelos 3D de
edificios y elementos gráficos que nos son conocidos por los mapas en papel (indicaciones de
texto, elementos gráficos para representar fronteras, caminos, carreteras, etc.). Lo más
interesante es que estos cuatro tipos de datos están “pegados juntos” (interpretados al mismo
tiempo, unos sobre otros), parecen una sola fuente visual. Este es un ejemplo perfecto de hibrido.
Los diferentes medios se unen para crear una nueva representación.
La interfaz que ofrece Google Earth es ella misma un híbrido. Funciona sobre la base de los
nuevos medios computacionales que han evolucionado desde finales de los 60’s, más
específicamente, sobre los espacios interactivos 3D. También simula, computacionalmente, la
cinematografía de Hollywood desarrollado en el campos de la animación 3D desde los 70’s: el
usuario navega mediante una serie de controles que extienden el lenguaje del zoom y de los
movimientos físicos de la cámara. (Google Earth 6 define las siguientes “técnicas de navegación
3D”: movimiento a la izquierda, derecha, arriba y abajo; rotación en el sentido y contrasentido de
las manecillas del reloj; inclinación hacia arriba y hacia abajo; acercamiento y alejamiento; zoom
con inclinación automática; y, reajustar a la posición original33).
31 http://www.artcom.de. 32 http://windowssecrets.com/langalist-plus/a-3d-interface-to-the-planet/, febrero 10, 2012. 33 http://support.google.com/earth/bin/answer.py?hl=en&answer=148115&topic=2376154&ctx=topic,
febrero 10, 2012.
Manovich. Capítulo 3 – El Software Toma el Mando 22 / 25
Además de este sistema básico de navegación, la aplicación también permite un método más
automático, y explícitamente cinematográfico, llamado Touring (viaje), en donde la cámara vuela
una trayectoria entre dos puntos.
(Estoy haciendo la distinción entre “espacio interactivo 3D” y “simulación de la cámara” por la
siguiente razón. Mientras el software usado por animadores digitales, diseñadores de juegos y
diseñadores de medios ofrece una interfaz de cámara virtual del espacio 3D con todos sus
controles cinematográficos tradicionales, otras aplicaciones que también usan espacios virtuales
(como la Realidad Virtual o juegos digitales) no lo hacen. Entonces, una representación del
espacio 3D y un modelo de cámara 3D no siempre van juntos.)
Aún cuando el modelo de datos central de Google Earth no ha cambiado (imágenes satelitales,
elevación de datos, elementos de mapas), con el tiempo y con nuevas versiones del software se
añaden otras fuentes y tipos de datos, haciendo cada vez más rica la representación (e
incrementado su hibridación). Estas tipos de datos adicionales incluyen contenido Web, Street
View (lanzado el 25 de mayo de 2007), fotos de alta resolución normales y panorámicas,
imágenes históricas, terrenos submarinos, la Luna, Marte, tráfico en tiempo real, etc. Estos
nuevos datos requieren nuevos mecanismos de navegación. Así, vemos frente a frente, junto a la
interfaz original de cine 3D, otras interfaces.
De esta forma, las técnicas para trabajar con datos provenientes de Google Earth se han vuelto
también más híbridas. Mientras interactuamos con un edificio 3D, es posible “precipitarse a su
lado o a su cima”. En el caso de fotos de alta resolución, Google Earth permite una manera
especial de “volar dentro” de la fotos, de donde podemos, después, alejarnos o movernos. Y, para
Street View, se incluyen otras técnicas más de navegación34.
Estrategias de la hibridación
Como hemos visto, los medios híbridos pueden estructurarse de diferentes maneras.
En interfaces de usuario, como la de Acrobat Reader, las operaciones que antes pertenecían a
medios físicos, mecánicos y electrónicos se combinan para ofrecer al usuario más formas de
navegar y trabajar con documentos computacionales (una combinación de diferentes técnicas de
interfaz). Google Earth combina diferentes tipos de medios para dar información digerida sobre 34 “Con el teclado o con el mouse se puede seleccionar la dirección horizontal y vertical de la vista y del nivel
de zoom. Una línea continua o discontinua en la foto muestra el camino aproximado que siguió la cámara del
coche, y las flechas vinculan a la siguiente foto en la misma dirección. En los cruces e intersecciones de la
ruta de la cámara del coche, se presentan más flechas” http://en.wikipedia.org/wiki/Google_Street_View,
febrero 11, 2012.
Manovich. Capítulo 3 – El Software Toma el Mando 23 / 25
lugares (una combinación de tipos de medios). Mappr! encarna otra estrategia: usar mapas 2D
como interfaz de una colección de medios, en su caso fotos publicadas en Flickr (usando un tipo
de medios como interfaz de otro tipo). Alsace y The Invisible Shape son ejemplos de otra
combinación de medios: usar un tipo como cápsula de otro tipo (un espacio 3D que contiene cine
y video).
Otra manera complementaria para categorizar los medios híbridos es preguntándose si un híbrido
particular brinda nuevas formas de representar el mundo y/o nuevas formas de navegar dichas
representaciones. Los híbridos pueden combinar y/o reconfigurar formatos e interfaces de
medios que nos son familiares pero con la intención de crear nuevos tipos de representaciones
de híbridos. Por ejemplo, Google Earth y Microsoft Virual Earth combinan tipos de medios y
técnicas de interfaz para dar información sobre lugares. Pero las ambiciones de Alsace e Invisible
Shape son diferentes: no se trata de dar más información sino de reconfigurar estos formatos en
nuevas representaciones de experiencias humanas colectivas e individuales, fusionando
dimensiones objetivas y subjetivas. En ambos casos, podemos decir que el objetivo principal es
representar el mundo o nuestra experiencia en una nueva manera, combinando y posiblemente
reconfigurando representaciones familiares de medios (fotos, video, mapas, objetos 3D, páginas
Web, fotos panorámicas, etc.). Otro buen ejemplo de estos híbridos es Microsoft Photosynth, que
ofrece nuevos tipos de representaciones 3D (“síntesis”) gracias al empate de fotografías de una
misma escena, tal es el caso del un modelo de la catedral de Notre Dame hecho exclusivamente
con fotos de Flickr35.
También se puede que los híbridos estén centrado en nuevas manera de navegación e
interacción con formatos de medios existentes. En este caso, el tipo de medio no es modificado o
combinado con otro medio, más bien la hibridación sucede en la interfaz de usuario y las
herramientas que provee la aplicación o servicio para trabajar con este tipo de medio. Por
ejemplo, en Mappr!, tanto el mapa 2D como las fotos ya existían previamente por separado. El
mashup los une, conviertiendo al mapa en una interfaz para las fotos disponibles mediante
Flickr36. (Flickr mismo ofreció más tarde una interfaz de mapa similar37 así como la aplicación que
permite a los usuarios ubicar sus fotos en un mapa mundial38. A inicios de febrero de 2012, el
mapa de Flickr ya tenía más de 175 millones de fotos geo-etiquetadas.)
35 http://www.ted.com/talks/blaise_aguera_y_arcas_demos_photosynth.html, February 19, 2012. 36 This mashup also exemplifies an important development within metamedia evolution: a
convergence between media and spatial data. The three main forms of this convergence
are: 1) a 2D map used as an interface to other media types (as in Mappr!); 2) 3D virtual
map used as an interface to other media types (as in Alsace, Invisible Shapes or Google
Earth); 2) location information added to media recordings. 37 http://www.flickr.com/map/. 38 http://en.wikipedia.org/wiki/Flickr#Organizr, March 2, 2012.
Manovich. Capítulo 3 – El Software Toma el Mando 24 / 25
En resumen, un híbrido puede definir nuevas técnicas de navegación e interacción que operan
sobre formatos de medios que no han sido modificados. Alternativamente, un híbrido puede
definir nuevos formatos de medios pero usar técnicas existentes de interacción y de interfaz. Un
híbrido también puede combinar ambas estrategias, es decir, puede definir nuevas interfaces,
herramientas y nuevos formatos de medios el mismo tiempo. Esto último requiere, sin embargo,
creatividad y comprensión de medios computacionales y su estética. Por eso, estos híbridos no
aparecen muy seguido. (Alsace, Invisible Shape y Photosynth son capaces de combinar ambas
estrategias y por eso, para mí, resaltan de los demás proyectos y aplicaciones creadas en las
últimas dos décadas.)
Se puede notar que la diferencia entre una “representación” (o un “formato de medio”) y una
“interfaz/herramienta” corresponde a los dos componentes fundamentales de todo software
moderno: estructuras de datos y algoritmos. Esto no es accidental. Cada herramienta incluida en
aplicaciones de producción, edición o visualización de medios corresponde a un algoritmo que
posee, ya sea datos en un formato dado o genera datos en este formato. Por ejemplo, pensemos
que nuestro formato de medio es una foto (o, más general, una imagen bitmap). Para generar una
galería de varias fotos, un algoritmo debe procesar cada foto para que quepa en un espacio
determinado (esto se logra calculando promedios de grupos de pixeles y mostrando instancias
más pequeñas de dichos valores). Para dibujar una línea en una foto se necesita de otro
algoritmo, que calcula nuevos colores para los pixeles que están “abajo” de la zona donde se
quiere dibujar. Entonces, “trabajar con medios” con aplicaciones de software significa
esencialmente aplicar diferentes algoritmos en los datos.
Pero, mientras que esta diferencia puede parecer clara y útil para una persona que sabe de
programación, cuando consideramos la experiencia del usuario en aplicaciones para producir, ver,
catalogar, compartir medios, servicios Web y proyectos de medios interactivos, se vuelve difícil
sostenerla. En el universo del software de aplicaciones, los datos de los medios y las
interfaces/herramientas nunca existieron de forma independiente. A menos que sepamos
programar, nunca vemos el contenido mismo de los medios (fotos digitales, videos digitales,
mapas, etc.). Más bien, vemos el contenido mediante aplicaciones de software particulares, o de
las interfaces hechas por los mismos diseñadores para un proyecto específico. En otras palabras,
siempre trabajamos con datos en el contexto de una aplicación que viene con su interfaz y
herramientas. Lo que significa que, tal como es experimentada por los usuario de las aplicaciones
de software, la “representación” consiste en dos partes: datos estructurados de formas
particulares y las interfaces/herramientas disponibles para navegarlos y usarlos. (Lo mismo
aplica para el concepto de “información”). Por ejemplo, un “espacio virtual 3D”, como se ve en
aplicaciones de animación por computadora, de diseño asistido, juegos, globos virtuales y demás,
no es sólo un conjunto de coordenadas que hacen al objeto 3D y una transformación de
perspectiva, sino también un conjunto de métodos de navegación (es decir, una cámara virtual).
Una “fotografía”, vista por las aplicaciones de edición, incluye varias operaciones que se le
pueden aplicar: escala, cortar, pegar, máscaras, capas, etc. Los mapa interactivos culturales de
Manovich. Capítulo 3 – El Software Toma el Mando 25 / 25
LivePlasma no son solamente relaciones entre elementos en un mapa sino también las
herramientas para construirlos y navegarlos. Y la “tierra” particular de Google no sólo está hecha
de su modelo de datos híbridos (foto satelital, elevaciones, modelos 3D, panoramas) sino también
de sus técnicas enriquecidas para navegar y explorar sus datos.