informe de la retransmisiÓn de eclipse … · un sistema de balanceo de carga decide cual de todos...
TRANSCRIPT
INFORME DE LA RETRANSMISIÓN DE ECLIPSE TOTAL 2012
CRÉDITOS El Séptimo Programa Marco de la Unión Europea (EU, FP7/2007-2013,
INFRASTRUCTURES-2011-2, INFRA-2011-1.2.1: e-Science environments) ha promovido la
retransmisión bajo el proyecto GLORIA – GLObal Robotic telescopes Intelligent Array for
e-sciencie” (Grant Agreement –Number 283783).
INFRAESTRUCTURA
1.- Portal Web retransmisión. La infraestructura desplegada por CanarCloud (www.canarcloud.es) se basaba en un Cluster
VMware vSphere 5 (www.canarcloud.es/vmware/) basado en arquitectura Intel Nehalem
interconectado a un sistema de almacenamiento RAID centralizado capaz de soportar la carga
de los varios miles de peticiones contra el portal de la retransmisión junto con un balanceador
de DNS, el cual interconectó todas las instancias web, tanto físicas como virtuales de todos los
colaboradores, garantizando un reparto de carga equitativo de todas las visitas al portal web
entre todas las instancias.
INFORME TÉCNICO RETRANSMISIÓN ECLIPSE TOTAL DE SOL 2012 Informe realizado por Alejandro Galtier Hernández en nombre de CanarCloud (www.canarcloud.es) para GLORIA
1
El funcionamiento de esta arquitectura es el siguiente:
● Los clientes hacen la petición al portal web de la retransmisión que debe estar
diseñado para que su tamaño (en bytes) sea el mínimo posible.
● Un sistema de Balanceo de Carga decide cual de todos los servidores que forman ese
cluster atenderá cada petición que llega en función de la política implementada.
● El cliente es atendido por el servidor seleccionado por el sistema de Balanceo de
Carga.
Colaboradores Web Se solicita la colaboración de instituciones públicas o privadas, asociaciones, fundaciones, etc
para la ayuda en la difusión vía Internet del portal de entrada a la retransmisión
(live.gloria-project.eu) en un intento de evitar el colapso por confluencia masiva de peticiones.
Colaboradores Web Básicos En este tipo de colaboración, la institución, organización, asociación, etc. une temporalmente
una máquina o conjunto de máquinas de su propiedad al cluster propuesto. Esta máquina (o
máquinas) que se agrupen, servirán el portal web con todos los contenidos de la retransmisión.
● Gloria Project [1 servidor web] www.gloria-project.eu
● El Centre de Serveis científics i acadèmics de Catalunya [1 servidor web]
www.cesca.cat
● University College Dublin de Irlanda [1 servidor web] www.ucd.ie
INFORME TÉCNICO RETRANSMISIÓN ECLIPSE TOTAL DE SOL 2012 Informe realizado por Alejandro Galtier Hernández en nombre de CanarCloud (www.canarcloud.es) para GLORIA
2
● Universidad de Chile [1 servidor web] www.uchile.cl
● TOTAL [4 servidores web]
Colaboradores Web Avanzados Colaboradores con una o más máquinas compatibles con VMware vSphere 5 con más de 4 GB
de RAM, más de 4 cores, 3 o más IPs y un ancho de banda de 100 Mbps o más han colaborado
integrando dichas máquinas como nodos remotos del Cluster.
● CanarCloud [1 cluster vSphere 5 + 2 nodos + 4 VPS] www.canarcloud.es
● INAF IASF de Bolonia [1 nodo vSphere 5 + 1 VPS] www.iasfbo.inaf.it
● La Universidad de Warsaw [1 nodo VirtualBox + 4 VPS] www.uw.edu.pl
● Astronomical Institute of Academy of Sciences [1 nodo vSphere 5 + 2 VPS]
● TOTAL [11 VPS]
Sitios Web con player embebido Además de los colaboradores anteriores, también nos encontramos con sitios web que han
solicitado la inclusión de un player en sus páginas web consumiendo nuestra señal de video
pero soportando de manera independiente visitas web.
● Agencia SINC www.agenciasinc.es/Retransmisiones/EN-DIRECTO-Eclipse-total-de-Sol
● Canarias 7 www.canarias7.es/eclipsesol.cfm
● El País www.elpais.es
● TVN Meteo www.tvnmeteo.pl
● Focus www.focus.it
● Yahoo es.noticias.yahoo.com/sigue-en-directo-el-eclipse-total-de-sol-13112012.html
● Público www.publico.es/ciencias/445302/en-directo-eclipse-total-de-sol-2012
2.- Streaming de video. La infraestructura desplegada por CanarCloud (www.canarcloud.es) se basaba en un Cluster de
instancias Wowza 3.1.2. sobre Amazon Elastic Compute Cloud (Amazon EC2) en una
configuración de 100 repetidores junto con un balanceador de DNS, el cual interconectaba
todas las instancias repetidoras para soportar un máximo de 60.000 visitas simultáneas,
garantizando un reparto de carga equitativo de todas las visitas entre todas las instancias.
INFORME TÉCNICO RETRANSMISIÓN ECLIPSE TOTAL DE SOL 2012 Informe realizado por Alejandro Galtier Hernández en nombre de CanarCloud (www.canarcloud.es) para GLORIA
3
El funcionamiento de esta arquitectura fue el siguiente:
Generación de los Streams ● CH1 – Mareeba, Australia (13 Noviembre) – Vídeo del Sol desde las tres localizaciones
comentado en castellano e ingles por Astrónomos (20:30-20:45 UT, 21:30-21:45 CET)
○ El realizador de la retransmisión, situado en Mareeba, obtuvo cada una de las
fuentes de imágenes locales y remotas, y generó la señal definitiva en el
formato audio/video H.264 encapsulado en RTMP con las siguiente
característica
■ Frame rate: 15fps.
■ Resolución: 320x240
■ Bitrate max. vídeo: 400kbps.
■ Formato audio: MP3
■ Canal: Stereo
■ Sample rate: 22050Hz
■ Bitrate audio: 64Kbps.
○ La señal definitiva se envió a la instancia eclipse2012.canarcloud.tv para su
distribución a través del CDN.
● CH2 – Outback, Australia (13 Noviembre) – Vídeo del Sol sin audio desde el desierto de
Outback (20:30-20:45 UT, 21:30-21:45 CET)
INFORME TÉCNICO RETRANSMISIÓN ECLIPSE TOTAL DE SOL 2012 Informe realizado por Alejandro Galtier Hernández en nombre de CanarCloud (www.canarcloud.es) para GLORIA
4
○ La señal definitiva se envió a la instancia eclipse2012.canarcloud.tv la cual se
redistribuyó, por un lado a cada una de las instancias a través del cluster y por
otro lado a los colaboradores de video.
Directo a través del portal de la retransmisión ● Los clientes que accedían al portal de la retransmisión (live.gloria-project.eu)
encontraban un reproductor que obtenía las señales de cada uno de los canales
haciendo una petición a eclipse2012.gloria-project.eu.
● Los clientes que lo deseaban y que disponían de un reproductor compatible podían
conectarse directamente a la dirección eclipse2012.gloria-project.eu.
● Un sistema de Balanceo de Carga decidía cuál de todas las instancias que formaban el
cluster atendía cada petición de acceso al directo que llegaba a
eclipse2012.gloria-project.eu en función de la política implementada.
● El cliente era atendido por la instancia repetidora seleccionada por el sistema de
Balanceo de Carga.
Directo a través de colaboradores ● Los colaboradores con infraestructura propia de retransmisión de video obtenían la
señal directamente de la instancia reservada del cluster eclipse2012.gloria-project.eu
y la redistribuían utilizando su propia infraestructura de manera que aquellos clientes
que lo deseaban podían acceder al directo a través de los portales web de dichos
colaboradores.
● Aquellos colaboradores que no disponían de infraestructura propia de retransmisión de
video o que, por cuestiones técnicas no podían conectar dicha infraestructura a la
nuestra pudieron solicitar el uso directo de nuestra propia infraestructura,
reservándoles un % de la misma en función de las expectativas de visitantes.
Colaboradores de Video
Colaboradores Wowza
Colaboradores con una o más máquinas compatibles con VMware vSphere 5 con más de 4 GB
de RAM, más de 4 cores, 3 o más IPs y un ancho de banda de 1 Gbps han colaborado
integrando dichas máquinas como nodos remotos del Cluster y permitiendo el despliegue de
instancias Wowza 3.1.2 sumándose a las desplegadas por CanarCloud.
● CanarCloud [2 instancias m1.small + 100 instancias m1.large Wowza Amazon EC2] �
www.canarcloud.es
Televisiones y Repetidores Colaboradores con infraestructura de Live-Stream propia han redistribuido nuestra señal a
través de sus portales web o televisiones.
● Sky-Live.TV www.sky-live.tv
● CanarCloud Blog
INFORME TÉCNICO RETRANSMISIÓN ECLIPSE TOTAL DE SOL 2012 Informe realizado por Alejandro Galtier Hernández en nombre de CanarCloud (www.canarcloud.es) para GLORIA
5
www.canarcloud.tv/blog/2012/11/08/eclipse-solar-en-directo-en-la-web/
● La Vanguardia
http://www.lavanguardia.com/ciencia/20121112/54355015086/eclipse-solar-total-a
ustralia-directo.html
● Terra www.terra.es
ESTADÍSTICAS
1.- Portal Web retransmisión Para la obtención de estadísticas de visitas del portal web de la retransmisión
(live.gloria-project.eu) se habilitó el servicio de recolección de estadísticas Google Analytics
para datos globales del portal y el recolector Awstat a nivel local para analizar la contribución
individual de cada colaborador.
El periodo analizado comprende las visitas entre los días 13 (0h UT) y 15 (0h UT) de Noviembre
del 2012.
Google Analytics Según este servicio podemos observar que en el periodo analizado hemos obtenido 186.298
visitas y 249.994 páginas vistas, con un máximo de 33.946 visitas y 54.554 páginas vistas en
el momento de la retransmisión, tal y como podemos observar en la siguiente gráfica.
Top 10
País de Origen
Argentina 41,26% Spain 14,29% Poland 11,40% Chile 6,73% Mexico 4,28% Italy 3,00% Ecuador 2,53% Colombia 1,80% Russia 1,77% United States 1,54%
Navegador
Chrome 48,35%
Firefox 23,48%
Internet Explorer 14,79%
Safari 5,68% Android Browser 3,29% Opera 2,34% Safari (in-app). 1,30%
Sistema Operativo
Windows 85,21%
iOS 4,11% Macintosh 4,02% Android 3,88% Linux 1,73% BlackBerry 0,48% (not set) 0,27% SymbianOS 0,16% Windows Phone 0,08%
INFORME TÉCNICO RETRANSMISIÓN ECLIPSE TOTAL DE SOL 2012 Informe realizado por Alejandro Galtier Hernández en nombre de CanarCloud (www.canarcloud.es) para GLORIA
6
Opera Mini 0,35% IE with Chrome F 0,16% Mozilla Compat. 0,08%
Nokia 0,04%
Awstat
Según la herramienta de recolección de estadísticas locales Awstat instalada en la mayoría de
las instancias de los colaboradores web, podemos ver la contribución de cada uno de los
colaboradores al porcentaje total de visitas, páginas y tráfico transmitido.
Totalizando los datos obtenidos de aquellos colaboradores con Awstat instalado, observamos
que globalmente el portal live.gloria-project.eu ha recibido 315.726 visitas y 14.327.403
páginas vistas, suministrando 95,469 GBytes de datos.
Sitios Web con player embebido (propio o cedido) Si analizamos los datos suministrados por aquellos colaboradores que han publicitado el
acontecimiento en sus propias páginas web utilizando, tanto nuestro player como su propia
infraestructura nos encontramos con la siguiente información:
Sky-Live.TV (www.sky-live.tv) A través del portal de Sky-Live.TV se obtuvieron 62.940 visitas y 2.064.732 páginas vistas,
con un máximo de 4.407 visitas y 6.903 páginas vistas en el momento de la retransmisión,
suministrando 79,061 GBytes de datos.
INFORME TÉCNICO RETRANSMISIÓN ECLIPSE TOTAL DE SOL 2012 Informe realizado por Alejandro Galtier Hernández en nombre de CanarCloud (www.canarcloud.es) para GLORIA
7
CanarCloud Blog (www.canarcloud.tv/blog/2012/11/08/eclipse-solar-en-directo-en-la-web/) A través del Blog de CanarCloud se obtuvieron 1.295 visitas y 2.765 páginas vistas, con un
máximo de 442 visitas y 537 páginas vistas en el momento de la retransmisión, suministrando
0,392 GBytes de datos.
Agencia SINC (www.agenciasinc.es/Retransmisiones/EN-DIRECTO-Eclipse-total-de-Sol) A través del portal de la Agencia SINC se obtuvieron 6.824 visitas y 8.933 páginas vistas.
Canarias 7 (www.canarias7.es/eclipsesol.cfm) A través del portal de Canarias 7 se obtuvieron 2.994 visitas y 3.284 páginas vistas, con un
máximo de 1.718 visitas y 2.298 páginas vistas en el momento de la retransmisión.
Terra A través del portal de Terra se obtuvieron 50.000 visitas.
TVN Meteo A través del portal de TVN Meteo se obtuvieron 100.000 visitas.
Focus A través del portal de Focus se obtuvieron 100.000 visitas.
Yahoo A través del portal de Yahoo se obtuvieron 50.000 visitas.
Los valores en negrita son estimaciones.
2.- Streaming de video. Para la obtención de las estadísticas del directo, CanarCloud ha desarrollado un servicio de
recolección REST encargado de monitorizar a intervalos de 2 minutos todas y cada una de las
instancias Wowza.
INFORME TÉCNICO RETRANSMISIÓN ECLIPSE TOTAL DE SOL 2012 Informe realizado por Alejandro Galtier Hernández en nombre de CanarCloud (www.canarcloud.es) para GLORIA
8
Según este servicio, podemos observar que un total de 175.520 visitantes se conectaron al
directo, de los cuales 5.067 visitantes observaron de forma simultánea la retransmisión,
alcanzando un máximo total de ancho de banda de 2003,82 MBps y un tráfico de datos
transferido de 128,15 GB.
Televisiones y Repetidores Analizando los datos de aquellos colaboradores con infraestructura de Live-Stream propia que
han redistribuido nuestra señal a través de sus portales web o televisiones obtenemos los
siguientes resultados:
INFORME TÉCNICO RETRANSMISIÓN ECLIPSE TOTAL DE SOL 2012 Informe realizado por Alejandro Galtier Hernández en nombre de CanarCloud (www.canarcloud.es) para GLORIA
9
Sky-Live.TV (www.sky-live.tv) A través de la infraestructura de Sky-Live.TV podemos observar que un total de 19.428
visitantes se conectaron al directo, de los cuales 411 visitantes observaron de forma
simultanea la retransmisión.
CanarCloud Blog (www.canarcloud.tv/blog/2012/11/08/eclipse-solar-en-directo-en-la-web/) A través de la infraestructura de CanarCloud podemos observar que un total de 2.468
visitantes se conectaron al directo, de los cuales y 104 visitantes observaron de forma
simultanea la retransmisión.
Si desglosamos los datos obtenidos, tanto de los colaboradores con infraestructura propia
como de aquellos que solicitaron un % de nuestro CDN para distribuir nuestras señales, en
función de la fuente desde la que se consumieron las señales durante la retransmisión
obtenemos los siguientes datos:
Retransmisión 13 Noviembre (20:30-20:45 UT)
INFORME TÉCNICO RETRANSMISIÓN ECLIPSE TOTAL DE SOL 2012 Informe realizado por Alejandro Galtier Hernández en nombre de CanarCloud (www.canarcloud.es) para GLORIA
10
TOTALES y COMPARATIVA
Visitas Máximo
Evento Web 689.779 54554
Video 175520 5.067
Figura 1.- Comparativa de visitas y espectadores al portal web de la retransmisión en los distintos eventos,
TSE-2010 (Eclipse Total de Sol, 11 julio 2010, Isla de Pascua), TLE-2010 (Eclipse Total de Luna, 20 diciembre
2010, Teide), TLE-2011 (Eclipse Total de Luna, 15 junio 2011, Teide), NL-2011 (Auroras Boreales, agosto 2011,
Groenlandia), VT-2012 (Tránsito de Venus, 6 junio 2012, Australia/Japón/Noruega), NL-2012 (Auroras Boreales,
agosto 2012, Groenlandia), TSE-2012 (Eclipse Total de Sol, 13 noviembre 2012, Australia).
INFORME TÉCNICO RETRANSMISIÓN ECLIPSE TOTAL DE SOL 2012 Informe realizado por Alejandro Galtier Hernández en nombre de CanarCloud (www.canarcloud.es) para GLORIA
11
INCIDENCIAS
1.- Portal Web retransmisión Debido a elevado nº de conexiones simultaneas recibidas en el portal web desde el comienzo
del eclipse (19:44 UT) y a que en el portal web se incluyen imágenes del eclipse con una
frecuencia de refresco de 1 min, configuradas utilizando técnicas antiproxy para evitar el
cacheo de las mismas, se produce un colapso de la infraestructura de servidores web formada
por 15 instancias web dando lugar a que en el momento del directo (20:30 UT) un elevado nº
de visitantes no puedan cargar la página del eclipse live.gloria-project.eu con lo que no pueden
acceder al player para ver la retransmisión.
El colapso de determinadas instancias web por sobrecarga en el nº de peticiones por segundo
cercanas al centenar así como por una elevada tasa de transferencia próxima a los 10 mbps por
segundo da lugar a que se caiga el servidor apache, provocando, no solo que no se pueda
acceder al portal web sino que se resetee la configuración provocando que se muestre en
algunas ocasiones la página por defecto del servidor apache en lugar de la correspondiente al
portal.
Tomando como referencia una de las instancias VMware vSphere suministrada por CanarCloud
y comparando los datos de rendimiento interno recolectados por la herramienta Munin junto
con los datos de rendimiento externo recolectados por los agentes de monitorización de
vSphere obtenemos los siguientes resultados:
Información suministrada por Munin
INFORME TÉCNICO RETRANSMISIÓN ECLIPSE TOTAL DE SOL 2012 Informe realizado por Alejandro Galtier Hernández en nombre de CanarCloud (www.canarcloud.es) para GLORIA
12
INFORME TÉCNICO RETRANSMISIÓN ECLIPSE TOTAL DE SOL 2012 Informe realizado por Alejandro Galtier Hernández en nombre de CanarCloud (www.canarcloud.es) para GLORIA
13
Información suministrada por VMware vSphere
Tasa de Transferencia
% de CPU consumido
RAM consumida
INFORME TÉCNICO RETRANSMISIÓN ECLIPSE TOTAL DE SOL 2012 Informe realizado por Alejandro Galtier Hernández en nombre de CanarCloud (www.canarcloud.es) para GLORIA
14
Analizando esta información podemos concluir que, siguiendo una configuración más agresiva
de los servidores apache para soportar un mayor nº de visitas por segundo con el
correspondiente aumento de consumo de CPU y RAM, y aumentando las previsiones de ancho
de banda por encima de los 10 mbps por instancia nos encontraríamos en mejor situación para
atender picos de afluencia como el del eclipse, sin embargo, no podemos garantizar que estas
configuraciones se realizan correctamente debido a que, salvo en el caso de aquellos
colaboradores que instalan sus servidores a partir de las plantillas pre configuradas
suministradas por CanarCloud, el resto prepara sus máquinas libremente en base a nuestras
recomendaciones pero sin nuestra supervisión.
Por otro lado, sería recomendable contar con un mínimo de unas 20 instancias y una buena
conectividad para atender una demanda como la obtenida y en esta ocasión solo se contó con
15.
2.- Streaming de video. Con el fin de obtener de manera individualizada, datos estadísticos del nº de clicks producidos
en los player de los colaboradores que utilizaron un % de nuestro CDN, se reservo un máximo
de 1200 visitas simultaneas para cada uno de estos colaboradores basadas en la información
suministrada y en experiencias pasadas.
Debido a que, no todos los colaboradores nos suministraron las expectativas de visitas o a que
colaboradores con infraestructura propia se conectaron directamente a nuestro CDN no
encontramos con las siguientes incidencias:
TVN Meteo Se superaron las 1200 visitas simultáneas previstas por lo que se llegaron a rechazar cerca de
8000 intentos de conexión.
Focus No se obtiene ninguna visita, no pudiendo saber si se debe a un error de configuración o a
INFORME TÉCNICO RETRANSMISIÓN ECLIPSE TOTAL DE SOL 2012 Informe realizado por Alejandro Galtier Hernández en nombre de CanarCloud (www.canarcloud.es) para GLORIA
15
cualquier otro problema. Por otro lado, al no haber asistido a las pruebas de conectividad
realizadas el 12 de Noviembre se desconoce si, finalmente participaron o no como
colaboradores.
Analizando esta información consideramos que resulta crucial disponer de una buena
comunicación técnica con el personal correspondiente de cada colaborador con la suficiente
antelación (al menos 1 semana antes) para, por un lado conocer de qué manera se accederá a
nuestra señal, y por otro lado, las expectativas de visitas en base a eventos similares.
INFORME TÉCNICO RETRANSMISIÓN ECLIPSE TOTAL DE SOL 2012 Informe realizado por Alejandro Galtier Hernández en nombre de CanarCloud (www.canarcloud.es) para GLORIA
16