Grid

CISCO Academy Conference 2011 (http://academy.aid-web.net) (9/6/2011)

&Seminario e-Investigación en Ciencias Sociales y Humanas

(10/6/2011)

Herbert HoegerCentro de Cálculo Científico y Centro de Simulación y Modelos, Universidad de Los

AndesProyecto GISELA

1

2

•Computación distribuida

•Sistemas Operativos Distribuidos

•Grid

•Clusters vs Grid

•Cloud vs Grid

•Necesidad de Grid: Large Hadron Collider – CERN

•Proyectos•EELA (Ene 2006 – Dic 2007)

•EELA-2 (Abr 2008 – Mar 2010)

•GISELA (Sep 2010 – Ago 2012)

Contenido

3

Computación Distribuida: Es la utilización de múltiples sistemas, de alguna forma organizada, para trabajar en un objetivo común.

Conceptos Preliminares

4

Computación Distribuida

•Requiere software para la coordinación de recursos y tareas.

•Computación paralela / HPC es computación distribuida.

•Computación Grid es computación distribuida.

Conceptos Preliminares

5

Sistemas Operativos Distribuidos – Características

Transparencia: Provee la visión de una sola máquina

(máquina virtual)•Acceso: a recursos remotos igual que a locales.

•Ubicación:

•Independencia de nombre – ubicación.

•Independencia de máquina – recurso.

•Replicación: Las replicaciones mejoran el rendimiento y la disponibilidad – el uso, nombre y control de replicas debe ser transparente.

Conceptos Preliminares

6

•Migración: por rendimiento, seguridad y disponibilidad, los objetos (procesos y/o datos) pueden migrar.

•Concurrencia: cada usuario tiene la impresión de ser el único usuario – así existan muchos.

•Escalabilidad: el sistema puede “crecer” sin afectar las actividades de los usuarios.

•Heterogeneidad: Soportar diferentes tipos de hardware y software.

•Seguridad: Protección contra destrucción y usos no autorizados.

Conceptos Preliminares

7

•Disponibilidad: debe operar todo el tiempo aún bajo fallas (quizás con cierta degradación).

•Evitar fallas: usar componentes de calidad.

•Tolerar fallas: redundancia de componentes

•Detectar y recuperar fallas: usar hardware y software para descubrir y reparar fallas.

•Flexibilidad: Facilidad para reemplazar, modificar o agregar componentes.

•Rendimiento: Las aplicaciones deben correr mejor (o al menos igual) que en monoprocesadores.

Conceptos Preliminares

8

•Los objetivos generales son los mismos que vimos para sistemas operativos distribuidos pero a un nivel superior.

•Debe operar con distintos sistemas operativos.

Computación Grid

Linux ASolaris

ABC

XYZDiscos

WindowsLinux B

Mac OS…

Aplicaciones

Grid Middleware

Recursos

9

Computación Grid es computación distribuida llevada a un nivel multi-organizacional / multi-sistemas.

Computación Grid

Dpto.

Dpto.

Dpto.

Organización

Dpto.

Dpto.

Dpto.

Organización

Dpto.

Dpto.

Dpto.

Organización

Dpto.

Dpto.

Dpto.

Organización

Son muchos sistemas locales, manejados por personas/organizaciones distintas,

cooperando.

10

Computación Grid

• Hoy en día tenemos:– Conectividad global a través de Internet.

– Disponibilidad y confiabilidad en el ancho de banda.

– La velocidad de las redes se duplica cada 9 meses.

11

Computación Grid

Usar Internet como unaplataforma de servicios de

computación y no solo como una fuente de

información.

12

Aplicaciones

Grid Middleware

Recursos

Computación Grid

Características

• Manejo de Recursos• Balanceo de cargas• Manejo de Fallas• Monitoreo• Garantizar el

rendimiento• Detección de intrusos• Escalabilidad, etc

• Autentificación• Políticas de

Autorización• Descubrimiento de

recursos• Ubicación de recursos• Acceso a data remota• Alta velocidad de

transferencia de data

13

Cluster vs. Grid

CLUSTER

• Equipos homogéneos.

• Sistema operativo único.

• Administración y manejo centralizado - única.

• Equipos están concentrados.

• Objetivo: mejorar el rendimiento dedicando más recursos.

GRID

• Equipos heterogéneos.

• Múltiples sistemas operativos.

• Administración y manejo descentralizado – multidominio

• Equipos están dispersos.

• Objetivo: mejorar el rendimiento compartiendo recursos sub-utilizados en otras partes.

14

Cluster

15

Grid

16

Cloud vs. Grid

CLOUD

• Foco: Comercial – Servicio.

• Muchos basados en grids.

• Fáciles de usar.

• Compartir no es objetivo. No colaborativo.

• Los usuarios no posen la infraestructura: no inviertas en recursos, alquílalos.

GRID

• Foco: HPC.

• Más complicados de usar.

• Compartir recursos, datos, conocimiento y trabajo (a través de VO - Virtual Organizations).

• Los usuarios aportan a la infraestructura: comparte/aporta recursos y podrás tener muchos más de lo que podrías adquirir por tu cuenta

17

Analogía

• Grid (en inglés) ~ red eléctrica.

• Grid de Computo ~ red de recursos y servicios de computación.

18

EL CERN (Centro Europeo de Investigaciones Nucleares)

• Esta a la vanguardia en tecnología de redes.

• Su lema: “where the web was born”

• Lidera algunos de los proyectos en Grid más ambiciosos del mundo.

19

CERN - LHC: Large Hadron Collider

27 Km

20

CERN: Large Hadron Collider

• Instrumento científico más grande del mundo.

• Los datos son una mina de oro para físicos alrededor del mundo.

• Descubrir partículas fundamentales de la materia.

21

CERN

• Unos 10 Petabyte/año.

• Kilobyte KB 103 (o 210) • Megabyte MB 106 (o 220) • Gigabyte GB 109 (o 230) • Terabyte TB 1012 (o 240) • Petabyte PB 1015 (o 250) • Exabyte EB 1018 (o 260) • Zettabyte ZB 1021 (o 270) • Yottabyte YB 1024 (o 280)

22

CERN

• 1 CD → 700 MB• 10 PB → 14.285.714 CDs• 7 CDs → 1 cm• 10 PB → 20,4 Kms de CDs

– 1 DVD → 6,7 CDs– 3 Kms de DVDs

Suponiendo los CDs o DVDs llenos!

23

CERN

24

CERN

• La solución posible para manejar/procesar esta enorme cantidad de información parece ser la computación Grid.

• Comentario de William Gropp: Con la computación Grid hay un fenómeno particular, la necesidad surgió antes que la tecnología.

25

CERN

• El problema no es solo el manejo de datos.

• Son necesarios unos 100.000 PCs actuales para analizar estos datos.

• Al pasar los años, la data se acumula!

26

LHC Computing Grid

27

EELA

E-Infrastructure shared between Europe and Latin America

• Ene 2006 – Dic 2007

• Inicios

• Plataforma de prueba

• Red de personas

• Educación

• Entrenamiento

28

EELA-2

E-science grid facility for Europe and Latin America

• Abr 2008 – Mar 2010

• Plataforma de calidad de producción

• Red de personas

• Educación

• Entrenamiento

29

GISELA

Grid Initiatives for e-Science virtual communities in Europe and Latin

America

• Sep 2010 – Ago 2012

• Soporte a comunidades virtuales

• Educación

• Entrenamiento

• Transferencia a CLARA

30

GISELA

15 Países (11 en América Latina)19 Miembros (14 en América Latina)12 Terceros (11 en América Latina)

UNIANDES• UIS• PUJ

UFRJ• CEFET-RJ

REUNA• UFRO• UTFSM

UNAM• CICESE• ITV• ITESM• IPN-CIC• UAEM• UNISON

31

GISELA: http://www.gisela-grid.eu/

Paginaprincipal

32

GISELA: http://indico.gisela-grid.eu/

Servidor deeventos

33

GISELA: http://documents.gisela-grid.eu/

Servidor dedocumentos

34

GISELA: http://applications.gisela-grid.eu/

Aplicaciones~70

35

Finalmente…

• Que los recursos estén disponibles en cualquier lugar, en cualquier momento, en forma confiable y segura, que la ubicación de los procesos y datos sea transparente al usuario, y que el Grid sea fácil de usar, son metas en las que aún se trabaja arduamente.

• La implementación, operación y mantenimiento de un Grid no es fácil, pero el software esta madurando rápidamente.