introducción al grid€¦ · tipos de recursos que participan en él. ¿software especial?...

INSTITUTO DE BIOCOMPUTACIÓN Y FÍSICA DE SISTEMAS COMPLEJOS

CURSO

CLUSTERS & GRID COMPUTINGEN ENTORNOS DE SOFTWARE LIBRE

28, 29 y 30 de Noviembre 2005http://bifi.unizar.es/clustersygrid

Introducción al GRID

Guillermo Losilla Anadón

([email protected])

INSTITUTO DE BIOCOMPUTACIÓN Y FÍSICA DE SISTEMAS COMPLEJOSClusters & Grid computing en entornos de software libre INSTITUTO DE BIOCOMPUTACIÓN Y FÍSICA DE SISTEMAS COMPLEJOSClusters & Grid computing en entornos de software libre

Indice

► Definición

► Grid middleware

► Software libre & Grid

► El Grid en el mundo científico

► El Grid en la empresa

Resumen y referencias de interés


Definición

► De un tiempo a esta parte, la tecnología grid se ha vuelto muy popular

► En 2003 fue declarada por el MIT como una de las 10 tecnologías emergentes que cambiarán el mundo

► La palabra ”grid” empieza a aparecer por todos lados, todo el mundo habla de ello... Lo cual está introduciendo mucha confusión...

riesgo de frustración!

► OK, aclaremos primero qué es esto del Grid...


Definición

► ¿Qué es el Grid?

● “Mientras que la Web es un servicio para compartir información a través de Internet, el Grid es un servicio para compartir potencia de cálculo y capacidad de almacenamiento a través de la red”

● Esta compartición se realiza abstrayendo/virtualizando los recursos que participan en una infraestructura grid, de manera que para el usuario final actuan como un único y potente ordenador

► Los teóricos del grid computing entienden que el objetivo final de la tecnología grid es crear una infraestructura cuyo ámbito sea todo Internet, integrando todos los heterogéneos recursos computacionales que existen alrededor del mundo

= ”el Grid”

► Sinónimos: ”grid computing” = Grid


Definición

► Mitos y otras falsedades sobre grid computing

● El Grid NO es una mejora/ampliación de Internet (no están al mismo nivel)

● El Grid NO es un proyecto (es una tecnología)

● El Grid NO es un cluster de ordenadores (en un grid puede haber integrados muchos o ningún cluster)


Definición

► El Grid toma el nombre de su analogía con la red eléctrica (en inglés ”power grid”):

Transparencia

Infraestructura

Utilidad


Definición

► El Grid: ¿realidad o ficción?

● El presente es que la visión utópica de los ”puristas” del Grid todavía queda lejos. El Grid es aún un ”trabajo en progreso”, con la tecnología subyacente todavía en fase de desarrollo.

● ...pero la realidad avanza cada vez más rápido y en la actualidad cientos de programadores de todo el mundo trabajan desarrollando middleware y migrando aplicaciones al Grid.

● En estos momentos ya existen distintos grids, de distintos tamaños (desde regionales hasta internacionales) y con distintos usos (científico-público, privado). Algunos funcionan a modo de ”testbeds” y otros muchos ya están en plena fase de producción.


Definición

► El camino hacia el Grid:

Cluster computing (Beowulf)

Metacomputing (FAFNER, I-WAY)

P2P computing (Napster)

Internet computing (SETI@home)

GRID!!!


Definición

► De acuerdo, el Grid parece una buena idea, pero...

¿cómo funciona?


Indice

► Definición

► Grid middleware






Grid middleware

► El Grid es posible gracias al ”grid middleware”, el software especial que permite la integración de todos los distintos tipos de recursos que participan en él.

► ¿software especial? ¿middleware?

● Definición de middleware (Wikipedia): ”En un entorno de computación distribuida, el middleware se define como la capa de software que se encuentra entre el sistema operativo y las aplicaciones en cada host que participa en el sistema”

● Ejemplos: RPC, RMI, Corba, EJBs…

● “grid middleware”: middleware que se usa en el Grid


Grid middleware

► Lugar del middleware en el diagrama de capas del GRID:


Grid middleware

► Finalidad: virtualización de los recursos de computación

► Funcionalidades:

● Asignación eficiente de recursos

● Ejecución de trabajos y posterior transferencia de resultados

● Almacenamiento, registro y posterior localización y acceso a

datos

● Proveer mecanismos de seguridad: autenticación, autorización...

● Monitorización

● ...

El middleware es el ”cerebro” del Grid


Grid middleware

► El grid middleware se construye mediante servicios grid (”grid services”), que a su vez están basados en la tecnología de servicios web

► Servicios web:● tecnología de middleware distribuido (tipo Corba, RMI, etc)● utiliza XML para la descripción(WSDL), localización(UDDI) y

comunicación (SOAP) → alta interoperabilidad● transmisión de mensajes a través del protocolo HTTP (web

services) → evita problemas de conectividad debido a firewalls etc

● especificación a cargo del W3C


Grid middleware► Caso de uso de servicios web:

The Globus Toolkit 4 tutorial ®


Grid middleware

► Los ingenieros de software que comenzaron a desarrollar el grid middleware optaron por utilizar servicios web como tecnología base, pero necesitaron añadir algunas características de las que carecían los servicios web planos (estado, transitoriedad, servicio de notificaciones...), creando así lo que durante un tiempo se denominaron servicios grid (”grid services”)

► En Enero de 2004 se liberó el estándar WSRF (Web Service Resource Framework), una extensión que permite incorporar a los servicios web las funcionalidades que aportaba un grid service.

● WSRF especificado por el grupo OASIS

Por lo tanto: servicios web = servicios grid


Grid middleware

► OGSA: ”Open Grid Service Arquitecture”

● Especificación que trata de estandarizar el acceso a los servicios presentes en una infraestructura grid

● Para ello define un conjunto de interfaces que deben cumplir los grid services más comunes (job management services, resource management services, security services...)

● Especificado por el Global Grid Forum


Grid middleware

► ¿Cuál es la relación entre los estándares OGSA y WSRF-web services?



Grid middleware

► Globus Toolkit:

● Es un framework/paquete de software que contiene:– Implementación de la extensión WSRF (hay otras:

WSRF.NET)– Un conjunto de servicios de alto nivel (OGSA compliant)

necesarios para desarrollo de aplicaciones grid

● Licencia libre (GPL)

● Se ha convertido en el estandar ”de facto” para desarrollo

de grid middleware

● Desarrollado por la Globus Alliance bajo la dirección de Ian Foster & Carl Kesselman (”gurús” del grid computing)


Grid middleware► Componentes Globus Toolkit 4.0:



Grid middleware► Vaya lío! Tratemos de integrarlo todo en un diagrama...



Indice

► Definición

► Grid middleware






Software libre & Grid

► Pese a su complejidad, la tecnología Grid ha tenido un espectacular despegue en muy poco tiempo; ¿a qué se debe?

● Factores tecnológicos:

1. El progresivo aumento del ancho de banda en la Red ha sido un factor fundamental (hace unos años el Grid hubiera sido inviable)

● Factores económicos

1. Grandes empresas de software están apoyando la tecnología (IBM)

2. El Grid es algo que se vende muy bien (ahorro de costes inmediato)


Software libre & Grid

Sin embargo han existido dos factores que han favorecido estratégicamente su desarrollo:

2. Uso de estándares y protocolos abiertos (WS, OGSA, OGSI, WSRF...) con organismos ”de peso” que velan por su cumplimiento (W3C, OASIS, GGF...)

4. El software libre está jugando un papel fundamental:• La única implementación de OGSA (Globus Toolkit) es libre y está

presente en todas las infraestructuras grid del mundo

• Gran parte del grid middleware que se está desarrollando en entornos científicos se está publicando con licencias libres (DataGRID, LCG, gLite...)

• El Grid nace en el mundo HPC donde existe una clara predominancia de herramientas libres (véase el uso de soft libre en los clusters de PCs: GNU/Linux + LRMs)


Indice

► Definición

► Grid middleware


► Grid en el mundo científico




Grid en el mundo científico

► El Grid es una tecnología que ha nacido y todavía se sigue desarrollando mayoritariamente en el mundo científico, convirtiéndose en un instrumento fundamental de lo que se ha denominado ”e-Ciencia”

► Definición de e-Ciencia (”enhanced-Science”, UK): ”conjunto de actividades científicas desarrolladas mediante el uso de recursos distribuidos accesibles a través de Internet “

Fuente: libro blanco de la e-Ciencia en España



► Usos científicos que hasta ahora ha tenido el Grid:● Simulación molecular● Física de partículas● Modelado del clima● Observación de la Tierra● Estudio del genoma humano

► Física de altas energías (HEP), biomedicina y química computacional puede que sean las áreas científicas que hasta ahora más han explotado la tecnología Grid.



► Histórico de los proyectos grid científicos más importantes en Europa:



► Las infraestructuras grid más importantes a nivel europeo son LCG-EGEE y los distintos testbeds nacionales (algunos integrados también dentro de EGEE):

● NorduGRID● UK e-Science● INFN-Grid● DutchGrid● HellasGrid…

► Equivalencia en los USA:● EGEE = OSG (Open Science Grid)● Otros grids más específicos: NASA- IPG (Information Power

Grid), NEES (Network for Earthquake Engineering Simulation), ESG (Earth System Grid)…



► Proyectos GRID en el BIFI:

• EGEE

• IRISGrid

• int.eu.grid


Grid en el mundo científico► EGEE (Enabling Grids for E-sciencE)



► EGEE:

● Objetivo del proyecto: ”desplegar una infraestructura grid disponible para uso científico las 24 horas del día“

● Actualmente la mayor infraestructura grid a nivel mundial integrando más de 150 centros de investigación y supercomputación de 40 países que contribuyen con más de 10000 CPUs y 10 PetaBytes de almacenamiento.

» Nota: 1 PetaByte = 1000 TeraBytes = 1.000.000 GigaBytes

● Financiado por la UE (32M€ FP5) y coordinado por el CERN



► EGEE:

● Integra la infraestructura del proyecto LCG (LHC Computing Grid) y otros grids nacionales (INFN-Grid, UK...)

● Estructura de proyecto muy jerarquizada, organizada y controlada (se trata de dar un servicio permanente las 24h)

● Actualmente en EGEE se usa en producción el grid middleware de LCG, pero a la vez se está desarrollando un middleware propio (gLite)



► El BIFI en EGEE:

● Desde Julio de 2005 entrada en el proyecto como Resource Center de la federación suroeste (España & Portugal)

● En la segunda fase del proyecto (2006-2008) como ”funded partner” para participar en la migración de aplicaciones de fusión al Grid


Grid en el mundo científico► IRISGrid

● Iniciativa coordinada por RedIRIS que involucra a los principales grupos de investigación en tecnologías grid que hay en España

• Equivaldría a la infrestructura grid nacional de otros países…pero con la diferencia de que de momento no existe un plan nacional de e-Ciencia que lo financie.



► int.eu.grid (Interactive European Grid)

● Proyecto que busca desarrollar aplicaciones grid que requieran al mismo tiempo grandes necesidades computacionales y un alto nivel de interactividad por parte del usuario

● “Continuación” de Crossgrid

● Participación de 17 centros de 9 países, liderados por el IFCA-CSIC (Instituto de Física de Cantabria)

● Aprobado en la VI convocatoria del programa marco de la UE


Indice

► Definición

► Grid middleware






El Grid en la empresa

► Pese a su relativa inmadurez la tecnología Grid ya ha comenzado a salir del ámbito científico para ser aplicada en entornos corporativos.

► De momento han sido las grandes compañías de software las pioneras en migrar aplicaciones al Grid dando soluciones ”ad hoc” a clientes con necesidades “especiales” de computación/espacio de almacenamiento:

● Industría audiovisual y de animación (generación de imágenes digitales)● Industria química y del automóvil (simulaciones)● Financieras (ERPs)...

► Casos conocidos:● IBM: Grid toolbox (basado en GT)● HP: Utilización de una infraestructura grid para su colaboración con

Dreamworks para elaboración de Shrek 2● Sun Microsystems, noticia aparecida en Slashdot Febrero 2005:

<< Sun lanza un servicio de venta de capacidad de cómputo a 1$ la hora de CPU y el GB de almacenamiento a través de su grid corporativo >>


El Grid en la empresa

► Situación actual:

● El grid middleware mejora progresivamente a la vez que se van asentando los estandards → la tecnología está cada vez más preparada

● Se va ampliando el rango de aplicaciones que se van migrando al entorno grid

● El Grid se ”vende” muy bien (ahorro de costes + tiempos de producción → mayor competitividad)

● ¿diferencias USA vs UE?

► Conclusión: es el momento ideal para ”gridificar” aplicaciones


Indice

► Definición

► Grid middleware






Resumen

1. El Grid/grid computing es una tecnología emergente que busca la virtualización de los recursos computacionales y de almacenamiento

2. El grid middleware es el software que hace posible el Grid y está basado en la tecnología de servicios web. Existen una serie de estándares y de organismos que velan por su cumplimiento

3. El Globus Toolkit es una herramienta libre que actualmente es el framework por excelencia para desarrollo de grid middleware

4. El soft libre y el uso de estándares abiertos ha favorecido el desarrollo del Grid

5. El Grid ha nacido y se sigue desarrollando en el mundo científico con grandes proyectos como EGEE, pero ya ha saltado la barrera hacia el uso en el mundo de la empresa


Referencias de interés► Introducción al grid computing:

● GridCafé: http://gridcafe.web.cern.ch/gridcafe/● La ”biblia” del Grid: ”The Grid: Blueprint for a New Computing Infrastructure”,

Ian Foster

► Grid middleware (descarga & documentación):● Globus Toolkit: http://www.globus.org/toolkit/

► Grid & ciencia:● EGEE: http://public.eu-egee.org/● Grid@BIFI:http://bifi.unizar.es/research_devel/research_lines/comp_supercomp/grid.php● Libro blanco de la e-Ciencia: http://www.fecyt.es/documentos/e-Ciencia.pdf

► Grid & empresa:● IBM: http://www-1.ibm.com/grid/● Gridtoday: http://www.gridtoday.com

http://gridcafe.web.cern.ch/gridcafe/

http://www.globus.org/toolkit/

http://public.eu-egee.org/

http://bifi.unizar.es/research_devel/research_lines/comp_supercomp/grid.php

http://www.fecyt.es/documentos/e-Ciencia.pdf

http://www.fecyt.es/documentos/e-Ciencia.pdf

http://www-1.ibm.com/grid/

http://www-1.ibm.com/grid/

http://www.gridtoday.com/

http://www.gridtoday.com/

introducción al grid€¦ · tipos de recursos que participan en él. ¿software especial?...

Documents