Curso de Postgrado ‘GRIDS y e-Ciencia’

” UTILIZACION DE UNA INFRAESTRUCTURA GRID”

J. SaltGrupo de GRID Computing del IFIC

IFCA, Santander; 21-23 de Junio de 2004

Contenidos

Descripcion de GoG ( la Infraestructura GRID del IFIC)Utilizacion en I+D de tecnologias GRIDUtilizacion como infraestructura de ProduccionConclusiones y Perspectivas

• Participacion esencial del Servicio de Informatica del IFIC en la operacion del GoG

• Grupo: F. Fassi, A. Fernandez, S. Gonzalez, V.Lara, J. Lozano, L. March, J. Salt, J. Sanchez

1.-DESCRIPCION DE GOG,LA INFRAESTRUCTURA GRID

DEL IFIC

Ordenadores de cálculo

192 Ordenadores (134 IFIC + 58 ICMOL)

96 Atlhon 1.2 GHz 1Gbyte SDRAM

96 Athlon 1.4 GHz 1Gbyte DDR

Disco duro local de 40 GBytes

FastEthernet agregando con gigabit ethernet.

Adquisiciones recientes

Robot STK L700e700 4 Servidores de disco

2 Servidores de cinta

Almacenamiento discodiscos para

datos

contr CPU Network Capacidad

RAID 1

gse01 20x80GB

2x120GB

IDE 2x Atlhon 1.5 GHz 1x100Base-T

1x1000Base-SX

920 GB

gse02 16x120GB SATA 2 x XEON 2.0 GHz 1x1000Base-T

1x1000Base-SX

960 GB

gse03 12x160GB SATA 2 x XEON 2.8 GHz 2x1000Base-T 960 GB

gse04 12x160GB SATA 2 x XEON 2.8 GHz 2x1000Base-T 960 GB

gse05 12x160GB SATA 2 x XEON 2.8 GHz 2x1000Base-T 960 GB

gse06 12x160GB SATA 2 x XEON 2.8 GHz 2x1000Base-T 960 GB

5720 GB

Almacenamiento en cintaceldas Lectores interface Capacidad

(sin comp.)

IBM 3583 54 1 x LTO Gen1

100 GB (sin compr.)

SCSI 5.4 TB

STK L700e700 690 4 x LTO Gen2

200 GB (sin compr.)

FibreChannel 138 TB

interface CPU Network

tpsrv1 SCSI 1x Athlon 1.5 GHz 1x100Base-T

tpsrv2 FC 2 x XEON 2.8 GHz 2x1000Base-T

tpsrv3 FC 2 x XEON 2.8 GHz 2x1000Base-T

Almacenamiento de datos

En septiembre de 2002 se instaló CASTOR con: 1 TapeServer 1 Compaq TL891DLX (1 lector DLT8000, 10 slots)

CASTOR en producción desde entonces.

Durante el 2003 migración a la librería IBM 3583.

Diciembre de 2003 se añadio la librería de STK y los dos nuevos servidores de cinta.

2.- UTILIZACION PARA EL I+D DE TECNOLOGIAS GRID

CROSSGRID: Resource Broker

Hace de punto único donde enviar los trabajos.•Un Usuario debe describir las necesidades de su trabajo y el RB se encargará del envío y recogida de resultados cuando finalice.• Selección autómatica de recursos donde correr los trabajos.•Reenvio de trabajos en caso de fallo.•Mantiene historia de las distintas fases por las que pasa un trabajo (Logging & Bookeping)•Cuando acaba el trabajo, recoge los resultados que serán guardados hasta que el usuario los requiera.

CROSSGRID: Helpdesk

User Support del Proyecto: desarrollo, implementacion y mantenimiento de un Helpdesk

Ver la presentacion de Farida Fassi

EGEE: Organizaciones Virtuales

•Las Organizaciones Virtuales (VO) agrupan usuarios de diferentes dominios. que desean compartir sus recursos•Un Usuario debe pertenecer al menos a una VO.•Los diferentes Recursos deben soportar la VO para poder mandar trabajos:

RB debe aceptar trabajos de esa VOUn Computing element (CE), representando

un conjunto de recursos soporta una o más Vos, que permiten el correr trabajos

de las mismas.

•Un Storage Element (SE) servira archivos a las VO’s ‘soportadas’•Los Servicios de Replica (RLS) tambien deben soportar las VO’s que efectuen consultas

.

3.- UTILIZACION COMO INFRAESTRUCTURA DE

PRODUCCION

El Reto de la Computación en LHC

Almacenamiento- Ratio de registro de datos 0.1 – 1

GBytes/sec

Acumulando a 5-8 PetaBytes/year

10 PetaBytes de disco

Procesamiento 200,000 de los PC’s más rápidos actuales

* El GoG en Pre-Grid

En el IFIC se ha realizado producción de Monte Carlo para los experimentos: ATLAS, LHCb y CMS.En ATLAS se ha producido tanto

simulación, como reconstrucción (IFIC).En LHCbLHCb solo se ha producido simulación

(UB)En CMS tanto generación, como

simulación (IFCA)

Simulación y Reconstrucción en números para ATLAS

Tipo de sucesos

Tamaño por

suceso (MB)

Con pile-up a baja lumi (MB)

Con pile-up a alta

lumi (MB)

Tiempo por

suceso (s)

Tiempo por

suceso a baja

lumi (s)

Tiempo por

suceso a alta lumi

(s)

Di-jets 2.5 3 - 250 30 -

WHgg

2.5 3.6 10 200 30 130

WHbb

2.5 3.7 7.5 200 30 150

Simulación y Reconstrucción en números, para ATLAS

Colaboración

(Pentium III 500 MHz)

IFIC

(Athlon 1.4 GHz)

Número de sucesos

50x106 2.2x106

Ficheros 35 000 2 500

Horas de CPU 1722K horas 30K horas

Capacidad 30 Tbytes 3 Tbytes

Contribución a los Data Challenge 1 de

ATLAS por parte del IFICContribution (%) per country(37 institutes in 18 countries)

1,43

0,02

10,89

28,60

0,00

1,379,572,375,00

10,69

2,21

3,23

4,41

1,91

4,06

14,25

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

ValenciaIFIC

5*107 events generated1*107 events simulated3*107 single particles30 Tbytes

35 000 files

1: Australia2: Austria3: Canada4: CERN5: Czech Republic6: France7: Germany8: Israel9: Italy10: Japan11: NorduGrid (Denmark, Norway, Sweden)12: Russia13: Spain (Valencia)14: Taiwan15: UK16: USA

Resumen para ATLAS en el IFIC

Sucesos simulados: 890 Kevt

Sucesos reconstruidos: 250 Kevt

Volumen de datos almacenados en disco: 1.5 TB

Volumen de datos almacenados en cinta: 4 TB

Los datos han sido volcados tanto al CERN (20%) como a Lyon (70%)

Generación y Simulación en números para CMS

Sucesos generados en el IFIC: 100

Sucesos simulados en el IFIC: 100 Kevt

Horas de CPU: 4400 horas

Tiempo por suceso: 160 s

Tamaño por suceso: 0.46 MB

Volumen de datos producidos: 46 GB

Los sucesos se transfieren al IFCA

**El GoG en modo GRID

80% del GoG en LCG-2

Ejercicio del Data Challenge 2 (DC2) de ATLAS en LCG-2Coordinacion ‘centralizada’ del envio de

trabajos

Mover a los usuarios del IFIC al modo GRID

Modo Grid *EN PRUEBAS* Grid *EN PRUEBAS* para usuarios de GoGpara usuarios de GoG

Guia para el usuario; Obtencion de los certificados Alta en la Organización Virtual de ATLAS

Se ha ejecutado ATLAS-6.0.4 a la grid (versión dada en la release del Grid)

Se ha utilizado la distribución estándar de RPM’s usada en los DC1.

Se puede hacer tanto simulación como reconstrucción.

La simulación ha corrido bien en todos los sitios:

4.- CONCLUSIONES Y PERSPECTIVAS

Actividades I+D en GRID OK , in progress

Explotacion (EGEE) de comienzo reciente: ‘in progress’

Buen funcionamiento de los DC1 (pre-GRID): OK

Ejercicio del Data Challenge 2 (DC2) de ATLAS en LCG-2: muchos problemas, ‘in progress’

Analisis Distribuido de datos LHC (ATLAS). Prototipo de Sistema de Analisis. Problema complejo, primeros pasos

Mover a los usuarios del IFIC al modo GRID opinion: El éxito reside en enseñar bien el

nuevo sistema y minimizando el aprendizaje de la capa GRID para aquellos que no lo necesiten)

Iniciativa IRISGRID: e-Ciencia en España

Iniciativas a nivel autonomico