IFIC – Valencia22–23 Oct. 2009

COMPUTACIÓN Y ANÁLISIS DE DATOS DE ATLAS :CURSO PARA USUARIOS

TIER2 USER SUPPORT

M. KACIIFIC - VALENCIA

IFIC-VALENCIA, 22 Y 23 DE OCTUBRE DE 2009

INTRODUCCIÓN AL CURSO

IFIC – Valencia22–23 Oct. 2009

COMPUTACIÓN Y ANÁLISIS DE DATOS DE ATLAS :CURSO PARA USUARIOS

TIER2 USER SUPPORT OVERVIEW

EXP.

DATA

SOFTWARE

GRID

LOCAL

RESULTS

ANALYSIS

PUB.

USER’sCODE

COLISIÓN pp ( 14 TeV ) SUCESO

TIPO DE DATOS, FLUJOALMACENAMIENTO, ACCESO …

ATLAS

ATHENA…

C++,PYTHON…

LAPTOP,PC, GRANGA…

RED, RECURSOS,MIDDLEWARE…

ROOT,PROOF

NTUPLES, DPD,AOD, OUTPUTS…

GANGA, PATHENA…

EXP.

DATA

SOFTWARE

GRID

LOCAL

RESULTS

ANALYSIS

PUB.

USER’sCODE

IFIC – Valencia22–23 Oct. 2009

COMPUTACIÓN Y ANÁLISIS DE DATOS DE ATLAS :CURSO PARA USUARIOS

TIER2 USER SUPPORT EL EXPERIMENTO ATLAS (I) : DESCRIPCIÓN

40 MHz

200 Hz320 MB/s( 1.6 PB/año )

TDAQ Control

CERN – Tier0

EXP.

DATA

SOFTWARE

GRID

LOCAL

RESULTS

ANALYSIS

PUB.

USER’sCODE

TIER-1 TIER-1TIER-1

TIER-2 TIER-2 TIER-2 TIER-2

TIER-3 TIER-3 TIER-3

P: 7 TeV

P: 7 TeV

LHC 27 km circ. -270° C

ATLAS

CMS

ALICE

LHCb

RE

CU

RS

OS

DE

C

OM

PU

TA

CIÓ

ND

IST

RIB

UID

OS

,C

AN

ALE

S D

E R

ED

IFIC – Valencia22–23 Oct. 2009

COMPUTACIÓN Y ANÁLISIS DE DATOS DE ATLAS :CURSO PARA USUARIOS

TIER2 USER SUPPORT EL EXPERIMENTO ATLAS (II) : RECURSOS

16232 HEP-SPEC06265 TB disco5562 TB cinta 10 Centros

120904 HEP-SPEC0619864 TB disco14723 TB cinta

39 Centros, federaciones…114160 HEP-SPEC0611241 TB disco

TIER-0 (CERN) TIER-1 TIER-2 TIER-3

Depende de cadainstitución

AMD Opteron2356, 2.3 GHz, 8 cores,

16 (2x8) GB, 4096 kB cache,

SL4 x86_64---------------------------

60 HEP-SEC06

EXP.

DATA

SOFTWARE

GRID

LOCAL

RESULTS

ANALYSIS

PUB.

USER’sCODE

CAF

10 Gbps

10 Gbps

~ 270 PCs

1107656387DISCO (TB)

10308( ~ 172 PCs )

5396( ~ 90 PCs )

3500( ~ 58 PCs )

CPU (HEP-SPEC06)

201020092008AÑO

TIE

R-2

ES

10 Gbps 1 Gbps

IFIC – Valencia22–23 Oct. 2009

COMPUTACIÓN Y ANÁLISIS DE DATOS DE ATLAS :CURSO PARA USUARIOS

TIER2 USER SUPPORT MODELO DE COMPUTACIÓN : DATOS

EXP.

DATA

SOFTWARE

GRID

LOCAL

RESULTS

ANALYSIS

PUB.

USER’sCODE

RDO( Raw Data Objects )

1.6 MB/suceso

ESD( Event Summary Data )

1 MB/suceso

reconstrucción resumida con Objetos. Electrones, muones, jets, etc… para análisis

contiene información reducida para análisis específico con ROOT

Base de datos o ficheros ROOT Utilizados para selección rápida de sucesos en AOD/ESD

salida de la granja de adquisición (Event Filter), en formato “byte-stream”

salida de la reconstrucción en formato de objetos (POOL/ROOT)Tracks (y sus hits), Calo Cluster, Calo Cells, etc…

AOD( Analysis Object Data )

150 kB/suceso

DPD( Derived Physics Data )

20 kB/suceso

TAG1 Kb/suceso

El Modelo de Datos de ATLAS define varios formatos :

IFIC – Valencia22–23 Oct. 2009

COMPUTACIÓN Y ANÁLISIS DE DATOS DE ATLAS :CURSO PARA USUARIOS

TIER2 USER SUPPORT MODELO DE COMPUTACIÓN : FLUJO DE DATOS

TIER-0 (CERN) TIER-1 TIER-2 TIER-3

CAF

- Adquisición yalmacenamiento, - 1ª Calib./alinea., - Reconstrucción - Reprocesado de datos,

- Calib./alinea. mejorada.- Re-reconstrucción,- Guardar ESDs y AOD

para análisis- Correr análisis para

grupos de física y detectores

RDO

RDO, ESD, AOD, TAG

EXP.

DATA

SOFTWARE

GRID

LOCAL

RESULTS

ANALYSIS

PUB.

USER’sCODE MC

Modelo Operacional en ATLAS

Distribuir la salida dela reconstrucción ( ESDs, AODs, DPDsy TAGs ) a los Tier-1s

Distribuir la salida de la reconstrucción a los Tie r-2s

-Correr trabajos de análisis ( AOD/DPD )

-Almacenar AODs y muestras de otros tipos de datos en disco para análisis

- Correr simulación de sucesos ( y calib./alinea. cuando proceda )

- Copiar la salida al Tier-1 asociado

- Proporcionar accesoa los recursos Grid,almacenamiento dedatos de usuarios

- Análisis interactivo- Contribuir en CPU

para simulación y análisis cuando es posible

MC

AOD, TAG DPD, TAG

IFIC – Valencia22–23 Oct. 2009

COMPUTACIÓN Y ANÁLISIS DE DATOS DE ATLAS :CURSO PARA USUARIOS

TIER2 USER SUPPORT

EXP.

DATA

SOFTWARE

GRID

LOCAL

RESULTS

ANALYSIS

PUB.

USER’sCODE

MODELO DE COMPUTACIÓN : ALMACENAMIENTO

1RestringidoRestringidoFicheros PopularesHOTDISK

xUsuariosUsuariosDatos de Usuarios en Tier-3

LOCALGROUPDISK

20UsuariosUsuariosDatos de UsuariosSCRATCHDISK

20GroupsRestringidoDPD, etc…GROUPDISK

5RestringidoRestringidoBuffer MCPRODDISK

25RestringidoRestringidoAOD (MC)MCDISK

30RestringidoRestringidoAOD (data)DATADISK

TBSubscrip.Write perm.UtilizaciónSpace Token

TIER-1 TIER-2 TIER-3

MC

MC

CINTA

DISCOES

UNA COPIADE AODs

DISCOPT

UNA COPIADE AODs

UNA COPIA DE AODs

IFAE

UAM

IFIC

LIP-Coimbra

LIP-Lisbon

DISCO

CLOUD España-Portugal

Espacios gestionados con política de ATLAS ( DDM ) :

Sólo se utilizan herramientaslcg-xx y/o lfc-xxx y se registranlos ficheros en el Catalogo

Se utiliza DQ2 ( dq2-xx )

Suscripción de datos

IFIC – Valencia22–23 Oct. 2009

COMPUTACIÓN Y ANÁLISIS DE DATOS DE ATLAS :CURSO PARA USUARIOS

TIER2 USER SUPPORT SOFTWARE DE ATLAS : ATHENA FRAMEWORK

Tiene estructura en módulos, basada en el modelo de datos de ATLAS

EXP.

DATA

SOFTWARE

GRID

LOCAL

RESULTS

ANALYSIS

PUB.

USER’sCODE

AtlasOffline

AtlasAnalysis

AtlasTrigger

AtlasReconstruction AtlasSimulation

AtlasEvent

AtlasConditions

AtlasCore

Gaudi

LCGCMT

AtlasProduction

ATLAS

ATHENA = Gaudi + ATLAS-specific

Es una aplicación software de control en la cualse puede “enchufar” código externo

Proporciona la mayoría de las funcionalidades comunes y comunicaciones entre componentes

Incluye software para

- Simulación de sucesos- Trigger de sucesos- Reconstrucción de sucesos- Herramientas para análisis de física

Desarrollo de software para análisis de datos de ATLAS

IFIC – Valencia22–23 Oct. 2009

COMPUTACIÓN Y ANÁLISIS DE DATOS DE ATLAS :CURSO PARA USUARIOS

TIER2 USER SUPPORT SOFTWARE DE ATLAS : COMPUTACIÓN GRID

GRID MIDDLEWARE

Sistema Distribuido deGestión de Datos (DDM)

Sistema de ProducciónDistribuido de sucesos

(simulación)

Ganga/pAthena:Herramientas para

Análisis Distribuido

Desarrollo de herramientas de computación distribui da basadas en middleware GRIDEXP.

DATA

SOFTWARE

GRID

LOCAL

RESULTS

ANALYSIS

PUB.

USER’sCODE

MonitoringAccounting

Event SimulationEvent Trigger

Event Reconstruction

Physics Analysis Tools

Athena FrameworkCódigo de

UsuarioPython, C++

Ejecución deAthena en

PC, UI,Localmente

OUTPUT

EXP.

DATA

SOFTWARE

GRID

LOCAL

RESULTS

ANALYSIS

PUB.

USER’sCODE

EXP.

DATA

SOFTWARE

GRID

LOCAL

RESULTS

ANALYSIS

PUB.

USER’sCODE

IFIC – Valencia22–23 Oct. 2009

COMPUTACIÓN Y ANÁLISIS DE DATOS DE ATLAS :CURSO PARA USUARIOS

TIER2 USER SUPPORT

EXP.

DATA

SOFTWARE

GRID

LOCAL

RESULTS

ANALYSIS

PUB.

USER’sCODE

LA TECNOLOGÍA GRID APLICADA A ATLAS

UI

Autenticación: quién eres ? (pasaporte)Autorización: que puedes hacer ? (visado)

CE

SE

RED

RED

SE

CE

Las tecnologías Grid pemiten que los ordenadores compartan a través de In ternet u otras redes de telecomunicacionesno sólo información, sino también poder de cálculo ( Grid Computing ) y capacida de almacenamiento ( Grid Data ).

Red de conexión

Hardware

Sistema operativo

Middleware

Lenguaje de programación

Aplicaciones

Hardware

Sistema operativo

- Recursos remotos- Conexiones de red

rápidas y fiables

CERTIFICADO : Acceso a GridVO ATLAS : Miembro de Atlas

Análisis de datos de Atlas :- utilizar DQ2 para gestión de datos- enviar trabajos a Grid ( Ganga ) ¡ JOBS GO TO DATA !

EN ATLAS

¡ RENOVABLES !

IFIC – Valencia22–23 Oct. 2009

COMPUTACIÓN Y ANÁLISIS DE DATOS DE ATLAS :CURSO PARA USUARIOS

TIER2 USER SUPPORT

CE

JDL,INPUT-SANDBOX(SUBMITTED)

(WAITING)

GRID CERTIFICATE

STATUS

JDL,BROKERINFO(READY)

(DDM)

OUPUT-SANDBOX(DONE)

OUTPUT-SANDBOX(CLEARED)

QUERIES JOB STATUS : LBQUERIES RESOURCE STATUS : BDII

DATA LOCATION

DATAFILES

DATAREPLICATION

PROXY

EXP.

DATA

SOFTWARE

GRID

LOCAL

RESULTS

ANALYSIS

PUB.

USER’sCODE

COMPUTACIÓN GRID : TRABAJOS EN GRID

VOMS

SE

WNs (RUNNING)

IS (BDII)

UI

WMS LB

RB

SE

LFC

STATUS

??

??

LRMS (SCHEDULED)

IFIC – Valencia22–23 Oct. 2009

COMPUTACIÓN Y ANÁLISIS DE DATOS DE ATLAS :CURSO PARA USUARIOS

TIER2 USER SUPPORT

EXP.

DATA

SOFTWARE

GRID

LOCAL

RESULTS

ANALYSIS

PUB.

USER’sCODE

COMPUTACIÓN GRID : INTERFACE GANGA

ATHENASOFTWARE

+PATH TO DATA

( DQ2 )

U I GRID

USUARIO

SUBMIT

STATUS

GET-OUTPUTOUTPUT

PROXY

GANGA

RB

WMS

CE

SE

DQ2 (DDM)

LCG-CR (DDM) SE

CE

JDLSH

IFIC – Valencia22–23 Oct. 2009

COMPUTACIÓN Y ANÁLISIS DE DATOS DE ATLAS :CURSO PARA USUARIOS

TIER2 USER SUPPORT

Y OTROS, TAL COMO NTUPLEs, DPDsHAY QUE PASAR POR ROOT Y/O PROOF

PARA SU ANALISIS

EXP.

DATA

SOFTWARE

GRID

LOCAL

RESULTS

ANALYSIS

PUB.

USER’sCODE

OUTPUTS

SALIDA DE GANGA :

RESULTADOS DIRECTAMENTE UTILIZABLES(HISTOGRAMAS)

IFIC – Valencia22–23 Oct. 2009

COMPUTACIÓN Y ANÁLISIS DE DATOS DE ATLAS :CURSO PARA USUARIOS

TIER2 USER SUPPORT

PROOF

EXP.

DATA

SOFTWARE

GRID

LOCAL

RESULTS

ANALYSIS

PUB.

USER’sCODE

HISTOGRAMASAJUSTES

GRÁFICOS

NTUPLEsDPDs

ANÁLISIS CON ROOT Y/O PROOF

ROOT

IFIC – Valencia22–23 Oct. 2009

COMPUTACIÓN Y ANÁLISIS DE DATOS DE ATLAS :CURSO PARA USUARIOS

TIER2 USER SUPPORT

EXP.

DATA

SOFTWARE

GRID

LOCAL

RESULTS

ANALYSIS

PUB.

USER’sCODE

PAPERS

SOME WRITTEN

AND

MOST TO BE WRITE