Instalación y configuración del catálogo de datos (LFC)

Javier Pérez-Griffo CallejonCentro Extremeño de Tecnologías Avanzadas (CIEMAT)

Unidad de Sistemas y Explotación

11th EELA Tutorial para Administradores

Sevilla, 10-12th Septiembre 2007

Diapositivas basadas en presentaciones realizadas por: Tony CandalucciAntonio Juan Rubio MonteroOmar Walid Llorente

Índice

1. Breve introducción al catálogo de datos (LFC)

2. Procedimiento de instalación del LFC para Gilda

3. Modificaciones necesarios para instalación en gLite

4. Procedimiento de validación de instalación de LFC

5. Referencias

Introducción LFC - Motivación

1. Usuarios y programas manipulan, ya sea creando o usando, grandes cantidades de datos

2. Los datos pueden estar almacenados en ficheros GRID (GRID datasets)

1. Guardados en Sistemas de Almacenamiento (SE)

2. Replicados en varios sitios

3. Accesibles por usuarios y aplicaciones desde cualquier punto en la GRID.

4. Localizables por el gestor de recursos (RB) a través de la definición dentro del descriptor del trabajo (JDL)

3. Para que sirven los catalogo de datos?

1. Para tener un sistema que permita saber donde están replicados los ficheros.

2. Para tener un conjunto de herramientas y api's que permitan la manipulación de ficheros en la GRID.

Introducción LFC - Arquitectura

1. Funcionalidades

1. Nombre de espacios jerárquico

2. Integración con sistemas de autentificación y autorización GSI

3. Listas de Control de Acceso (Permisos Unix y POSIX ACLs)

2. Estructura de la Base de Datos

Introducción LFC - Convenciones

1. Nombre Lógico (LFN)lfn:cms/20030203/run2/track1

2. Identificador Global Unívoco (GUID)guid:f81d4fae-7dec-11d0-a765-00a0c91e6bf6

3. URL del Sitio (SURL)srm://pcrd24.cern.ch/flatfiles/cms/output10_1

4. URL de Transport (TURL)rfio://lxshare0209.cern.ch//data/alice/ntuples.dat

Instalación LFC - Requerimientos

1. Tener instalado una Scientific Linux

2. Tener instalado Java

1. Comprobación1. # whereis javac

2. Instalación1. # wget -c http://sunsite.rediris.es/mirror/GRID.infn.it/java/j2sdk-1_4_2_14-

linux-i586-rpm.bin

2. # sh j2sdk-1_4_2_14-linux-i586-rpm.bin

Instalación LFC - Requerimientos

1. Tener instalado gLite-Yaim y Gilda-Yaim

1. Comprobación1. # ls -la /opt/glite/yaim/ -> Para gLite

2. # ls -la /opt/glite/bin/ -> Para Gilda

2. Instalación1. # wget -c http://sunsite.rediris.es/mirror/grid.infn.it/gilda/gilda_ig-yaim-

latest.rpm

2. # wget -c http://sunsite.rediris.es/mirror/grid.infn.it/gilda/gLite-yaim-latest.rpm

3. # rpm -ivh gilda_ig-yaim-latest.rpm

4. # rpm -ivh gLite-yaim-latest.rpm

Instalación LFC - Requerimientos

1. Tener instalados certificados GRID

1. Comprobación1. # ls -la /etc/grid-security/host*

2. Instalación1. # mkdir -p /etc/grid-security

2. # cd /etc/grid-security

3. # wget http://sunsite.rediris.es/mirror/grid.infn.it/certificados/gridXX.cica.es/gridXX.cica.es-cert.pem

4. # wget http://sunsite.rediris.es/mirror/grid.infn.it/certificados/gridXX.cica.es/gridXX.cica.es-key.pem

5. # cp gridXX.cica.es-cert.pem /etc/grid-security/hostcert.pem

6. # chmod 644 /etc/grid-security/hostcert.pem

7. # cp gridXX.cica.es-key.pem /etc/grid-security/hostkey.pem

8. # chmod 400 /etc/grid-security/hostkey.pem

Instalación LFC – Configuración de Site

1. Copiamos el fichero de ejemplo del site en el directorio root# cp /opt/glite/yaim/examples/siteinfo/gilda_ig-site-info.def /root/my-site-info.def

2. Modificamos las siguientes variables para definir nuestro sitio GRID (Site)# nano /root/my-site-info.def

1. MY_DOMAIN -> Dominio dns del sitio GRID (cica.es)

2. REG_HOST -> Máquina de registro para RGMA (rgmasrv.ct.infn.it)

3. MON_HOST -> Máquina de almacenamiento de Información RGMA (rgmasrv.ct.infn.it)

4. NTP_HOST -> Servidor de tiempo usado (chico.rediris.es)

5. JAVA_LOCATION -> Localización de Java (/usr/java/j2sdk1.4.2_14/)

Instalación LFC – Configuración de Site

1. Modificamos las siguientes variables para definir el catalogo de datos (LFC) dentro de nuestro sitio GRID (Site)# nano /root/my-site-info.def ---> No es necesario hacerlo en la práctica

1. LFC_HOST -> Nombre dns de la máquina que se va instalar el catálogo de datos (gridxx.$MY_DOMAIN)

2. LFC_DB_PASSWORD -> Contraseña del catálogo de datos (lfc_password)

3. MYSQL_PASSWORD -> Contraseña de la base de datos (mysql_password)

4. VOS -> Organizaciones virtuales que quieres configurar (gilda)

5. LFC_CENTRAL -> Organizaciones virtual a las cual este catálogo de datos pertenece (gilda)

6. LFC_LOCAL -> Organización virtual que es permitida en modo local por este catálogo (gilda)

Instalación LFC – Configuración de Site

Ejemplo para esta práctica:

MY_DOMAIN=cica.es

MON_HOST=rgmasrv.ct.infn.it

REG_HOST=rgmasrv.ct.infn.it

NTP_HOSTS_IP="chico.rediris.es"

LFC_HOST=gridXX.$MY_DOMAIN

LFC_CENTRAL="gilda"

LFC_LOCAL="gilda"

MYSQL_PASSWORD="mysql_password"

VOS="gilda"

Instalación LFC

1. Una vez definido el fichero de configuración de nuestro sitio GRID (Site) podemos a empezar a usar el instalador y el configurador automático de gilda llamado gilda-yaim. Este se lanza en dos pasos

2. Instalación de paquetes necesarios1. # /opt/glite/bin/gilda_ig_install_node /root/my-site-info.def

GILDA_ig_LFC_mysql

3. Configuración de paquetes previamente instalados

1. # /opt/glite/bin/gilda_ig_configure_node /root/my-site-info.def GILDA_ig_LFC_mysql

4. En caso de tener un firewall es necesarios habilitar los puertos 8085 y 5010 para que el catálogo de datos(LFC) se accesible.

Instalación LFC en gLite

1. En gLite el instalador automático se llama gLite-yaim, con este el proceso de instalación y configuración es similar al de gilda. Los dos emplean el mismo fichero de configuración, este va a ser el que hemos previamente definido. Ell proceso de instalación y configuración se detalla a continuación

2. Instalación de paquetes necesarios1. # /opt/glite/yaim/bin/yaim -i -s /root/my-site-info.def -m LFC_mysql

3. Configuración de paquetes previamente instalados

1. # /opt/glite/yaim/bin/yaim -c -s /root/my-site-info.def -n LFC_mysql

4. En caso de tener un firewall es necesarios habilitar los puertos 8085 y 5010 para que el catálogo de datos(LFC) se accesible.

Testeo de LFC

1. Conectarse a un User Interfaces (glite-tutor.ct.infn.it)

2. Especificar el servidor LFC que habéis configuradoexport LFC_HOST=gridXX.cica.es

3. Levantar vuestro certificado gridvoms-proxy-init -voms gilda

4. Vamos a crear un directorio en el servidor de LFClfc-mkdir /grid/gilda/gridXX

5. Vamos a comprobar las carpetas que están almacenadas en LFClfc-ls -l /grid/gilda

6. Declarar sistema de almacenamiento por defectoexport VO_GILDA_DEFAULT_SE=”aliserv6.ct.infn.it”

Testeo de LFC II

1. Copia un fichero al LFCecho "Hola Mundo" > $HOME/hola.mundolcg-cr -v --vo gilda -l lfn:///grid/gilda/gridXX/hola file:/$HOME/hola.mundo

2. Replica el ficherolcg-rep --vo gilda -d egee016.cnaf.infn.it lfn:///grid/gilda/gridXX/hola

3. Comprobamos el estado del ficherolcg-lr --vo gilda lfn:///grid/gilda/gridXX/hola

4. Borramos el fichero en local y lo recogemos de la GRIDrm $HOME/hola.mundolcg-cp --vo gilda lfn:///grid/gilda/gridXX/test file://$HOME/hola.mundo.grid

Referencias

1. Guía de Administradores de LFC (Ingles) https://twiki.cern.ch/twiki/bin/view/LCG/LfcAdminGuide

2. Guía de Uso de LFC (Ingles)https://grid.ct.infn.it/twiki/bin/view/GILDA/LFCMed

3. Recetario de resolución de errores LFC (Ingles)https://twiki.cern.ch/twiki/bin/view/LCG/LfcTroubleshooting

4. Vision Generica de la Gridhttp://indico.eu-eela.org/getFile.py/access?contribId=13&sessionId=5&resId=0&materialId=poster&confId=69

Edificio BroncePlaza Manuel Gómez Moreno s/n28020 Madrid. España

Tel.: 91 212 76 20 / 25Fax: 91 212 76 35www.red.es

Muchas Gracias por vuestra atención