eficiencia energeticahpc

Copyright © 2010, FCSC. All rights reserved. Other brands and name are property of their respective owners.

CENTRO DE SUPERCOMPUTACIÓN DE

CASTILLA Y LEÓN

Eficiencia Energética en Centros de Supercomputación


Objeto de la Fundación

La Fundación es una entidad pública creada en 2008 que tiene por objeto la mejora de las tareas de la investigación de la Universidad, de los Centros de Investigación y de las empresas de Castilla y León

– promoviendo acciones de innovación:

• en el mundo de la Sociedad del Conocimiento

• en el área de cálculo intensivo,

• las comunicaciones, y

• los servicios avanzados,

– contribuyendo mediante el perfeccionamiento tecnológico al desarrollo económico de la Comunidad y a la mejora de la competitividad de las empresas.


Líneas de actuación

• Promoción de la I+D+i en la Comunidad de Castilla y León

– Dirigida a instituciones públicas y empresas privadas.

– Papel proactivo en la captación de fondos dedicados a la realización de proyectos

• Prestación de servicios de cálculo intensivo a los proyectos de investigación y desarrollo

• Cursos de formación y eventos dirigidos a investigadores que les permitan aprovechar las infraestructuras disponibles en el Centro.

• Difusión y divulgación de los aspectos relacionados con la aplicación de las tecnologías de la información, y especialmente de la supercomputación, en las actividades de I+D de la Comunidad. Esta tarea tiene dos públicos objetivos en la Comunidad:

– La sociedad, a la que se han de hacer accesibles las actividades de la Fundación y el papel que tienen,

– La comunidad científica e investigadora a la que se quiere atraer al Centro de Supercomputación para que incremente su producción científica.

• Línea de investigación propia: Eficiencia energética

Presentación corporativa


El problema del consumo

El consumo eléctrico de los Centros de Proceso de Datos representa

en Estados Unidos aproximadamente el 2% del consumo total de electricidad del país.

Este elevado consumo hace que las TI sean la segunda industria más

contaminante del planeta, sólo por detrás de la aviación, y que al ritmo actual en poco tiempo pasará a ser la primera.


Superordenados

The new IBM System installed at NASA's Goddard Space Flight Center

is the fastest, most powerful computer now in user operation.

It is specifically designed to handle ultra high-speed data processing for

scientific applications such as space exploration, theoretical astronomy,

sub-atomic physics and global weather forecasting.

Precio: 70 Millones $

Fuente: IBM Data Processing Division Press

• Características

– 2Mbytes RAM

– 300Mbytes Tambor

– 5MFLOPS


Cambio en el Balance de Costes

• De un escenario en el que el sistema tenía un gran peso respecto a Sala+Costede Explotación se ha pasado al escenario actual:

• Hardware muy barato: servidores de 12 núcleos por 2K€.

• Un servidor “se consume a sí mismo”: el coste de electricidad a tres años es superior al precio de compra.

• La electricidad es la factura más importante de la explotación, son necesarias tecnologías que nos incrementen la eficiencia energética

• Los CPD’s albergan cada vez más hardware y por tanto más servicios: Los costes de operación se disparan.

• Son necesarios sistemas de monitorización y gestión eficientes.

• El coste de la sala es importante, pues el precio del m2 ha subido mucho.

• Es necesario incrementar la densidad, con las consecuencias que esto tiene en las tecnologías de sala.


Eficiencia

Si comenzamos a utilizar Clusters HPC por razones de eficiencia...

¿Por qué no los diseñamos para que sean eficientes?


Inversión realizada: 4,5 Mio€

Máxima eficiencia energética (Potencia: 140 Kw / Consumo: 175 Kwh. PUE: 1,25)

Mínimo requisito de espacio: 90m2

Centro: TIER 3,5 (Refrigeración redundada/ UPS redundada / Generador)

Implantación de ISO 27001

Proyecto de Infraestructura

Centro de Supercomputación

P1

Ficha Técnica Proyecto

Almacenamiento y Backup

110 Tbytes

Clúster Cálculo Paralelo304 nodos (2.432 cores)

26 Tflops

Clúster Visualización

(9 nodos)

Clúster Memoria Compartida

16 nodos (256 cores)RAM: 3 Tbytes

Servicios del Centro

(10 nodos)

Clúster GPUs14 TESLAS

(3.360 cores)+

7 nodos (56 cores)16 Tflops


Centro Potencia

media

(Tflops)

Potencia (Kw) /

Consumo (Kwh) -

PUE

Mflops/W Posición Lista

Green500

(Jun 2009)

Requisitos

espacio (m2)

Mare Nostrum

(BSC)

65,2 683 /±1.200 – (±1,75) 95,38 207 180

Caléndula (FCSC) 24,0 95 /120 – (1,26) 252,63 30 20

Finisterrae

(CESGA)

14,0 267 / (>2) 52,49 404 140

Magerit

(CESVIMA)

15,6 351 / (>2) 45,53 462 ?

• Eficiencia media aumenta el10% (98 MFlops/Watt --> 108 MFlops/Watt),

• La potencia agregada de la lista aumentó en un 15% (200 MW --> 230 MW)

El Primer Centro por su eficiencia energética en España

Ficha Técnica Proyecto

Posicionamiento en España


Buenas Prácticas

• En las infraestructuras

• En los procedimientos de Explotación


Nuevos Retos

• Alta Densidad >40Kw/rack

• “Meter” 40Kw en un rack no es fácil… “sacarlos” es aún más difícil


Densidad

• 128 Servidores (1024 cores)/rack

• 4 Chasis Blade

• 32 Servidores por chasis

• 24 fuentes de alimentación 2200W

• 24 Cables de alimentación C19

• 16 switches gigabit/rack

• 16 switches Infiniband DDR/rack


Nuevos Conceptos de Frio

• Pasillo Caliente Cerrado (HACS) / Armario Cerrado (RACS)

• Agua

• Intercambiadores de Calor a bordo del rack.

• Free Cooling


Nuevos Conceptos de Frio


¿Sólo en el Frio y en la electricidad?

• Opción A: L5420 (50W)

• Linpack: 16,8 TeraFLOPS

• Consumo: 90Kw/h

• Eficiencia: 186MFLOPS/W

• Coste compra: 1

• Coste total 3 años: 1,45

• Opción B: X5460 (120W)

• Linpack: 19,6 TeraFLOPS

• Consumo: 125Kw/h

• Eficiencia: 157 MFLOPS/W

• Coste compra: 1,22

• Coste total 3 años: 1,86

Los 2,8 TeraFLOPS adicionales tienen un coste desmesurado!!


Procedimientos de Explotación

• Una vez conseguidas unas infraestructuras energéticamente eficientes, hay que atender a los procedimientos de explotación

• En un Centro de Supercomputación, lo idóneo es encender y apagar nodos bajo demanda


Gestión Proactiva

• Debe disponerse de las herramientas necesarias para poder realizar una gestión activa que optimice el consumo

.00

50.00

100.00

150.00

200.00

250.0013/0

8/2

010

9:0

013/0

8/2

010

23:3

014/0

8/2

010

14:0

015/0

8/2

010

4:3

215/0

8/2

010

19:0

016/0

8/2

010

9:3

017/0

8/2

010

0:3

017/0

8/2

010

15:0

018/0

8/2

010

5:3

018/0

8/2

010

20:0

019/0

8/2

010

10:3

020/0

8/2

010

1:0

020/0

8/2

010

15:3

021/0

8/2

010

6:0

021/0

8/2

010

20:3

022/0

8/2

010

11:0

023/0

8/2

010

1:3

023/0

8/2

010

16:1

524/0

8/2

010

6:4

524/0

8/2

010

21:1

525/0

8/2

010

11:4

526/0

8/2

010

2:1

526/0

8/2

010

16:4

527/0

8/2

010

7:1

528/0

8/2

010

1:1

528/0

8/2

010

15:4

529/0

8/2

010

6:1

529/0

8/2

010

20:4

530/0

8/2

010

11:1

531/0

8/2

010

2:0

031/0

8/2

010

16:3

001/0

9/2

010

7:0

001/0

9/2

010

21:3

002/0

9/2

010

12:0

003/0

9/2

010

2:3

003/0

9/2

010

17:0

004/0

9/2

010

7:3

004/0

9/2

010

22:0

005/0

9/2

010

12:3

006/0

9/2

010

3:0

006/0

9/2

010

17:3

007/0

9/2

010

8:0

007/0

9/2

010

22:3

008/0

9/2

010

13:0

009/0

9/2

010

3:3

009/0

9/2

010

18:0

010/0

9/2

010

8:3

010/0

9/2

010

23:0

011/0

9/2

010

13:3

012/0

9/2

010

4:0

012/0

9/2

010

18:3

013/0

9/2

010

9:0

014/0

9/2

010

0:0

014/0

9/2

010

14:3

015/0

9/2

010

5:0

0

Med

ida

Fecha/Hora

PM710_1:Total potencia activa Poly. (PM710_1:Total potencia activa)


Proyecto Monica

• Sistema de monitorización multidimensional con gestión inteligente de la Eficiencia Energética para Centros de Procesos de Datos ultradensos orientados a HPC y Cloud Computing.

• Concepto de CPD como “planta industrial”

• Gestión jerárquica y multidimensional de todos los componentes del CPD

• Toma de decisiones automática siguiendo las reglas de negocio, entre las que se encuentra la eficiencia energética


Conclusiones

• La eficiencia energética es uno de los grandes reto de las TIC de hoy

• Los requerimientos de los sistemas de hoy en día han vuelto obsoletas las tecnologías de CPD en muy poco tiempo

• Del gran CPD al CPD compacto, y del CRAC al armario cerrado con intercambiador: el vuelco es drástico

• No sirve de nada tener una nevera de clase “A” con la puerta abierta: infraestructuras eficientes tienen que ir acompañadas de procedimientos eficientes.

• El cambio no ha hecho más que empezar: el futuro es la virtualización total, en el que las reglas de funcionamiento se basará en dos pilares: el SLA y la eficiencia energética.

• El Cloud tiene como resultado CPD’s muy densos con sistemas completamente virtualizados: hacia la gestión energética total.


www.fcsc.es

Fundación Centro Supercompurtación de Castilla y León

Copyright © 2008, Fundación Centro de Supercomputación de Castilla y León. Redondo Gil, C.

FCSCCYL Confidential – For Use under NDA only.

All plans, dates and figures are subject to change without any notice as they apply.

Other names and brands may be claimed as the property of other.

Edificio CRAI-TIC

Campus de Vegazana s/n

24071 León (España)

Tlf.: (+34) 987 29 3160

mailto:[email protected]

http://www.fcsc.es/

eficiencia energeticahpc

Documents