clusters de alto rendimiento - cgti.udg.mx · • sistema operativo distinto • rendimiento de los...

Clusters de Alto Rendimiento

Contenido: M. en A. Iliana Gómez Zúñiga iliana.gomez@redudg.udg.mx Expositor: L.S.I. Virgilio Cervantes Pérez virgilio@cencar.udg.mx

Diseño: Lic. Genaro Ramirez genaro.ramirez@redudg.udg.mx

Porque Linux •  1991 Nace Linux •  1993 Samba •  1993 Nace Tux •  1997 Surgió el Proyecto KDE y el Proyecto Gnome •  Linux en otras plataformas como la Power PC de Macintosh, la

Amiga, los IBM S/390, IBM RS-6000, los MIPS de Silicon Graphis, los Motorola 6800.

•  Soportar cada vez más dispositivos, sobre todo aquellos que suele tener la PC hogareña, como tarjetas de sonido, tarjetas de captura de video,

•  Se le agregaron capacidades para redes que le permitían ponerse a la par de routers, switches, y servicios que habitualmente se asociaban a máquinas Unix muy costosas.

•  Embebido en un microprocesador, como el de un Palm Pilot. IBM ya lo puso en un reloj.

•  2001 Escritorios completamente viables.

Como han evolucionado las plataformas

2100 2100 2100 2100 2100

2100 2100 2100 2100

Desktop SuperCom-putadoras

Cluster Local

Cluster/Grid Globales

RENDIMIENTO

Cluster/Grid

?

Clusters

interplanetarios??

¿Qué es un cluster?

•  Los Cluster en computación son un colección de computadoras interconectadas de alguna manera, que trabajan en conjunto, distribuyéndose las tareas entre ellas, logrando que el usuario lo vea como una sola.

Otras definiciones de cluster

•  Un cluster consiste en un conjunto de máquinas y un servidor de cluster dedicado, para realizar los relativamente infrecuentes accesos a los recursos de otros procesos, se accede al servidor de cluster de cada grupo

del libro Operating System Concepts de Silberschatz Galvin.

¿Cómo funciona un cluster?

Requerimientos Básicos •  Un cluster consta de por lo

menos 2 o más nodos •  Los nodos de un cluster

están conectados entre sí por al menos un canal de comunicación

•  Los clusters necesitan software de control especializado

Homogeneidad de un cluster

•  Homogéneos: formados por equipos de la misma arquitectura. Todos los nodos tienen una arquitectura y recursos similares, de manera que no existen muchas diferencias entre cada nodo.

•  Heterogéneos: formados por nodos con distinciones que pueden estar en los siguientes puntos. Tiempos de acceso distintos

•  Arquitectura distinta •  Sistema operativo distinto •  Rendimiento de los procesadores o recursos sobre una misma

arquitectura distintos

¿Por qué construir un cluster?

Cuando necesitamos que una aplicación o servicio disponga de :

•  Alta Disponibilidad (High Availability ) •  Alta Confiabilidad (High Reliability ) •  Alto Rendimiento (High Performance)

Alta Disponibilidad (High Availability )

•  Sistemas de información redundante •  Sistemas tolerantes a fallos •  Balanceo de carga entre varios servidores •  Balanceo de conexiones entre varios

servidores

Alta Confiabilidad (High Reliability )

•  Generalmente este tipo de clusters suele ser utilizado para entornos de tipo empresarial y esta funcionalidad solamente puede ser efectuada por hardware especializado.

Alto Rendimiento (High Performance)

•  Cálculos matemáticos •  Renderizaciones de gráficos •  Compilación de programas •  Compresión de datos •  Descifrado de códigos

¿Con que construyo mi cluster?

•  Opción I: son construidos en su totalidad usando hardware y software común y utilizando tecnología estándar como SCSI, tarjetas de red Ethernet etc.(más económicos).

•  Opción II: construidos con hardware especial para lograr un mejor desempeño. (más caros).

Requiere Software como..

•  MPI •  PVM •  PBS

Top500

•  En la página de www.top500.org se publica dos veces por año la lista de las supercomputadoras más rápidas del mundo.

Top500

4035 5232 Atipa Cluster, Opteron, Myrinet / 1090

Atipa Technology DOE/Bettis Atomic Power Laboratory United States/2005 75

6155 8800 AIST Super Cluster P-32

AIST Super Cluster P-32, Opteron 2.0 GHz, Myrinet / 2200 IBM

Grid Technology Research Center, AIST Japan/2004 46

6586 9216 xSeries Cluster Xeon 2.4 GHz -

Quadrics / 1920 IBM/Quadrics

Lawrence Livermore National Laboratory United States/2003 42

7634 11060 MCR Linux Cluster Xeon 2.4 GHz -

Quadrics / 2304 Linux Networx/Quadrics

Lawrence Livermore National Laboratory United States/2002 34

8633 11616 Mpp2

Cluster Platform 6000 rx2600 Itanium2 1.5 GHz, Quadrics / 1936 Hewlett-Packard

Pacific Northwest National Laboratory United States/2003 30

8728 12534 RIKEN Super Combined Cluster / 2048

Fujitsu Institute of Physical and Chemical Res. (RIKEN) Japan/2004

29

8770 13926 John Von Neumann

LNX Cluster, Xeon 3.4 GHz, Myrinet / 2048 Linux Networx

US Army Research Laboratory (ARL) United States/2004 28

27910 42144 MareNostrum

JS20 Cluster, PPC 970, 2.2 GHz, Myrinet / 4800 IBM

Barcelona Supercomputer Center Spain/2005 5

136800 183500 BlueGene/L

eServer Blue Gene Solution / 65536 IBM

DOE/NNSA/LLNL United States/2005 1

Rmax Rpeak Computer / Processors

Manufacturer Site Country/Year Rank

Estadisticas del 2002

•  Un total de 55 clusters de PCs basados en Intel y ocho en AMD estaban presentes en el TOP500.

•  El número de clusters en el TOP500 creció a un total de 93 sistemas. Catorce de estos clusters se etiquetan como 'Auto construidos' al haber sido diseñados y ensamblados por los propios usuarios finales.

Aplicaciones corriendo en clusters

•  Simulaciones de biotecnología, •  Petroleras, •  Modelación de mercados financieros, •  Grandes cálculos matemáticos, •  Predicción del clima, •  Servidores de Internet.

Ejemplos

•  Un negocio en Internet que recibe millones de peticiones por día, y tiene que asegurarse de que los servidores respondan rápidamente a las peticiones de los clientes (Rendimiento)

•  Asegurarnos de que nuestros servidores estén disponibles todo el tiempo aun cuando exista algún problema en alguno de ellos.(Disponibilidad)

¿Porque cluster con linux?

•  Costo – beneficio

•  Escalabilidad

•  Estabilidad

Ejemplos de cluster con linux

•  ** La película Titanic hizo todas sus animaciones y efectos especiales con cluster basados en Linux.

•  ** El proyecto Genoma Humano fue realizado con cluster basados en Linux, y con software de código abierto.

•  ** En Japón donde hay un gran interés por predecir las tormentas acaban de construir uno de los supercomputadores más grandes del mundo utilizando clusters de Linux para cálculo numérico.

Grid Vs. Cluster

Distribución de Software:

•  OpenMosix •  Scyld •  Oscar •  Rocks •  Atipa •  N1

Instalación de la distribución Rocks:�

VENTAJAS DE ROCKS

•  Facil de Instalar •  Facil para construir •  Facil de administrar •  Facil de usar

Características de ROCKS

•  RedHat Linux

•  Soporta las siguientes Procesadores: – AMD –  Itanium

Requerimientos minimos de Hardware

Nodo Maestro: •  Disk Capacity: 16 GB •  Memory Capacity: 512 MB •  Ethernet: 2 physical ports (e.g., "eth0" and "eth1")

Nodo Esclavo: •  Disk Capacity: 16 GB •  Memory Capacity: 512 MB •  Ethernet: 1 physical port (e.g., "eth0")

Referencias

•  http://www.straddle3.net/context/02/02112 .es.html

•  http://www.top500.org •  http://www.rockclusters.org •  http://www.linuxvirtualserver.org