INSTITUTO POLITECNICO NACIONAL.

SECRETARIA DE INVESTIGACIÓN Y POSGRADO

PROYECTO 20070100.

� CONFIGURACION DE UN DISPOSITIVO DE ARRANQUE USANDO USB FLASH -MEMORY, PARA LA INTEGRACION DE ESTACIONES DE TRABAJO SOBRE

CLUSTERS BEOWULF CON MPI �

*M. en C. Álvarez Cedillo Jesús Antonio*Ramón Silva Ortigoza

+M.en C. Elizabeth Acos ta Gonzaga

*Centro de Innovación y Desar rollo Tecnológico en Cóm p uto Ins ti tu to Politécnico Nacional

Depar ta mento de p rocesa mien to paraleloAv. Juan de Dios Bátiz s / n Casi esq. Miguel Othón de Mendizábal

Unidad Profesional López Mateos, Edificio CIDETEC TEL 56242000 Ext. 52528

+UPIISA- IPNDepar ta mento de posgrado

Av. te 930 Col. Granjas MéxicoTel. 564200 ext 70269.

1

1.RESUMEN.

El sis te ma opera tivo Linux, actualmente es el es tán dar de facto en la cons t rucción de sis te mas de alto dese m peño com p utacional. Debido a las caracterís ticas p ro pias del Kernel, los sis temas Linux p ue den ser com pilados para m o dificar su funciona mien to y el n u mero de elementos que los confor man, u na adecuada configuración del Kernel per mitirá u tilizar es tos sis te mas en disposi tivos de almacena mien to de diferentes tipos y clases. En es te ar tículo se de scribe cómo u tilizar u n sis tema Opera tivo Linux con el sopor te en sof tware científico adecuado para dar de alta u n Nodo m aes t ro y p roporcionar el sopor te a los nodos clientes den t ro de un dispositivo flash DISKLESS, es to con el fin de crear m aq uinas paralelas u tilizando equipos de com p u to de un labora torio con diferen tes sis te mas opera tivos o el equipo de u na sala de com p u to para realizar sú per com p u to.

2 INTRODUCCIÓN.

Los p roblemas p rincipales del s ú per com p uto y la creación de clus ters científicos, se encuent ran limitados p rincipalmente, por la falta de recursos econó micos para la adquisición de equipos de cóm p u to. El p resu p ues to de algunos cent ros de Investigación no dispone de u n apar tado econó mico que implique com prar equipo de com p u to para la creación de u n clus ter, pero si pa ra la creación de labora torios de cóm p u to para sus es tudiantes. La idea central de es te p royecto, se deriva en la ra zón de que u na com p u ta dora personal tenga una m a nera o u n m ecanis mo de interconexión y u n enlace de ar ranque ,en una me moria no volátil flash , la cual en s u interior conten drá u na Imagen del sis te ma opera tivo y u n mecanis mo lógico que per mitirá la conexión a u n nodo Maest ro con servicios diversos de red para ob tener un sis te ma de archivos local.

Los obje tivos de la investigación son:

Evitar el uso de discos d uros para Iniciar u n nodo clien te o Maest ro. Esto per mite reducir el costo de m a n tenimiento de sof tware sobre diferentes m áq uinas. Con el a rranque sobre red los archivos es tán con tenidos en u n servidor central y p ueden ser actualizados en u n solo sitio.Usar las com p u ta doras en lugares don de los discos d uros no tienen espacio s uficiente.Otro objetivo es tener u n sis te ma por tá til que per mita u tilizar los recursos de una com p u tadora sin borrar la infor mación contenida en ella, p reservar el sis te ma opera tivo original .

Los no dos sin disco o DISKLESS son m uy u tilizados por los esque mas econó micos

den t ro de la cons t rucción de clus ters, sin embargo se encuen tran limitados solo al acceso de los nodos clien tes.

Los nodos sin disco p ueden tener solo u na tarjeta de red, 32MB RAM, u n CPU y u na sim ple tarje ta m a dre la cual no tiene u na interfaz de sockets / slot s pa ra discos d u ros, MODEM, cdro m, floppy, etc..

La creación de nodos sin disco apar tir de el u so de las m e m orias Flash, con teniendo u n sis te ma com pleto de Super com p u to, configuración del Nodo Maest ro, el nodo clien te y el sof tware es pecializado, en u n fu turo eliminaran com pleta mente la necesidad de u nidades de almacena ma miento locales

Los clusters Beowulf hpc.

1 Características de un cluster

Un cluster es un conjun to de m áq uinas u nidas por una red de comu nicación t rabajando por u n servicio conjun to. Según el servicio p ue de ser da r alta disponibilidad, alto rendimiento o alta escalabilidad. [1]

Hay definiciones que dis tinguen en t re clus ter de m áq uinas SMP y clus ters for ma dos por nodos m o no procesadores. Hay arquitecturas clus ters que se deno minan cons telaciones y se caracterizan por que cada no do con tiene m ás p rocesadores que el n ú mero de no dos. A pesar de todo, las cons telaciones siguen siendo clus ters de com ponen tes o no dos aventajados y caros. De hecho en t re las m á quinas que aparecen en la clasificación de general del p royecto TOP 500 (www.top500.org), p royecto creado por Hans Meuer de la Universidad Mannheim en Alemania y Jack Dongarra de la Universidad de Tennessee, exis ten u nos clus ters que per tenecen a organizaciones que no son gigantes de la infor mática, lo cual indica el p recio que p ueden llegar a tener es tos tipos de sis te mas.

También un clus ter es la variación de bajo p recio de u n m ultiprocesador m a sivamente paralelo con las siguientes diferencias: cada nodo es una m áquina quizás sin algo del ha rdware, el no do po dría ser SMP. Los nodos se conectan por u na red de bajo p recio como Ethernet o ATM aunque en clus ters comerciales se p ueden u sar tecnologías de red p ro pias. El interfaz de red no es tá m uy acoplado al bus I /O. Todos los no dos tienen disco local.

Visto des de el p u n to de vista de la arquitectura, Es u na clase de arquitectu ra de com p u tador paralelo que se basa en u nir m áq uinas indepen dientes coopera tivas integradas por m e dio de redes de interconexión para p roveer un sis te ma coordinado, capaz de p rocesar u na carga.

2 Clusters tipo SMP

Estas siglas respon den a m ultiprocesador simét rico por sus siglas en ingles Symetric Multi - Procesor, Estos tipos de sis te mas es tán for mados por varios p rocesadores idénticos. [2]

Estos tipos de clus ters son m uy caros eMétodos y materiales. - Hacer u na descripción del diseño de experimen tos o del p rocedimien to teórico -me todológico u tilizados en la investigación, es tableciendo clara mente las p re misas, su p ues tos del diseño, jus tificar la selección del m étodo. Los m étodos deben iden tificarse y de scribirse con s uficiente de talle pa ra que sea posible:a) obtener los mis mos resul tados por o t ro investigador experimen tado,b) pa ra evaluar la confiabilidad y validez de los m é todos u sados y de los resul tados repor tados n su implan tación, pero son u na opción m ucho m á s bara ta que u na m áq uina m o no - p rocesador de po tencia equivalente, para sim plificar: siem pre será m á s bara to cons t ruir n p rocesadores de x bits que u n p rocesador de n*x bits. Un ejem plo es la m aquina SUN - FIRE m os trada en la figura 1.

Figura1. Cluster SMP SUN � FIRE 1

Este tipo de m áquina se p ue de p rogra mar con Linux em plean do los conocidos mé todos de m e moria com par tida, debido a que hay u na sola me m oria p rincipal y varios p rocesadores.

3 Clusters con Linux

El mé todo de los clus ters o de agrupa mientos [2] es sin d u da el m ás extendido para com p u tación en paralelo, debido a que unos clus ters con Linux no son m á s que u na red de ordena dores convencional, en la cual se em plea el sis te ma opera tivo Linux en cada u no de los no dos. En la figura 2 se m ues t ra u n clus ter Linux.

Las caracterís ticas de es te tipo de clus ter son las siguientes:

a.Cada uno de los no dos es u na m áq uina com pleta.b.Su p recio es bajo.c.El n ú mero de par tes es pequeño.d.Utiliza u na red de com p u ta doras de es t ructu ra sim ple.e.Su m a ntenimiento es simple.

Aún así, los clus ters no son la mejor solución en todos los casos ya que tiene las siguientes desventajas:

a.La red es deficiente, ya que redes de com p u ta doras, no es tán diseña das para el p rocesa mien to en paralelo.b.No hay m ucho sof tware que sea capa z de t ra tar u n clus ter como si fuese u n ú nico sis te ma.

Figura2. Linux Clus ter de la u niversidad de Purdue 2

1

2 Cluster Beowulf

La clase Beowulf comen zó con u n clus ter en Linux diseñado en la NASA por Tho mas Sterling y Don Becker en 1994.

Un Beowulf es u n conjun to de no dos minimalis tas, u nidos por u n m e dio de com u nicaciones bara to, por ejem plo u na red Ethernet. Al decir que son no dos minimalis tas, nos referimos a que tienen lo mínimo para ejecutar su función, de hecho los nodos por sí solos son incapaces de ejecutar ni tan siquiera u n sis te ma opera tivo. En la figura 3 se m ues t ra u n Cluster Beowulf.

Figura 3. Cluster Beowulf del CIDETEC - IPN

Están for ma dos por lo general con los siguientes elementos:

1.Una placa m a dre2.Un CPU3.Memoria4.Disposi tivo de comu nicaciones, por lo general una tarjeta de red Ethernet.

La iteración ent re los p rocesos se realiza siem pre me dian te pa sos de m ensajes

Aplicaciones.

Existen m uchas aplicaciones para el uso del sú per cóm p u to, sin e mbargo toda la ra ma de la ciencia es sopor tada siem pre y cuan do se necesiten realizar grandes can tidades de da tos.

Por lo que será m as fácil m os t rar u nos ejem plos de clus ter en los que se es ta u tilizan do el sú per com p u to

I. The Stone SouperCom p u ter 3

Esta curiosa m áq uina ha sido cons t ruida con u n costo igual a cero, gracias a donaciones individuales. Está com p ues ta por m áq uinas que m uchos considerarían ridículas: 486 DX/2 a 66Mhz con m e m orias en t re 16 y 32Mb RAM y discos d u ros de 400 a 600Mb, u nidos por u na red Ethernet (10Mbit / s).

Se em plea para:

1.Análisis de los ca mbios en la dis t ribución de las especies según los cambios del en torno.2.Un m a pa nacional a gran resolución.3.La interpolación de 39 m a pas que contienen las te m pera tu ras mínimas y m áximas (anuales / me ns uales) obtenidas por m ás de 4000 es taciones me teorológicas. Cada u no de es tos m a pas contiene u n to tal de 7,7 millones de celdas de u n kilómetro cuadra do.

II Avalon 4

Es el Beowulf m ás famoso y m ás po tente del m u n do es ta com p ues to por 140 p rocesadores Alpha, 36 GB de RAM to tal, capa z de alcan zar los 47.7 Gflops

Se encuen t ra situado en el Labora torio de cálculo no - lineal de Los Álamos, y se em plea como u na sú per com p u tadora de p ropósi to general abarca u n rango de aplicaciones, en t re ellas:

1.Astrofísica.2.Dinámica m olecular.3.Dinámica no - lineal y ecuaciones diferenciales.4.Fases de t ransición en el u niverso cercano.5.Simulaciones de líquidos y de cristales.

4 Metodos y Materiales.

Materiales1. 4 u nidades minimo flash de 1 gb .

2. 4 o m a s com p u tadoras

3. h ub de comu nicaciones p referible Gigabit

4. Cable de conexión de red

5. Conectores para red rj45

6. Linux Mandriva, Ubun tu y Knoopix

7. Gabinete de plas tico para dico d u ro de lap top

8. Conectores USB

9. Disco d u ro de 40 Gbits.

Implementación de un nodo diskless

Procedimiento 1. Cluster with Disk Less

La idea funda mental que debe de seguirse para crear u n no do DISKLESS es la siguiente: la PC buscará u na dirección IP en el servidor de ar ranque u tilizando el p ro tocolo bootp, es necesario u tilizar una dirección IP inicial con el valor 0.0.0.0, u na vez es tablecido es te valor , se recibirá la imagen del n úcleo del sis te ma,u tilizando el p ro tocolo tf t p.

El p rocedimiento de ar ranque a t ravés de segmentos (vía u n rou ter o encaminador) no es sim ple: es posible el servidor y las com p u tadoras sin disco se encuent ren en el mis mo segmento de red o a t ravés de la configuración de un asis ten te de direcciones UDP en el r u teador.

Es necesario ins talar el paque te nfsboot de acuerdo a la dis t ribución de Linux, ya que es te servicio contiene la imagen de una EPROM de arranque para diferentes ta rje tas de red.

Generalmente las alternativas para p reparar u na com p u tadora personal pa ra el a rranque son las siguientes:

a)Si la m á quina no es tá to talmen te exenta de discos, es posible u tilizar u n pequeño p rogra ma en DOS, o u na imagen de carga de Linux o u na mini dis tribución.b)Es posible u tilizar la imagen binaria del disque te contenida en u n paque te de arranque.

En el ul timo caso, exis ten aplicaciones de Linux, que me per miten realizar lo an terior, el siguiente coman do p uede escribir la imagen en u n dispositivo de alamacena miento regis t rado:

d d if =imagen of = / dev / f d0H1440

Estas imágenes al ser creadas contienen u n clien te de inicio para u tilizar los servicios boo tp y t f t p.

c) En algunos casos es necesario p reparar o com pilar el n úcleo de Linux, don de la opción nfs - root debera de habilitarse.

Una vez realizado lo an terior , se recom pilará el núcleo de la m a nera acos tu m brada de acuerdo a la dis tribución.

El servicio Bootp d [3] p uede encon trarse en el paque te boot p d - 2.4.tar.gz u na vez

desco m primido, es te deberá de ser ins talado en el directorio / p u b /Linux / sys te m /Network / boo t.net.

Este servicio es posible ins talarlo como u n de monio y es posible ejecutarlo directa mente u tilizando el coman do

boo tp d � s

La for ma m as t radicional pa ra m o n tar es te servicio como u n � demonio� , es ins talarlo o aña dirlo al ad minis t rador de servicios Xinetd. En ese caso es necesario:

1.editar / e tc / ine td.conf, eliminan do la m arca de comenta rio (#) de las siguientes líneas:

# tf t p dgra m u d p wait root / u s r / s bin / in. tf t pd tf t p d / ex# bootp s dgra m u d p wait root / u s r / s bin / in.boot p d boo tp d

2.Inser tar las siguientes dos líneas en el archivo / e tc / services:

boo tps 67 / tcp # BOOTP servertf t p 69 / u d p # TFTP server

3.reiniciar inetd u san do

kill - HUP PID_de_inetd

Configuración de bootp d en el servidor

El servicio boo tp d tiene u n archivo de configuración llamado bootp tab el cual u s ualmente se encuen tra en / e tc. Este será m o dificado ingresando la dirección IP de su pasarela o GATEWAY, el servidor de no mbres o DNS y las direcciones ethernet de s us m áq uinas sin disco.

Un eje m plo de / e tc / boo t p tab:

global.prof: \:sm = 255.255.255.0: \:ds = 192.168.1.5: \:gw =192.168.1.19: \:ht =e t hernet: \:bf =linux:m achine1:hd = / expor t / r oot / m achine1:tc =global.prof:ha = 0000c0863d7a:ip = 192.1m achine2:hd = / expor t / r oot / m achine2:tc =global.prof:ha = 0800110244e1:ip = 192.1m achine3:hd = / expor t / r oot / m achine3:tc =global.prof:ha = 0800110244de:ip = 192.1

Dent ro del a rchivo global.prof, encont rare mos el esque ma general pa ra las configuraciones de cada m á quina, do n de:

� s m: Correspon de a la Máscara de subred� d s: Dirección del servidor de no m bres (DNS)� gw: Dirección de la pasarela por defecto� h t: Tipo de hardware de red� bf: Nombre del archivo de ar ranque

Después de es to, cada m áq uina deberá tener u na línea que contenga:a)El p rimer cam po contiene el no mbre de la m á quina.b)hd contiene el di rectorio del a rchivo de arranquec)el a rchivo de esque ma general debe ser incluido en el cam po tcd)ha con tiene la dirección de hardware de la ta rjeta de rede)ip con tiene la dirección ip que se asignaEl Protocolo t f t p

TFTP (Trivial File Transfer Protocol)[4] es u n p ro tocolo de t ransferencia de archivos, como lo es f tp, pe ro m ucho m ás sim ple, y sin seguridad, por esas carac terísticas cabe perfecta mente en las EPROMs. TFTP p uede ser u sado de dos m a neras:

a)tf tp sim ple: El clien te p ue de acceder a la to talidad de su sis te ma de archivos. Es sim ple pero p uede generar un gran p roblema de seguridad (cualquiera p uede obtener s u archivo de claves vía t f t p).

b)tf t p seguro: El servidor t f t p u tiliza u n llama da de sis te ma chroot.

Procedimiento 2. Linux Flash knoopix

Lo p rimero que hay que hacer en el dispositivo flash es for matear el disposi tivo u tilizan do el sis te ma FAT, para realizar es to nos auxiliare mos con u n p rogra ma libre en el Internet llama do HPUSBFW.EXE [5] y a continuación realizaremos lo siguiente: Inser ta re mos el USB den tro del slot de la com p u ta dora y u tilizan do el p rogra ma HPUSBFW.EXE5 Configuraremos la me m oria agregando el no mbre del volumen del disposi tivo, cambiare mos el sis tema a FAT, a continuación p rocedere mos a for ma tearla. ), es to se m ues t ra en la figura 4.

Utizando el coman do d d, vaciaremos la imagen de la me moria a nues t ro disposi tivo

d d if =imagen of = / dev / u sb

El u sb generalmen te res pon derá a u na u nidad den t ro de la configuración de Linux y será asignada a u n filesyste m, en el caso de Windows, se crea u na u nidad adicional generalmen te la � g:� . Con es ta u nida d u tilizare mos la her ra mien ta

syslinux.exe con el fin de realizar la t ransferencia de los da tos de la imagen al u sb. A con tinuación se m ues t ra u n ejem plo de u na orden típica:

C: \Syslinux - f g:

Donde la Letra G, rep resenta la letra de la u nidad del dis positivo usb

Figura 4. Pará met ros de configuración u tilizando el p rogra ma HPUSBFW.EXE

Por ul timo es necesario copiar los archivos den t ro de la u nidad USB pa ra s u carga, la figura 5 m ues t ra es tos archivos.

Figura 5. Archivos necesarios para crear u n DISKLESS en u na me moria flash

Al final solo bas tará reiniciar la com p u tadora con el USB conectado y m o dificar el BIOS de la com p u tadora para que per mita el a rranque des de u n USB. Ver figura 6.

Figura 6. Ingreso a Knoopix en la flash.

1

2 Procedimiento 2 instalación de Flash Memory usando ubuntu en la

memoria flash.

En es te p rocedimiento u san do Linux Ubuntu como dis t ribución Necesitare mos u tilizar u na com p u tadora conectada a internet y con grabadora de cd.

En p rimer lugar debere mos descargar la imagen ISO de Ubuntu Linux directa mente de h t t p: / / www.ubun tu.com , Esta imagen es guarda da en u n cd.

La o t ra m a nera es u tilizar los discos de ubu n tu que son gra tuitos, en la figura 6 se m ues t ran es tos discos.

Figura 6. Linux Ubuntu.

De m a nera m uy similar al p rocedimiento anterior u tilizare mos la u tilidad Syslinux para Windows, ya que aqui:

1. Copiare mos el contenido del cd de Ubuntu Linux que he mos grabado a n ues t ra me moria

2. Descom pri mimos Syslinux.zip y lo ejecuta mos con tra n ues t ro dispositivo USB des de el directorio don de tene mos Syslinux (si nues t ro disposi tivo USB es F: la ins t rucción sería s y slinux.exe - f F:)

3. Se copian es tos archivos al directorio raíz de nuestro dispositivo USB:- v mlinuz (lo encon trare mos en el directorio casper \ v mlinu z )- initrd.gz (lo encon trare mos en el directorio casper \initrd.gz )

- s y slinux.cfg (reno mbrare mos el a rchivo isolinux \isolinux.cfg a syslinux.cfg y lo copiare mos al raiz del USB)

4. Editamos s y slinux.cfg de m a nera que v mlinu z e initrd.gz apu n ten al directorio root del dis posi tivo USB:

DEFAULT / casper / v mlinuzGFXBOOT bootlogoGFXBOOT - BACKGROUND 0xB6875AAPPEND boot=casper initrd= /casper /initrd.gz ra m disk_size=1048576 root= / dev / ra mrw quiet splash �

Este archivo se m o difica quedan do del m o do siguiente.

DEFAULT v mlinu zGFXBOOT bootlogoGFXBOOT - BACKGROUND 0xB6875AAPPEND boot=casper initrd=initrd.gz ra m disk_size=1048576 root= / dev / ra mrw quiet splash �

Expulsa mos el dispositivo USB y lo conecta mos a la com p u tadora, aqui debere mos de ca mbiar los valores del BIOS , aqui es tableceremos n ues t ro dis posi tivo USB como predeterminado en el ar ranque.

Figura 6. Flash Linux con Ubuntu.

5 Resultados e Impacto

El conocimiento de n uevas arquitecturas y tecnologías en el en torno de cóm p u to paralelo, ha per mitido t rabajar en m uchas áreas de la investigación en don de no era posible t rabajar por la cues tión limitan te del cos to.

Gracias al sis te ma opera tivo Linux po de mos encont ra r n u merosos s u perco m p u ta doras en todo el m u n do, ade más los clus ter científicos comienzan a p roliferar en el m u n do creando u na n ueva dinas tía de per sonas apegadas y que crecen en el nuevo m u n do del sú per cóm p u to.

El m a nejo de la tecnología flash ha per mitido cons t ruir clus ters cada vez m as pequeños, ya que los no dos DISKLESS son m uy com u nes de u tilizar e imple mentar a es tos dispositivos con u n perfor mance adecuado.

Los obje tivos alcanza dos al cons t ruir es te sis te ma son los siguientes:

Evitar el uso de discos d u ros para ar rancar. Esto per mite reducir el costo de m a n tenimiento de sof tware sobre diferen tes m á quinas. Con el ar ranque sobre red los archivos es tán con tenidos en u n servidor central y p ueden ser actualizados en u n solo si tio.

Usar las com p u ta doras en lugares don de los discos d uros no tienen espacio s uficiente.Tener u n sis te ma por tá til, ya que per mite tener u n sis te ma ca mbiante en t re diferentes sis te mas opera tivos sin tener que recargar el sof tware, por ejem plo labora torios de com p u tadoras, ejem plo ver figuras 7a y figura 7b

Figura 7a. Cluster en labora torio de p rocesa miento pa ralelo del Esiqie

Figura 7b. Formato de ent rada