![Page 1: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/1.jpg)
Diseño de Sistemas DistribuidosMáster en Ciencia y Tecnología Informática
Curso 2017-2018
Alejandro Calderón Mateos y Félix García Carballeira
Grupo de Arquitectura de Computadores
Sistemas de altas prestaciones
en entornos distribuidos
![Page 2: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/2.jpg)
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
2
![Page 3: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/3.jpg)
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
3
![Page 4: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/4.jpg)
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
4
![Page 5: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/5.jpg)
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
5
![Page 6: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/6.jpg)
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
6
Sistemas DistribuidosComputación de altas prestaciones
Ideas
Ideas
![Page 7: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/7.jpg)
Agenda
Introducción a la computación de altas prestaciones– Qué, dónde y cómo
– Hardware y software
Evolución de la computación de altas prestaciones– Plataformas
– Tendencias
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
7
![Page 8: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/8.jpg)
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
8
Agenda
Introducción a la computación de altas prestaciones– Qué, dónde y cómo
– Hardware y software
Evolución de la computación de altas prestaciones– Plataformas
– Tendencias
![Page 9: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/9.jpg)
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
9
Computación de altas prestaciones
• La computación de altas prestaciones o HPC (High Performance Computing) se centra principalmente en la velocidad.
• El objetivo es conseguir la máxima cantidad de cómputo posible en la mínima cantidad de tiempo.
![Page 10: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/10.jpg)
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
10
¿Dónde se necesita?
[Culler99]
![Page 11: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/11.jpg)
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
11
¿Dónde se necesita?(http://www.businessinsider.com/97-million-supercomputer-in-the-uk-2014-10)
• La oficina encargada de previsiones meteorológicas invertiráen un supercomputador que le permitirá mejores previsiones.
– Con precisión de 300 metros se podrá indicar incidenciasrelacionadas con niebla, rachas de viento, etc.
– Predicciones con un margen de 1 hora (en lugar de 3 como ahora)
• Impacto:
– Supondrá 97 millones de libras (156,9 millones de dólares)
– Estará operacional en el 2017.
– El supercomputador pesa lo que 11 autobuses de doble planta
http://observer.com/2012/09/red-bus-turns-heads-at-christies-london-themed-sale/
http://futurememes.blogspot.com.es/2012/08/supercomputing-16-petaflops-schmetaflops.html
• Capacidad computacional:
– Será 13 veces más potente que el que se usa ahora.
– Tiene una capacidad aproximada de 16 petaFLOPS.
![Page 12: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/12.jpg)
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
12
¿Cómo se consigue más velocidad?
![Page 13: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/13.jpg)
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
13
¿Cómo se consigue más velocidad?
– Mejores algoritmos
• O(n2), viajante, …
![Page 14: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/14.jpg)
¿Cómo se consigue más velocidad?
– Mejores algoritmos
• O(n2), viajante, …
– Mejores procesadores (mejoras en la tecnología)
• CPU a 10 GHz, 510 TB de RAM, …
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
14
![Page 15: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/15.jpg)
¿Cómo se consigue más velocidad?
– Mejores algoritmos
• O(n2), viajante, …
– Mejores procesadores (mejoras en la tecnología)
• CPU a 10 GHz, 510 TB de RAM, …
– Paralelismo (mejoras en el uso de la tecnología actual)
• Speedup, Ley de Amdahl, …
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
15
![Page 16: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/16.jpg)
¿Eso del paralelismo qué implica?
– Mejores algoritmos
• O(n2), viajante, …
– Mejores procesadores (mejoras en la tecnología)
• CPU a 10 GHz, 510 TB de RAM, …
– Paralelismo (mejoras en el uso de la tecnología actual)
• Speedup, Ley de Amdahl, …
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
16
escalabilidad
https://cdn.turbonomic.com/wp-content/uploads/ScaleUpScaleOut.png
![Page 17: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/17.jpg)
¿Eso del paralelismo ayuda?caso de estudio: genoma humano
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
17
▪ http://genomebiology.com/2011/12/8/125http://pressroom.nvidia.com/easyir/customrel.do?easyirid=A0D622CE9F579F09&prid=878712&releasejsp=release_157
![Page 18: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/18.jpg)
¿Eso del paralelismo ayuda?caso de estudio: genoma humano
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
18
▪ http://genomebiology.com/2011/12/8/125http://pressroom.nvidia.com/easyir/customrel.do?easyirid=A0D622CE9F579F09&prid=878712&releasejsp=release_157
Yes!
![Page 19: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/19.jpg)
Tipos de paralelismo
• Tareas independientes:
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
19
![Page 20: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/20.jpg)
Tipos de paralelismo
• Tareas independientes:
• Tareas cooperativas:
– Pipeline
– Coordinación (mutex y conditions)
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
20
![Page 21: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/21.jpg)
Tipos de paralelismo
• Tareas independientes:
• Tareas cooperativas:
– Pipeline
– Coordinación (mutex y conditions)
• Tareas competitivas:
– Código secuencial :-S
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
21
![Page 22: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/22.jpg)
Speedup
• La mejora (o speedup) en la ejecución paralela con nelementos de cómputo será:
speedup = tiempo_de_ejecución (1) / tiempo_de_ejecución (n)
•
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
22
![Page 23: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/23.jpg)
Speedup
• La mejora (o speedup) en la ejecución paralela con nelementos de cómputo será:
speedup = tiempo_de_ejecución (1) / tiempo_de_ejecución (n)
• No siempre se obtiene un speedup ideal:
http://www.nathankerr.com/projects/parallel-gis-processing/alternative_approaches_to_parallel_gis_processing.html
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
23
![Page 24: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/24.jpg)
Ley de Amdahl
• Ley de Amdahl:
“el speedup teórico está limitado por la fracción secuencial s del programa”
speedup <=1
(1-s)
ns +
SI n↑ ENTONCES speedup ~ 1 / s
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
24
![Page 25: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/25.jpg)
Ley de Amdahl
0,00
2,00
4,00
6,00
8,00
10,00
0,10 0,20 0,30 0,40 0,50 0,60 0,70 0,80 0,90 1,00
10,00
5,00
3,332,50
2,001,67
1,431,25
1,11 1,00
speedup ~ 1/s
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
25
![Page 26: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/26.jpg)
Computación de altas prestaciones
• Paralelismo
– Ley de Amdahl, …
• Mejores algoritmos
– O(n2), viajante, …
• Mejores procesadores
– 10 GHz, 510 TB, …
+
hardware
software
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
26
![Page 27: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/27.jpg)
Agenda
Introducción a la computación de altas prestaciones– Qué, dónde y cómo
– Hardware y software
Evolución de la computación de altas prestaciones– Plataformas
– Tendencias
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
27
![Page 28: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/28.jpg)
Plataforma hardware y software
Computador de altas prestaciones
S.O. + servicios
AlmacenamientoRedProceso
Middleware (Single System Image)
Entorno paralelo MPI/PVM
Aplicaciones
secuenciales
Aplicaciones paralelas
HW
SW
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
28
![Page 29: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/29.jpg)
Plataforma hardware
HW
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
29
▪ procesamiento
(vectorial vs multiprocesador)
▪ memoria
(compartida vs distribuida)
![Page 30: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/30.jpg)
Plataforma hardware
HW
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
30
▪ procesamiento
(vectorial vs multiprocesador)
▪ memoria
(compartida vs distribuida)
![Page 31: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/31.jpg)
Taxonomía de Flynn
Single Instruction Multiple Instruction
Single Data
Multiple Data
Instruction Pool
Data
Po
ol
PU
MIMD
PU
PU
Instruction Pool
Data
Po
ol
SISD
PU
Instruction Pool
Data
Po
ol
SIMD
PU
PU
PU
Instruction Pool
Data
Po
ol
MISD
PU PU
http://www.buyya.com/microkernel/chap1.pdfDis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
31
![Page 32: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/32.jpg)
Taxonomía de Flynn
Single Instruction Multiple Instruction
Single Data
Multiple Data
Instruction Pool
Data
Po
ol
PU
MIMD
PU
PU
Instruction Pool
Data
Po
ol
SISD
PU
Instruction Pool
Data
Po
ol
SIMD
PU
PU
PU
Instruction Pool
Data
Po
ol
MISD
PU PU
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
32
![Page 33: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/33.jpg)
Taxonomía de Flynn
Single Instruction Multiple Instruction
Single Data
Multiple Data
Instruction Pool
Data
Po
ol
SISD
PU
MISD
multiprocesadorvectorial
MIMDSIMD
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
33
automata processor
![Page 34: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/34.jpg)
Plataforma hardware
HW
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
34
▪ procesamiento
(vectorial vs multiprocesador)
▪ memoria
(compartida vs distribuida)
![Page 35: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/35.jpg)
Acceso a memoria
• Memoria compartida (UMA)
• Memoria distribuida (MD)
• Memoria lógicamente compartida (NUMA)
Memoria
P1 P2 …
M1
P1 P2 …
M2 M3
M1
P1 P2 …
M2 M3
Memoria
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
35
![Page 36: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/36.jpg)
Acceso a memoria
Visión lógica de la memoria(comunicación/sincronización)
Mem
oria fís
ica
“Programación cómoda”
compartida
compartida
distribuida
distribuida
UMA
NUMA MD “escalabilidad”
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
36
![Page 37: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/37.jpg)
Plataforma software
SW
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
37
• Vectoriales
– Uso de instrucciones especiales
• Multiprocesador
– UMA, NUMA
• OpenMP, …
– M. Distribuida
• MPI, …
![Page 38: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/38.jpg)
Plataforma software
SW
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
38
• Vectoriales
– Uso de instrucciones especiales
• Multiprocesador
– UMA, NUMA
• OpenMP, …
– M. Distribuida
• MPI, …
![Page 39: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/39.jpg)
Qué es MPI
• MPI es una interfaz de paso de mensaje que
representa un esfuerzo prometedor de mejorar
la disponibilidad de un software altamente
eficiente y portable para satisfacer las
necesidades actuales en la computación de alto
rendimiento a través de la definición de un
estándar de paso de mensajes universal.
William D. Gropp et al.
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
39
![Page 40: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/40.jpg)
Principales pilares de MPI
• Portabilidad:– Definido independiente de plataforma paralela.– Útil en arquitecturas paralelas heterogéneas.
• Eficiencia:– Definido para aplicaciones multihilo (multithread)– Sobre una comunicación fiable y eficiente.– Busca el máximo de cada plataforma.
• Funcionalidad:– Fácil de usar por cualquier programador que ya haya
usado cualquier biblioteca de paso de mensajes.
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
40
![Page 41: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/41.jpg)
Implementaciones de MPI
Open MPI 3.0.0 (13/09/2017)
– http://www.open-mpi.org/– FT-MPI + LA-MPI + LAM/MPI + PACX-MPI
MPICH 3.2.0 (12/11/2015)
– http://www.mpich.org/– Argonne National Laboratory & University of Chicago
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
41
![Page 42: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/42.jpg)
Cómo es MPI
#include <stdio.h>
#include "mpi.h"
main(int argc, char **argv)
{
int node,size;
int tam = 255;
char name[255];
MPI_Init(&argc,&argv);
MPI_Comm_size(MPI_COMM_WORLD, &size );
MPI_Comm_rank(MPI_COMM_WORLD, &node);
MPI_Get_processor_name(name, &tam);
printf("Hola Mundo2 del proceso %d de %d procesos (%s)\n",node,size,name);
MPI_Finalize();
}
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
42
![Page 43: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/43.jpg)
Cómo es MPI: uso interactivo
bsc41729@login2:~/tmp> mpicc -g -o hello hello.c
bsc41729@login2:~/tmp> cat > machines
login1
login2
login3
login4
bsc41729@login2:~/tmp> mpirun -np 4 -machinefile machines hello
Hola Mundo2 del proceso 2 de 4 procesos (s41c3b03-gigabit1)
Hola Mundo2 del proceso 1 de 4 procesos (s41c3b02-gigabit1)
Hola Mundo2 del proceso 3 de 4 procesos (s41c3b04-gigabit1)
Hola Mundo2 del proceso 0 de 4 procesos (s41c3b01-gigabit1)
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
43
![Page 44: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/44.jpg)
Cómo es MPI: uso de PBS (1)
bsc41729@login2:~/tmp> cat hello.cmd
#!/bin/bash
# @ job_type = parallel
# @ class = q10
# @ group = bsc41
# @ initialdir = /home/bsc41/bsc41729/tmp/
# @ output = hello.out
# @ error = hello.err
# @ restart = no
# @ blocking = unlimited
# @ total_tasks = 2
# @ queue
# Program Execution.
mpirun -np 2 \
-machinefile $LL_MACHINE_LIST /home/bsc41/bsc41729/tmp/hello
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
44
![Page 45: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/45.jpg)
Cómo es MPI: uso de PBS (2)
bsc41729@login2:~/tmp> llsubmit hello.cmd llsubmit: Processed command file through Submit Filter: "/etc/perf/loadl/scripts/llsubmit".llsubmit: The job "s42-gigabit1.mn.406842" has been submitted.
bsc41729@login2:~/tmp> llqId Owner Submitted ST PRI Class Running On------------------------ ---------- ----------- -- --- ------------ -----------s42-gigabit1.404704.0 bsc41729 11/27 12:19 R 50 q09 s06c4b11-gigabit1s42-gigabit1.404731.0 bsc41729 11/27 12:32 R 50 q09 s07c1b10-gigabit1s42-gigabit1.404732.0 bsc41729 11/27 12:32 R 50 q09 s06c4b03-gigabit1s42-gigabit1.404736.0 bsc41729 11/27 12:34 I 50 q09 s42-gigabit1.406842.0 bsc41729 11/27 17:18 I 50 q10
4 job step(s) in query, 1 waiting, 0 pending, 3 running, 0 held, 0 preempted
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
45
![Page 46: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/46.jpg)
Cómo es MPI: uso de PBS (3)
bsc41729@login2:~/tmp> cat hello.out Program binary is: /home/bsc41/bsc41729/tmp/helloMachines file is /gpfs/projects/bsc99/perf/restricted/spool/049/mlist/s42-gigabit1.mn.406849.0.machine_list
Shared memory for intra-nodes coms is enabled.GM receive mode used: polling.2 processes will be spawned: Process 0 (/home/bsc41/bsc41729/tmp/hello ) on s06c1b03-gigabit1.mnProcess 1 (/home/bsc41/bsc41729/tmp/hello ) on s06c1b03-gigabit1.mnOpen a socket on s06c1b03...Got a first socket opened on port 33735.Shared memory file: /tmp/gmpi_shmem-811134:[0-9]*.tmpHola Mundo2 del proceso 1 de 2 procesos (s06c1b03-gigabit1)Hola Mundo2 del proceso 0 de 2 procesos (s06c1b03-gigabit1)MPI Id 1 is using GM port 2, board 0 (MAC 0060dd4846f0).MPI Id 0 is using GM port 4, board 0 (MAC 0060dd4846f0).Received data from all 2 MPI processes.Sending mapping to MPI Id 0.Sending mapping to MPI Id 1.Data sent to all processes.Reap remote processes:All remote MPI processes have exited.
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
46
![Page 47: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/47.jpg)
Cómo es MPI: uso de PBS (4)
bsc41729@login2:~/tmp> llclass -limits
class group job job max max max wall clock
name name nodes tasks jobs idle tasks time
------------ ------- ----- ----- ----- ---- ----- ----------------
debug bsc41 32 64 80 8 256 00:10:00
interactive bsc41 1 1 14 8 14 02:00:00
papi bsc41 320 512 80 8 640 12:00:00
q09 bsc41 256 512 80 8 640 48:00:00
q10 bsc41 256 512 80 8 640 48:00:00
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
47
![Page 48: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/48.jpg)
MPI 2.2 – 3.1(http://mpi-forum.org/docs/)
• Estructuras de datos– Tipos de datos (básicos, vectores, compuestos, …)
– Grupo de procesos (grupos, comunicadores, …)
• Paso de mensajes– Llamadas punto a punto (bloqueantes, …)
– Llamadas colectivas (bcast, scatter, gather, …)
• Entrada y salida– Gestión de ficheros (apertura, cierre, …)
– Gestión de contenidos (vistas, punteros, …)
• Procesos– Gestión de procesos (creación, …)
– Profiling
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
48
![Page 49: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/49.jpg)
Plataforma hardware y software
Supercomputador
Linux (NTP, DNS, DHCP, TFTP, LDAP/NIS, etc.)
NFS, LUSTRE,
GPFS, GFS, SAN
Gigabit,
Infiniband,
Myrinet
SSH, C3Tools, IPMI, SNMP,
Ganglia, Nagios, etc.
PBS/Torque (batch) + MAUI (planificador)
Compiladores de GNU, Intel, PGI
BLAS, LAPACK, ACML, etc.
MPICH2/OpenMPI
Código C,
C++, Fortran
Código C/C++, Fortran
HW
SW
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
49
Nativo,
virtualizado
![Page 50: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/50.jpg)
Plataforma hardware y software
Supercomputador
S.O. + servicios
Almacenamiento(S.F. paralelo y compartido)
Red(ultrarápida)
Software de gestión de sistema (instalación, administración, monitorización)
Software de gestión de recursos
Software de desarrollo (compiladores y bibliotecas)
Entorno paralelo MPI/PVM
Aplicaciones
secuenciales
Aplicaciones paralelas
HW
SW
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
50
Proceso(cpu,gpu,…)
![Page 51: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/51.jpg)
Top 500 Junio 2017(http://www.top500.org)
Rank Site System CoresRmax
(TFLOP/s)
Rpeak
(TFLOP/s)
Power
(kW)
1National Supercomputing Center in WuxiChina
Sunway TaihuLight - Sunway MPP, Sunway SW26010 260C 1.45GHz, SunwayNRCPC
10,649,600 93,014.6 125,435.9 15,371
2National Super Computer Center in GuangzhouChina
Tianhe-2 (MilkyWay-2) - TH-IVB-FEP Cluster, Intel Xeon E5-2692 12C 2.200GHz, TH Express-2, Intel Xeon Phi 31S1P NUDT
3,120,000 33,862.7 54,902.4 17,808
3Swiss National Supercomputing Centre (CSCS)Switzerland
Piz Daint - Cray XC50, Xeon E5-2690v3 12C 2.6GHz, Aries interconnect , NVIDIA Tesla P100 Cray Inc.
361,760 19,590.0 25,326.3 2,272
4DOE/SC/Oak Ridge National LaboratoryUnited States
Titan - Cray XK7, Opteron 6274 16C 2.200GHz, Cray Gemini interconnect, NVIDIA K20x Cray Inc.
560,640 17,590.0 27,112.5 8,209
5DOE/NNSA/LLNLUnited States
Sequoia - BlueGene/Q, Power BQC 16C 1.60 GHz, Custom IBM
1,572,864 17,173.2 20,132.7 7,890
6DOE/SC/LBNL/NERSCUnited States
Cori - Cray XC40, Intel Xeon Phi 7250 68C 1.4GHz, Aries interconnect Cray Inc.
622,336 14,014.7 27,880.7 3,939
7Joint Center for Advanced High Performance ComputingJapan
Oakforest-PACS - PRIMERGY CX1640 M1, Intel Xeon Phi 7250 68C 1.4GHz, Intel Omni-Path Fujitsu
556,104 13,554.6 24,913.5 2,719
8RIKEN Advanced Institute for Computational Science (AICS)Japan
K computer, SPARC64 VIIIfx 2.0GHz, Tofu interconnect Fujitsu
705,024 10,510.0 11,280.4 12,660
9DOE/SC/Argonne National LaboratoryUnited States
Mira - BlueGene/Q, Power BQC 16C 1.60GHz, Custom IBM
786,432 8,586.6 10,066.3 3,945
10DOE/NNSA/LANL/SNLUnited States
Trinity - Cray XC40, Xeon E5-2698v3 16C 2.3GHz, Aries interconnect Cray Inc.
301,056 8,100.9 11,078.9 4,233
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
51
https://www.top500.org/list/2017/06/
![Page 52: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/52.jpg)
Top 500(country=es)
Rank Site System CoresRmax
(TFlop/s)Rpeak
(TFlop/s)Power
(kW)
41Barcelona Supercomputing CenterSpain
MareNostrum - iDataPlex DX360M4, Xeon E5-2670 8C 2.600GHz, Infiniband FDR, IBM
48,896 925.1 1,017.0 1,015.6
168Instituto Tecnológico y de Energías Renovables S.A.Spain
TEIDE-HPC - Fujitsu PRIMERGY CX250 S1, Xeon E5-2670 8C 2.600GHz, Infiniband QDR, Fujitsu
16,384 274.0 340.8 312
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
52
77Barcelona Supercomputing CenterSpain
MareNostrum - iDataPlex DX360M4, Xeon E5-2670 8C 2.600GHz, Infiniband FDR, IBM
48,896 925.1 1,017.0 1,015.6
259
Instituto Tecnológico y de Energías Renovables S.A.Spain
TEIDE-HPC - Fujitsu PRIMERGY CX250 S1, Xeon E5-2670 8C 2.600GHz, Infiniband QDR, Fujitsu
16,384 274.0 340.8 312
106Barcelona Supercomputing CenterSpain
MareNostrum - iDataPlex DX360M4, Xeon E5-2670 8C 2.600GHz, Infiniband FDR IBM
48,896 925.1 1,017.0 1,015.6
13Barcelona Supercomputing CenterSpain
MareNostrum - Lenovo SD530, Xeon Platinum8160 24C 2.1GHz, Intel Omni-Path , Lenovo
148,176 6,227.2 9,957.4 1,380
• Junio 2014
• Junio 2015
• Junio 2016
• Junio 2017
![Page 53: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/53.jpg)
Top 500 Junio 2017(http://top500.org/statistics/perfdevel/)
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
53
![Page 54: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/54.jpg)
Top 500 Junio 2017(http://top500.org/statistics/perfdevel/)
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
54
Ipad Pro (~400GF)
GTX 1080 (~9TF)
https://www.xataka.com/basics/que-son-los-teraflops-y-que-miden-exactamente
![Page 55: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/55.jpg)
Nvidia Tegra X1(http://www.dailytech.com/NVIDIAs+64Bit+ARM+Tegra+X1+SoC+Doubles+the+Power
+of+K1+Guns+for+Qualcomm/article37049.htm)Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
55
http://www.dailytech.com/NVIDIAs+64Bit+ARM+Tegra+X1+SoC+Doubles+the+Power+of+K1+Guns+for+Qualcomm/article37049.htm
![Page 56: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/56.jpg)
Nvidia Tegra X1(http://www.dailytech.com/NVIDIAs+64Bit+ARM+Tegra+X1+SoC+Doubles+the+Power
+of+K1+Guns+for+Qualcomm/article37049.htm)Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
56
http://www.dailytech.com/NVIDIAs+64Bit+ARM+Tegra+X1+SoC+Doubles+the+Power+of+K1+Guns+for+Qualcomm/article37049.htm
![Page 57: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/57.jpg)
Big Hero 6 (2014)(http://www.engadget.com/2014/10/18/disney-big-hero-6/)
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
57
http://technologybehindmagic.tumblr.com/post/100635699626/the-number-of-rendering-hours-that-went-into-big
![Page 58: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/58.jpg)
Big Hero 6 (2014)(http://www.engadget.com/2014/10/18/disney-big-hero-6/)
• To manage that cluster and the 400,000-plus computations it processes per day (roughly about 1.1 million computational hours per day), his team created software called Coda, which treats the four render farms like a single supercomputer. If one or more of those thousands of jobs fails, Coda alerts the appropriate staffers via an iPhone app.
• The film takes 199 million core-hours (181 days) of rendering. To put the enormity of this computational effort into perspective, Hendrickson says that Hyperion "could render Tangled (2010) from scratch every 10 days."
• If that doesn't drive the power of Disney's proprietary renderer home, then consider this: San Fransokyo contains around 83,000 buildings, 260,000 trees, 215,000 streetlights and 100,000 vehicles (plus thousands of crowd extras generated by a tool called Denizen). What's more, all of the detail you see in the city is actually based off assessor data for lots and street layouts from the real San Francisco.
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
58
![Page 59: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/59.jpg)
Agenda
Introducción a la computación de altas prestaciones– Qué, dónde y cómo
– Hardware y software
Evolución de la computación de altas prestaciones– Plataforma
– Tendencias
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
59
![Page 60: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/60.jpg)
Evolución en las plataformas de computación de altas prestaciones
1950-1990
Supercomputadoras (SMP, MPP, Sistólico, Array, …)
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
60
o Problemas con gran necesidad de
capacidad de cómputo
o Muy usado en ciencia y ejército
o Uso de paralelismo masivo
![Page 61: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/61.jpg)
Evolución en las plataformas de computación de altas prestaciones
1950-1990
Supercomputadoras & Mainframes(SMP, MPP, Sistólico, Array, …)
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
61
o Problemas con gran cantidad de
datos tratados
o Usado en entornos administrativos
o Uso de paralelismo y alta frecuencia
![Page 62: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/62.jpg)
Evolución en las plataformas de computación de altas prestaciones
• Construido por Donald Becker y Thomas Sterling en 1994 (NASA)
• Formado por 16 computadores personales con procesador intel DX4 a 200 MHz interconectados por un switch Ethernet.
• Rendimiento teórico era de 3,2 Gflops
• Posibilidad de supercomputadoras ”baratas”
1950-1990
Supercomputadoras (SMP, MPP, Sistólico, Array, …)
~ 1994
Cluster
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
62
![Page 63: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/63.jpg)
Evolución en las plataformas de computación de altas prestaciones
• Construido por Donald Becker y Thomas Sterling en 1994 (NASA)
• Formado por 16 computadores personales con procesador intel DX4 a 200 MHz interconectados por un switch Ethernet.
• Rendimiento teórico era de 3,2 Gflops
• Posibilidad de supercomputadoras ”baratas”
1950-1990
Supercomputadoras (SMP, MPP, Sistólico, Array, …)
~ 1994
Cluster
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
63
![Page 64: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/64.jpg)
1950-1990
Supercomputadoras (SMP, MPP, Sistólico, Array, …)
~ 1994
Cluster
![Page 65: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/65.jpg)
1950-1990
Supercomputadoras (SMP, MPP, Sistólico, Array, …)
~ 1994
Cluster
http://es.wikipedia.org/wiki/Intel_MIC
![Page 66: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/66.jpg)
1950-1990
Supercomputadoras (SMP, MPP, Sistólico, Array, …)
~ 1994
Cluster
http://es.wikipedia.org/wiki/Intel_MIC
![Page 67: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/67.jpg)
Evolución en las plataformas de computación de altas prestaciones
• Antecesor: metacomputing por Larry Smarr (NCSA) al inicio de los 80
– Centros de supercomputación interconectados: más recursos disponibles
– I-WAY demostrado en 1995
• Grid aparece en un seminario dado en 1997 en ANL por Ian Foster y Carl Kesselman
1995-1997
Grid
~ 1994
Cluster
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
67
![Page 68: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/68.jpg)
Evolución en las plataformas de computación de altas prestaciones
• Término acuñado por Luis F. G. Sarmenta (Bayanihan)
• En 1999 se lanza los proyectos SETI@home y Folding@home
• A día 6/11/2016 todos los proyectos BOINC suponen ~170,4 TeraFLOPS
~1998
Volunteer
computing
1995-1997
Grid
~ 1994
Cluster
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
68
http://boincstats.com/es/stats/-1/project/detail
![Page 69: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/69.jpg)
Evolución en las plataformas de computación de altas prestaciones
• Google presenta:
– MapReduce como framework para trabajar con grandes conjuntos de datos: la misma función se aplica a diferentes particiones de datos (map) y después estos resultados se combinan (reduce)
– GFS como forma de almacenar petabytes de datos (ordenadores normales, distribución escalable y tolerancia a fallos)
• GFS+MR permite a los usuarios construir mainframes baratos(GFS+MR vs mainframe similar a cluster vs supercomputador)
~1998
Volunteer
computing
1995-1997
Grid
~ 1994
Cluster
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
69
2003
Cluster +
GFS+MR
Doug Cutting
y Hadoop
![Page 70: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/70.jpg)
Evolución en las plataformas de computación de altas prestaciones
• Amazon inspira el Cloud computing actual:
– data centers pensando en las compras de Navidad, el resto del tiempo se usaban ~10%
– Dos pilares fundamentales: utility computing y virtualización
• Principales mejoras: agilidad, coste, escalabilidad, mantenimiento, …
• Openstack: construir un cloud con un cluster
2006
Cloud
Servicio
InfraestructuraPlataforma
~1998
Volunteer
computing
1995-1997
Grid
~ 1994
Cluster
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
70
2003
Cluster +
GFS+MR
![Page 71: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/71.jpg)
Amazon Cluster Compute Instance
2006
Cloud
~1998
Volunteer
computing
1995-1997
Grid
~ 1994
Cluster
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
71
2003
Cluster +
GFS+MR
now
Cloud++
![Page 72: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/72.jpg)
Amazon Elastic MapReduce
2006
Cloud
~1998
Volunteer
computing
1995-1997
Grid
~ 1994
Cluster
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
72
2003
Cluster +
GFS+MR
now
Cloud++
![Page 73: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/73.jpg)
2006
Cloud
~1998
Volunteer
computing
1995-1997
Grid
~ 1994
Cluster
Distancia entre nodos
Un chip
Un rack
Una sala
Un edificio
El MundoGrid
computing
Cluster
computing
SM Parallel
computing
2003
Cluster +
GFS+MR
now
Cloud++
![Page 74: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/74.jpg)
Agenda
Introducción a la computación de altas prestaciones– Qué, dónde y cómo
– Hardware y software
Evolución de la computación de altas prestaciones– Plataformas
– Tendencias
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
74
![Page 75: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/75.jpg)
Principales tendencias
Computador de altas prestaciones
S.O. + servicios
Middleware (Single System Image)
Entorno paralelo
Aplicaciones
secuenciales
Aplicaciones paralelas
Hardware
Software
CloudVolunteer
computing
GridSupercomputadoras
(SMP, MPP, …)Cluster
Plataforma
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
75
![Page 76: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/76.jpg)
Principales tendencias
Computador de altas prestaciones
S.O. + servicios
Middleware (Single System Image)
Entorno paralelo
Aplicaciones
secuenciales
Aplicaciones paralelas
Hardware
Software
CloudVolunteer
computing
GridSupercomputadoras
(SMP, MPP, …)Cluster
Plataforma
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
76
![Page 77: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/77.jpg)
Plataforma:uso de recursos distribuidos
• Clouds: empleo de recursos distribuidosalquilados bajo demanda
• Grids: uso de recursos distribuidos de distintas organizaciones
• Internet computing: uso de ordenadorespersonales a escala global (SETI@home)
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
77
![Page 78: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/78.jpg)
Plataforma:uso eficiente de recursos
• Clouds privados y públicos: ajuste de infraestructura para minimizar gasto
• Green computing: uso de recursosdistribuidos de distintas organizaciones
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
78
![Page 79: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/79.jpg)
Principales tendencias
Computador de altas prestaciones
S.O. + servicios
Middleware (Single System Image)
Entorno paralelo
Aplicaciones
secuenciales
Aplicaciones paralelas
Hardware
Software
CloudVolunteer
computing
GridSupercomputadoras
(SMP, MPP, …)Cluster
Plataforma
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
79
![Page 80: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/80.jpg)
Hardware:
A nivel de bit
A nivel de
instrucción
A nivel de
procesador
A nivel de
multicomputador
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
80
![Page 81: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/81.jpg)
Hardware:
A nivel de bit
A nivel de
instrucción
A nivel de
procesador
A nivel de
multicomputador
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
81
![Page 82: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/82.jpg)
Hardware:más procesadores y cores heterogéneos
A nivel de
procesador
A nivel de
multicomputador
A nivel de
computador
GPU
CPU
FPGA
A nivel de
empotrado
SoC
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
82
![Page 83: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/83.jpg)
Hardware:más procesadores y cores heterogéneos
• Tarjetas gráficas: uso de la capacidad de procesamiento de las potentes tarjetas gráficas actuales
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
83
![Page 84: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/84.jpg)
Hardware:más procesadores y cores heterogéneos
• Tarjetas gráficas: uso de la capacidad de procesamiento de las potentes tarjetas gráficas actuales
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
84
▪ http://www.zdnet.com/blog/security/vendor-claims-acrobat-9-passwords-easier-to-crack-than-ever/2253
![Page 85: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/85.jpg)
Hardware:más procesadores y cores heterogéneos
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
85
▪ http://www.many-core.group.cam.ac.uk/platforms/gpu.shtml
![Page 86: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/86.jpg)
Hardware:más procesadores y cores heterogéneos
• Tarjetas gráficas: uso de la capacidad de procesamiento de las potentes tarjetas gráficas actuales
– CUDA:Entorno de programación para poder usar la potencia de las tarjetas gráficas de NVidia
– OpenCL: lenguaje basado en C99 extendido para operaciones vectoriales y eliminando ciertas funcionalidades
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
86
![Page 87: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/87.jpg)
Hardware:más procesadores y cores heterogéneos
• Procesadores many-core: gran cantidad de procesadores en un mismo chip
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
87
▪ http://gizmodo.com/5846060/this-crazy-64+core-processor-wants-to-be-in-your-smartphone
▪ http://www.tgdaily.com/hardware-features/33451-tilera-announces-64-core-processor
![Page 88: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/88.jpg)
Hardware:más procesadores y cores heterogéneos
• Procesadores many-core: gran cantidad de procesadores en un mismo chip
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
88
▪ http://www.electroiq.com/articles/sst/2012/01/40nm-manycore-processors-roll-out-at-tilera.html
![Page 89: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/89.jpg)
Hardware:más procesadores y cores heterogéneos
• Procesadores many-core: gran cantidad de procesadores en un mismo chip
– <memoria compartida>:SMP Linux 2.6
– <paso de mensaje>:Hypervisor (VMs)
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
89
▪ http://www.tilera.com/development_tools
![Page 90: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/90.jpg)
Hardware:más procesadores y cores heterogéneos
• Procesadores heterogéneos: gran cantidad de procesadores con coprocesadores especializados (many integrated cores)
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
90
▪ http://es.wikipedia.org/wiki/Intel_MIC
▪ http://hothardware.com/News/Intel-Demos-Knights-Ferry-Development-Platform-Tesla-Scores-With-Amazon/
![Page 91: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/91.jpg)
Hardware:más procesadores y cores heterogéneos
• Procesadores heterogéneos: gran cantidad de procesadores con coprocesadores especializados
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
91
▪ http://es.wikipedia.org/wiki/Intel_MIC
▪ http://hothardware.com/News/Intel-Demos-Knights-Ferry-Development-Platform-Tesla-Scores-With-Amazon/
![Page 92: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/92.jpg)
Hardware:más procesadores y cores heterogéneos
• Procesadores heterogéneos: gran cantidad de procesadores con coprocesadores especializados
– <memoria compartida>:Intel Cilk (plus), Intel Threading Building Blocks,OpenMP, ¿OpenACC?, OpenCL
– <paso de mensaje>:Intel MPI
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
92
▪ http://goparallel.sourceforge.net/parallel-programming-intel-mic-early-experiences-tacc/
▪ http://www.drdobbs.com/parallel/intels-50-core-mic-architecture-hpc-on-a/232800139
![Page 93: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/93.jpg)
Hardware:más procesadores y cores heterogéneos
• Memoria 3D-XPoint:
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
93
▪ http://www.golem.de/news/3d-xpoint-neuer-speicher-wird-als-ddr-modul-oder-pcie-karte-eingesetzt-1508-115728.html
![Page 94: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/94.jpg)
Hardware:más procesadores y cores heterogéneos
• Memoria “activa”: computo simple en la propia memoria
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
94
▪ http://www.hpcwire.com/2013/11/22/micron-exposes-memorys-double-life-automata-processor/
![Page 95: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/95.jpg)
Principales tendencias
Computador de altas prestaciones
S.O. + servicios
Middleware (Single System Image)
Entorno paralelo
Aplicaciones
secuenciales
Aplicaciones paralelas
Hardware
Software
CloudVolunteer
computing
GridSupercomputadoras
(SMP, MPP, …)Cluster
Plataforma
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
95
![Page 96: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/96.jpg)
Software
• Integrar soluciones vectoriales y multiprocesador (dentro de las herramientas de desarrollo)
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
96
• Vectoriales– SSE, AVX, AVX2, …
• Multiprocesador
– UMA, NUMA• OpenMP,
• iTBB, …
– M. Distribuida• MPI,…
• Map-reduce
![Page 97: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/97.jpg)
Ejemplo:CUDA/LLVM adaptado a nuevos entornos
• CUDA Compiler SDK
• Versión de Clang/LLVM con: – Generación de código para GPU
– Compilación con CUDA
• Soporte para:– MacOS
– Windows
– Linux (algunos)
▪ http://developer.nvidia.com/cuda/cuda-llvm-compiler
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
97
![Page 98: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/98.jpg)
Software
• Integrar soluciones vectoriales y multiprocesador (dentro de las herramientas de desarrollo)
• Integrar soluciones de memoria compartida y paso de mensaje con ayuda del sistema operativo.
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
98
• Vectoriales– SSE, AVX, AVX2, …
• Multiprocesador
– UMA, NUMA• OpenMP,
• iTBB, …
– M. Distribuida• MPI,…
• Map-reduce
![Page 99: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/99.jpg)
Ejemplo:MPI 3.x: adaptación a requisitos actuales
• Programación híbrida
• Tolerancia a fallos
• Acceso remoto a memoria
• Comunicación colectiva y topología
• Soporte de herramientas
• Persistencia
• Compatibilidad hacia atrás
▪ http://meetings.mpi-forum.org/MPI_3.0_main_page.php
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
99
![Page 100: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/100.jpg)
Software
• Integrar soluciones vectoriales y multiprocesador (dentro de las herramientas de desarrollo)
• Integrar soluciones de memoria compartida y paso de mensaje con ayuda del sistema operativo.
• Buscar perfiles simplificados que permitan la mayor escalabilidad posible.
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
10
0
• Vectoriales– SSE, AVX, AVX2, …
• Multiprocesador
– UMA, NUMA• OpenMP,
• iTBB, …
– M. Distribuida• MPI,…
• Map-reduce
![Page 101: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/101.jpg)
Sistemas distribuidos:Computación de altas prestaciones
• Google:
– Modelo MapReduce
– Sistemas de ficheros de Google
– Algoritmos de clasificación (K-Means + Canopy)
▪ http://code.google.com/edu/parallel/mapreduce-tutorial.html
▪ http://code.google.com/edu/submissions/mapreduce-minilecture/listing.html
▪ http://en.wikipedia.org/wiki/MapReduce
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
10
1
![Page 102: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/102.jpg)
Aplicaciones:Adaptación a computación de altas prestaciones
• Ejemplos:
– Primal and dual-based algorithms forsensing range adjustment in WSNs
– The unified accelerator architecture forRNA secondary structure prediction on FPGA
– Protein simulation data in the relational model
– Dynamic learning model update of hybrid-classifiers for intrusion detection
▪ http://www.springer.com/computer/swe/journal/11227
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
10
2
![Page 103: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/103.jpg)
Agenda
Introducción a la computación de altas prestaciones– Qué, dónde y cómo
– Hardware y software
Evolución de la computación de altas prestaciones– Plataformas
– Tendencias
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
10
3
![Page 104: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/104.jpg)
Bibliografía
• Parallel Computer Architectures: a Hardware/Software Approach.D.E. Culler, J.P. Singh, with A. Gupta
• Capítulo 1
• Organización y Arquitectura de Computadores (5ta. ed.)William Stallings
• Capítulo 16: Procesamiento Paralelo.
• Organización de Computadoras (4ta. ed.)Andrew S. Tanenbaum
• Capítulo 8: Arquitecturas de computadoras paralelas.
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
10
4
![Page 105: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/105.jpg)
Bibliografía
• GPU + CPU
– http://www.hardwarezone.com.ph/articles/view.php?cid=3&id=2786
• Cluster
– http://www.democritos.it/~baro/slides/LAT-HPC-GRID-2009/Part1.pdf
• TOP500 Supercomputer Sites
– http://www.top500.org/
• Beowulf
– http://www.beowulf.org/overview/index.html
Dis
eño d
e S
iste
mas D
istr
ibuid
os
Ale
jandro
Cald
eró
n M
ate
os
10
5
![Page 106: Diseño de Sistemas Distribuidos · Diseño de Sistemas Distribuidos Máster en Ciencia y Tecnología Informática Curso 2017-2018 Alejandro Calderón Mateos y Félix García Carballeira](https://reader034.vdocumento.com/reader034/viewer/2022042123/5e9e957c121fa71e3447b8df/html5/thumbnails/106.jpg)
Diseño de Sistemas DistribuidosMáster en Ciencia y Tecnología Informática
Curso 2017-2018
Alejandro Calderón Mateos y Félix García Carballeira
Grupo de Arquitectura de Computadores
Sistemas de altas prestaciones
en entornos distribuidos