mathematica computing y nodo cesgaangel/computing/presentaciones/agomez.pdf · 2006. 11. 13. ·...
TRANSCRIPT
![Page 1: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo](https://reader035.vdocumento.com/reader035/viewer/2022071517/613bafe9f8f21c0c8269234e/html5/thumbnails/1.jpg)
������������ ������
��������������� ������� ���
������������
MATHEMATICA COMPUTINGMATHEMATICA COMPUTING
YY
NODO CESGANODO CESGA
![Page 2: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo](https://reader035.vdocumento.com/reader035/viewer/2022071517/613bafe9f8f21c0c8269234e/html5/thumbnails/2.jpg)
Barcelona, Noviembre, 2006
![Page 3: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo](https://reader035.vdocumento.com/reader035/viewer/2022071517/613bafe9f8f21c0c8269234e/html5/thumbnails/3.jpg)
Barcelona, Noviembre, 2006
����� �������
� � ��������� ��� ����������������� ������
� ��������� ���!�"�#��������$������%�� ����
� �#&����"������
� �#&����'�#�������
�������
![Page 4: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo](https://reader035.vdocumento.com/reader035/viewer/2022071517/613bafe9f8f21c0c8269234e/html5/thumbnails/4.jpg)
Barcelona, Noviembre, 2006
����� ��������
� ��� ������ !��!� � �������� � ����#����(�
����#��������� � �#�� � ���� ���� � ��� �! �
�� �����������#�����������������������! � ��������
� ���!�"�#����(���) ����(���������#���������
�� ���� �)��!��*�����������
� ��� ������ �! � # � ��� � )� ������������ ����
����#��������� � �!������ � ����� �� ��� � ���!�
)��!����! ��� �����������#���������������
� ��� & ��� �� ��������� �� ���� " ��� � ���
+,� �� �� ����������� ������������ �����������
� �!���������� � � � �� �����! ��� ����������#�����
�� �� ������#� ��������#�������
![Page 5: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo](https://reader035.vdocumento.com/reader035/viewer/2022071517/613bafe9f8f21c0c8269234e/html5/thumbnails/5.jpg)
Barcelona, Noviembre, 2006
� ��� � ���
� ��� ���� �������
� ��� �� ������������� ����
�� ��������
� ��� �� !�������"� ������
� #� �$������
� �%�
� �&��������
� �&'����
CESGA Ser v i ces
![Page 6: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo](https://reader035.vdocumento.com/reader035/viewer/2022071517/613bafe9f8f21c0c8269234e/html5/thumbnails/6.jpg)
Barcelona, Noviembre, 2006
� �� %������ �(!�� ��)��� �*+����
� �� ���, �(��� ���� �� *+����
� �� ����� *���-���� �-��.�� ��� � *+����
� �� /�$��� �(!�� ���.���� �� *+����
� �� /�, ����� 0����1� ������� ��� %�� %�2���-�����
� �� ������ ����+���� �(!�� ��� � 3�+�����
� "+$�-"+$�-
� 0- �� 45 �,�����
� 66 !������� ����$�
� 78 !������� 2��������� �� �� 8 9����� �1�
�$.+/��+� ��"���&�������
���.���2������� ���!����� ����!
NUESTRAPOLÍTICA
![Page 7: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo](https://reader035.vdocumento.com/reader035/viewer/2022071517/613bafe9f8f21c0c8269234e/html5/thumbnails/7.jpg)
Barcelona, Noviembre, 2006
:7 ���� �2 .�����
011%
2��34��
3(5�'67�$
0118
2���%�� ���%���
04(0�'67�$ 03�'67�$
0111
9�"�45�� $�7��+�+:
1(;�'67�$
3��%
$<�+��7/+
�;8�'67�$
3��0
$2
1(1�'67�$
3��3
9�"�%3� =+7><6'
;4�'67�$ 0;�'67�$
50��+��=?�+$
3��4
$2
503�'67�$
![Page 8: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo](https://reader035.vdocumento.com/reader035/viewer/2022071517/613bafe9f8f21c0c8269234e/html5/thumbnails/8.jpg)
Barcelona, Noviembre, 2006
#�&6455 ;� ��!������ 6557
011%-�2�@34�� 3(5�'67�$������(5�=�� �����
A 0 ���$��������� A 045����! �>����
3��%-�$<�+��7/+ �;8�'67�$����%84�=�� �����
A 0 ���$��������� A 33�����! �>����
![Page 9: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo](https://reader035.vdocumento.com/reader035/viewer/2022071517/613bafe9f8f21c0c8269234e/html5/thumbnails/9.jpg)
Barcelona, Noviembre, 2006
*��������� 655<
)�$ �� ��9�"�3���
0��� �.�� := �*�>�� ��� :?�' � 0 0�����
Joint Venture of
![Page 10: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo](https://reader035.vdocumento.com/reader035/viewer/2022071517/613bafe9f8f21c0c8269234e/html5/thumbnails/10.jpg)
Barcelona, Noviembre, 2006
*���������
$<�+�"7/�<�. @
:4= ��;�0 ;��� A��..����#��..��� ����������.����.� .��.�22������� %;*%;%' ;� ���A��B
� : ����@ :6C ����D :564 �' ������
� : ����@ :6C ���D 7C4 �' ������
� :46 ����@ := ����D :6C �' ������
� 6 ����@ 4 ����D 4 �' ������2��������
�����$�7��+@
� 66 ���� A��.44 ���� 2�������� ����������
� 7?5 �'��B
� : �' ��)�� ��!� ��)����
MORE TECHNICAL INFORMATION ON REQUEST
![Page 11: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo](https://reader035.vdocumento.com/reader035/viewer/2022071517/613bafe9f8f21c0c8269234e/html5/thumbnails/11.jpg)
Barcelona, Noviembre, 2006
��>��E�� :@ 0��.������� �.�������
� 1 Reto científico computacional en Matemáticas a ejecutar en FinisTerrae.
�Fecha de ejecución: tercer-cuarto trimestre de 2007�Condiciones:
�Científicamente o Tecnológicamente interesante. Validado por CD.
�Necesitado de la arquitectura del FinisTerrae�Un investigador del equipo en CESGA durante la
preparación/ejecución.�Basado en software libre y gratuito o, preferiblemente,
propio.
�Soporte del CESGA para la migración/programación
![Page 12: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo](https://reader035.vdocumento.com/reader035/viewer/2022071517/613bafe9f8f21c0c8269234e/html5/thumbnails/12.jpg)
Barcelona, Noviembre, 2006
ALGUNOS RETOS COMPUTACIÓN
� Latencia memoria� Consumo excesivo� Absorber nuevos paradigmas:
�MultiThreading, �MultiCore
� Compiladores más eficientes (fundamentales en Itanium II)
� Algoritmos más eficientes� Paralelización más sencilla: Time-to-Solution
![Page 13: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo](https://reader035.vdocumento.com/reader035/viewer/2022071517/613bafe9f8f21c0c8269234e/html5/thumbnails/13.jpg)
Barcelona, Noviembre, 2006
RETOS COMPUTACIÓN: La te nc ia acces omemo r ia �����
��� ��
� � ��� ���
�
��
���
����
����
����
����
����
����
����
����
����
� � �
���
����������� �� ���������� ��!" #$%����� ��� !!��&
������
�
��
��
'(�� )�!� ����*
Ciclos perdidosaumentan
Fuente:Paco Tirado
![Page 14: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo](https://reader035.vdocumento.com/reader035/viewer/2022071517/613bafe9f8f21c0c8269234e/html5/thumbnails/14.jpg)
Barcelona, Noviembre, 2006
�E�>�@ �������� ������� �����������
Cache L2: >80% PICO
Cache L3: < 30% PICO
Memoria: < 10% PICO
Objetivo: Reducir fallos caché. Mejorar rendimiento.
![Page 15: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo](https://reader035.vdocumento.com/reader035/viewer/2022071517/613bafe9f8f21c0c8269234e/html5/thumbnails/15.jpg)
Barcelona, Noviembre, 2006
E"�����(� � �����������@ �������
Mayor PageSize,Menos Fallos TLBs
![Page 16: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo](https://reader035.vdocumento.com/reader035/viewer/2022071517/613bafe9f8f21c0c8269234e/html5/thumbnails/16.jpg)
Barcelona, Noviembre, 2006
�E�>@ ������� *���� ��' �������
Ejemplo cálculo en Gaussian Incore 256 bases
Speed-up > 2
Objetivo: Reducir fallos TLB. Ver GotoBlas:http://www.tacc.utexas.edu/resources/software/
![Page 17: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo](https://reader035.vdocumento.com/reader035/viewer/2022071517/613bafe9f8f21c0c8269234e/html5/thumbnails/17.jpg)
Barcelona, Noviembre, 2006
�E�>@ ������� ����&��&�������
� ����� ����-��� ��#%�>�D %$� ;��)��� � ��� �� ������� ��!�) �.����D ����������� ������������������������������ ����������������D � �.���D 655=�
� ���&� ��@ ������ �F����)��� �+F����&$�!�� �� �)������ �� ���� !�� ������������������ ��������� �� !����� ����������D �� ���������� �� ���!������� ��� ��2������ � �� �� �)������(� �:&�����&��2�������
� /�����@ ��������(� 0���(!����� 0��������� �� �� �������$� ����+���� ;#� F�� !������ �� �������(� �G!�+���� �� �����2��� �+F����&$�!��
�Calidad de los resultados proporcional al nº de moléculas y al nº de configuraciones
�3000 moléculas y 109 configuraciones�Código desarrollado y compilado por el usuario�Tiempo estimado 1CPU en el HPC320 > 3 años.�Código no paralelizable y algoritmo adecuado
![Page 18: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo](https://reader035.vdocumento.com/reader035/viewer/2022071517/613bafe9f8f21c0c8269234e/html5/thumbnails/18.jpg)
Barcelona, Noviembre, 2006
�E�>@ ����&��&������� ��������
��,�����@
�Profile del código para identificar partes más costosas�Extracción de subexpresiones comunes�Reordenamiento de matrices�Opciones del compilador�Búsqueda arquitectura más óptima
���������
�Procesador: Opteron�Compilador: Pathscale�Opciones: -Ofast -cpp -m64 -static-data�Tiempo necesario � 2 meses
A Tiempo!
![Page 19: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo](https://reader035.vdocumento.com/reader035/viewer/2022071517/613bafe9f8f21c0c8269234e/html5/thumbnails/19.jpg)
Barcelona, Noviembre, 2006
����
"+$��
<��� ������0
� Ejecución de aplicaciones y almacenamientoutilizando recursos sobrantes de cada Grupo.�Heterogeneidad, problemas portabilidad ejecución. Ver: crlibm
![Page 20: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo](https://reader035.vdocumento.com/reader035/viewer/2022071517/613bafe9f8f21c0c8269234e/html5/thumbnails/20.jpg)
Barcelona, Noviembre, 2006
��>��E�� 6@ *������(� �� ���!�����(�
� ��)�� �,����� �� ���!�����(� � ���$� .���������� �� �-����� �� ���� !��!���� !��� �� �1� 655< �� �� �
������ ����� �� ������ ��������:�Matemática Computacional: compilación, ejecución y
optimización de programas. (15h, 25 alumnos)�Programación de códigos paralelos utilizando MPI. (15h,
25 alumnos)�Arquitecturas cluster para computación matemática. (20h,
10 alumnos)�Programación paralela utilizando directivas OpenMP.
(15h, 25 alumnos)� ���� ���� ������� ��� 8 .��� �� ����������� ����$���������� � �� �������
![Page 21: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo](https://reader035.vdocumento.com/reader035/viewer/2022071517/613bafe9f8f21c0c8269234e/html5/thumbnails/21.jpg)
Barcelona, Noviembre, 2006
��>��E�� 7@ ��������(� ��!������� �2�A���
�Objetivos:�Localizar las herramientas existentes de software
libre para la matemática computacional necesarias para los grupos del proyecto, incluyendo una evaluación de la misma.
�Incrementar la visibilidad internacional del software de matemática computacional, generalista o especializado, desarrollado por los grupos de investigación del proyecto.
![Page 22: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo](https://reader035.vdocumento.com/reader035/viewer/2022071517/613bafe9f8f21c0c8269234e/html5/thumbnails/22.jpg)
Barcelona, Noviembre, 2006
��>��E�� 4@ ����&0 ��E0 �%�
� Objetivos:�Crear una infraestructura estable que
interconecte los recursos de los gruposinvolucrados en Mathematica.
�Ejecución de aplicaciones utilizando recursos sobrantes de otros grupos
�En el CESGA instalación de un cluster con 10 CPUs interconectados con Gigabit Ethernet como nodo dedicado y estable con dedicación total al Grid-MATHEMATICA.
![Page 23: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo](https://reader035.vdocumento.com/reader035/viewer/2022071517/613bafe9f8f21c0c8269234e/html5/thumbnails/23.jpg)
Barcelona, Noviembre, 2006
��>��E�� 8@ ��!���� �,�����
�Objetivos: �CESGA puede prestar servicios de soporte de alto
nivel a técnicos e investigadores para mantener operativos correctamente los recursos computacionales existentes en cada centro.
�Optimización aplicaciones desarrolladas por los grupos.
![Page 24: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo](https://reader035.vdocumento.com/reader035/viewer/2022071517/613bafe9f8f21c0c8269234e/html5/thumbnails/24.jpg)
Barcelona, Noviembre, 2006
The project: a web-based tool for Monte Carlo
optimization and verification of treatment plans
J. Pena1, F. Gómez1, D. González-Castaño1, A. Gómez2, C. Fernández2, J. C. Mouriño2, F. J. González-Castaño3,
D. A. Rodríguez-Silva3, M. Pombar4
1Departamento de Física de Partículas, University of Santiago de Compostela, Spain2Fundación Centro Tecnolóxico de Supercomputación de Galicia (CESGA), Santiago de Compostela, Spain
3Departamento de Ingeniería Telemática, University of Vigo, Spain4Hospital Clínico Universitario de Santiago, Santiago de Compostela, Spain
Financed through Xunta de Galicia project PGIDT05SIN00101CT and partially by the European Social Fund
![Page 25: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo](https://reader035.vdocumento.com/reader035/viewer/2022071517/613bafe9f8f21c0c8269234e/html5/thumbnails/25.jpg)
Barcelona, Noviembre, 2006
PROPUESTA 5: Sopor t e téc nico
What is the project? It is a project to develop a remote computational
platform for treatment VERIFICATION and OPTIMIZATION
Hospital
Internet
What is NOT ?? Commercial // TPS substitute
http://eimrt.cesga.es
![Page 26: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo](https://reader035.vdocumento.com/reader035/viewer/2022071517/613bafe9f8f21c0c8269234e/html5/thumbnails/26.jpg)
Barcelona, Noviembre, 2006
http://eimrt.cesga.es
� Three major components (services):� Treatment VERIFICATION (Monte Carlo)� Treatment OPTIMIZATION (CRT & IMRT)� Treatment RESERVOIR: case studies and
interesting treatments� General requirements
� Simple, user friendly and algorithm-independent
� Lowest possible human intervention� Run on low-end hardware & software (client
side)� Anonimization of patient DICOM files
Under development !
![Page 27: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo](https://reader035.vdocumento.com/reader035/viewer/2022071517/613bafe9f8f21c0c8269234e/html5/thumbnails/27.jpg)
Barcelona, Noviembre, 2006
http://eimrt.cesga.es
� Unconstrained optimization model derived from Wu & Mohan Med. Phys 27-4 2000
� Quasi-Newton minimization.� Alternating Quasi-Newton stages with
heuristics to vary the weights of the constraints → Getting multiple solutions.
� New optimization models welcome!
Under development !
![Page 28: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo](https://reader035.vdocumento.com/reader035/viewer/2022071517/613bafe9f8f21c0c8269234e/html5/thumbnails/28.jpg)
Barcelona, Noviembre, 2006
��!!�����#����� 0��.��� ��������� �2�6� ���22��
F.J. González-Castaño et.al., CIMSA 2006, pag. 103
� Problema: �Tráfico P2P es perjudicial para las redes de
investigación. Es necesario detectarlo y, en su caso, eliminarlo.
�No es posible capturar y procesar todo el tráfico a 2.5Gbp/s
� Objetivos:�Solución independiente de la tecnología�Transparente al usuario (no agresivo)�Evitar falsos positivos
![Page 29: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo](https://reader035.vdocumento.com/reader035/viewer/2022071517/613bafe9f8f21c0c8269234e/html5/thumbnails/29.jpg)
Barcelona, Noviembre, 2006
��!!�����#����� 0��.��� ��������� �2�6� ���22�� �%%�
F.J. González-Castaño et.al., CIMSA 2006, pag. 103
“Culpable”“Inocente”
![Page 30: MATHEMATICA COMPUTING Y NODO CESGAangel/computing/presentaciones/AGomez.pdf · 2006. 11. 13. · Barcelona, Noviembre, 2006 ALGUNOS RETOS COMPUTACIÓN Latencia memoria Consumo excesivo](https://reader035.vdocumento.com/reader035/viewer/2022071517/613bafe9f8f21c0c8269234e/html5/thumbnails/30.jpg)
Barcelona, Noviembre, 2006
FIN