Evaluación de Performance mediante Benchmarks66.20 Organización de Computadoras

Benchmark

Programa que permite evaluar y medir el rendimiento (performance) de un sistema.

Se toma como referencia, para comparar un sistema (computadora) respecto a otro sistema.

Existen de diferentes “sabores”, para evaluar diferentes aspectos (CPU, E/S, procesamiento gráfico, DBMS, etc.).

Tipos de Benchmarks

Aplicaciones reales. Aplicaciones modificadas (para evaluar un

aspecto determinado). Kernels. Benchmarks de juguete (entre 10 y 100

líneas). Benchmarks sintéticos (emulan uno real).

Series de Benchmarks (suites)

Son colecciones de benchmarks. Uno de los más exitosos corresponde a

SPEC (Standard Performance Evaluation Corporation). http://www.spec.org/Para PCs de escritorio (CPU o gráficos).Para servidores.Para empotradas.

Standard Performance Evaluation Corporation (SPEC) Viene generando benchmarks desde

1989.Año 1989: “SPECmark” (10 programas, 4

escritos en C, y el resto en Fortran).Año 1992: “SPECint92” y “SPECfp92”Año 1995: “SPECint95” y “SPECfp95”Año 2000: “SPEC CPU2000”

Informe de Resultados

Los benchmarks se utilizan para tener puntos de referencia al comparar distintos sistemas.

Se espera que los resultados sean públicos (para poder comparar).

En el caso de los SPEC, pueden consultarse en: http://www.spec.org/cpu2000/results/

Informe de Resultados (cont.)

Deben ser reproducibles por otros investigadores.

Para ello, se debe incluir información precisa respecto de los programas ejecutados, y de la máquina utilizada.

Informe de Resultados (cont.)

En el caso de SPEC CPU2000, existen flags que permiten ejecutar los programas con distintos niveles de optimización.

Típicamente se realizan dos tipos de ejecuciones:Base.Optimizada (compilación agresiva).

Informe de Resultados (cont.)

Comparación de performance

Un workload está integrado por varios programas (benchmarks).

Comparación de performance (cont.) No sirve medir cada programa por

separado. Interesa una medida global, que

represente al workload (un valor único). Existen varias aproximaciones.

Media aritmética ponderada.Media geométrica.Media armónica.

Media Aritmética Ponderada

Media aritmética ponderada:

Aplica cuando se manejan tiempos. Simple de calcular. Normalmente no se conocen los pesos wi. No es consistente con los tiempos totales de ejecución.

Media Geométrica

Media geométrica:

Tiempo de ejecución de un programa, respecto a una máquina de referencia(“normalizado”).

Media Geométrica: Ventajas

La media geométrica es consistente (no importa la máquina que se tome como referencia).

Es independiente de la frecuencia de ejecución (wi) de cada programa en el workload.

Media Geométrica: Desventajas

Muchas veces es necesario contemplar la frecuencia wi de cada programa dentro del workload.

No siempre es consistente respecto a los tiempos totales de ejecución.

Media Armónica

Media armónica:

Típicamente, MIPS, MFLOPS, etc.

Ejemplo

¿Cuál es la velocidad promedio del avión, a lo largo de todo el viaje?

CiudadA

CiudadB

CiudadC

CiudadD

1000 km/h

1200 km/h

800 km/h

1000 km

1000

km

1000 km

Ejemplo (cont.)

Media aritmética:VMEDIA = (1000 + 1200 + 800 ) / 3 = 1000 km/h

Media aritmética ponderada:VMEDIA = 0.33x1000 + 0.33x1200 + 0.33x800 = 990 km/h

Media geométrica:VMEDIA = ( 1000 x 1200 x 800 )1/3 = 986 km/h

Media armónica:VMEDIA = 3 / ( 1/1000 + 1/1200 + 1/800 ) = 973 km/h

Ejemplo

Se ejecuta un workload formado por dos benchmarks: P1 y P2.

Cada programa ejecuta en cada máquina 100 millones de instrucciones de PF.

Ejemplo (cont.)

Se calculan las medias aritmética, armónica y geométrica, en base a los MFLOPS.

Benchmarks SPEC

Normaliza los tiempos de ejecución de cada programa, respecto a una máquina de referencia (UltraSparc 10).

Calcula la media geométrica de los tiempos normalizados.

Benchmarks SPEC (cont.)

Benchmarks SPEC (cont.)

Evaluación de Performance mediante Benchmarks66.20 Organización de Computadoras