PARALELISMO VIA CPUS MULTIHILOS Y MULTINUCLEOSIntroducción

Son tecnologías que permiten mejorar el rendimiento de las CPUs.Ambos diseños soportan multiprogramación (multitasking) vía programas paralelos ó corriendo

aplicaciones concurrentemente.Primero fueron diseñados los CPUs multihilos que utilizan un contexto a nivel de hardware

alternando entre hilos, para reducir el tiempo de los recursos.Poco después se diseñaron CPUs que integraban más de un núcleo en un único chip. Hoy en día

tenemos procesadores de hasta 8 núcleos.

Espectro de diseño

Tanto los CPUs multihilos, como los multinúcleo, explotan concurrencia ejecutando múltiples hilos, aunque sus objetivos de diseño son distintos.

Los CPUs multihilos soportan hilos ejecutados concurrentemente, pero lo hacen a nivel de instrucción, apuntando a una mejor utilización de la CPU, planteando instrucciones desde múltiples hilos.

Los CPUs multinúcleo alcanzan la concurrencia de hilos a un nivel más alto concentrándose menos en la utilización por núcleo y apuntando a la escalabilidad vía replicación de núcleos.

Núcleos Multihilos

Los núcleos multihilo ejecutan de manera concurrente múltiples hilos de procesamiento, de uno o varios programas. Cada hilo sobre el chip necesita su única componente de estado como instruction pointer y registros de control. El número de hilos sobre el chip determina el número de replicaciones necesarias de componentes de estado y el máximo grado de concurrencia soportado por hardware y saturación por unidades de ejecución. Mas hilos también mejoran las posibilidades de esconder latencias de memoria de acceso (memory acces latency) o stall por malas predicciones de rama. El crecimiento del costo es aproximadamente lineal hasta al menos 8 hilos, pero es claramente superlineal de ahí en adelante.

El número de hilos sobre el chip por núcleo típicamente soportado por un procesador comercial tiene un rango desde 2 en Intel Xeon hasta 8 en Suns UltraSPARC T2.

La mayoría de los cpus emplean el último enfoque llamado Simultaneous Multithreading (SMT) y que Intel lo llama Hyperthreading Technology (HTT). El SMT ejecuta instrucciones de varios hilos distintos en un mismo ciclo de reloj, usando un único procesador.

CPUs Multinucleo

Los núcleos Multihilos tienen una limitada escalabilidad, atado por el punto de saturación de las unidades de ejecución y el costo de hilos adicionales. En cambio los CPU’s multinúcleos prometen mas potencia por escalabilidad. Los primeros chips multicore fueron construidos como una simple unión de diseños de CPU’s de un solo núcleo ya existentes. Estos chips retuvieron mucha de la arquitectura de su precedente, replicando solo el control y unidades de ejecución y compartiendo las

unidades faltando por chip: cache, controlador de memoria, unidades de procesamiento secundarias como unidades de punto flotante (FPUS, componentes de enfriamiento y pines de salida del micro.

Sin embargo, tienen una desventaja en relación con el intercambio de contención de los recursos compartidos.

Las tendencias de desarrollo indican un movimiento hacia la replicacion adicional sobre los componentes de chips, como los controladores de memoria y cache, que pueden ser privadas o compartidas.

Cache compartido vs. Cache privado

CACHE: es un conjunto de datos duplicados de otros originales, con la propiedad de que los datos originales son costosos de acceder, normalmente en tiempo, respecto a la copia en caché.

La primera vez que se accede al dato, se hace una copia en el caché y los accesos siguientes al dato se hacen sobre esta copia. Con lo que se obtiene menor tiempo de acceso medio al dato.

El rasgo mas importante para mejorar la performance de las CPUS es la concurrencia. El segundo rasgo mas importante es el caché.

Debido a que las velocidades de los micros son muy superiores a los tiempos de acceso a una memoria, se crea una brecha. Para mitigar esto, se explota el espacio disponible en chip para poner mas memorias de caché.

Algunos CPUS optan por caminos totalmente diferentes, poniendo nada de cache y escondiendo las latencias de memorias mediante multithreading o usando memorias de direccionamiento de alta velocidad.

La mayoría de los CPUS multinucleos utilizan un cache L1 privado por núcleo para reducir la contención para este nivel de cache critico.

CONTENCION de un recurso es la competencia de usuarios por un recurso del sistema al mismo tiempo.

Entonces, por cada núcleo, un cache L1 privado. Si el núcleo tiene multihilo, el cache L1 se comparte entre los hilos del núcleo.

Además, tienen un cache L2 que puede ser privado y dedicado a cada núcleo o compartido entre varios núcleos.

El cache L3 históricamente estuvo fuera del chip y compartido pero en la actualidad algunos CPUS lo ponen sobre el chip.

Si el cache compartido o privado es mas beneficioso depende de la utilización del espacio del chip, y las características de la aplicación.

Caches compartidos son importantes si los hilos de la misma aplicación se ejecutan en múltiples núcleos y comparten una cantidad significante de información. En estos casos es más económico, evita múltiples copias de la información y transferencias de cache a cache.

La desventaja es que puede imponer altas demandas de interconexión.Si los hilos no comparten mucha información pueden COMPETIR por el cache. Esto hace

difícil predecir el servicio a cada hilo ya que depende de patrones de memoria, carga total del sistema, etc.

Los caches privados son una solución fácil para aislar el desempeño y garantizar un servicio predecible.

Hay una opción más flexible: el diseño hibrido. Diferentes números de bancos de cache que pueden ser COMPARTIDOS o PRIVADOS, dependiendo de las necesidades de los hilos corriendo en el momento en el sistema. Este diseño soporta hilos que comparten información y que no.

Recursos compartidos vs. Recursos privados

A diferencia de los diseños multinucleos que tienden a replicar la mayor cantidad de recursos, COMPARTIR RECURSOS es la opción predominante en el multithreading de hardware.

De todos modos, algún nivel de replicación y partición es necesario. Replicación es esencial para unidades de ejecución que puedan ser sujetas a altas contenciones. Partición estática o dinámica de recursos para garantizar a cada hilo acceso exclusivo a su parte. Es una solución para proveer progreso justo e independiente a la ejecución de cada hilo.

Compartir permite más flexibilidad en el uso de recursos.

Tolerancia a fallas

Fallas: Ruido Eléctrico. Defectos menores permanentes en el silicio (Fallas en componentes

individuales) que se expanden provocando la falla del chip entero.Soluciones:

Particionamiento de unidades replicadas y separables. Múltiples interconexiones dentro del chip. Controladores de memoria. Múltiples bancos de cache.

Esto lleva a soportar diferentes grados de aislación contra compartición y separación de componentes que funcionan de los que no funcionan.Estas soluciones incrementan mucho la tolerancia a fallos.

Interconexiones

Otro rasgo importante que impacta en el performance de los chips multinúcleos es la comunicación entre los diferentes componentes sobre el chip: núcleos, cache, y -si están integrados- controladores de memoria y controladores de red. Los primeros diseños usaban un bus como en los sistemas tradiciones de múltiples CPU. La tendencia ahora cambio a una Crossbar u otros mecanismos avanzados para reducir latencias y contención. Por ejemplo, los CPUS de AMD emplean una Crossbar, y el TileraTILE64 implementa “Non-blocking multilink mesh”.

La interconexión se puede volver cara. Una Crossbar de 8x8 sobre el chip puede consumir tanta área como cinco núcleos y tanta energía como dos núcleos.

En caches privados en el chip, el intercambio de datos entre hilos corriendo en diferentes núcleos necesitó usar la conexión fuera del chip. Caches compartidos sobre el chip naturalmente soportan intercambio de información entre hilos corriendo en diferentes núcleos. Así, introduciendo un

nivel de cache compartido en el chip (comúnmente L2, o en las tendencias mas recientes L3) ayudaron a reducir trafico fuera del chip.

A medida que el procesamiento de datos aumenta con mas hilos paralelos, demanda además un incremento en la comunicación fuera del chip para: acceso a memoria, entrada/salido o comunicación CPU-a-CPU. Para direccionar estos requerimientos, la comunicación fuera del chip esta tendiendo de “basada-en-bus” a “basada-en-paquetes”, interconexiones punto-a-punto. AMD implemento este concepto por primera vez como HyperTransport, seguido por las interconexiones de Intel's QuickPath.

Diseños especializados

Algunos procesadores multinucleos están hechos para cargas de trabajo muy específicas. La serie Blue Vega de aplicación de cómputo usa chips multinucleos con hasta 48 núcleos, cada uno incluyendo unidades especiales de ejecución diseñadas para incrementar el desempeño de operaciones Java. El Tilera TILE64 para procesamiento de información usa 64 núcleos simples de bajo consumo, su capacidad de dataflow lo hace una buena elección para sistemas embebidos.

Los GPUS (graphic processing units) representan el ejemplo extremo de diseño multinucleo especializado. Los GPUS modernos tienen 10 o mas núcleos, cada uno optimizado para procesamiento de data SIMD (Single Instruction-Multiple Data), hecho vía cientos o miles de hilos simplificados por núcleo. Esto los hace útiles para complicados procesos numéricos como rendering de video, estudios de genética, modelado científico o criptografía.

Complejidad de núcleos vs. Numero de núcleos

Optimización Incrementar velocidad de Ejecución fuera de ordenTradicional Ejecución serie de un único hilo Relojes más rápidos

Predicción dinámica de lazos

La disponibilidad del paralelismo a nivel de hilo e instrucción es la decisión más importante para simplificar diseños tradicionales de CPUs y permitir mayor parte del circuito a la concurrencia.Otros chips incrementan la complejidad para maximizar el desempeño por núcleo.

Los CPUS que se concentran en desempeño por hilo generalmente tienen relojes de más alta frecuencia que aquellos que se concentran en soporte para muchos hilos.

El uso del espacio extra del chip para mejorar el desempeño de cada hilo produce ganancias no lineales (El desempeño se duplica cuando la complejidad se cuadruplica).

Desempeño Los programas secuenciales no pueden explotar la concurrencia del chip. Por aplicación

En programas paralelos, algunas partes del algoritmo se deben correr secuencialmente.

Conclusiones:

Mayor número de núcleos simples es preferible mientras la parte secuencial de la aplicación sea pequeña, sino son más beneficiosos los núcleos más complejos.

Debido a la demanda de espacio en el chip para interconexiones entre gran numero de núcleos y a la escalabilidad limitada de aplicaciones puede resultar más beneficioso utilizar núcleos más complejos.

Las aplicaciones que pueden explotar mucho del pico teórico de desempeño (intensivas en punto flotante, alto paralelismo de instrucciones en aplicaciones numéricas) pueden tener mejores resultados si se usan núcleos más complejos.

Una mejora para el desempeño por hilo seria colocar más recursos del chip dinámicamente, como ejecución especulativa.

Esto beneficia aplicaciones con mucha dependencia de datos y errores de cache.Una implementación ya aplicada en algunos CPUs multihilos coloca recursos particionados a

un hilo si se corre en modo “Única Tarea”.La investigación indica que los procesadores que poseen muchos núcleos simples y unos pocos

núcleos de alto rendimiento pueden proveer el mayor poder de procesamiento para un dado espacio de chip y presupuesto energético. Pero esto tiene como desventaja que dichos procesadores no se obtienen comercialmente, y además, son difíciles de diseñar y programar.

Costo y consumo de energía

La performance no domina más los objetivos de diseño: Los costos de fabricación de chips y la tolerancia a falla, consumo de energía y disipación de calor se volvieron consideraciones críticas.

A medida que los núcleos se simplifican, el consumo de energía disminuye linealmente, lo cual es una gran ventaja en CPUS multinúcleos. Una mejor eficiencia de energía y una generación de calor reducida permiten integraciones de más núcleos en un único CPU, con el cambio (tradeoff) que el presupuesto de energía para las interconexiones incrementa con el número de núcleos. El uso de energía afecta la elección entre diseños multinúcleos y diseños de un núcleo Multihilo. Los primeros son eficientes con respecto a la energía, pero diseños híbridos con múltiples núcleos SMT logran casi el mismo performance por watt como diseños puro CMP (Chip-level MultiProcessing).

A pesar de que el CPU consume el 25 a 45% de la energía que consume un servidor, los costos proyectados de electricidad para un término de cuatros años se acercan al precio del sistema entero.

En el caso de maquinas de alto-performance de computo, construyendo soluciones de enfriamiento personalizadas puede costar tanto como la computadora misma. Además, la reducción de consumo de energía permite mayor densidad de racks en habitaciones de servidores.

El desafío del software

En el futuro, la tendencia dice que habrá CPUS de cada vez más hilos y más núcleos. Sin embargo, la concurrencia de hardware solo puede ser explotada con múltiples programas seriales o con aplicaciones en paralelos.

Hay limites para mejorar el desempeño por hilo ya que las instrucciones seriales deben ejecutarse una tras otra, por lo tanto el código serial debe ser cuidadosamente optimizado.

La mayor parte de los softwares no esta preparado para la concurrencia. Las posibilidades para extraer paralelismo automáticamente están limitadas y el paralelismo debe ser expresado explícitamente.

Herb Sutter considera que cambiar hacia programación paralela sea la próxima revolución después de la introducción de programación orientada a objetos.

Escribiendo correcta y eficientemente programas paralelos es un gran desafío que requiere mejores herramientas y modelos de programación más abstractos para hacer la programación de hilos más segura y conveniente.

Incluso si la información puede ser compartida, muchos programadores usan exclusivamente procesos sin que importen los beneficios de usar softwares multithreaded en memoria compartida de nodos simétricos multiprocesales.

Los clusters HPC con nodos de muchos núcleos pueden requerir el uso de programación de hilos/modelos de procesos híbridos para mayor eficiencia y escalabilidad.Las aplicaciones HPC van a necesitar mostrar un grado mayor de paralelismo que antes para explotar la concurrencia de hardware ofrecidos por los CPUS multinucleos.

Un factor limitante es que el desempeño de núcleos adicionales es menor que el de CPUS adicionales, excepto cuando los hilos comparten información.

Sobre los sistemas operativos: los organizadores (schedulers) de los CPUS tradicionales necesitaron modificaciones para acomodar la heterogeneidad y diferencias de desempeño en la jerarquía de CPUS, núcleos e hilos de hardware.

Schedulin con el objetivo de minimizar la contención de recursos es importante si la maquina esta con carga total.

Dirección propuesta para CPUs multihilos y multinucleos.

Según la ley de Moore, los diseños de chips van a crecer a grandes números de núcleos e hilos de hardware. Sin embargo las comunicaciones fuera del chip y los límites de pines ponen restricciones significantes en la escalabilidad y programabilidad de los chips, ya que impactan en la tasa de transferencia de datos desde y hacia los núcleos.

Para computación común se opta por diseños híbridos. Un bajo nº de hilos sobre un chip puede añadirse por relativamente poca circuitería adicional y pueden incrementar significativamente el Througput. Así el espacio del chip es generalmente mejor explotado para más núcleos, cache u otros componentes.

Con respecto a los límites de software, pocas aplicaciones pueden usar muy alta concurrencia para incrementos en el performance.

El éxito de diseños de multinucleos depende altamente de que existan las herramientas de programación correcta, librerías y modelos.

Los cpus actuales en el mercado, ofrecen diferentes opciones de acuerdo a su diseño y uso del espacio del chip.

Consideraciones de diseño NO solo incluyen el número de núcleos e hilos sino también la complejidad de los núcleos, interconexiones, tamaños de cache y el grado en que los componentes se comparten.

Ya que las decisiones de diseño incluyen cambios (algo por algo, no puedo mejorar algo sin descuidar otra cosa) son necesarios diseños que se concentren en la relación funcional entre las partes y el todo, llevados por las aplicaciones de destino y criterios adicionales de optimización como la consumición de energía, la disipación de calor, tolerancia a falla y costo

NOTA: Se llama throughput al volumen de información que fluye a través de un sistema.