técnicas de aprendizaje automático y computación...

17
MODELOS INTEGRADORES POR HORIZONTES GENERAL POR TIPO DE TIEMPO REGIONAL INTERVALOS DE PREDICCIÓN (ESTIMACIÓN DE INCERTIDUMBRE) PUNTOS A TRATAR

Upload: others

Post on 03-Apr-2020

3 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Técnicas de Aprendizaje Automático y Computación Evolutivaprosol.uc3m.es/Presentacion_UC3M.pdf · 2018-11-25 · Rojo: sin usar el tipo de tiempo. Azul: usando tipo de tiempo como

M O D E L O S I N T E G R A D O R E S

• POR HORIZONTES

• GENERAL

• POR TIPO DE TIEMPO

• REGIONAL

• INTERVALOS DE PREDICCIÓN (ESTIMACIÓN DE INCERTIDUMBRE)

PUNTOS A TRATAR

Page 2: Técnicas de Aprendizaje Automático y Computación Evolutivaprosol.uc3m.es/Presentacion_UC3M.pdf · 2018-11-25 · Rojo: sin usar el tipo de tiempo. Azul: usando tipo de tiempo como

Modelo Integrador

Combinación de 4 predictores utilizando aprendizajeautomático:

𝐼 = 𝑓(𝑃1, 𝑃2, 𝑃3, 𝑃4)P1: Smart Persistence; P2: Satélite; P3: CIADCast; P4: WRF-Solar

F es aproximada utilizando Support Vector Machines (SVM). Kernel Lineal y Kernel Radial (Gausiano).

Metodología estándar: ajuste hiper-parámetros, evaluación con validación cruzada.

I: Radiación Global (GHI) y Radiación Directa (DNI)

Predicción en diferentes horizontes temporales, h=15, 30,…, 360 minutos

Diferentes aproximaciones: Por Horizontes

Global o General

Page 3: Técnicas de Aprendizaje Automático y Computación Evolutivaprosol.uc3m.es/Presentacion_UC3M.pdf · 2018-11-25 · Rojo: sin usar el tipo de tiempo. Azul: usando tipo de tiempo como

Modelo Integrador: Por horizontes

Construir un modelo para cada horizonte de predicción

𝑃𝑖 𝑡, ℎ : predicción del predictor Pi en el instante t para el horizonte t+h

𝐼(𝑡 + ℎ) =

𝑓15 𝑃1(𝑡, 15),𝑃2(𝑡, 15),𝑃3(𝑡, 15),𝑃4(𝑡, 15) , 𝑖𝑓 ℎ = 15

𝑓30 𝑃1(𝑡, 30),𝑃2(𝑡, 30),𝑃3(𝑡, 30),𝑃4(𝑡, 30) , 𝑖𝑓 ℎ = 30…

𝑓360 𝑃1(𝑡, 360),𝑃2(𝑡, 360),𝑃3(𝑡, 360),𝑃4(𝑡, 360) , 𝑖𝑓 ℎ = 30

Uso

Entrenamiento

Page 4: Técnicas de Aprendizaje Automático y Computación Evolutivaprosol.uc3m.es/Presentacion_UC3M.pdf · 2018-11-25 · Rojo: sin usar el tipo de tiempo. Azul: usando tipo de tiempo como

Modelo Integrador: Global

Construir un único modelo válido para todos los horizontes de predicción

Uso

𝐼(𝑡 + ℎ) = 𝑓(𝑃1(𝑡,ℎ),𝑃2(𝑡, ℎ),𝑃3(𝑡,ℎ),𝑃4(𝑡,ℎ))

Entrenamiento𝑃𝑖 𝑡, ℎ : predicción del predictor Pi en el instante t para el horizonte t+h

Page 5: Técnicas de Aprendizaje Automático y Computación Evolutivaprosol.uc3m.es/Presentacion_UC3M.pdf · 2018-11-25 · Rojo: sin usar el tipo de tiempo. Azul: usando tipo de tiempo como

Resultados: Por horizontes versus Global

Nota: los errores son las medias para todos los horizontes

GHI nRMSE nMAE

Jaen Lisbon Madrid Seville Jaen Lisbon Madrid Seville

Satellite 0,3585 0,4997 0,3953 0,3364 0,2263 0,3686 0,2718 0,2049

WRFsolar 0,3535 0,5111 0,3630 0,3237 0,2193 0,3395 0,2378 0,1875

SmartPersistence 0,3487 0,5010 0,3870 0,3423 0,1950 0,3288 0,2323 0,1886

CIADCast 0,3536 0,5076 0,4161 0,3382 0,2278 0,3686 0,2968 0,2123

SVM_Radial General 0,2919 0,4194 0,3289 0,2767 0,1675 0,2902 0,2012 0,1592

SVM_Linear General 0,2898 0,4167 0,3233 0,2723 0,1740 0,2943 0,2085 0,1655

SVM_Radial Horizon 0,2897 0,4231 0,3250 0,2786 0,1764 0,3035 0,2079 0,1708

SVM_Linear Horizon 0,2883 0,4138 0,3220 0,2728 0,1734 0,2951 0,2080 0,1643

DNI nRMSE nMAE

Jaen Lisbon Madrid Seville Jaen Lisbon Madrid Seville

Satellite 0,5336 0,8899 0,6669 0,5135 0,3625 0,6796 0,4653 0,3474

WRFsolar 0,5436 0,8921 0,6786 0,4872 0,3664 0,6333 0,4618 0,3248

SmartPersistence 0,5249 0,8741 0,6260 0,5156 0,2974 0,5714 0,3735 0,2914

CIADCast 0,5521 0,9095 0,7073 0,5446 0,3824 0,6917 0,5099 0,3737

SVM_Radial General 0,4515 0,7399 0,5619 0,4254 0,2709 0,5051 0,3550 0,2514

SVM_Linear General 0,4679 0,7835 0,5704 0,4280 0,2890 0,5505 0,3654 0,2741

SVM_Radial Horizon 0,4442 0,7345 0,5575 0,4208 0,2752 0,5143 0,3627 0,2597

SVM_Linear Horizon 0,4478 0,7450 0,5548 0,4181 0,2855 0,5476 0,3633 0,2715

Page 6: Técnicas de Aprendizaje Automático y Computación Evolutivaprosol.uc3m.es/Presentacion_UC3M.pdf · 2018-11-25 · Rojo: sin usar el tipo de tiempo. Azul: usando tipo de tiempo como

Resumen conclusiones modelos integradores

Todos los modelos integradores obtienen errores más pequeños que los predictores de partida

Las diferencias entre los modelos integradores son pequeñas

Pero se pueden distiguir algunas tendencias: Los modelos por horizontes funcionan mejor para nRMSE

GHI y DNI

Para casi todas las estaciones

El modelo general radial funciona mejor para nMAE

GHI y DNI

Para todas las estaciones

Page 7: Técnicas de Aprendizaje Automático y Computación Evolutivaprosol.uc3m.es/Presentacion_UC3M.pdf · 2018-11-25 · Rojo: sin usar el tipo de tiempo. Azul: usando tipo de tiempo como

Resultados GHI: Por horizontes versus Global (Sevilla)

Page 8: Técnicas de Aprendizaje Automático y Computación Evolutivaprosol.uc3m.es/Presentacion_UC3M.pdf · 2018-11-25 · Rojo: sin usar el tipo de tiempo. Azul: usando tipo de tiempo como

Significación estadística para GHI

A for General-Radial

B for General-Lineal

D for Horizon-Linear

C for Horizon-Radial

• Las diferencias entre modelos son pequeñas pero estadísticamente significativas• Aunque en media General-radial funciona mejor, su comportamiento para

distintos horizontes depende de la estación (ej: en Lisboa el modelo Horizon-radial es mejor para los primeros horizontes).

• Negro: significativamente mejor

• Blanco: significativamente peor

• Gris: diferencia no significativa

Page 9: Técnicas de Aprendizaje Automático y Computación Evolutivaprosol.uc3m.es/Presentacion_UC3M.pdf · 2018-11-25 · Rojo: sin usar el tipo de tiempo. Azul: usando tipo de tiempo como

Modelo Integrador: Tipo de tiempo

• Nota: se trata de la media de los errores para las tres primeras horas• El conocer el tipo de tiempo ayuda especialmente a RMSE (tanto GHI como DNI)

GHI nRMSE nMAE

Jaen Lisbon Madrid Seville Jaen Lisbon Madrid Seville

SVM_Radial WT 0,2674 0,3383 0,2940 0,2440 0,1460 0,2214 0,1738 0,1346

SVM_Linear WT 0,2582 0,3280 0,2878 0,2376 0,1449 0,2143 0,1727 0,1348

SVM_Radial General 0,2628 0,3324 0,2935 0,2444 0,1435 0,2141 0,1712 0,1346

SVM_Linear General 0,2597 0,3315 0,2883 0,2388 0,1491 0,2193 0,1793 0,1388

SVM Radial Horizon 0,2598 0,3302 0,2889 0,2461 0,1506 0,2126 0,1751 0,1439

SVM Linear Horizon 0,2613 0,3324 0,2894 0,2392 0,1477 0,2152 0,1777 0,1383

DNI nRMSE nMAE

Jaen Lisbon Madrid Seville Jaen Lisbon Madrid Seville

SVM_Radial WT 0,3986 0,5590 0,4892 0,3737 0,2280 0,3601 0,2966 0,2087

SVM_Linear WT 0,3822 0,5475 0,4739 0,3575 0,2249 0,3604 0,2898 0,2120

SVM_Radial General 0,3964 0,5496 0,4778 0,3698 0,2226 0,3518 0,2839 0,2051

SVM_Linear General 0,3979 0,5627 0,4850 0,3684 0,2305 0,3662 0,2949 0,2217

SVM Radial Horizon 0,3865 0,5453 0,4740 0,3614 0,2216 0,3465 0,2849 0,2087

SVM Linear Horizon 0,4005 0,5664 0,4856 0,3675 0,2271 0,3602 0,2909 0,2193

Page 10: Técnicas de Aprendizaje Automático y Computación Evolutivaprosol.uc3m.es/Presentacion_UC3M.pdf · 2018-11-25 · Rojo: sin usar el tipo de tiempo. Azul: usando tipo de tiempo como

Modelo Integrador: Tipo de tiempo (RMSE)

Page 11: Técnicas de Aprendizaje Automático y Computación Evolutivaprosol.uc3m.es/Presentacion_UC3M.pdf · 2018-11-25 · Rojo: sin usar el tipo de tiempo. Azul: usando tipo de tiempo como

Modelo Integrador: Modelo Regional

Se trata de un modelo que se puede utilizar cuando únicamente interesa una predicción a nivel regional (no predicciones en localizaciones concretas)

Hemos supuesto que Jaen, Lisboa, Madrid, Sevilla son buenos representantes de la región de interés

Una posible aproximación es que el modelo regional sea simplemente la media de los modelos locales:

La otra aproximación es construir un único modelo que prediga directamente la media de la región

Las entradas del modelo, en este caso, eran 16 (4 predictores * 4 estaciones)

Puede ser interesante cuando sólo se disponga de datos de producción agregados

𝐼(𝑡 + ℎ) =1

𝑟 𝑓𝑠(𝑃1

𝑠(𝑡,ℎ),𝑃2𝑠(𝑡,ℎ),… ,𝑃𝑛

𝑠(𝑡,ℎ))

𝑟

𝑠=0

Page 12: Técnicas de Aprendizaje Automático y Computación Evolutivaprosol.uc3m.es/Presentacion_UC3M.pdf · 2018-11-25 · Rojo: sin usar el tipo de tiempo. Azul: usando tipo de tiempo como

Modelo Integrador: Modelo Regional (media)𝐼(𝑡 + ℎ) =

1

𝑟 𝑓𝑠(𝑃1

𝑠(𝑡,ℎ),𝑃2𝑠(𝑡,ℎ),… ,𝑃𝑛

𝑠(𝑡,ℎ))

𝑟

𝑠=0

Page 13: Técnicas de Aprendizaje Automático y Computación Evolutivaprosol.uc3m.es/Presentacion_UC3M.pdf · 2018-11-25 · Rojo: sin usar el tipo de tiempo. Azul: usando tipo de tiempo como

Media vs. Directo

GHI nRMSE nMAE

Media Directo Media Directo

SVM_Radial General 0,1694 0,1748 0,1187 0,1251

Nota: también el modelo directo obtiene errores más pequeños que cualquiera de los modelos locales

Page 14: Técnicas de Aprendizaje Automático y Computación Evolutivaprosol.uc3m.es/Presentacion_UC3M.pdf · 2018-11-25 · Rojo: sin usar el tipo de tiempo. Azul: usando tipo de tiempo como

Estimación incertidumbre

I N T E R V A L O S D E P R E D I C C I Ó N

R E S U L T A D O S P R E L I M I N A R E S

Page 15: Técnicas de Aprendizaje Automático y Computación Evolutivaprosol.uc3m.es/Presentacion_UC3M.pdf · 2018-11-25 · Rojo: sin usar el tipo de tiempo. Azul: usando tipo de tiempo como

Multi-objective lower-upper bound estimation

Red de neuronas cuyas salidas son los extremos del intervalo [y1, y2]

Las entradas son, en este caso, los predictores (satélite, CIADCAST, …) y el tipo de tiempo

La red se entrena con un algoritmo evolutivo (Multi-objective Particle SwarmOptimization = MOPSO)

El resultado es un frente de Pareto: cobertura (PICP = prediction interval coverageprobability) vs. Anchura media (AIW = average interval width)

Cada punto del frente es una red con una cobertura y una anchura media

Page 16: Técnicas de Aprendizaje Automático y Computación Evolutivaprosol.uc3m.es/Presentacion_UC3M.pdf · 2018-11-25 · Rojo: sin usar el tipo de tiempo. Azul: usando tipo de tiempo como

Resultados preliminares intervalos

Eje y: cobertura / anchura media = PICP/AIW

Eje x: horizonte (1=15 min, 2=30 min, 3=45 min, 4=60 min)

Rojo: sin usar el tipo de tiempo. Azul: usando tipo de tiempo como entrada

Gráficos boxplot (30 ejecuciones de MOPSO) para distintas coberturas (PINC)

Conocer el tipo de tiempo permite obtener intervalos con más ratio

Diferencias estadísticamente significativas

1 = 15 min, 2 = 30 min, 3 = 45 min, 4 = 60 min

90%91%92%

93%94%95%

Page 17: Técnicas de Aprendizaje Automático y Computación Evolutivaprosol.uc3m.es/Presentacion_UC3M.pdf · 2018-11-25 · Rojo: sin usar el tipo de tiempo. Azul: usando tipo de tiempo como

Resultados preliminares intervalos

90%91%92%

93%94%95% Eje y: anchura media (AIW)

Eje x: horizonte (1=15 min, 2=30 min, 3=45 min, 4=60 min)

Rojo: sin usar el tipo de tiempo. Azul: usando tipo de tiempo como entrada

Gráficos boxplot (30 ejecuciones de MOPSO) para distintas coberturas (PINC)

Conocer el tipo de tiempo permite obtener intervalos más estrechos

Diferencias estadísticamente significativas

1 = 15 min, 2 = 30 min, 3 = 45 min, 4 = 60 min