![Page 1: Análisis Estadístico de Datos Climáticos Verificación y ...meteo.fisica.edu.uy/Materias/Analisis_Estadistico_de_Datos_Climaticos/teorico_AEDC/...la exploración y evaluación de](https://reader033.vdocumento.com/reader033/viewer/2022042020/5e77c046a684795a677d624e/html5/thumbnails/1.jpg)
Análisis Estadísticode
Datos Climáticos
Análisis Estadísticode
Datos Climáticos
Facultad de Ciencias – Facultad de Ingeniería
2011
A. Díaz – M. Bidegain - M. Barreiro
Verificación y valor de los pronósticos
![Page 2: Análisis Estadístico de Datos Climáticos Verificación y ...meteo.fisica.edu.uy/Materias/Analisis_Estadistico_de_Datos_Climaticos/teorico_AEDC/...la exploración y evaluación de](https://reader033.vdocumento.com/reader033/viewer/2022042020/5e77c046a684795a677d624e/html5/thumbnails/2.jpg)
Verificación de pronósticos
Una definición: La verificación de pronósticos es la exploración y evaluación de la calidad de un sistema de pronósticos basado en una muestra de pronósticos previos y en las observaciones correspondientes.
Aquí la calidad tiene que ver con la capacidad de los pronósticos para reducir la incertidumbre sobre el estado futuro (desconocido) de un sistema. (Para eso se hacen los pronósticos…)
![Page 3: Análisis Estadístico de Datos Climáticos Verificación y ...meteo.fisica.edu.uy/Materias/Analisis_Estadistico_de_Datos_Climaticos/teorico_AEDC/...la exploración y evaluación de](https://reader033.vdocumento.com/reader033/viewer/2022042020/5e77c046a684795a677d624e/html5/thumbnails/3.jpg)
Está bastante aceptado que la calidad de un pronóstico
tiene muchos atributos diferentes que no pueden ser
resumidos con un solo indicador o medida (“score”).
En general, son necesarios varios scores para poder
medir la calidad de un pronóstico.
Nota: los métodos para verificar pronósticos son
también útiles para otros problemas como comparar
dos conjuntos de datos (p. ej., cuando se usa un
conjunto para estimar al otro).
![Page 4: Análisis Estadístico de Datos Climáticos Verificación y ...meteo.fisica.edu.uy/Materias/Analisis_Estadistico_de_Datos_Climaticos/teorico_AEDC/...la exploración y evaluación de](https://reader033.vdocumento.com/reader033/viewer/2022042020/5e77c046a684795a677d624e/html5/thumbnails/4.jpg)
Las razones para realizar verificación de pronósticos son de 3 tipos:
• administrativas
• científicas
• económicas
Además los resultados de la verificación deberían dar información de interés, no realizarse por mera conveniencia.
![Page 5: Análisis Estadístico de Datos Climáticos Verificación y ...meteo.fisica.edu.uy/Materias/Analisis_Estadistico_de_Datos_Climaticos/teorico_AEDC/...la exploración y evaluación de](https://reader033.vdocumento.com/reader033/viewer/2022042020/5e77c046a684795a677d624e/html5/thumbnails/5.jpg)
El predictando (es decir, aquello que se quiere
predecir) puede ser:
• continuo
(temperatura, presión, precipitación, etc)
• discreto (categórico)
(ocurrencia o no ocurrencia, valor por encima o debajo
de una referencia, o en un rango, cobertura de nubes
(ordinal), tipo de nubes (nominal), etc)
• univariado
![Page 6: Análisis Estadístico de Datos Climáticos Verificación y ...meteo.fisica.edu.uy/Materias/Analisis_Estadistico_de_Datos_Climaticos/teorico_AEDC/...la exploración y evaluación de](https://reader033.vdocumento.com/reader033/viewer/2022042020/5e77c046a684795a677d624e/html5/thumbnails/6.jpg)
• multivariado
(viento, varias variables, campos espaciales en
puntos de grilla)
• una probabilidad
(la probabilidad de que mañana haya niebla es un
40%)
• ensembles de pronósticos de modelos
![Page 7: Análisis Estadístico de Datos Climáticos Verificación y ...meteo.fisica.edu.uy/Materias/Analisis_Estadistico_de_Datos_Climaticos/teorico_AEDC/...la exploración y evaluación de](https://reader033.vdocumento.com/reader033/viewer/2022042020/5e77c046a684795a677d624e/html5/thumbnails/7.jpg)
Pronóstico de Tornados (Finley, 1884)
Osí Ono
Psí
Pno
Indicador de performance de Finley:
Fracción de aciertos:
PC = (28+2680)/2803
= 0.966
Predictando categórico(caso binario)
Matriz de contingencia
![Page 8: Análisis Estadístico de Datos Climáticos Verificación y ...meteo.fisica.edu.uy/Materias/Analisis_Estadistico_de_Datos_Climaticos/teorico_AEDC/...la exploración y evaluación de](https://reader033.vdocumento.com/reader033/viewer/2022042020/5e77c046a684795a677d624e/html5/thumbnails/8.jpg)
Pronóstico alternativo: “Nunca hay Tornado”
Osí Ono
Psí
Pno
Indicador:
Fracción de aciertos
• PC = (0+2752)/2803
= 0.982 (> 0.966!!)
![Page 9: Análisis Estadístico de Datos Climáticos Verificación y ...meteo.fisica.edu.uy/Materias/Analisis_Estadistico_de_Datos_Climaticos/teorico_AEDC/...la exploración y evaluación de](https://reader033.vdocumento.com/reader033/viewer/2022042020/5e77c046a684795a677d624e/html5/thumbnails/9.jpg)
Comentarios
• El esquema de Finley pronosticó correctamente másde la mitad de los tornados ocurridos.
(El otro obviamente no.)
• El score “fracción de aciertos” puede no ser el mejorindicador para sintetizar el valor de este esquema de pronósticos en este caso, porque los pronósticos de “no tornado” son en general correctos. Es decir queno es un buen indicador para eventos “raros”.
• Los aciertos (Psí; Osí) son cruciales, y este score no los destaca.
![Page 10: Análisis Estadístico de Datos Climáticos Verificación y ...meteo.fisica.edu.uy/Materias/Analisis_Estadistico_de_Datos_Climaticos/teorico_AEDC/...la exploración y evaluación de](https://reader033.vdocumento.com/reader033/viewer/2022042020/5e77c046a684795a677d624e/html5/thumbnails/10.jpg)
El esquema de Finley:
• Cuando pronostica tornado, acierta el 28% de los casos.
• Cuando pronostica “no tornado”, se equivoca menos del 1% de los casos.
El otro esquema:
• Nunca acierta un tornado
• Se equivoca el 1.8% de los casos
Recalibración (usuario):
![Page 11: Análisis Estadístico de Datos Climáticos Verificación y ...meteo.fisica.edu.uy/Materias/Analisis_Estadistico_de_Datos_Climaticos/teorico_AEDC/...la exploración y evaluación de](https://reader033.vdocumento.com/reader033/viewer/2022042020/5e77c046a684795a677d624e/html5/thumbnails/11.jpg)
a = aciertos
b = falsa alarmac = fallos
d = negativo correcto
a + b + c + d = n
Otros indicadores para pronósticos binarios
c b a
a CSI TS
++
==
b a
b FAR
+
=
es útil si a << d. Para el caso
Finley da 0.228
false alarm ratio (0.72)
c a
a H
+
=Hit rate (0.55)
etc etc etc…
BIAS= (a+b)/(a+c)(1.96)
![Page 12: Análisis Estadístico de Datos Climáticos Verificación y ...meteo.fisica.edu.uy/Materias/Analisis_Estadistico_de_Datos_Climaticos/teorico_AEDC/...la exploración y evaluación de](https://reader033.vdocumento.com/reader033/viewer/2022042020/5e77c046a684795a677d624e/html5/thumbnails/12.jpg)
• No hay un solo score que resuma toda la información
• Al tratar de resumir la información dada por los valores de la tabla en uno solo, se pierde información
• Se suelen analizar varios conjuntamente
![Page 13: Análisis Estadístico de Datos Climáticos Verificación y ...meteo.fisica.edu.uy/Materias/Analisis_Estadistico_de_Datos_Climaticos/teorico_AEDC/...la exploración y evaluación de](https://reader033.vdocumento.com/reader033/viewer/2022042020/5e77c046a684795a677d624e/html5/thumbnails/13.jpg)
• Los valores de pronósticos de un predictando continuo escalar se pueden dividir en dos rangos separados por un umbral, considerarlos como pronósticos categóricos binarios, y calcular los scoresya vistos.
• También se puede variar ese umbral y graficar los scores en función del umbral.
![Page 14: Análisis Estadístico de Datos Climáticos Verificación y ...meteo.fisica.edu.uy/Materias/Analisis_Estadistico_de_Datos_Climaticos/teorico_AEDC/...la exploración y evaluación de](https://reader033.vdocumento.com/reader033/viewer/2022042020/5e77c046a684795a677d624e/html5/thumbnails/14.jpg)
Ebert, 2002
Ej: Estimación de precipitación por satélite
![Page 15: Análisis Estadístico de Datos Climáticos Verificación y ...meteo.fisica.edu.uy/Materias/Analisis_Estadistico_de_Datos_Climaticos/teorico_AEDC/...la exploración y evaluación de](https://reader033.vdocumento.com/reader033/viewer/2022042020/5e77c046a684795a677d624e/html5/thumbnails/15.jpg)
• También se puede dividir en K intervalos o rangos, y obtener una tabla de contingencia de KxK
![Page 16: Análisis Estadístico de Datos Climáticos Verificación y ...meteo.fisica.edu.uy/Materias/Analisis_Estadistico_de_Datos_Climaticos/teorico_AEDC/...la exploración y evaluación de](https://reader033.vdocumento.com/reader033/viewer/2022042020/5e77c046a684795a677d624e/html5/thumbnails/16.jpg)
Murphy y Winkler (1987) establecieron un marco general para la verificación de pronósticos basado en las distribuciones de probabilidad conjuntas de los eventos observados y pronosticados.
En el caso de variables discretas, si llamamos x al
valor observado, y x’ al correspondiente valor
pronosticado, se llama distribución conjunta de
pronósticos y observaciones p(x’,x) a la
probabilidad de que x’ tome un valor determinado
y, al mismo tiempo, x tome otro valor determinado.
![Page 17: Análisis Estadístico de Datos Climáticos Verificación y ...meteo.fisica.edu.uy/Materias/Analisis_Estadistico_de_Datos_Climaticos/teorico_AEDC/...la exploración y evaluación de](https://reader033.vdocumento.com/reader033/viewer/2022042020/5e77c046a684795a677d624e/html5/thumbnails/17.jpg)
A su vez, a partir de la distribución conjunta se definen
las distribuciones marginales y condicionales.
Para variables discretas, las distribuciones marginales
de x’ y x son:
∑=
x
x),(x' p )p(x'
y las condicionales:
∑=
x'
x),(x' p p(x)
(x) p
x), (x' p ) x | (x' p =
)(x' p
x), (x' p ) x'|(x p =
![Page 18: Análisis Estadístico de Datos Climáticos Verificación y ...meteo.fisica.edu.uy/Materias/Analisis_Estadistico_de_Datos_Climaticos/teorico_AEDC/...la exploración y evaluación de](https://reader033.vdocumento.com/reader033/viewer/2022042020/5e77c046a684795a677d624e/html5/thumbnails/18.jpg)
Un sistema de pronóstico es completamente inútil si
los pronósticos son independientes de las
observaciones, o sea si:
p(x) ) x'|(x p = o )p(x' ) x | (x' p =
para todos los valores de x y x’
![Page 19: Análisis Estadístico de Datos Climáticos Verificación y ...meteo.fisica.edu.uy/Materias/Analisis_Estadistico_de_Datos_Climaticos/teorico_AEDC/...la exploración y evaluación de](https://reader033.vdocumento.com/reader033/viewer/2022042020/5e77c046a684795a677d624e/html5/thumbnails/19.jpg)
Habilidad de pronóstico (forecast skill)
• Se define en relación con un sistema de pronóstico de referencia (típicamente, persistencia o climatología).
ref perf
ref
s - s
s - s score Skill =
Si s = sperf, skill = 1 (máximo)Si s = sref skill = 0 (igual que la referencia)Si s < sref , skill < 0 (peor que la referencia)
![Page 20: Análisis Estadístico de Datos Climáticos Verificación y ...meteo.fisica.edu.uy/Materias/Analisis_Estadistico_de_Datos_Climaticos/teorico_AEDC/...la exploración y evaluación de](https://reader033.vdocumento.com/reader033/viewer/2022042020/5e77c046a684795a677d624e/html5/thumbnails/20.jpg)
Predictandos continuos
Medidas de performance usuales
Correlaciones
su raíz cuadrada es el
RMSE
![Page 21: Análisis Estadístico de Datos Climáticos Verificación y ...meteo.fisica.edu.uy/Materias/Analisis_Estadistico_de_Datos_Climaticos/teorico_AEDC/...la exploración y evaluación de](https://reader033.vdocumento.com/reader033/viewer/2022042020/5e77c046a684795a677d624e/html5/thumbnails/21.jpg)
Pronóstico de probabilidades
• “La probabilidad de que llueva mañana es 30%”
• ¿Cómo se evalúa?
Con varios (muchos) pronósticos de 30%
• El sistema de pronóstico debe ser consistente y tener resolución.
Consistencia: entre las probabilidades pronosticadas y observadas.
Resolución: capacidad de clasificar eventos observados en grupos diferentes entre sí. Por ej., distinguir eventos que ocurren con mayor o menor frecuencia que la climatológica.
![Page 22: Análisis Estadístico de Datos Climáticos Verificación y ...meteo.fisica.edu.uy/Materias/Analisis_Estadistico_de_Datos_Climaticos/teorico_AEDC/...la exploración y evaluación de](https://reader033.vdocumento.com/reader033/viewer/2022042020/5e77c046a684795a677d624e/html5/thumbnails/22.jpg)
“Habilidad artificial”
• Es una habilidad aparente que no se conserva cuando se aplica el modelo de pronóstico a un conjunto independiente de datos.
• Cuantos más predictores potenciales se incluyan, es más posible que aparezca esta habilidad artificial.
Para evitar este problema:
• Usar un período de “entrenamiento” y un período de “verificación”
• Usar validación cruzada.
![Page 23: Análisis Estadístico de Datos Climáticos Verificación y ...meteo.fisica.edu.uy/Materias/Analisis_Estadistico_de_Datos_Climaticos/teorico_AEDC/...la exploración y evaluación de](https://reader033.vdocumento.com/reader033/viewer/2022042020/5e77c046a684795a677d624e/html5/thumbnails/23.jpg)
Características deseables de un esquema de
pronóstico
• Que tenga base física
• Estadísticamente correcto
• Reproducible y transparente (NO “caja negra”)
• Mostrar cómo hubiera funcionado en el tiempo (“pronósticos retrospectivos”)
• Que permita tomar decisiones en un área dada.
• Ser sometido al juicio de los pares, a través de publicación arbitrada.
![Page 24: Análisis Estadístico de Datos Climáticos Verificación y ...meteo.fisica.edu.uy/Materias/Analisis_Estadistico_de_Datos_Climaticos/teorico_AEDC/...la exploración y evaluación de](https://reader033.vdocumento.com/reader033/viewer/2022042020/5e77c046a684795a677d624e/html5/thumbnails/24.jpg)
Valor de los pronósticos
•Se refiere al valor económico para el usuario, que está relacionado con la calidad del pronóstico.
•Como dijimos, la calidad tiene que ver con la posibilidad de reducir la incertidumbre sobre el estado futuro del sistema.
Veremos un modelo muy sencillo que define el valor de un pronóstico.
![Page 25: Análisis Estadístico de Datos Climáticos Verificación y ...meteo.fisica.edu.uy/Materias/Analisis_Estadistico_de_Datos_Climaticos/teorico_AEDC/...la exploración y evaluación de](https://reader033.vdocumento.com/reader033/viewer/2022042020/5e77c046a684795a677d624e/html5/thumbnails/25.jpg)
Modelo de decisión “costo-pérdida”
• Se tiene un evento climático cuya ocurrencia produce una pérdida P.
• Se pueden tomar acciones preventivas, cuyo costo es C. (C<P).
• La frecuencia climatológica del evento es s.(0 < s < 1)
1) Si no se dispone de pronóstico, (y suponiendo que siempre se realiza la misma acción):
Eclim = min (C , sP) (valor esperado del gasto)
![Page 26: Análisis Estadístico de Datos Climáticos Verificación y ...meteo.fisica.edu.uy/Materias/Analisis_Estadistico_de_Datos_Climaticos/teorico_AEDC/...la exploración y evaluación de](https://reader033.vdocumento.com/reader033/viewer/2022042020/5e77c046a684795a677d624e/html5/thumbnails/26.jpg)
• Entonces, según si: C/P < s, o C/P > s,
será más conveniente proteger o no hacerlo.
(Hemos supuesto que s no cambia con el correr del tiempo.)
Modelo de decisión “costo-pérdida” (cont.)
![Page 27: Análisis Estadístico de Datos Climáticos Verificación y ...meteo.fisica.edu.uy/Materias/Analisis_Estadistico_de_Datos_Climaticos/teorico_AEDC/...la exploración y evaluación de](https://reader033.vdocumento.com/reader033/viewer/2022042020/5e77c046a684795a677d624e/html5/thumbnails/27.jpg)
Modelo de decisión “costo-pérdida” (cont.)
2) Disponiendo de un modelo perfecto:
Eperf = sC (a éste gasto se quiere llegar; notar además que Eperf < Eclim)
3) Si se tiene un pronóstico que da un gasto esperado Epron , se define:
perfclim
pronclim
EE
EEV
−
−=
(es el valor del sistema de pronóstico)
Si V > 0, el sistema da beneficio (Vmax = 1)
![Page 28: Análisis Estadístico de Datos Climáticos Verificación y ...meteo.fisica.edu.uy/Materias/Analisis_Estadistico_de_Datos_Climaticos/teorico_AEDC/...la exploración y evaluación de](https://reader033.vdocumento.com/reader033/viewer/2022042020/5e77c046a684795a677d624e/html5/thumbnails/28.jpg)
El beneficio de un mismo pronóstico será distinto para distintos usuarios, ya que cada uno tiene su C y P.
Se demuestra que los pronósticos probabilísticos dan más beneficio que los determinísticos. (Hay una probabilidad umbral óptima dependiendo del valor C/P.)
Comentarios