Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 1
Pepijn van Oort
Calidad de los Datos Espaciales
Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 2
•Introducción: La Importancia de la QDE
•Definiciones
•Acerca de la QDE
•Futuras Investigaciones y Conclusiones
Resumen previo
Abreviaturas de estas transparencias
QDE: Calidad de los Datos Espaciales
IQD: Información sobre la Calidad de los Datos Espaciales
IDE: Infraestructura(s) de Datos Espaciales (o Geo-Espaciales)IntroducciónDefinicionesAcerca de la QDEFuturas Investigaciones.
Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 3
•Hay más información
•Es más fácil de acceder a la información
•Hay más usuarios
•Hay más aplicaciones
•Es mucho más fácil combinar datasets y realizar toda clase de manipulaciones SIG con ellos
•Una larga distancia entre el usuario y el productor
Desarrollos en el uso de GeoDatos
IntroducciónDefinicionesAcerca de la QDEFuturas Investigaciones.
Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 4
• La posibilidad de uso erróneo ha crecido
• Los usuarios quieren saber si un conjunto de datos vale pasa lo que quiere
• Los usuarios quieren saber los efectos de la QDE:• Debido a que quieren hacer un buen trabajo
• Porque les pueden exigir responsabilidades (litigios)
• Hay una necesidad de métodos formales para el almacenamiento, tratamiento y visualización de la IQD (Información sobre la Calidad de los Datos Espaciales)
Como consecuencia:
IntroductionDefinitionsDealing with SDQFuture Research
Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 5
•Crece el interés en el conocimiento de QDE
•Los estándares se desarrollan para facilitar el almacenamiento y el intercambio de IQDE: SDTS, ICA, CEN/TC278, ISO/TC211
•El software se desarrolla para almacenar los metadatos incluyendo la IQDE.
•Las herramientas para el manejo y la visualización de QDE están desarrolladas pero apenas implementadas en el SIG.
Desarrollos actuales
IntroductionDefinitionsDealing with SDQFuture Research
Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 6
Ejemplos de importancia de la QDE
Un granjero recibe subsidios proporcionales a su superficie de tierra. El dice que su tierra es mayor ( más subsidios!) que lo que dice el gobierno. La diferencia puede ser debida a (1) errores del granjero, o (2) errores en los geodatos del gobierno
IntroductionDefinitionsDealing with SDQFuture Research
1000
2000
3000
40006000
5000
El polígono 1000 tiene 891,858 m2
No! Son 908,117 m2
Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 7
• Un país desea bombardear una embajada utilizando un misil con GPS, que vuela automáticamente a la embajada con información procedente de un plano de la ciudad. pero…¿Está todavía ahi la embajada o la han cambiado? (¿está el mapa actualizado?) ¿Cual es la precisión posicional del mapa?
IntroductionDefinitionsDealing with SDQFuture Research
Ejemplos de importancia de la QDE
Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 8
• El ministro de transportes quiere saber cuanto dinero necesita para el mantenimiento de una carretera. La longitud de la carretera en el 1/10.000 parece ser superior a la 1/25.000 Qué mapa debe el ministro utilizar?
IntroductionDefinitionsDealing with SDQFuture Research
1:10,0001:25,000
Mirando un solo mapa no puede saber nada
Comparando ambos mapas no hay duda de que el 1:10.000 es mejor
Ejemplos de importancia de la QDE
Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 9
Usuario: • precio• accesibilidad• Se ajustan estos datos a mi necesidad?
Productor:• Correspondencia con el ‘suelo nominal’• Encuentra especificaciones• Cómo documentar la QDE de una manera
comprensible para todos los usuarios?
Perspectivas sobre calidad de datos
IntroductionDefinitionsDealing with SDQFuture Research
Suelo nominal = una representación simplificada del (complejo) mundo real, de acuerdo con los datos que se han recogido.
Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 10
1. Linaje 5. Exactitud Temporal
2. Consistencia 6. Exactitud Posicional
3. Completitud 7. Exactitud Temática
4. Exactitud Semántica
Definiciones (1) 7 elementos de calidad de datos
IntroductionDefinitions (1)Dealing with SDQFuture Research
Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 11
Consistencia lógica
“Entre el 1% (adición de nuevos datos) y el 5% (datos del contrato de pre-mantenimiento)”
Completitud
“Algunas características (features) pueden haber sido eliminadas”
“Detalles de direcciones de calles parcialmente incompletas”Bien:Ayuntamiento de Heelsum: Nombres de calles
incompletos para el 1% de toda la longitud de calles, 5% del todas las calles.
Exactitud Temporal
“Fotografías aéreas 1965-1992”Bien:Grupo de Fotos 1: adquisisción año 1965
Grupo de Fotos 2: adquisisción año 1980
Ejemplos de QDE Pobres
IntroductionDefinitions (1)Dealing with SDQFuture Research
Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 12
Exactitud Posicional
“Variable”, “+/- 100m”, “100m a 1000m”
“Pueden estar presentes algunas discrepancias cartográficas”
Bien: RMSE = 100 m.
Bien: error posicional < 1 m con una probabilidad del 95%
Exactitud de Atributos “Sin importancia” (para un mapa de vegetación)
“Gran precisión de atributos” Bien: Pr(actualidad = BOSQUE | clasificado como = PASTO) = 0.01
Bien: Porcentaje correctamente clasificado: 85.3%IntroductionDefinitions (1)Dealing with SDQFuture Research
Ejemplos de QDE Pobres
Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 13
Exactitud Semántica
“Pasto: es todo área cubierta de pasto”
Qué es incorrecto ahí?
¿Está también contado el pasto de los parques en áreas urbanas?
¿Qué ocurre con el pasto en los terraples? ¿O están éstos clasificados como terraplenes?
Que ocurre si hay una combinación de pastos y árboles?
Los requisitos respecto al detalle en la definición de clases dependen del uso.
IntroductionDefinitions (1)Dealing with SDQFuture Research
Ejemplos de QDE Pobres
Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 14
Ejemplo: Dimensión Temporal
“Las cosechas cultivadas en terrenos de granjas cambian anualmente, por lo tanto, la calidad de las especificaciones de este conjunto de datos se aplican sólo en el año en el que fue adquirido el dato”
Ejemplo: Dimensión Temática:
“la precisión posicional es 10 dm para carreteras, 100 dm límites entre campos”
Ejemplo: Dimensión espacial:
“La precisión posicional es de 60dm en áreas rurales y de 30 dm en áreas urbanas”
1. Dimensión Temporal2. Dimension Espacial3. Dimensión Temática
Definiciones (2): QDE en la 3ª dimensión
IntroductionDefinitions (2)Dealing with SDQFuture Research
Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 15
Exactitud (accuracy): desviación del ‘verdadero’ valor
Precision: nivel de detalle
Bias: Desviación sistemática
Definiciones (3): accuracy, precision, bias
NO BIAS
PRECISE IMPRECISE
BIAS
NOT ACCURATEACCURATE
NOT ACCURATENOT ACCURATE
Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 16
P. Están estimadas correctamente las posiciones de los puntos?
• Todos los puntos están biased
• Debido al bias, y1 is inexacto: todos los puntos se desvían de su verdadera posición
• Después de quitar el bias, y1 is preciso
Ejercicio: bias
0
2
4
6
8
10
12
14
16
0 2 4 6 8 10 12 14 16
y_true
y1_tested
P. Está correctamente estimada el área del polígono?R. noR. si
P. En qué otra operación SIG hay un problema bias ? R. recubrimiento
NO BIAS
PRECISE IMPRECISE
BIAS
NOT ACCURATEACCURATE
NOT ACCURATENOT ACCURATE
Overlay: where do series y and z overlap?
0
2
4
6
8
10
12
14
16
0 2 4 6 8 10 12 14 16
y_true
y_tested
z
Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 17
• y2 is unbiased
• y2 is inaccurate
• y2 is imprecise
Ejercicio: imprecision
P. Están las posiciones de los puntos estimadas correctamente?
P. Está estimada correctamente el área del polígono?
R. No, en promedio: si
R. No, en promedio: si
0
2
4
6
8
10
12
14
0 2 4 6 8 10 12
y_true
y2_tested
NO BIAS
PRECISE IMPRECISE
BIAS
NOT ACCURATEACCURATE
NOT ACCURATENOT ACCURATE
IntroductionDefinitions (3)Dealing with SDQFuture Research
Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 18
• Modelos de error para cuantificar las implicaciones de QDE.
• Mejores formas de comunicación del error;
• Prevenir mal uso de los datos espaciales;
• Aprender a vivir con los errores.
Prospección de Futuro
IntroductionDefinitionsDealing with SDQFuture Research
Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 19
Modelos de error: Perturbación de los límites de
polígonos
Polygon Mean Area Standard ID (sq. m) Deviation (m) 1000 891,858 5,420 2000 890,109 9,920 3000 945,222 3,890 4000 358,775 5,408 5000 980,115 6,748 6000 459,807 7,176
La posición de cada punto de cada polígono está perturbada, de acuerdo con positional accuracy de los puntos.
1000
2000
3000
40006000
5000
IntroductionDefinitionsDealing with SDQFuture Research
Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 20
Modelos de error: Perturbing polygon boundaries
De acuerdo con el mapa, el polígono tiene una superficie de 893,703.
De acuerdo a otra fuente, el polígono tiene un área de 908,117.
Q. Puede deberse esa diferencia de superficies a errores posicionales en el mapa?
A. Si, es posible, pero la otra fuente es muy probablemente incorrecta.
Area of Polygon ID = 1000
908,714
904,143
899,571
895,000
890,429
885,857
881,286
40
30
20
10
0
Std. Dev = 5419.60
Mean = 893703
N = 120.00
IntroductionDefinitionsDealing with SDQFuture Research
Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 21
Modelos de error: Una matriz de error
De las 24 celdas clasificadas como BOSQUES, 20 eran de hecho BOSQUES, y 4 eran realmente ROBLEDALES.Pr (actual = Robledales | calsificado como = Bosques) = 4/24
Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 22
Modelos de Error: perturbaciones en las clases de cubiertas
del suelo
Crear 100 Mapas Reclasificados, basados en probabilidades de la matriz de errorPoner en marcha un modelo con cada uno de estos mapas; Incertidumbre en el modelo de salida debido a la QDE. Introduction
DefinitionsDealing with SDQFuture Research
Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 23
Utilidad: uso de modelos de error
Calcular las probabilidades basadas en QDE, utilizando modelos de errorEl riesgo se expresa en Euros, en número de personas afectadas, etc.
Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 24
Modelado de errores: ¿que hace que sea tan duro?
• A menudo, el gran número de datasets combinados hace difícil modelar el error de progación.
• Están correlados los errores entre los datasets? Esto no se conoce. La calidad se describe para cada dataset por separado.
• La IQDE no está disponible para todos los datasets o está pobremente descrita.
• El Software no proporciona herramientas para implementar modelos de errores, por lo que tienes que programarlo tu mismo. Sabes como?
Piensas que merece la pena este gasto de tiempo?
IntroductionDefinitionsDealing with SDQFuture Research
Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 25
Alternativas para valorar la utilidad
Preguntar al productor de datos si el dataset sirve para el trabajo específico que vamos a hacer.
Prueba y error Mirar la calidad que se requiere para aplicaciones similares Utilizar el mejor dato disponible Ser honesto en el hecho de que no hay datasets perfectos.
Comenzar pensando en qué hacer cuando algo vaya mal..
IntroductionDefinitionsDealing with SDQFuture Research
Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 26
Vivir con el error: mantener la credibilidad
Ejemplo
Un gobierno utiliza un mapa para calcular las compensaciones a los granjeros debido a una inundación..
Se compensa a los granjeros.
Debido a que el mapa no es perfecto, algunos granjeros que deberían haber sido compensados no lo han sido.
De desarrolla un procedimiento que permita a esos granjeros probar que han sufrido daños y poder cobrar la subvención
Todos los granjeros son informados de este procedimiento.. IntroductionDefinitionsDealing with SDQFuture Research
Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 27
Comunicación del error: metadatos en clearinghouses (1)
IntroductionDefinitionsDealing with SDQFuture Research
En este caso el productor informa de los usos sobre los que puede utilizarse este dataset
Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 28
Comunicación del error: metadatos en clearinghouses (1)
IntroductionDefinitionsDealing with SDQFuture Research
Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 29
Software para la gestión de la QDE:
Software para detectar errores.
IntroductionDefinitionsDealing with SDQFuture Research
Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 30
Software para la gestión de la QDE
IntroductionDefinitionsDealing with SDQFuture Research
Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 31
Software para prevenir mal uso
IntroductionDefinitionsDealing with SDQFuture Research
Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 32
Investigación Futura (1)
• Estándares para documentar la calidad adoptada para los datos
• Continuación del trabajo sobre modelamiento del error y comunicación. Continuation of the work on error modeling and communication
• Desarrollo de software
• Para facilitar el modelado del error y el análisis del riesgo
• Para mejorar la comunicación y los avisos
• Promocionar el análisis de riesgo para determinar la utilidad IntroductionDefinitionsDealing with SDQFuture Research
Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 33
Futuras investigaciones (2)
• Mantener la integridad de la IQDE en las Infraestructuras de GeoDatos
Org. 3
Piensa que la exactitud temática es del 100%,
Pero encuentra el 90%
Org. 1
Exactitud Temática: 100%
isla
Org. 2
Chequeo de consistencia: la isla se quita
Mantener la integridad de la IQDE es un tema técnico y de gestión.
• Técnicamente: Cómo se hace? Puede automatizarse?• Gestión: Quien es el responsable?
IntroductionDefinitionsDealing with SDQFuture Research
Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 34
Conclusiones
• La calidad de los datos es demasiado importante para ignorarla
• Los efectos de la calidad de los datos pueden ser cuantificados, pero se necesita mejorar la teoría y el software.
• Los métodos para recolectar datos se mejoran día a día y como resultado, la calidad de los datos mejora.
• Pero los errores no serán nunca eliminados del todo y tendremos que acostumbranos a vivir con cierta incertidumbre en nuestros datos.
IntroductionDefinitionsDealing with SDQFuture Research
Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 35
Gracias por su atención
Preguntas?
Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 36
Algunos websites
Estándares
• http://www.isotc211.org/scope.htm#19114
• http://mcmcweb.er.usgs.gov/sdts/SDTS_standard_nov97/part1toc.html
Modelamiento del Error
• http://www.clarklabs.org/IdrisiSoftware.asp?cat=2
• http://www.esri.com/news/releases/03_2qtr/reviewer.html
Metadatos
• http://geodesk.girs.wau.nl/geokey/select.htm (in dutch)
• 1:250,000 scale Arkansas State Soil Geographic (STATSGO): http://geoserver2.wr.usgs.gov/servlet/FGDCServlet/retrieve?pn=1&el=F&db=current&rp=3&mr=1&ac=current&cid=25