c.- calidad datos

7/24/2019 c.- Calidad Datos

http://slidepdf.com/reader/full/c-calidad-datos 1/36

Mi uel A. Bernabé + Mi uel A. Manso. Gru o de &

Original de P.A.J. van OortImpartida el 10 de septiembre de 2003Center for Geo Information (Universidad deageningen!

"rad#$ida al espa%ol por &.A. 'ernab ) &.A. &anso

Calidad de los Datos

Espaciales



Mi uel A. Bernabé + Mi uel A. Manso. Gru o de '

*Introd#$$i+n, -a Importan$ia de la /

*/eni$iones

*A$er$a de la /*#t#ras Investiga$iones ) Con$l#siones

Resumen previo

Abreviat#ras de estas transparen$ias

/, Calidad de los /atos spa$iales

I/, Informa$i+n sobre la Calidad de los /atos spa$iales

I/, Infraestr#$t#ra(s! de /atos spa$iales (o Geospa$iales!Introducción

/eni$ionesA$er$a de la /

#t#rasInvestiga$iones.



Mi uel A. Bernabé + Mi uel A. Manso. Gru o de (

*4a) m5s informa$i+n

*s m5s f5$il de a$$eder a la informa$i+n

*4a) m5s #s#arios*4a) m5s apli$a$iones

*s m#$6o m5s f5$il $ombinar datasets ) reali7artoda $lase de manip#la$iones 8IG $on ellos

*Una larga distan$ia entre el #s#ario ) elprod#$tor

Desarrollos en el uso deGeoDatos

Introducción

/eni$ionesA$er$a de la /

#t#rasInvestiga$iones.



Mi uel A. Bernabé + Mi uel A. Manso. Gru o de )

* -a posibilidad de #so err+neo 6a $re$ido* -os #s#arios 9#ieren saber si #n $on:#nto de

datos vale para lo 9#e 9#iere

* -os #s#arios 9#ieren saber los efe$tos de la /,

* /ebido a 9#e 9#ieren 6a$er #n b#en traba:o* Por9#e les p#eden e;igir responsabilidades

(litigios!

* 4a) #na ne$esidad de mtodos formales para elalma$enamiento< tratamiento ) vis#ali7a$i+n de

la I/ (Informa$i+n sobre la Calidad de los /atosspa$iales!

Como consecuencia:

Introduction

/enitions/ealing =it68/#t#re >esear$6



Mi uel A. Bernabé + Mi uel A. Manso. Gru o de *

*Cre$e el inters en el $ono$imiento de /

*-os est5ndares se desarrollan para fa$ilitar elalma$enamiento ) el inter$ambio de I/,

8/"8< ICA< C?@"C2B< I8O@"C211*l soft=are se desarrolla para alma$enar losmetadatos in$l#)endo la I/.

*-as 6erramientas para el mane:o ) lavis#ali7a$i+n de / est5n desarrolladas peroapenas implementadas en el 8IG.

Desarrollos actuales

Introduction




Mi uel A. Bernabé + Mi uel A. Manso. Gru o de

Ejemplos de importancia de laQDE

Un gran:ero re$ibe s#bsidios propor$ionales a las#per$ie de s# tierra. l di$e 9#e s# tierra es ma)or( m5s s#bsidiosD! 9#e lo 9#e di$e el gobierno.-a diferen$ia p#ede ser debida a, (1! errores del gran:ero< o(2! errores en los geodatos del gobierno

Introduction


1000

2000

3000

40006000

5000

El polígono 1000

tiene 891,858 m2

No! Son

908,117 m2


http://slidepdf.com/reader/full/c-calidad-datos 7/36 Mi uel A. Bernabé + Mi uel A. Manso. Gru o de ,

* Un paEs desea bombardear #na emba:ada #tili7ando #nmisil $on GP8< 9#e v#ela a#tom5ti$amente a laemba:ada $on informa$i+n pro$edente de #n plano de la$i#dad.peroFst5 todavEa a6i la emba:ada o la 6an$ambiadoH (est5 el mapaa$t#ali7adoH!C#al es la pre$isi+n posi$ional del mapaH

Introduction




http://slidepdf.com/reader/full/c-calidad-datos 8/36 Mi uel A. Bernabé + Mi uel A. Manso. Gru o de -

* l ministro de transportes 9#iere saber $#anto dinerone$esita para el mantenimiento de #na $arretera. -alongit#d de la $arretera en el [email protected] pare$e sers#perior a la [email protected]# mapa debe el ministro #tili7arH

Introduction


1,10<0001,2<000

&irando #n solo mapa nop#ede saber nada

Comparando ambos mapasno 6a) d#da de 9#e el1,10.000 es me:or



http://slidepdf.com/reader/full/c-calidad-datos 9/36 Mi uel A. Bernabé + Mi uel A. Manso. Gru o de

Us#ario,* pre$io* a$$esibilidad* 8e a:#stan estos datos a mi ne$esidadH

Prod#$tor,

* Corresponden$ia $on el s#elo nominalK* n$#entra espe$i$a$iones* C+mo do$#mentar la / de #na manera

$omprensible para todos los #s#ariosH

Perspectivas sobre calidad dedatos

Introd#$tionDefnitions

/ealing =it68/#t#re >esear$6

Suelo nominal L #na representa$i+n

simpli$ada del ($omple:o! m#ndo real<de a$#erdo $on los datos 9#e se 6anre$ogido.


http://slidepdf.com/reader/full/c-calidad-datos 10/36 Mi uel A. Bernabé + Mi uel A. Manso. Gru o de &

1. -ina:e . ;a$tit#d "emporal

2. Consisten$ia M. ;a$tit#dPosi$ional

3. Completit#d . ;a$tit#d "em5ti$aN. ;a$tit#d8em5nti$a

Defniciones (! " elementos decalidad de datos

Linaje: Historia del Dataset.

¿Quién lo ha producido?

¿Quién lo ha modificado?

Consistencia: Especificación de las reglas lógicas con

las que el conjunto de datos debe ser conforme hastaqué punto se !iolan estas especificaciones

Completitud: ¿"ontiene el Dataset esas car#cter$sticas

que se supone que deber$a contener? Nota: El que genera eldataset mide la completitud de acuerdo con la especificación nominal. Deforma que si la especificación nominal dice que sólo se incluen los lagosmaores de % &m' todos los lagos maores que esa cantidad est#n incluidos(entonces el dataset est# completo. )in embargo( ese dataset no ser!ir$a paraun usuario que esté interesado en lagos menores.

Exactitud semántica: El detalle con el que los objetos

espaciales se describen.

Exactitud Temporal: *a precisión con que se describen

las fechas.

Exactitud Posicional: "orrespondencia de la situación

con sus !erdaderas posiciones

Exactitud Temática: "orrespondencia de los !alores

de los atributos con los !alores reales

Introd#$tionDefnitions (!




Consistencia ló#ica

ntre el 1 (adi$i+n de n#evos datos! ) el (datos del$ontrato de premantenimiento!Q

Completitud

Alg#nas $ara$terEsti$as (feat#res! p#eden 6aber sido

eliminadasQ /etalles de dire$$iones de $alles par$ialmente in$ompletasQ

'ien, A)#ntamiento de Ralle$as, ?ombres de $allesin$ompletos para el 1 de la longit#d total de $alles<

del todas las $alles.

E$actitud %emporal

otografEas areas 1SM1SS2Q'ien, Gr#po de otos 1, ad9#isi$i+n a%o 1SM

Gr#po de otos 2, ad9#isi$i+n a%o 1SB0

Ejemplos de QDE Pobres





E$actitud Posicional

RariableQ< T@ 100mQ< 100m a 1000mQ

P#eden estar presentes alg#nas dis$repan$ias $artogr5$asQ

'ien, >&8 L 100 m.

'ien, error posi$ional 1 m $on #na probabilidad del S

E$actitud de &tributos

8in importan$iaQ (para #n mapa de vegeta$i+n!

Gran pre$isi+n de atrib#tosQ 'ien, Pr(a$t#alidad L 'O8U V $lasi$ado $omo L PA8"O! L 0.01 'ien, Por$enta:e $orre$tamente $lasi$ado, B.3






E$actitud Sem'ntica Pasto, es todo 5rea $#bierta de pastoQ

Qu es incorrecto a)*+

st5 tambin $ontado el pasto de los par9#es en 5reas

#rbanasH # o$#rre $on el pasto en los terraplesH O est5n stos

$lasi$ados $omo terraplenesH

#e o$#rre si 6a) #na $ombina$i+n de pastos ) 5rbolesH

-os re9#isitos respe$to al detalle en la deni$i+n de$lases dependen del #so.






:emplo, /imensi+n "emporal-as $ose$6as $#ltivadas en terrenos de gran:as$ambian an#almente< por lo tanto< la $alidad de lasespe$i$a$iones de este $on:#nto de datos se apli$ans+lo en el a%o en el 9#e f#e ad9#irido el datoQ

:emplo, /imensi+n "em5ti$a,

la pre$isi+n posi$ional es 10 dm para $arreteras< 100dm lEmites entre $amposQ

:emplo, /imensi+n espa$ial,-a pre$isi+n posi$ional es de M0dm en 5reas r#rales) de 30 dm en 5reas #rbanasQ

1. /imensi+n "emporal2. /imension spa$ial3. /imensi+n "em5ti$a

Defniciones (,!:QDE en la -. dimensión

Introd#$tionDefnitions (,!




;a$tit#d (a$$#ra$)!, desvia$i+n del verdaderoKvalor

Pre$ision, nivel de detalle

'ias, "enden$ia< sesgo

Defniciones (-!: e$actitud/ precision/ses#o

NO BIAS

PRECISE IMPRECISE

BIAS

NOT ACCURATEACCURATE

NOT ACCURATENOT ACCURATE



P. st5n estimadas $orre$tamente las posi$iones de losp#ntosH

o"o# lo# p$nto# e#t%n #e#g&"o#

'e(i"o &l #e#go, )1 e# ine*&+to

to"o# lo# p$nto# #e "e#-í&n "e #$

-e."&"e.& po#i+i/n

'e#p$# "e $it&. el #e#go, )1e#p.e+i#o

Ejercicio: ses#o

0

2

3

8

10

12

1

13

0 2 3 8 10 12 1 13

)4t.$e

)14te#te"

P. st5 $orre$tamente estimada el 5rea del polEgonoH>. no>. si

P. n 9# otra opera$i+n 8IG 6a) #n problema $on el

sesgo H

>. re$#brimient

NO BIAS

PRECISE IMPRECISE

BIAS



Overlay: where do series y and z overlap?

0

2

3

8

10

12

1

13

0 2 3 8 10 12 1 13

)4t.$e

)4te#te"



)2 i# no #e#g&"o

)2 i# ine*&+to

)2 i# imp.e+i#o

Ejercicio: imprecision

P. st5n las posi$iones de los p#ntos estimadas$orre$tamenteH

P. st5 estimada $orre$tamente el 5rea del polEgonoH

>. ?o< en promedio, si

>. ?o< en promedio, si

0

2

3

8

10

12

1

0 2 3 8 10 12

)4t.$e

)24te#te"

NO BIAS

PRECISE IMPRECISE

BIAS



Introd#$tionDefnitions (-!

/ealing =it68/

#t#re >esear$6



* &odelos de error para $#anti$ar lasimpli$a$iones de /.

* &e:ores formas de $om#ni$a$i+n del errorW

* Prevenir mal #so de los datos espa$ialesW

* Aprender a vivir $on los errores.

Prospección de 0uturo

Introd#$tion/enitionsDealin# 1it)SDQ

#t#re >esear$6



2odelos de error:Pert#rba$i+n de los lEmites de

polEgonos

Polygon Mean Area Standard! "s#$ %& !eviation "%&

'((( )*'+),) ,+-.(.((( )*(+'(* *+*.(/((( *-,+... /+)*(-((( /,)+00, ,+-()

,((( *)(+'', 1+0-)1((( -,*+)(0 0+'01

-a posi$i+n de $ada p#ntode $ada polEgono est5pert#rbada< de a$#erdo $on e;a$tit#d posi$ional de los

p#ntos.

1000

2000

3000

40006000

5000


#t#re >esear$6


http://slidepdf.com/reader/full/c-calidad-datos 20/36 Mi uel A. Bernabé + Mi uel A. Manso. Gru o de '

2odelos de error:Pert#rbing pol)gon bo#ndaries

/e a$#erdo $on el mapa< elpolEgono tiene #na s#per$ie deBS3<03.

/e a$#erdo a otra f#ente< elpolEgono tiene #n 5rea de S0B<11.

Pr. P#ede deberse esa diferen$iade s#per$ies a erroresposi$ionales en el mapaH

Resp. 8i< es posible< pero la otraf#ente es m#) probablementein$orre$ta.

A.e& o6 Pol)gon I' 1000

908,71

90,1

899,571

895,000

890,29

885,857

881,283

0

0

20

10

0

St" 'e- 51930

Me&n 8970

N 12000


#t#re >esear$6



2odelos de error:Una matri7 de error

g.o$n" t.$t:

A.&(le l&n" ;&te. <.(&n =o.e#t ot&l <#e.#> &++$.&+)

A.&(le l&n" 10 01 0 15 7?

;&te. 05 5 01 0 3 8?

<.(&n 1 0 8 0 9 83?

=o.e#t 2 0 01 20 221 90?

ot&l 15 5 83 2 509

P.o"$+e.#>

&++$.&+) 7? 9? 9? 85? 8?

0as probabilidades de la 1a#ri2 de error de 3ue las

!lases se !onundan una !on o#ra son,

Pr(a$t#al L orest V $lassied L orest! L 20 @ 22.1 L 0.S0Pr(a$t#al L Arable V $lassied L orest! L 2 @ 22.1 L 0.0S



2odelos de Error:pert#rba$iones en las $lases de $#biertas

del s#elo

Crear 100 &apas >e$lasi$ados< basados en probabilidades de lamatri7 de errorPoner en mar$6a #n modelo $on $ada #no de estos mapasW In$ertid#mbre en el modelo de salida debido a la /. Introd#$tion

/enitions

Dealin# 1it)SDQ



3tilidad: uso de modelos de error

Cal$#lar lasprobabilidadesbasadas en/<#tili7ando

modelos deerrorl riesgo see;presa en#ros< ennXmero de

personasafe$tadas< et$.



2odelado de errores: 45ue )ace 5ue sea tanduro+

* A men#do< el gran nXmero de datasets $ombinados 6a$edifE$il modelar el error de proga$i+n.

* st5n $orrelados los errores entre los datasetsH sto no se $ono$e. -a $alidad se des$ribe para $ada dataset porseparado.

* -a I/ no est5 disponible para todos los datasets o est5pobremente des$rita.

* l 8oft=are no propor$iona 6erramientas para implementarmodelos de errores< por lo 9#e tienes 9#e programarlo t#mismo. 8abes $omoH

Piensas 9#e mere$e la pena este gasto de tiempoH


#t#re >esear$6



&lternativas para valorar lautilidad

Preg#ntar al prod#$tor de datos si el dataset sirve para eltraba:o espe$E$o 9#e vamos a 6a$er.

Pr#eba ) error &irar la $alidad 9#e se re9#iere para apli$a$iones similares

Utili7ar el me:or dato disponible 8er 6onesto en el 6e$6o de 9#e no 6a) datasets perfe$tos.

Comen7ar pensando en 9# 6a$er $#ando algo va)a mal..


#t#re >esear$6



6ivir con el error: mantener lacredibilidad

:emplo

Un gobierno #tili7a #n mapa para $al$#lar las $ompensa$ionesa los gran:eros debido a #na in#nda$i+n..

8e $ompensa a los gran:eros./ebido a 9#e el mapa no es perfe$to< alg#nos gran:eros 9#edeberEan 6aber sido $ompensados no lo 6an sido.

/e desarrolla #n pro$edimiento 9#e permita a esos gran:eros

probar 9#e 6an s#frido da%os ) poder $obrar la s#bven$i+n "odos los gran:eros son informados de este pro$edimiento..


#t#re >esear$6



Comunicación del error: metadatosen clearin#)ouses (!


#t#re >esear$6

n este $aso el prod#$torinforma de los #sossobre los 9#e p#ede#tili7arse este dataset




Comunicación del error: metadatos enclearin#)ouses (!


#t#re >esear$6

S 7 l ió d l




So7t1are para la #estión de laQDE:

So7t1are para detectar errores8


#t#re >esear$6




So7t1are para la #estión de laQDE


#t#re >esear$6




So7t1are para prevenir mal uso


#t#re >esear$6




Investi#ación 0utura (!

* st5ndares para do$#mentar la $alidad adoptada para losdatos

* Contin#a$i+n del traba:o sobre modelamiento del error ) s#$om#ni$a$i+n

* /esarrollo de soft=are

* Para fa$ilitar el modelado del error ) el an5lisis delriesgo

* Para me:orar la $om#ni$a$i+n ) los avisos* Promo$ionar el an5lisis de riesgo para determinar la #tilidadIntrod#$tion

/enitions/ealing =it68/

0utureResearc)




0uturas investi#aciones (,!

* &antener la integridad de la I/ en las Infraestr#$t#ras deGeo/atos

Org. 3

Piensa 9#e la e;a$tit#dtem5ti$a es del 100<

Pero en$#entra el S0

Org. 1

;a$tit#d "em5ti$a,100

isla

Org. 2

C6e9#eo de$onsisten$ia, laisla se 9#ita

&antener la integridad de la I/ es #n tema t$ni$o ) degesti+n.

* "$ni$amente, C+mo se 6a$eH P#ede a#tomati7arseH* Gesti+n, #ien es el responsableH

Introd#$tion/enitions/ealing =it68/

0utureResearc)




Conclusiones

* -a $alidad de los datos es demasiado importante paraignorarla

* -os efe$tos de la $alidad de los datos p#eden ser$#anti$ados< pero se ne$esita me:orar la teorEa ) elsoft=are.

* -os mtodos para re$ole$tar datos se me:oran dEa a dEa) $omo res#ltado< la $alidad de los datos me:ora.

* Pero los errores no ser5n n#n$a eliminados del todo )tendremos 9#e a$ost#mbranos a vivir $on $iertain$ertid#mbre en n#estros datos.

Introd#$tion/enitions/ealing =it68/

0utureResearc)




Gracias por su atención

Pre#untas+



&l#unos 1ebsites

st5ndares* 6ttp,@@===.isot$211.org@s$ope.6tmY1S11N

* 6ttp,@@m$m$=eb.er.#sgs.gov@sdts@8/"8ZstandardZnovS@part1to$.6tml

&odelamiento del rror

* 6ttp,@@===.$lar[labs.org@Idrisi8oft=are.aspH$atL2* 6ttp,@@===.esri.$om@ne=s@releases@03Z29tr@revie=er.6tml

&etadatos

* 6ttp,@@geodes[.girs.=a#.nl@geo[e)@sele$t.6tm (in d#t$6!

* 1,20<000 s$ale Ar[ansas 8tate 8oil Geograp6i$ (8"A"8GO!,6ttp,@@geoserver2.=r.#sgs.gov@servlet@G/C8ervlet@retrieveHpnL1\elL\dbL$#rrent\rpL3\mrL1\a$L$#rrent\$idL2

c.- calidad datos

Documents