sdmx en el inegi
DESCRIPTION
SDMX en el INEGI. Octubre 2012. En el INEGI, el proyecto actual tomó fuerza en marzo de 2010 , a partir de una instrucción del más alto nivel de la institución. - PowerPoint PPT PresentationTRANSCRIPT
SDMX en el INEGI
Octubre 2012
EXPERIENCIA DEL INEGI. ESTRATEGIA INICIAL
En el INEGI, el proyecto actual tomó fuerza en marzo de 2010, a partir de una instrucción del más alto nivel de la institución.
Para la atención del proyecto se integró un grupo coordinador de carácter interdisciplinario integrado por personas con diferentes perfiles: Tecnologías de la información Estadístico Relaciones internacionales.
Capacitación y autocapacitación de los participantes y desarrollo de habilidades técnicas y conceptuales, a partir de los recursos de aprendizaje del sitio Web SDMX .
EXPERIENCIA DEL INEGI. ESTRATEGIA INICIAL
Evaluación e implementación local de infraestructura Tecnológica
Elaboración de un inventario de la información estadística entregada por las diversas áreas generadoras del INEGI a organismos internacionales.
Desarrollo de una prueba piloto con dos flujos de información que el INEGI entrega periódicamente a la OCDE: Indicadores económicos de coyuntura PIB trimestral.
EXPERIENCIA DEL INEGI. SDMX - COMPONENTE ESTADÍSTICO
Propósito de los estadísticos en el proceso SDMXAsegurar que la estructura del DSD ofrezca una descripción precisa y completa de cada una de las características conceptuales y metodológicas necesarias para comprender, sin ambigüedades, la estadística que se intercambia, sea ésta básica o indicadores derivados.
¿Cómo lo hemos realizado?• Identificación de las categorías e indicadores estadísticos que
conforman el flujo de información.• Identificación de las variables de clasificación que aplican para
cada categoría e indicador estadístico.• Identificación y/o definición de los codelists adecuados para
cada variable de clasificación y para cada categoría o indicador estadístico.
EXPERIENCIA DEL INEGI. SDMX-COMPONENTE ESTADÍSTICOElementos mínimos para caracterizar un flujo de información
• Nombre preciso de las categorías o indicadores estadísticos que conforman el flujo.
• Cobertura geográfica a que se refiere la estadística.• Cobertura temporal de la estadística.• Unidad de medida de cada categoría o indicador estadístico.
Flujos de información estadística trabajados por el INEGI• Producto interno bruto trimestral (OCDE)• Indicadores de corto plazo (OCDE)• Comercio exterior de mercancías de México (OCDE)• Indicadores de Desarrollo del Milenio (ONU)• Indicadores económicos de corto plazo (Prueba piloto OCDE)• Indicadores de empleo de corto plazo (Prueba piloto OCDE)• Sistema de Cuentas Nacionales de México. Anual (OCDE)
MSD. CONCORDANCIA CONCEPTUAL PLANTILLA EUROSTAT-DDI
Plantilla elaborada por Eurostat (61 rubros). Incluye los siguientes bloques de información: Información sobre los contactos Metadatos conceptuales Metadatos metodológicos Metadatos sobre la calidad de las estadísticas
Formato DDI. Caracterización de bases de microdatos (82 elementos) Características metodológicas Características de las bases de microdatos (conceptuales y
técnicas) Materiales de referencia externos Algunos aspectos administrativos
MSD. CONCORDANCIA CONCEPTUAL PLANTILLA EUROSTAT-DDI
De los 61 elementos del MSD de Eurostat
24 rubros se pueden llenar con ayuda del DDI (39.3%)
11 rubros corresponden a datos operativos del proyecto de fácil obtención (18.0%)
9 rubros se refieren a aspectos metodológicos del proyecto de fácil obtención (14.8%)
6 son datos administrativas del proyecto de fácil obtención (9.8%)
1 se refiere al marco jurídico del INEGI (1.6%)
10 corresponden a rubros no considerados anteriormente de difícil obtención (16.4%)
RESULTADOS
DSD
Bases de Datos de
Diseminación
Mapeo
Produce
Produce
usa
Formato XML
Formato JSON
Conjunto de Datos SDMX
Formato XML
Conjunto de Datos SDMX
Formato CSV
Formato JSON
Formato DSPL
DSW v1.2.7
Mapping Assistant v2.9
SDMX-RI v2.2.0 SDMX-RI
v2.4.4
PRUEBAS
REST (SDMX 2.1 draft) REST (SDMX
2.1 final)
usa
Produce
Streaming
SDMX PUBLICACIÓN/DISEMINACION: “Qué se tiene”
Consulta
1. Consulta todos los Flujos de Datos (Dataflow)http://www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/Dataflow/ALL/ALL/ALL
2. Consulta de un DSD específicohttp://www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/DataStructure/ALL/KF_INFRA_ANNUAL_LABOUR/ALL?references=shallow
3. Consulta de un DSD sin catálogos (Keyfamily)http://www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/DataStructure/ALL/KF_INFRA_ANNUAL_LABOUR/ALL
4. Traer un catálogo (Codelist)http://www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/Codelist/ALL/CL_SUBJECT_INFRA/ALL
5. Consulta de Datoshttp://www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/Data/DF_INFRA_ANNUAL_LABOUR/OECD?key=ALL&format=generic
Ejemplo de Consultas REST al WebService
6. Consulta de Datos Condicionada ({FREQ}.{REFENCE_AREA}.
{SUBJECT}.{AGE}.{SEX}.{ADJUSTMENT}.{UNIT})http://www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/Data/DF_INFRA_ANNUAL_LABOUR/OECD?key=...Y15-24.M..&format=compact
7. Esquema de Conceptos (ConceptScheme)http://www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/ConceptScheme/ALL/ALL/ALL
8. Esquema de Categorías (CategoryScheme)http://www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/CategoryScheme/ALL/ALL/ALL
Ejemplo de Consultas REST al WebService
6.1 Formato JSONhttp://www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/Data/DF_INFRA_ANNUAL_LABOUR/OECD?key=...Y15-24.M..&format=compact&alt=json 6.1 Formato CSVhttp://www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/Data/DF_INFRA_ANNUAL_LABOUR/OECD?key=...Y15-24.M..&format=compact&alt=csv 6.1 Formato DSPLhttp://www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/Data/DF_INFRA_ANNUAL_LABOUR/OECD?key=...Y15-24.M..&format=compact&alt=dspl
CONCEPTO STATUSPágina SDMX en Sitio INEGI
•Aplicación para presentar los Flujos de Datos de INEGI en Internet
•Asistente para la construcción de URLs de consulta de flujos de datos
•Impulsar el desarrollo de “Herramientas de Visualización”, de manera didáctica muestra cómo pueden ser leídos e interpretados los flujos de datos SDMX (con ejemplos de generación de gráficas).
SDMX PUBLICACIÓN/DISEMINACION: “Qué se tiene”
REST y formatos CSV, JSONP, CHART, DSPL y con la ayuda de ISTAT se logró que los flujos SDMX
sean visualizados en el Statistics eXplorer
SDMX-ML(XML)
DSPL
SDMX-RI
Flujo de Datos SDMX del WS de INEGI en Google Public Data
http://www.google.com/publicdata/explore?ds=n299qqtd2dfc3_&ctype=l&strail=false&bcs=d&nselm=h&met_y=OBS_VALUE&fdim_y=ADJUSTMENT:N&fdim_y=FREQ:M&fdim_y=PRICE:Z&fdim_y=REF_AREA:MX&scale_y=lin&ind_y=false&rdim=INDICADOR_ST&idim=INDICADOR_ST:C1161:C1162&ifdim=INDICADOR_ST&tstart=980056800000&tend=1327125600000&hl=en&dl=en
SDMX PUBLICACIÓN/DISEMINACION: “Qué se está haciendo”
LA PLATAFORMA PARA PUBLICACIÓN ESTÁ CONCLUIDA. Sin embargo se está mejorando para optimizar el enfoque de DISEMINACIÓN de SDMX.CONCEPTO STATUSAdopción de nueva Versión de “RI” con Streaming
•En pruebas junto con el nuevo desarrollo REST (que soporta varios formatos) y mejora sustancialmente los tiempos de respuesta
Nuevo desarrollo REST para Streaming
•En pruebas xml y json•En desarrollo resto de formatos
Consulta a BD xml
•Consulta a través de REST, de datos provenientes de una BD-xml (contiene archivos SDMX), con posibilidad de filtrarlos con los parámetros REST de SDMX 2.1
FALTAN FLUJOS: SUGERENCIAS:BD Institucionales •Se sugiere que se definan DSD temáticos
para la diseminación de los indicadores de BD de Diseminación Institucionales.
SDMX PUBLICACIÓN/DISEMINACION: “Qué hace falta”
CONCEPTO STATUSDesarrollo de Herramientas de Visualización en otros países
•FMI Principal Global Indicators- PGI
•BCE: ECB inflation dashoard
•FAO: “Coming soon” The data.fao.org website blends together statistics, maps, pictures, and documents.
SDMX DISEMINACIÓN: “Qué se está haciendo en otros países”
INEGI COMO RECOLECTOR
“ENFOQUE RECOLECCIÓN”
Estrategia de implantación
Recolección: Qué se tiene Concepto Comentarios
RI con REST Para ofrecerla a Instituciones que cuenten con una Base de Datos de Diseminación
Experiencia En la adopción de SDMX que puede ayudar a disminuir la curva de aprendizaje en Unidades del SNIEG
Documentación para instalación y ejemplo práctico para automatizar un flujo
Se tiene alguna versión de Manuales para apoyar a las instituciones que deseen adoptar SDMX, en la instalación de la plataforma informática con su interface REST, aún y cuando sabemos que tienen que actualizarse.
Recolección: Qué se está haciendo
Concepto ComentariosDesarrollo REST en JAVA
•Permitirá ofrecer a las Unidades de Estado del SNIEG el paquete completo de la Infraestructura de Referencia SDMX con REST para Java o .NET.
Recolector SNIEG
•Se tiene una versión beta que toma un archivo SDMX e integra los datos en una BD.
Recolección: Qué hace faltaConcepto Comentarios
Identificar un flujo de prueba
Seleccionar datos que INEGI recolecte de otra(s) institución(es)
Definir el DSD Definir el DSD para hacer un piloto (conjuntamente el área responsable de los datos a recolectar y el grupo SDMX)
Hacer una Prueba Piloto
Con una o dos instituciones que publiquen información
Definir ROLES para la prueba piloto
Coordinación, definición de conceptos y catálogos en el DSD, soporte informático, invitación a instituciones, etc.
GRACIAS