calidad de datos - universidad nacional de la · pdf file(garvin,87) visión ......

Control Interno y Auditoria 01/10/2010

Cr. Carlos Pérez Poveda & Mg.Ing. Mario J. Diván 1

Auditoria & Calidad de Datos

Control Interno y Auditoria – Herramientas Informáticas II

Contador Público Nacional

Cr. Carlos Pérez Poveda - Mg. Ing. Mario José Diván

Versión 1.0 Octubre de 2010

Universidad Nacional de La Pampa

Facultad de Ciencias Económicas y Jurídicas

Reseña de los temas a abordar

Tecnología de la Información. Enfoque de Auditoria.

Calidad. Conceptos y Dimensiones.

Gestión de la Calidad de Datos.

Marcos Formales de Medición y Evaluación

Modelo de Madurez de Calidad de Datos









Tecnología de la Información. Enfoque de Auditoria

Globalización de la TI¿Hay límites?




¿Conoce Alguna Empresa Sin Automatización de

Sistemas de Información?


A la fecha:◦ Existe dependencia de los sistemas informáticos

◦ Los sistemas informáticos automatizanprocesos manuales o mecánicos

◦ Si los procesos manuales tiene controles y dichos controles son verificados cada cierto lapso aperiódico ¿Porqué no hacer lo mismo en Tecnología?




La Tecnología de la Información es unárea sumamente especializada yexcesivamente técnica …

¿Es un problema?


Incorpora mucha complejidad, por cuanto sepuede “Auditar”:◦ Bases de Datos

Calidad de Datos

Datos? Siempre existe persistencia? Streaming Ej:

Mercado de Valores

Entre otras sub áreas

◦ Redes Lógicas y Físicas

◦ Mecanismos de Autenticación & Autorización

◦ Software

◦ Entre otros




Existen guías y recomendaciones◦ ISACA (Information Systems Auditability and Control Association)

◦ Creada en 1969

◦ Objeto: Proveer guías prácticas, benchmarks y herramientaspara las empresas que emplean sistemas de información.

◦ ISACA define los roles de:

Gobierno de los Sistemas de Información (Crítico)

Seguridad

Auditoria

Aseguramiento


Existen guías y recomendaciones◦ ISACA - COBIT

Objetivos de Control de IT

Misión: “Investigar, desarrollar, publicar y promover un marco de controlde gobierno de TI, aceptado internacionalmente y actualizado paraempresas y uso diario de administradores, profesionales de la TI y deaseguramiento”

◦ ISACA – RISK IT: Guías prácticas para la Gestión de Riesgovinculada a la IT.

◦ ISACA – VAL IT: Provee técnicas y prácticas para evaluar ygestionar la inversión en innovación y cambios en los negocios Gobierno de los Sistemas de Información (Crítico)

Seguridad

Auditoria

Aseguramiento




Existen guías y recomendaciones

Imagen extraída de Risk-IT Overview(ISACA)









Calidad. Conceptos y Dimensiones

Calidad◦ ¿Qué significa que un dato sea de calidad?

◦ ¿Qué significa que una estructura de datos sea de calidad?

◦ ¿Un índice es de calidad? ¿Cuando?


Calidad del producto SW◦ “La totalidad de las características de un enteque tiene que ver con la capacidad desatisfacer las necesidades implícitas y/oexplícitas” [ISO-IEC 9126-1]

◦ …

◦ ¿Satisface a quién? ¿Un cliente?




Calidad del producto SW◦ “Clientes en términos internos y/o externos a la

organización bajo análisis”

◦ Momento de Verdad.(Jan Carlzon (1991) “El momento de la verdad”. Ed. Díaz

de Santos.)

◦ Percepción del cliente en sistemas: Productivos

Servuctivos

Híbridos


Calidad del producto SW◦ “Clientes en términos internos y/o externos ala organización bajo análisis”

◦ ¿Todos los sistemas productivos, servuctivosy/o híbridos son iguales? Dominio delNegocio

◦ La Normalización de los Datos de una Persona ¿Serían lo mismo en cuanto a la BD del BCRA quepara una cadena de hoteles?




Calidad. Distintas Visiones (Garvin,87)◦ Visión Trascendente (Olsina, 2004)

Excelencia al percibir un ente… excede lospatrones de referencia del observador.

Se reconoce cuando se ve o percibe

Problema El concepto de excelencia es intuitivo

y subjetivo


Calidad. Distintas Visiones (Garvin,87)◦ Visión del Usuario (Olsina, 2004)

La calidad queda determinada por lo que elusuario:◦ Necesita

◦ Quiere

◦ Espera

Las necesidades y expectativas están en funcióndel usuario y la incidencia de su contexto.




Calidad. Distintas Visiones (Garvin,87)◦ Visión del Producto (Olsina, 2004)

Referida a los atributos y características delproducto:◦ Visibles al usuario (Calidad externa)

◦ No Visibles al usuario (Calidad interna)

◦ ¿Cómo se interpretaría en un aplicativo? ¿y en una BD?

Se puede medir y evaluar.


Calidad. Distintas Visiones (Garvin,87)◦ Visión del Productor (Olsina, 2004)

Referida a la conformidad con la especificación y alas características del proceso de producción

◦ Visión del Valor (Olsina, 2004)

Relación costo/beneficio




Modelo de Calidad (ISO-IEC 9126-1)◦ “El conjunto de las características y relacionesentre ellas, que proveen la base paraespecificar requerimientos de calidad y evaluarcalidad”

◦ ¿Porqué especificar y evaluar?


Modelo de Calidad (ISO-IEC 9126-1)




Aseguramiento de la Calidad◦ “Conjunto de actividades planificadas ysistemáticas necesarias para garantizar que elproducto satisfará los requerimientos explícitose implícitos de la calidad” [Olsina (2004) “Teoría deMétricas”. UnLPam]

Planificación Sistemático Retroalimentación, Dinamismo,Adaptabilidad, Entropía, Sinergia, …

Satisfacer

Requerimientos


Interoperabilidad◦ “Capacidad de dos o más sistemas ocomponentes de intercambiar datos y deutilizar los datos que han sido intercambiados”[IEEE Standard Computer Dictionary: A Compilation of IEEE StandardComputer Glossaries, New York (1990)]

Intercambiar

Utilizar




Interoperabilidad. Ejemplos:◦ Open Document: Permite el intercambio de

documentos de varios paquetes de automatizaciónde oficina (ISO-IEC 26300 – OASIS Open Documentv1.1)

◦ HL7: Organización para el desarrollo de estándaresinternacionales. Se aboca a permitir el intercambio,gestión e integración de datos asociados al cuidadode la salud. Adaptaciones locales en Argentina,Ejemplo ADESFA.

◦ XBRL: Lenguaje de Reporte de NegociosExtensibles. Permite el intercambio de informaciónfinanciero incorporando semántica a la estructura.


Dimensiones de la Calidad de Datos[Pipino, L., Lee, Y. & Wang, R. (2002) “Data Quality Assesment”.

Communications of the ACM, vol. 45 nro.4]

◦ Accesibilidad

◦ Volumen de datos apropiado

◦ Credibilidad

◦ Completitud◦ Representación concisa

◦ Representación consistente

◦ Facilidad de manipulación

◦ Libre de Error◦ …




Dimensiones de la Calidad de Datos[Pipino, L., Lee, Y. & Wang, R. (2002) “Data Quality Assesment”.

Communications of the ACM, vol. 45 nro.4]

◦ … Interoperabilidad

◦ Objetividad Evitar sesgos

◦ Relevancia Asociado al contexto de aplicación

◦ Reputación En cuanto a la fuente originante ocontenido

◦ Seguridad

◦ Actualización

◦ Comprensibilidad

◦ Valor Agregado








Gestión de la Calidad de Datos

Gestión◦ Visión Tradicional “Planificar, Organizar,Dirigir y Controlar”

◦ La evolución natural del concepto ha llevado aincorporar aspectos tales como: Monitorización

Retroalimentación progresiva Mejora continua

Perfil e intereses de las personas

Etc.


Managed Process◦ “A Managed Process ia a performed processthat is planed and executed in accordance withpolicy, employs skilled peopled who haveadequate resources to produce controlledoutputs; involves relevant stakeholders; ismonitored, controlled and reviewed; and isevaluated for adherence to its processdescription”

[Chrissis, M., Konrad, M. & Shrum, S. (2005) “CMMI. Guidlines for processintegration and product improvement”. Addison-Wesley]




Gestión de la calidad de datos implica:◦ Definición de roles y responsabilidades

◦ Organización e integración de las personas con sus respectivos perfiles

◦ Organización de las políticas de datos, implementación y monitoreo de las mismas

◦ …


Gestión de la calidad de datos implica:◦ …Definición de necesidades de información y

adecuación a las necesidades organizacionales

◦ Definición de la visión (usuario, producto, etc.) queafecta los atributos de la calidad

◦ Definición de procesos de generación,abastecimiento, transformación y/o depuración dedatos

◦ …




Gestión de la calidad de datos implica:◦ …Que cada proceso: Sea planificado y ejecutado acorde a las políticas

Incorpora personas con los perfiles adecuados

Salidas controladas (Control Estadístico de Procesos)

Involucra los interesados

Es monitorizado (Medido y Evaluado. Patrón deReferencia)

Es revisado (Adecuación a las necesidades deinformación)


Problemáticas fundamentales de los datos◦ Valores Faltantes. “Ausencia de valor en unatributo definido bajo un dominio específico”

◦ Ante la situación… ¿Ignorar el dato?

¿Completar el dato manualmente?

Si lo completo ¿Qué valor utilizo?

La ausencia de valor es indistinto al tipo devariable o atributo




Problemáticas fundamentales de los datos◦ Ruido. “Es un error aleatorio o varianza en una

variable medida”. Se asocia con atributosnuméricos.

◦ Ante la situación… ¿Ignorar el dato o tal vez lo abordo como ausente?

¿Genero grupos para analizar sus propiedades?

¿Combino la inspección humana asistido porcomputadora?

Regresión Intento suavizar la serie Sesgo


Problemáticas fundamentales de los datos◦ Inconsistencia (Incoherencia y/o no

cohesividad). “Datos con definición ambigua obien, que no cumplen las normas de ubicacióncontextual o de integridad definidas sobre laestructura de datos empleada”.

◦ Ante la situación… ¿Inspección manual?

¿Implementar Reglas de Integridad Referencial?

¿Implementar mecanismos de control por eventos?




Problemáticas fundamentales de los datos◦ Outliers. “Datos cuyo comportamiento noresponde al comportamiento general de unaserie de datos. No implican necesariamente unerror”.

◦ Ante la situación… ¿Los elimino? ¿Analizo? Focos iniciales de auditoria

¿Mantengo solo los outliers para una serie dada?


Problemáticas fundamentales de los datos. Ejemplo:

Diván, M. (2010). “Evolución en el tiempo de procesamiento en el componente Statistical Manager”




Problemáticas fundamentales de los datos. Ejemplo:◦ Outliers. Se pueden identificar en forma analítica

mediante rangos intercuartiles (RIQ). L1= Q1 – 1.5*RIQ

L2= Q1 – 3*RIQ

U1=Q3 + 1.5*RIQ

U2=Q3 + 3*RIQ

Small Outlier (L2< Valor <= L1) o (U1 < Valor<=U2)

Big Outlier (Valor < L2) o (Valor >U2)














La idea de medir está buena pero… :◦ ¿Por dónde empiezo?

◦ ¿Cómo lo defino?

◦ ¿Cómo lo implemento?

◦ ¿Cómo puedo automatizarlo?




¿Qué es un marco formal…?:◦ “Un marco formal de medición y evaluación esun modelo conceptual que permite definir,monitorizar y retroalimentar necesidades deinformación, conceptos, entidades bajoanálisis, métricas, mediciones, indicadores,criterios de decisión y sus procesos asociados”

Métrica versus Medición Directas e indirectas

Indicador Criterios de decisión

Indicador elemental y global


¿Ejemplo?: C-INCAMI (Context – InformationNeed, Concept Model, Attribute, Metric andIndicator)◦ “Basado en una propuesta ontológica de indicadores”

(Olsina, 2004)

◦ Parte de la hipótesis de que sin metadatos que sustentenla definición de los procesos de definición, medición yevaluación es difícil garantizar que los valores de lasmediciones e indicadores son repetibles y comparables.

◦ Modela la información contextual dentro del proceso demedición y evaluación.










Cada empresa puede establecer sus propioscriterios de gestión de datos

Dependerá en gran medida de la experienciade la empresa para que las prácticas tenganuna adecuada relación eficacia/eficiencia

¿Cómo saber el grado de madurez queuna empresa posee en términos de datosy su calidad asociada?




CALDEA es un modelo de calidad dedatos basado en niveles de madurezbasado en CMMI [Caballero, I. & Piattini, M. (2003) “CALDEA: A

Data Quality Model Based on Maturity Models”. In proc. 3rd International Conferenceon Quality Software. IEEE]

Su objetivo es servir de guía para mejorarlos procesos de gestión de datos dentrode una organización


CALDEA plantea los siguientes niveles enconsonancia con CMMI:◦ 1. Inicial

“No existen esfuerzos coordinados y gestionadosen orden de asegurar la calidad de los datos”




CALDEA◦ 2. Definido

“Los esfuerzos se focalizan en:1. Especificar los procesos completos2. Identificar y definir cada componente3. Identificar las relaciones entre ellos4. El modo en que son ejecutados de acuerdo a proyectos

previos

Las actividades necesarias del nivel son:◦ Gestión de proyectos para los procesos de Gestión de

Datos◦ Gestión de Requerimientos de datos◦ Gestión de métricas y dimensiones de la calidad◦ Gestión de orígenes y destinos de datos◦ Gestión de proyectos de adquisición”


CALDEA◦ 3. Integrado

“Satisface las prácticas del nivel 2 y los esfuerzos sefocalizan en:1. Desarrollar y ejecutar de acuerdo a las políticas de datos

organizacionales,2. Los diferentes temas de calidad de datos deben estandarizarse3. Captar conocimiento en base al feedback

Las actividades necesarias del nivel son:◦ Gestión del equipo de calidad de datos◦ Verificación y validación del producto de la calidad de datos◦ Gestión de Riesgo en la Calidad de Datos. Impacto de pobre

calidad en los datos dentro de los sistemas◦ Gestión de estandarización de la calidad de datos Toda

experiencia aprendida puede ser documentada◦ Gestión de los procesos organizacionales




CALDEA◦ 4. Gestión Cuantitativa

“Satisface las prácticas del nivel 3 y los esfuerzosse focalizan en:1. Medir los procesos de gestión de datos y sus

componentes

Las actividades necesarias del nivel son:

◦ Gestión de las mediciones de los procesos de gestiónde datos


CALDEA◦ 5. Optimización

“Satisface las prácticas del nivel 4 y los esfuerzosse focalizan en:1. Identificar causas o modos de optimizar procesos

Las actividades necesarias del nivel son:

◦ Análisis de causas para prevención de defectos

◦ Innovación y desarrollo organizacional Mejoracontinua



Síntesis

ISACA: COBIT, Risk IT & VAL IT

Calidad. Datos & Interoperabilidad.

Problemas fundamentales de los datos

Gestión de la Calidad de Datos:◦ Gestión

◦ Equipos de Calidad

◦ Formalización de procesos y su evaluación

Marco Formal de Medición y Evaluación

Modelos de referencia en calidad de datos

Muchas gracias por su atención

[email protected]

©2010

mailto:[email protected]

calidad de datos - universidad nacional de la · pdf file(garvin,87) visión ......

Documents