1

1

Creando el próximo Data Warehouse:Integración y calidad de datos

Caso prácticoPei-Yung Chan

2

Agenda

� Procesos de integración y calidad de datos

� Uso de PowerCenter como herramienta de integración de datos

� Ejemplo de un Data Warehouse con calidad

� Utilización de procesos y reglas de calidad de datos

� Uso de PowerAnalyzer como herramienta de análisis y reporting

2

33

Procesos de integración y calidad de datos

4

Necesidades de un negocio

� Incorporar la información recogida en sistemas transaccionales u otras fuentes de datos para:− Analizar la evolución de ventas− Comparar las tendencias del mercado− Analizar el efecto de las promociones de marketing y

acciones comerciales− Obtención de la información para realizar rápidas

decisiones estratégicas, tácticas y operacionales− Realizar un análisis de ventas comparativo con otras

empresas del sector

3

5

Ejemplos de Indicadores obtenidos

� Ventas en € y en unidades

� Market share del producto respecto el mercado al que pertenece

� Potencial del producto. Porcentaje que representan las ventas del producto respecto el total de ventas a nivel nacional

� Ratio de crecimiento de las ventas respecto el mismo periodo del año anterior

� Ratio de crecimiento del producto analizado respecto a la ratio de crecimiento del mercado

� Potencial del mercado. Porcentaje que representan las ventas del total del mercado respecto el total de ventas a nivelnacional

6

Problemática habitual

� Traspasar la información a nuestros sistemas operacionales (CRM, ERP) o decisionales (BI)

� Verificar la información y adecuarla a nuestros indicadores de negocio

� Alimentar más de un sistema con la información obtenida

� Necesidad de programación de procesos de extracción poco flexibles y de costosa implantación

4

7

Metodología de extracción de datosInformese

indicadores

8

Proceso de extracción de la información

� Se realiza la carga a los sistemas de la empresa automáticamente

� Control de la transferencia por FTP o desde otras ubicaciones

� Gestión de errores− Aviso a los responsables− Detección del punto exacto donde se detecta el error− Permite la reejecución del proceso en el punto donde se ha

detectado el error

� Programar el proceso para su ejecución en diferentes momentos del día

5

9

Proceso de validación de la información

� Garantizar la coherencia de la información

� Es necesaria una comprobación que la información es correcta y no hayan alteraciones

� Comprobación de indicadores de la calidad de los datos

10

Proceso de transformación

� Cabe destacar la importancia de complementar datos con datos producidos por la compañía

� Incorporación de la información de la red comercial propia de la compañía

� Incorporar agrupaciones de productos, presentaciones, etc. que es mantenido por los tomadores de decisión de la compañía

6

11

Proceso de carga

� Incorporación de información adicional en otras bases de datos, hojas EXCEL, ficheros planos, etc.

� Proceso de carga de Staging Area para ser origen de otras cargas (Data marts, etc.)

� Tratamiento gran volumen de información producidos generalmente por − Muchas combinaciones de datos para asegurar la

velocidad de ejecución de informes

− Generación de agregados para todos los elementos y niveles de las redes comerciales

1212

Uso de PowerCenter como

herramienta de integración de datos

7

13

Desarrollo / ProgramaciDesarrollo / Programacióónn

� Tiempo de desarrollo / corrección de errores

� Flexibilidad / reutilización

� Auditoria / Documentación

� Trazabilidad

� Programadores

� Lenguajes de programación

Solución propuesta

Fuentes de DatosAplicaciones de negocio

Extracción y carga de datos

SalesForce

1414

Ejemplo de un Data Warehouse con calidad

8

15

Ejemplo PEPEPHONE

� Empresa ejemplo de telefonía móvil

� Tiene la necesidad de realizar análisis sobre las llamadas y los servicios contratados por sus clientes

� Es necesario aplicar reglas de calidad en sus datos

16

Modelo de datos PEPEPHONEVersión inicial

9

17

Procesos de calidad

� Selección de diferentes campos importantes de las diferentes tablas de datos

� Incorporación de indicadores de calidad

� Índice de calidad con valor de 0 a 1

� Procesos periódicos que miden la calidad del registro

� Actualización del índice de calidad de los datos

18

Modelo de datos PEPEPHONEVersión con indicadores de calidad de datos

10

19

Procesos de integración de datos

� Extracción de los diferentes orígenes

� Comprobación de datos

� Trasformaciones y cálculos

� Filtrado de los registros con indicadores de calidad inadecuados

� Escritura y carga en el Data Warehouse

20

Proceso de extracción y carga

11

21

Procesos de calidad de datos

2222

Uso de Data Analyzer como

herramienta de análisis y reporting

12

23

Lo que nos comunican nuestros clientesProblemas para los consumidores de información:

BI para todos los usuariosFacilidad de uso; Procesos guiados de desarrollo; cuadros de mando personalizados, mínima formación necesaria.

BI para usuarios avanzados

Funcionalidad Web limitada; Dificultad de manejo; Muchas y diferentes interfaces; Extenso entrenamiento.

Problemas tradicionales Nuestra Solución

Limitación de análisis

Análisis causa-efecto complejo, limitación en el desglose de la información.

Análisis guiados Avanzado análisis causa-efecto; workflowsanalíticos, ayuda para la toma de decisiones.

Integración con Excel

Desconectado de las fuentes de datos

Total integración con Excel

Integración bidireccional con excel, funcionalidad embebida, exportación dinámica.

“Tiempo-Real”

Disponible unicamente en refresco de información

Integración en Tiempo-Real

Alertas interactivas real-time, contextual right-time metrics; actualización de infraestructura analítica

24

Informatica Data Analyzer: Plataforma Unificada: “Todo en uno”

� Unificación en las capacidades de funcionamiento y administración

� Thin-client para administración, desarrollo e interfaces de usuario final

� Reducción de costes de licenciamiento, implementación, formación e integración de producto

Ad hoc QueryAd hoc Query

& Report& Report

ViewingViewing

EmbeddedEmbedded

ExcelExcelRealReal--TimeTime

DashboardsDashboards

AdminAdminAnalyticAnalytic

AppsApps

InterfaceInterface

SoftwareSoftware

DevelopmentDevelopment

KitKit

Mobile &Mobile &

BroadcastingBroadcasting

Analytic Analytic

Workflow,Workflow,

Slice & DiceSlice & Dice

AuthenticationPortal

IntegrationEnterprise

Communications

Po

werA

naly

zer 4

®

© Copyright 2003 Informatica Corporation. All rights reserved.

ReportReport

ViewingViewingExcel Excel

IntegrationIntegrationDashboardsDashboards

Report Report

Layout & Layout &

DesignDesign

AnalyticAnalytic

ToolsTools

Performance Performance

ManagementManagementMobile &Mobile &

BroadcastingBroadcastingAd Hoc Ad Hoc

AnalysisAnalysis

PortalIntegration

Administration

Data

An

aly

zer

APIs & SDK

13

25

Democratizar la información: Responsabilidad y Visibilidad

© Copyright 2003 Informatica Corporation. All rights reserved.

Aplicaciones

Bases de Datos

Data Formats

DW / ODS

ALMACEN DE DATOS

Datos LocalesFicheros, Excel, etc

Integración con portal corporativo

Multidispositivo

UsuariosFinales

Clientes

Partners

26

Data AnalyzerArquitectura

© Copyright 2003 Informatica Corporation. All rights reserved.

� Es la Plataforma más escalable de BI basada en un servidor de aplicaciones J2EE ; no servidor propietario Soporta BEA, IBM, Sun, JBOSS

� Arquitectura ROLAP

� Soporta: arquitectura en clustering y tolerancia a fallos

� Sistemas operativos soportados:NT, Unix, Linux

� Bases de Datos Soportadas:Oracle, DB2, SQLServer, Teradata, Sybase

� Integración estandares de seguridad: LDAP, Active Directory, SiteMinder, etc.

� Portales (BEA, WebSphere, Plumtree, Custom)

14

27

Características generales

� Creación de cuadros de mando

� Informes personalizados

� Filtros según el perfil de usuario

� Asistentes para la creación de informes

� Métricas y alertas en tiempo real

28

Autoaprendizaje, facilidad de usoMínima formación, extrema productividad

Asistente de creación de informes en base a métricas

Informes libres de

errores

Visualización Excel

Integración total en PowerAnalyzer

Analytics Workflows

Toma de decisiones más rápida

Usuariosfinales

15

29

Toda la funcionalidad BIReducción de coste de aprendizaje

• Add alerts • Add indicators• Add columns to table• Add attribute and time

filters• Add charts • Add exception

highlighting• Drill up, down and

across

Users

30

Conclusiones

� Plataforma de Business Intelligence de propósito general

� Fácil de usar

� Fácil de aprender

� Adaptable a los sistemas existentes de la compañía

� Integrado con EXCEL y otras plataformas móviles

16

3131

Demostración de la plataforma

3232

Muchas gracias