12/05/1999Datawarehouse 1U I B

Datawarehouse

Ingeniería del Software III

Gabriel Buades

Mayo 1.999

12/05/1999Datawarehouse 2U I B

Conceptos DatawarehouseDatawarehouse: Repositorio completo de datos de

la empresa, donde se almacenan datos estratégicos, tácticos y operativos, al objeto de obtener información estratégica y táctica

Data-Mars: Repositorio parcial de datos de la empresa, donde se almacenan datos tácticos y operativos, al objeto de obtener información táctica

Data-Mining: Técnicas de análisis de datos encaminadas a obtener información oculta en un Datawarehouse

12/05/1999Datawarehouse 3U I B

Conceptos DatawarehouseEIS (Executive Information System): Herramientas

para proveer de información estratégica a los ejectuivos, mediante informes, comparativas y cuadros de mandos multi-dimensionales.

DSS (Decission Suport System): Herramientas de ayuda a la toma de decisiones. Incorpora reglas de decisión y análisis de datos no predefinidos en las posibilidades de un EIS

12/05/1999Datawarehouse 4U I B

OLTP - OLAPOLTP (On-Line Transaction Processing): Define el

comportamiento habitual de un entorno operacional de gestión: Altas/Bajas/Modificaciones/ConsultasConsultas rápidas y escuetasPoco volumen de informaciónTransacciones rápidasGran nivel de concurrencia

12/05/1999Datawarehouse 5U I B

OLTP-OLAPOLAP: On-Line Analytical Process: Define el

comportamiento de un sistema de análisis de datos y elaboración de información:Sólo ConsultaConsultas pesadas y no predeciblesGran volumen de información históricaOperaciones lentas

12/05/1999Datawarehouse 6U I B

OLTP - OLAP

Característica OLTP OLAP

Tamaño BBDD GigaBytes Giga a TeraBytes

Origen Datos Interno Interno y Externo

Actualización On-Line Batch

Periodos Actual Histórico

Consultas Predecibles Ad Hoc

Actividad Operacional Analítica

12/05/1999Datawarehouse 7U I B

OLTP - OLAPTodas estas divergencias hacen que no sea

posible la convivencia en una única BBDD de los entornos OLAP y OLTP:Pérdida de rendimiento del entorno OLTPFalta de integración entre distintos aplicaciones OLTPTecnologías de BBDD sin capacidad para soportar

aplicaciones OLTPIncorporación de datos externos difícilmente aplicable a

la BBDD OLTPDistribución de los datos no adecuada para análisis

OLTP

12/05/1999Datawarehouse 8U I B

Arquitectura DatawarehouseDiagrama de Flujo de Datos

OLAPConsolidación Middle-Ware

Aplicación

OLTP

OLTP

OLTP

12/05/1999Datawarehouse 9U I B

Arquitectura DatawarehouseOLTP: Bases de datos transaccionales, propias o

incorporadasOLAP: BBDD Datawarehouse de análisisProcesos de consolidación

Cambio de tecnología de BBDDSumarizan datos disgreagadosTransforman datosConsolidan datos de aplicaciones no integradas

12/05/1999Datawarehouse 10U I B

Arquitectura DatawarehouseConsistencia de consolidación

Comprobar la validez de los datos en el entorno operacionalDatos que no se usanDatos que no se mantienen

Inconsistencia entre distintas aplicaciones dentro del sistemaDatos no igualmente mantenidosCodificaciones diferentes

12/05/1999Datawarehouse 11U I B

Arquitectura Datawarehouse Mecanismos de consolidación

Refresco de datos: Volcado completo de los datos procedentes del sistema operacional

Actualización de datos: Volcado incremental, tomando como criterio la fecha de operación

Propagación de datos: Creación de logs en el entorno transaccional, los cuales se aplican en el entorno analítico

Factores tecnicos Mecanismo de transporte Tiempos de carga Reformateo de datos

12/05/1999Datawarehouse 12U I B

Arquitectura DatawarehouseMiddle-Ware

Gestiona comunicaciones con el DatawarehouseCoordina la concurrenciaControla procesos batch

AplicacionesSistemas de presentaciónSistemas interrogativosSistemas de simulaciónSistemas funcionalesSistemas expertosDSS

12/05/1999Datawarehouse 13U I B

BBDD OLAP El análisis de los datos se suele basar en un modelo

simplificado de estrella, o más genéricamente, de copo de nieve (snowflake), el cual relaciona los hechos con los agentes del negocio (dimensiones):

VentasGeografía

Tiempo

Clientes

Productos

12/05/1999Datawarehouse 14U I B

BBDD OLAPLa relación entre tablas relaciones y tablas de

hechos y dimensiones, se lleva a cabo mediante un Diccionario de Datos, el cual define cada elemento del negocio en base a las tablas y campos físicos

Tipos de BBDDBBDD RelacionalBBDD MultidimensionalBBDD HíbridaBBDD OLAP (BBDD Relacional con funcionalidad OLAP)