por qué data warehouse ?
DESCRIPTION
“Diseño de un Data Mart para la Unidad de Programación y Abastecimiento de Hidrocarburos de Petrocomercial, Filial de Petroecuador ”. Datos. Datos. ?. Datos. Datos. Datos. Datos. Datos. Datos. Datos. Datos. Información para la toma de decisiones. Islas de Información. - PowerPoint PPT PresentationTRANSCRIPT
“Diseño de un Data Mart para la Unidad de Programación y
Abastecimiento de Hidrocarburos de
Petrocomercial, Filial de Petroecuador”.
Por qué Data Warehouse ?
Datos
DatosDatos
Datos
DatosDatos
DatosDatos
DatosDatos ?
Islas de InformaciónInformación para la toma de decisiones
Qué es un Data Warehouse?
“Data Warehouse nos permite la integración de datos corporativos en un único depósito donde los usuarios puedan consultar o analizar los datos para la toma de decisiones”.
Data Warehouse
DATOS EXTERNOS
DATOS OPERACIONALES TRANSACCIONALES
Transfor_mación
DATA
WAREHOUSE
METADATOS
SOPORTE DE
DECISIÓN
DATOS OPERACIONALES BATCH
Características
Tema Orientado
Integrado
Variante en el tiempo
No Volátil
Arquitectura
DATOS DATOS CONSULTAS Y REPORTES MINERIA DE DATOS ANALISIS OPERACIONALES EXTERNOS INTERACTIVOS SEGMENTACION MULTIDIMENSIONAL
PREDICCION O ANALISIS OLAP
Metadatos
DATA WAREHOUSE
PROCESOS Y FUNCIONES
1 2 3S10
10
20
Serie1Serie2
Extracción , limpiezatransformación y
carga
Metadatos
Datos acerca de los datos.
Herramienta que almacena datos u otro punto de apoyo para los sistemas de información, guardando la pista de las relaciones entre el Data Warehouse y las Bases de Datos Operacionales, incluyendo además los pasos requeridos para el almacenamiento de los datos.
Se clasifican en: Metadatos de Transformación, y Metadatos de Aplicación.
Metadatos
DATA
WAREHOUSE
Contenido de losMetadatos Tablas de Estructura del Data Warehouse Tabla de Atributos del Data Warehouse Datos de origen del Data Warehouse (El sistema de
registros) El mapeo desde los sistemas de registros hasta el Data
Warehouse. La especificación de los Modelos de Datos. La extracción y el registro Las rutinas de acceso a los datos Las equivalencias de tipos de datos entre Base de Datos
Fuente y Destino.
Análisis Multidimensional
Cliente
Geografía
Producto
Tiempo
DIMENSIONES
Cliente Geografía
Producto Tiempo
INTERRELACIONES
Día
Año Fiscal Año
Mes
JERARQUIAS
Trim Rebanar/Picar
Navegación
Pivote
Profundización y resumen
SERVICIOS
Cálculos
Resúmenes y adiciones
Análisis Multidimensional OLAP
“OLAP es una tecnología de procesamiento analítica que crea nueva información empresarial a partir de los datos existentes, por medio de un rico conjunto de transformaciones empresariales y cálculos numéricos”.
Tipos y Modelos de OLAP
TiposOLAP Relacional (ROLAP)OLAP Multidimensional (MOLAP)OLAP Híbrida (HOLAP)
ModelosModelo CuboEsquema EstrellaEsquema Copo de NieveEsquema Mixto
Tipos y Modelos de OLAP Esquema Estrella
Atributos de Tiempo
Clave: Producto
Clave: Región
Clave: Tiempo
Clave: TerminalAtributos de Terminal
Atributos de Región
Atributos de Producto
Volumen Final
Volumen Despachado
Tabla de Volúmenes
Minería de Datos(Data Mining) Esta técnica consiste en extraer información de
grandes bases de datos en función de estos mismos. Se trata de un proceso automatizado de presentación de patrones, normas o funciones a un usuario informado para su revisión y estudio.
Procesos de Minería de Datos Selección de Datos Transformación de Datos “Data Mining” Interpretación de resultados
Esquema Data Warehousing
DB2
Minería de Datos
Procesamiento Analítico en Línea OLAP
Consultas y Reportes
Acceso WEB
Data Warehouse(Data Mart)
Files
Necesidadesde Desarrollo
Definir
Acceso ManejarAlmacenar
Transformar Distribuir Automatizar
SYBASESQLServer
INFORMIXORACLE
VSAMIMS
Necesidadesdel Negocio
Datos Fuentes externos y operacionales
Herramientas
Herramientas de Modelamiento de datosHerramientas de Construcción de un Data
WarehouseHerramientas de análisis multidimensional
u OLAP, Consultas y reportesMinería de Datos
Sistemas Operacionalesde Petrocomercial IBM S/390
Base de datos DB2 Sistema de Movimiento de Productos (MOPRO)
Archivos VSAM Sistema de Comercialización (Ventas)
IBM AS/400 Base de Datos DB2/400
Sistemas Financieros Sistemas Administrativos Sistema de Inventarios y Compras Sistema de Mantenimiento Sistema de Contratos
Selección de Herramientas
Construcción de Data Warehouse Visual Warehouse (IBM) Oracle Express (Oracle
Corporation) Herramientas OLAP
DB2 OLAP Server (IBM) Oracle Express (Oracle
Corporation) Power Play (Cognos) Business Objects (BO)
Base de Datos DB2 UDB (IBM) Oracle 8
Consultas y Reportes Lotus Approach (IBM) Discoverer (Oracle
Corporation) Impromptu (Cognos) Business Query (Business
Objects) Minería de Datos
Intelligent Miner (IBM) 4 thought (Cognos) Business Miner (Business
Objects)
Esquema propuesto paraPetrocomercial
Procesamiento Analítico en Línea OLAPy acceso a Web
DB2
Consultas y Reportes
Data Warehouse(Data Mart)
Archivos Planos
VSAM
Datos Fuentes externos y operacionales
DB2
Acceso TransformarDistribuir Almacenar
Manejar Automatizar
VISUAL WAREHOUSE
Impromptu Power Play
Ambiente de Data Warehouse
IBM AS/400 PCO2
IBM S/390
Token Ring
IBM AS/400 PCO1
Comunicación APPC
Comunicación APPC
PCORED3
Software para crear y manejar Data Warehouse
Visual Warehouse
Power Play
Impromptu
Software para comunicaciones
Communications Server
Base de Datos
DB2 UDB
Ambiente de Data Warehouse
Ambiente de ComunicacionesAmbiente de Base de DatosCreación de Data WarehouseAnálisis OLAP y Consultas y Reportes
Ambiente de Comunicaciones Configuración de un
nodo de red. Configuración de
dispositivos. Configuración de una
conexión. Configuración de
Unidades Lógicas Locales (Local LU 6.2).
Configuración de modos.
Configuración de Unidades Lógicas Asociadas (Partner LU 6.2).
Configuración de interface común de programación (CPI-C).
Ambiente de Base de Datos
Configuración de Base de Datos (Base de Datos fuentes, de control y de Data Warehouse)Protocolo de comunicaciones(APPC)Sistema Operativo(MVS/ESA, OS/400)Parámetros de comunicación APPC (CPI-C)Base de Datos destino
Pruebas de Conexión a Base de Datos (Test) Ejecución de aplicación (Bind)
Desarrollo de AplicaciónMetodología PlaneaciónRequerimientosAnálisisDiseñoConstrucción Puesta en Marcha (Pruebas,
Implementación)
Planteamiento del Problema
El proyecto piloto en Petrocomercial inicia con la construcción de un Data Warehouse para la Unidad de Programación y Abastecimiento de Hidrocarburos, el cual deberá satisfacer consultas periódicas concernientes a volúmenes finales (existencias), volúmenes despachados (demanda) y días de stock de productos derivados del Petróleo, distribuidos por terminal de despacho y región.
Esquema Estrella de Aplicación
Atributos de tiempoClave: Producto
Clave: Región
Clave: Tiempo
Clave: TerminalAtributos de Producto Atributos de Región
Atributos de Terminal
Volumen Final
Volumen Despachado
Hechos
Tabla de Dimensión Tiempo
Tabla de Dimensión Producto
Tablas de Hechos de Volúmenes
Tabla de Dimensión Terminal
Tabla de Dimensión Región
Procesos de Aplicación
Data
Warehouse
MOPRO
Sistema
de MOPRO
Gerencia
General
Unidad de
Programación y
Abastecimiento
Subgerencia
de Transporte y
Almacenamiento
Petroindustrial
Existencia y demanda de productos.
Despachos a empresas eléctricas.
Existencia, demanda diaria, y días de stock de productos.
Stock de Refinerías
Construcción del DataWarehouse (Visual Warehouse) Acceso a datos de ambientes operacionales, y de fuentes externas. Transformación, Integración y Distribución de datos, que permiten
convertirlos en datos útiles para el negocio. Filtrado de datos usando sentencias SQL estándares.
Almacenar datos. Encontrar y Comprender, a través de un catálogo de información. Mostrar, Analizar y Descubrir usando una herramienta de soporte
a la toma de decisiones. Automatizar y Administrar del Data Warehouse, para maximizar
la disponibilidad con un mínimo de recursos.
Herramienta OLAP
Herramienta para análisis multidimensional.
Empaqueta datos en estructuras multidimensionales llamadas Power Cubes
Además es una herramienta OLAP dinámica sobre el WEB.
0102030405060708090
1er
trim
.
2do
trim
.
3er
trim
.
4to
trim
.
EsteOesteNorte
Herramienta de Consultas y Reportes Respuesta empresarial para
consultas y reportes además del WEB.
Presenta información de la forma que administradores miran su negocio, no la forma como la base de datos esta estructurada.
Brinda facilidad y rapidez a los usuarios para crear rápida y fácilmente alguna consulta y reporte
Conclusiones Las empresas generan y recopilan grandes cantidades de
información, el desafío consiste en aprovechar el valor de dicha información y usar los patrones y las tendencias en su uso, para obtener nuevos conocimientos.
Actualmente organizaciones de distintos tamaños y diversos sectores están descubriendo que pueden obtener ventajas para sus empresas utilizando un Data Warehouse.
Un Data Warehouse ofrece la base para técnicas eficaces de análisis y toma de decisiones, tan importantes en el entorno competitivo de nuestra época.
Conclusiones
La información en un sistema operacional se encuentra detallada registro por registro, mientras que la información en un Data Warehouse esta resumida, transformada, depurada y lista para la toma de decisiones.
Con la construcción de un Data Warehouse los ejecutivos descubren que requieren información más precisa y rápida que antes.
Recomendaciones
Petrocomercial debe continuar con el Proyecto de Data Warehouse.
Renovación de la infraestructura de hardware.
Proyecto de Minería de Datos.Difusión del Proyecto de Data Warehouse
al resto de Filiales y a Petroecuador.
Muchas Gracias por su Atención