ciclo de vida hugo m. castro. implementación de un data warehouse un proyecto de data warehouse...

Ciclo de Vida

Hugo M. Castro

Implementación de un Data Warehouse Un proyecto de Data Warehouse debe

basarse en satisfacer necesidades del negocio

Los datos se deben presentar de acuerdo con las variables del negocio

Un Data Warehouse está en permanente evolución

Cada proyecto de Data Warehouse debe tener un principio y un fin

Ciclo de vida

Planificación

Requerimientos

del

Negocio

Modelo

Dimensional

Diseño

ArquitectónicoProductos

Diseño

FísicoData Staging

Especificación

Aplicaciones

Desarrollo

Aplicaciones

Implementación

Mantenimiento

Crecimiento

Administración del Proyecto

Planificación

Planificación

Requerimientos

del

Negocio

Modelo

Dimensional

Diseño

ArquitectónicoProductos

Diseño

FísicoData Staging

Especificación

Aplicaciones

Desarrollo

Aplicaciones

Implementación

Mantenimiento

Crecimiento

Administración del Proyecto

Planificación Predisposición de la organización Alcance Justificación de negocio Aspectos humanos Plan del proyecto Puntos clave

Predisposición de la organización

Apoyo de la Gerencia (Sponsor) Motivación del negocio Participación de gente del negocio y

Sistemas Cultura actual de análisis de

información Factibilidad

Apoyo de la Gerencia (Sponsor) Perteneciente al área de negocios de la

empresa Con visión del impacto del Datawarehouse Con convicción personal y alto compromiso

con el proyecto

Apoyo de la Gerencia (Sponsor) Con influencia en la empresa, respetado y con

buenas conexiones Con conocimiento de la cultura, las personas, las

políticas y los procesos de la empresa Con visión realista para comprender los conceptos

del datawarehouse y el ciclo de desarrollo iterativo

Con capacidad para tomar decisiones

Motivación imperiosa del negocio Tener en cuenta que El datawarehouse es un facilitador del acceso a los

datos Va a armarse para resolver requerimientos críticos

específicos del negocio Debe alinearse con las motivaciones del negocio

de tipo estratégico de la empresa Ejemplo

Oportunidad para ganar lugar en el mercado Mejorar la competitividad

Participación entre Sistemas y Negocio Un datawarehouse exitoso parte del trabajo

conjunto de gente de sistemas y gente del negocio

NO se puede encarar prescindiendo de la otra área

Cultura actual en el análisis de información Un datawarehouse se construye para brindar

mejor acceso a mejor información para dar soporte a la toma de decisiones

Cultura actual en el análisis de información si no hay uso actual de información,

probablemente la empresa no necesite un Datawarehouse

(o hay que invertir un esfuerzo considerable en cambiar la cultura)

Factibilidad

Se refiere a los datos que van a alimentar al Datawarehouse

Los datos del datawarehouse son secundarios, es decir, todos provienen de otras fuentes que los reunieron.

Son importantes Los sistemas transaccionales en funcionamiento

que tiene la empresa La calidad de los datos

Predisposición de la organización

ESCENARIOS POSIBLES 1 Empresa con algún área de gran

visibilidad Con necesidades claras de acceso a

información Con un ejecutivo del negocio que impulsa el

proyecto (sponsor) Es la situación más favorable Se da en el 50% de los casos

Predisposición de la organización

ESCENARIOS POSIBLES 2 Empresa con múltiples áreas que

requieren información Es una situación más complicada Requiere establecer prioridades en

los requerimientos

Predisposición de la organización

ESCENARIOS POSIBLES 3 Empresa sin una necesidad clara de

acceso a información sino difusa Es la situación más complicada Puede verse beneficiada por tener

acceso a información pero hace falta identificar primero en forma clara Los beneficios de una solución BI y Las necesidades reales de acceso a

información.

Predisposición de la organización Controlar la disposición de la empresa hacia una

solución BI Antes de comenzar un proyecto de Datawarehouse

o Data Mart Entender si hay demanda de uso de información Identificar de dónde proviene la demanda

Hay que Buscar un sponsor de negocios fuerte Identificar usuarios de negocios ávidos de

información

Predisposición de la organización

Si no POSPONER EL PROYECTO... 

Preguntas clave Evalúan si la organización está en

condiciones de implementar una solución de BI

Evalúan si vale la pena ofrecer una solución de BI

Preguntas cruzadas Aspectos de la implementación

Factores críticos de éxito Compromiso de la Gerencia Requerimientos del negocio Madurez de la empresa Calidad de información Características del Data

Warehouse Grupo de desarrollo

Alcance del proyecto Consenso Sistemas y Negocios Valor para la organización Manejable Comienzo en pequeño

Un proceso de negocios Prioridades Plazos Riesgos

Justificación para el negocio Estimación de beneficios y costos Costos de hardware y software Crecimiento Ampliación de requerimientos Mayores ingresos Mejores oportunidades

Aspectos humanos

Funciones provenientes del negocio Funciones técnicas

Sistemas – Negocios Funciones de administración

Sistemas – Consultores externos Transferencia de conocimiento

Personajes 1

DEL LADO DEL NEGOCIO Propietario Patrocinante Conductor Líder de negocios Profesionales de negocios

Personajes 2

ASPECTOS TÉCNICOS Analista de sistemas de negocios Referente temático Desarrollador de aplicaciones Instructor

Personajes 3

ADMINISTRACIÓN Y SOPORTE Director del proyecto Arquitecto Especialista de soporte técnico Modelador de datos Administrador de base de datos Diseñador de ETL Soporte del Data Warehouse

Plan del proyecto Identificación de las tareas

necesarias Participación de personas clave Identificación de puntos de

aceptación por los usuarios Etapas – Entregables

Plan de comunicaciones

Plan de comunicaciones

Interlocutor Frecuencia Mensaje

Patrocinante Bi-mensual Resolución de problemasManejo de expectativas

Usuarios de negocios

Mensual InvolucraciónManejo de expectativasFechas críticas

Grupo del proyecto

Semanal Avance del proyectoIdentificación y resolución de problemas

Sistemas Bi-mensual Manejo de expectativasNecesidad de recursos

Puntos clave Busque un patrocinante bien

ubicado Haga un balance entre valor para el

negocio y manejabilidad Desarrolle cuidadosamente el plan

del proyecto Sea un director de proyecto con

capacidad de motivar, administrar y comunicar a todos los niveles

Requerimientos del negocio

Planificación

Requerimientos

del

Negocio

Modelo

Dimensional

Diseño

ArquitectónicoProductos

Diseño

FísicoData Staging

Especificación

Aplicaciones

Desarrollo

Aplicaciones

Implementación

Mantenimiento

Crecimiento

Administración del Proyecto

Relevamiento de requerimientos

PREPARACIÓN Entreviste primero a los altos directivos

Visión más amplia del negocio Determinación de prioridades Apoyo para las entrevistas posteriores

Prepare el grupo de relevamiento Planifique las entrevistas con gerentes

intermedios y profesionales de negocios

Relevamiento de requerimientos

UNA VEZ IDENTIFICADOS LOS INTERLOCUTORES

Elija los medios Entrevistas Sesiones con moderador

Prepare el temario Agende las entrevistas y sesiones

Relevamiento de requerimientos

ENTREVISTAS Apertura

Objetivos de la entrevista Desarrollo

Forma de trabajo Métricas Análisis

Cierre Cuantificación del éxito

Relevamiento de requerimientos

Puntos importantes Escuche atentamente Tome notas No entre en detalles demasiado

pronto Trate de captar la terminología de la

organización En las entrevistas use el vocabulario

del entrevistado

Funciones vs. Datos

Productos Fecfa Hora Sucursales Ventas Cantidad de tickets

¿Qué productos se venden más? X X

¿Cómo se venden los productos en las sucursales?

X X X

¿En qué horas hay más clientes? X X X¿Qué días de la semana son más flojos?

X X X

INTERLOCUTORES: PROFESIONALES DE NEGOCIOS

Entrevistas sobre los datos Interlocutores

Conocedores de las fuentes de datos Conocedores del negocio

Objetivos Asegurar que hay datos para cumplir

con los requerimientos Fijar las expectativas en un nivel

razonable

Datos vs. Fuentes

Inventario Carpeta de

sucursales

Consolidado de cajas

BD de productos

Productos X X XFecha XHora XSucursales X XVentas XCantidad de Tickets X

INTERLOCUTORES: ADMINISTRADORES DE BD

Actividades post-entrevistaInforme sobre la reunión Resumen ejecutivo Visión general Detalle de cada proceso de negocios

Para qué se requiere análisis de datos Qué funciones se necesitan Cuáles son las limitaciones actuales Cuáles son los beneficios previstos Factibilidad de conseguir los datos

necesarios

Actividades post-entrevista

Presentación a la alta gerencia Identificación de procesos de

negocios Entendimiento de la terminología Análisis de prioridades

Impacto en el negocio Factibilidad

Actividades post-entrevista

Impacto en el negocio

Factibilidad

CUADRANTES DE PRIORIDADES

Alt

oB

ajo

Baja Alta

Proceso A

Proceso B

Proceso D

Proceso C

Desarrollo del proyecto

Requerimientos

Línea de Tecnología

Línea de Datos

Línea de Aplicaciones

El desarrollo del proyecto se realiza en tres líneas

Línea de Tecnología

Planificación

Requerimientos

del

Negocio

Modelo

Dimensional

Diseño

ArquitectónicoProductos

Diseño

FísicoData Staging

Especificación

Aplicaciones

Desarrollo

Aplicaciones

Implementación

Mantenimiento

Crecimiento

Administración del Proyecto

Línea de Tecnología Arquitectura

Componentes Fuentes de datos Organización de datos (Data Staging) Presentación de datos Acceso a los datos

Influencia de los requerimientos Selección de productos

ArquitecturaSistemas

Transaccionales

Data Staging AreaÁrea de presentación de datos

Área de acceso a los datos

Bus del DWh

Extracción

SERVICIOS

Limpieza

Combinación

Estandarización

NO CONSULTAS

ARCHIVOS/TABLAS

PROCESOS

Ordenamiento

Procesamiento secuencial

DATA MART 1

Dimensional

Un proceso de negocios

Datos atómicos y consolidados

DATA MART 2

Diseño similar

Carga

Acceso

Consultas especiales

Redacción de informes

Aplicaciones analíticas

Modelos

- Pronósticos

- Scoring

- Data Mining

Influencia de los requerimientos

Hardware Servidores Discos

Software Sistema operativo Motor de base de datos

Funcionalidades

Influencia de los requerimientos

Alta disponibilidad Espejado de datos Soporte unificado de metadatos Potencia de cálculo para procesos

complejos de integración Ubicación de los usuarios Ventana de renovación

Selección de productos Análogo a otras selecciones de

tecnología Política de compras Matriz de evaluación Requerimientos técnicos y

funcionales Factores de ponderación

Línea de Datos

Planificación

Requerimientos

del

Negocio

Modelo

Dimensional

Diseño

ArquitectónicoProductos

Diseño

FísicoData Staging

Especificación

Aplicaciones

Desarrollo

Aplicaciones

Implementación

Mantenimiento

Crecimiento

Administración del Proyecto

Línea de Datos Modelado dimensional

Proceso de negocios Granularidad Tablas de hechos Tablas de dimensión Claves subrogadas Dimensiones de cambio lento

Línea de Datos Diseño físico de la base de datos

Nombres de columnas Tipos de datos Claves Particiones Estrategia de consolidación

Qué consolidaciones se incluyen Estrategia de indexación

Línea de Datos Diseño y desarrollo del ETL

Compra vs. Desarrollo Curva de aprendizaje Retorno de la inversión

Normalización vs. desnormalización Organización de las tablas de

dimensión Organización de las tablas de hechos

ETL

Organización de las tablas de dimensión Toma los datos dimensionales de los

sistemas transaccionales Depura los valores de los atributos para

incorporarlos al modelo dimensional Crea y asigna claves subrogadas Mantiene la tabla de referencias cruzadas Identifica el agregado omodificación de filas

en la tabla de dimensión

ETL

Organización de las tablas de hechos Toma los datos de hechos de los sistemas

transaccionales Recibe dimensiones actualizadas Separa los datos de hechos por

granularidad Realiza las transformaciones requeridas en

los datos Reemplaza claves de los sistemas fuente

por claves subrogadas

ETL

Organización de las tablas de hechos Agrega claves adicionales

“Sin promoción”, “No aplicable” Asegura la calidad de los datos

Cuenta de filas, totales cruzados Construye tablas de hechos sumadas Incorpora los datos al Data Warehouse Informa a los usuarios

Línea de Aplicaciones

Planificación

Requerimientos

del

Negocio

Modelo

Dimensional

Diseño

ArquitectónicoProductos

Diseño

FísicoData Staging

Especificación

Aplicaciones

Desarrollo

Aplicaciones

Implementación

Mantenimiento

Crecimiento

Administración del Proyecto

Línea de Aplicaciones Especificación y desarrollo de

aplicaciones Diferentes niveles de necesidad de

información para diferentes usuarios Documentación de relevamiento de

requerimientos

Línea de Aplicaciones Especificación y desarrollo de

aplicaciones Vías de acceso

Internet Correo electrónico Tableros de control

Personalización de herramientas

Implementación

Planificación

Requerimientos

del

Negocio

Modelo

Dimensional

Diseño

ArquitectónicoProductos

Diseño

FísicoData Staging

Especificación

Aplicaciones

Desarrollo

Aplicaciones

Implementación

Mantenimiento

Crecimiento

Administración del Proyecto

Implementación Convergencia de las tres líneas La línea de datos es la más

impredecible Fechas comprometidas Asegurarse de que el Data

Warehouse esté en condiciones Educación

Implementación EDUCACION Entender cuál es la audiencia No empezar la educación demasiado

temprano Datos viejos o no reales Posponer la educación si hay problemas

en la puesta en marcha Política “Si no hay educación, no hay

acceso”

Mantenimiento y Crecimiento

Planificación

Requerimientos

del

Negocio

Modelo

Dimensional

Diseño

ArquitectónicoProductos

Diseño

FísicoData Staging

Especificación

Aplicaciones

Desarrollo

Aplicaciones

Implementación

Mantenimiento

Crecimiento

Administración del Proyecto

Mantenimiento y Crecimiento Soporte a los usuarios de negocios

Si no hay consultas, posiblemente no estén usando el Data Warehouse

Detectar áreas de datos o de aplicaciones no cubiertas

Calidad del Data Warehouse Educación

Cursos de actualización Usuarios calificados

Mantenimiento y Crecimiento Soporte Técnico

Es parte del negocio Rendimiento Nivel de servicio

Monitoreo Avance vs. criterios de éxito Revisiones Oportunidades de mejoras

Mantenimiento y Crecimiento Demandas de crecimiento

Nuevos usuarios Nuevos datos Nuevas aplicaciones Mejoras de las aplicaciones existentes

Revisión de las prioridades establecidas Determinación de las necesidades de la

nueva etapa Comienzo de la nueva etapa

Arquitecturas OLAP OLAP Relacional (ROLAP)

Usa un esquema relacional para manejar la navegación y administrar los datos consolidados

Gran escalabilidad OLAP Multidimensional (MOLAP)

Almacenamiento con técnicas multidimensionales Acceso rápido a datos sumados previamente

OLAP Híbrido (HOLAP) Bajo nivel ROLAP, Alto nivel MOLAP

Motores de BD especializados Manejan consultas con esquemas estrella o copo de

nieve