ssis - automatizar procesos etl
TRANSCRIPT
Automatizar los procesos ETL con SSIS
¿Qué es y qué no es automatizable?
Alfonso Carreira
DPS | [email protected]
Microsoft MAP, MCSE: Business Intelligence
@salvador_ramos Salvador Ramos
Mentor y director de formación | [email protected]
SQL Server MVP, MCSE: Business Intelligence
#SQSummit
EN CUMPLIMIENTO CON LA LEY 15/1999 DE PROTECCION DE DATOS DE
CARÁCTER PERSONAL, PONEMOS EN TU CONOCIMIENTO QUE
ESTA SESIÓN VA A SER GRABADA
POR SOLIDQ Y QUE ESTA GRABACIÓN PODRÍA SER UTILIZADA COMO MATERIAL
DE MARKETING Y HACERSE PUBLICA A TRAVÉS DE DIVERSOS MEDIOS, COMO
POR EJEMPLO NUESTRA PAGINA WEB.
TENIENDO EN CUENTA QUE TU IMAGEN PUEDE APARECER EN ESA GRABACIÓN,
SI NO DESEAS APARECER, ROGAMOS NOS LO COMUNIQUES POR LOS MEDIOS
QUE YA CONOCES.
COMUNICADO
2
¿Cómo comenzamos?
“Te ha tocado”
Nuevo proyecto / empresa
Manteniendo proyectos existentes
Manos a la obra
El día a día con el ETL
4
Crear
Paquete
A
producción
Ejecución
periódica
¿Ha fallado
algo?
Mantener
El día a día con el ETL
5
El día a día del ETL
6
Cada vez
Más paquetes
Más incidencias
Más urgencias
El día a día del ETL
7
¿Y ahora qué?Abstraerse del día a día
8
Revisando la situación
9
Encontrando patrones
10
Estudiando cada patrón
11
Definimos normas a seguir
Hacemos plantillasPoner aquí imagen de plantilla de Workflow y dataflow (ver con Alfonso)
Buscando solución técnica SSIS
12
¿Cómo lo estáis haciendo?
13
¿Sólo Plantillas = reutilización con copy/paste?
¿Cómo lo estáis haciendo?
14
… Y si quiero implementar una mejora en un
patrón … pero tengo decenas/centenas de
paquetes con ese patrón en producción …
¿Cómo lo estáis haciendo?
15
Automatizar los patrones más habituales
Valoraremos el esfuerzo de automatizar versus hacer N
paquetes muy similares a mano, y “mantenerlos”
Nuestra propuesta
16
Patrón: Sincronizar tablas
17
Tabla1 Tabla1
Incremental
Con/Sin historial de Insert/Update/Delete
Con/Sin loggin y auditoría
Patrón: Carga Staging
18
DEMO
19
Incremental
Slowly Changing Dimensions (SCD)
Patrón: Carga de Dimensiones
20
DEMO
21
Incremental
Con/Sin actualizaciones
Patrón: Carga de Hechos
22
DEMO
23
Incremental
Multiples archivos
Historial y auditoría
Trazabilidad
Relanzamiento ante errores
Ficheros completos / sólo filas
Patrón: Carga de Archivos
24
DEMO
25
Mayor inversión inicial
Retorno inmediato
Rápida producción
Menos mantenimiento
Facilidad para cambios masivos
Conclusiones
26
¿Preguntas?
27
¡Gracias!
Siéntate a comer con nosotros o tómate un café y aclara tus
dudas
DPS
Alfonso Carreira
@salvador_ramos
Mentor y Director de Formación
Salvador Ramos
28
Si quieres disfrutar de las mejores sesiones de
nuestros mentores de España y Latino América,
ésta es tu oportunidad.
http://summit.solidq.com
Síguenos:
29