ssis - automatizar procesos etl

Automatizar los procesos ETL con SSIS

¿Qué es y qué no es automatizable?

Alfonso Carreira

DPS | acarreira@solidq.com

Microsoft MAP, MCSE: Business Intelligence

@salvador_ramos Salvador Ramos

Mentor y director de formación | sramos@solidq.com

SQL Server MVP, MCSE: Business Intelligence

#SQSummit

EN CUMPLIMIENTO CON LA LEY 15/1999 DE PROTECCION DE DATOS DE

CARÁCTER PERSONAL, PONEMOS EN TU CONOCIMIENTO QUE

ESTA SESIÓN VA A SER GRABADA

POR SOLIDQ Y QUE ESTA GRABACIÓN PODRÍA SER UTILIZADA COMO MATERIAL

DE MARKETING Y HACERSE PUBLICA A TRAVÉS DE DIVERSOS MEDIOS, COMO

POR EJEMPLO NUESTRA PAGINA WEB.

TENIENDO EN CUENTA QUE TU IMAGEN PUEDE APARECER EN ESA GRABACIÓN,

SI NO DESEAS APARECER, ROGAMOS NOS LO COMUNIQUES POR LOS MEDIOS

QUE YA CONOCES.

COMUNICADO

2

¿Cómo comenzamos?

“Te ha tocado”

Nuevo proyecto / empresa

Manteniendo proyectos existentes

Manos a la obra

El día a día con el ETL

4

Crear

Paquete

A

producción

Ejecución

periódica

¿Ha fallado

algo?

Mantener

El día a día con el ETL

5

El día a día del ETL

6

Cada vez

Más paquetes

Más incidencias

Más urgencias

El día a día del ETL

7

¿Y ahora qué?Abstraerse del día a día

8

Revisando la situación

9

Encontrando patrones

10

Estudiando cada patrón

11

Definimos normas a seguir

Hacemos plantillasPoner aquí imagen de plantilla de Workflow y dataflow (ver con Alfonso)

Buscando solución técnica SSIS

12

¿Cómo lo estáis haciendo?

13

¿Sólo Plantillas = reutilización con copy/paste?

¿Cómo lo estáis haciendo?

14

… Y si quiero implementar una mejora en un

patrón … pero tengo decenas/centenas de

paquetes con ese patrón en producción …

¿Cómo lo estáis haciendo?

15

Automatizar los patrones más habituales

Valoraremos el esfuerzo de automatizar versus hacer N

paquetes muy similares a mano, y “mantenerlos”

Nuestra propuesta

16

Patrón: Sincronizar tablas

17

Tabla1 Tabla1

Incremental

Con/Sin historial de Insert/Update/Delete

Con/Sin loggin y auditoría

Patrón: Carga Staging

18

DEMO

19

Incremental

Slowly Changing Dimensions (SCD)

Patrón: Carga de Dimensiones

20

DEMO

21

Incremental

Con/Sin actualizaciones

Patrón: Carga de Hechos

22

DEMO

23

Incremental

Multiples archivos

Historial y auditoría

Trazabilidad

Relanzamiento ante errores

Ficheros completos / sólo filas

Patrón: Carga de Archivos

24

DEMO

25

Mayor inversión inicial

Retorno inmediato

Rápida producción

Menos mantenimiento

Facilidad para cambios masivos

Conclusiones

26

¿Preguntas?

27

¡Gracias!

Siéntate a comer con nosotros o tómate un café y aclara tus

dudas

DPS

acarreira@solidq.com

Alfonso Carreira

@salvador_ramos

Mentor y Director de Formación

sramos@solidq.com

Salvador Ramos

28

Si quieres disfrutar de las mejores sesiones de

nuestros mentores de España y Latino América,

ésta es tu oportunidad.

http://summit.solidq.com

Síguenos:

29