cuando bi conoció a hekaton (una historia de amor)

#SQSummit

@pausempere

Cuando BI conoció a HekatonUna historia de amor

DPS – Business Intelligence

Clic para añadir certificacionClic para añadir certificacionClic para añadir certificacion

[email protected]

MAP 2012

Pau Sempere Sánchez

Objetivos

Revisar las técnicas que nos permiten trabajar con BI en escenarios de tiempo real o semi-real

Introducir nuevas tecnologías de Microsoft SQL Server 2014 en dichos escenarios

Agenda

Tiempo real en BI

Nuevas tecnologías en SQL Server 2014

Tiempo real en ETL – In-Memory ETL

Tiempo real en análisis de datos– Clustered Columnstore para el DWH

Adaptando la actualización de datos

DB DW Cubo

Modelado simple

Optimización de consultas

Latencia T. Consulta

UsuarioNuevos Datos

Datos Disponibl

es

Datos Disponibl

es

Staging

Optimización de Staging

Agenda

Tiempo real en BI




Novedades en SQL Server 2014

Nuevo motor In-Memory OLTP (a.k.a. Hekaton)– Tablas en memoria• SCHEMA_ONLY • SCHEMA_AND_DATA

– Nuevas estructuras de datos latch-free– Procedimientos almacenados compilados

Índices columnares clústered

Nuevas tecnologías SQL Server 2014

Sin accesos a

disco

Tablas In-Memory SCHEMA_ONLY

Sin logging

Sin bloqueos

Sin checkpoin

ts

Tipos de índices propios

Cumplen ACI


Tablas In-Memory

Collations

Memoria disponible

Número de índices

Tipos de datos


ClusteredCompletamen

te actualizables

Aún mejor compresión

Clustered Columnstore Indexes

Agenda

Tiempo real en BI




Tiempo real en ETL

Reducción de la latencia

Entrada / Salida (IO)Eliminar bloqueos

Datos carga ETLStaging

SCHEMA_ONLY Data

WareHouse

Transformaciones nativamente compiladas

20

DEMOIn-Memory ETL

Optimizando Staging

Transformaciones ETL

optimizadasIO mejorada

Ausencia de bloqueos

Agenda

Tiempo real en BI




Clustered Columnstore Index

C1 C2 C3 C5 C6C4

Segment

Row Group

Clustered Columnstore Index

OrderDateKey

ProductKey

StoreKey

RegionKey

Quantity

SalesAmount

20101107 106 01 1 6 30.00

20101107 103 04 2 1 17.00

20101107 109 04 2 2 20.00

20101107 103 03 2 1 17.00

20101107 106 05 3 4 20.00

20101108 106 02 1 5 25.00

20101108 102 02 1 1 14.00

20101108 106 03 2 5 25.00

20101108 109 01 1 1 10.00

20101109 106 04 2 4 20.00

20101109 106 04 2 5 25.00

20101109 103 01 1 1 17.0024

Particionamiento Horizontal (Row Groups)

OrderDateKey

ProductKey

StoreKey

RegionKey

Quantity

SalesAmount

20101107 106 01 1 6 30.00

20101107 103 04 2 1 17.00

20101107 109 04 2 2 20.00

20101107 103 03 2 1 17.00

20101107 106 05 3 4 20.00

20101108 106 02 1 5 25.00

OrderDateKey

ProductKey

StoreKey

RegionKey

Quantity

SalesAmount

20101108 102 02 1 1 14.00

20101108 106 03 2 5 25.00

20101108 109 01 1 1 10.00

20101109 106 04 2 4 20.00

20101109 106 04 2 5 25.00

20101109 103 01 1 1 17.0025

Particionamiento Vertical (Segmentos)OrderDateKey

20101107

20101107

20101107

20101107

20101107

20101108

ProductKey

106

103

109

103

106

106

StoreKey

01

04

04

03

05

02

RegionKey

1

2

2

2

3

1

Quantity

6

1

2

1

4

5

SalesAmount

30.00

17.00

20.00

17.00

20.00

25.00OrderDateKey

20101108

20101108

20101108

20101109

20101109

20101109

ProductKey

102

106

109

106

106

103

StoreKey

02

03

01

04

04

01

RegionKey

1

2

1

2

2

1

Quantity

1

5

1

4

5

1

SalesAmount

14.00

25.00

10.00

20.00

25.00

17.00 26

Compresión

OrderDateKey

20101107

20101108

ProductKey

106

103

109

StoreKey

01

04

03

05

02

RegionKey

1

2

Quantity

6

1

2

4

5

SalesAmount

30.00

17.00

20.00

25.00

OrderDateKey

20101108

20101109

ProductKey

102

106

109

103

StoreKey

02

03

01

04

RegionKey

1

2

Quantity

1

5

4

SalesAmount

14.00

25.00

10.00

20.00

25.00

17.00

27

La ley del mínimo esfuerzoSELECT ProductKey, SUM (SalesAmount) FROM SalesTable WHERE OrderDateKey < 20101108GROUP BY ProductKey

StoreKey

01

04

03

05

02

StoreKey

02

03

01

04

RegionKey

1

2

3

RegionKey

1

2

Quantity

6

1

2

4

5

Quantity

1

5

4

OrderDateKey

20101107

20101108

OrderDateKey

20101108

20101109

ProductKey

106

103

109

ProductKey

102

106

109

103

SalesAmount

30.00

17.00

20.00

25.00

SalesAmount

14.00

25.00

10.00

20.00

25.00

17.00

28

Optimizando la entrada al DWH


Tuple MoverDe Delta Store a Row Groups

– 100k filas (BULK INSERT) / 1M filas (INSERT)– 5 minutos– ALTER INDEX … REORGANIZE


Row Groups102.400 – 1.048.576 filas

Filas (BULK Load) Filas al Columnstore Filas en el Delta Store

102.000 0 102.000145.000 145.000 (RowGroup de 145000) 0

1.048.577 1.048.576 (RowGroup de 1.048.576) 1

2.522.152 2.252.152 2 x 1.048.576 + 1 x 155.000

0

32

DEMOOptimizando el DWH

Conclusiones

ETL Tablas InMemory SCHEMA_ONLYTransformaciones compiladas

DWHClustered Columnstore IndexAdaptar la inserción a las necesidades de consulta

34

Power BI para usuarios de negocio

34

Curso onlineClases virtuales presenciales14, 15, 16, 21, 22 y 23 de JulioDe 16 a 20 h

Máster en BI 4ª Edición (Inicio Octubre 2014)- Clases presenciales virtuales- 450 horas (60 ECTS) - SolidQ – UPM

- Clases + trabajo práctico + proyecto- Beca de hasta 1.300 € para los primeros inscritos.

Máster en Big Data & Analytics1ª Edición (Inicio Octubre 2014)- Clases presenciales virtuales- 1 año (60 ECTS) UMA

- Clases + trabajo práctico + proyecto

Información e inscripción: http://university.solidq.com / [email protected]

http://university.solidq.com/

http://university.solidq.com/

mailto:[email protected]

Si quieres disfrutar de las mejores sesiones de nuestros mentores de España y Latino América, ésta es tu

oportunidad.

http://summit.solidq.com

Síguenos:

35

DPS – Business Intelligence

cuando bi conoció a hekaton (una historia de amor)

Technology