azure sql data warehouse desde cada_angulo

SQL Data Warehouse desde cada ángulo

17 de Mayo 2017 (12 pm GMT -5)

Adrian Miranda

Resumen:

La sesión se enfocará en demostrar como

provisionar una base de datos SQL DW,

diseño de tablas y carga de datos, monitoreo

y consideraciones de administración, así

como la integración con Polybase y como

proteger los datos existentes.

Está por comenzar: Próximos Eventos

Moderador: Julian Castiblanco

SQL 2016 Basic Availability

Groups multisubnet failover

en Azure

24 de Mayo

Kenneth Ureña

Manténgase conectado a nosotros!

Visítenos en http://globalspanish.sqlpass.org

/SpanishPASSVC

lnkd.in/dtYBzev

/user/SpanishPASSVC

/SpanishPASSVC

3

4

Oportunidades de Voluntariado

PASS no pudiera existir sin personas apasionadas y

dedicadas de todas partes del mundo que dan de su

tiempo como voluntarios.

Se un voluntario ahora!!

Para identificar oportunidades locales visita

volunteer.sqlpass.org

Recuerda actualizar tu perfil en las secciones de

“MyVolunteering” y MyPASS para mas detalles.

Sigan Participando!

• Obtén tu membresía gratuita en sqlpass.org

• Linked In: http://www.sqlpass.org/linkedin

• Facebook: http://www.sqlpass.org/facebook

• Twitter: @SQLPASS

• PASS: http://www.sqlpass.org

SQL Data Warehouse desde cada ángulo

17 de Mayo de 2017

Adrián Miranda

Administrador de base de datos con mas de 14 años de experiencia en el modelaje, diseño e

implementación de soluciones de datos. Amplia trayectoria integrando múltiples

plataformas de datos, así como el diseño de soluciones utilizando Microsoft Azure.

Youtube: youtube.com/BILATAM

Facebook: facebook.com/CloudLatam

Twitter: @JMCJOSEAD

Moderador: Kenneth Ureña

7

Agenda

SQL Data Warehouse

• Inicios

• Demo : Provisionamiento

• Diseño de tablas / Demo

• Cargas de Datos / Integración con Polybase /

Demo

• Consideraciones de Administración

• Protección de los datos

Data Warehouse tradicional

8

Data

so

urc

es CRM

ERP

LOB

OLTP

ETL

Data

Ware

ho

use

Vis

ualiza

ció

n Una única fuente de

datos, en un único

repositorio de datos,

con todos los datos

de una compañía.

9

Qué necesito? (On Premise)

https://www.microsoft.com/en-us/cloud-platform/data-warehouse-fast-track

Hardware Software Storage

Estimaciones

Data Center

Aire Acondicionado

Red

Mantenimiento

Seguridad

10

SQL DW

11

SQL DW

Si usted está pensando en

Sistemas OLTP Frecuentes lecturas / escrituras Multiples Select (Ejecutados

secuencialmente) Procesamiento fila por fila

12

SQL DW - MPP

SMP – Symmetric Multiprocessing

MPP – Massively Parallel Processing

Lo que trabajamos hoy en día. • Compartimos recursos

• CPU• Memoria• Disco

Concepto de “Share nothing”

Cada servidor controla sus recursos y opera de forma separada

SQL DW - DWU

1313

Con qué está relacionado?

Recursos como

Memoria

CPU

IOPS

Medición de Métricas

Scan / Agregation, Cargas, CTAS

Pueden ser cambiadas en tiempo

real (*)

SQL DW - DWU

14

DWU

100

DWU

200

DWU

300

DWU

400

DWU

500

DWU

600

… … DWU

2000

De acuerdo a la configuración así se usan

• Engine Nodes

• Worker Nodes

• Total # of Distributions

• Distributions / Node

• Concurrency Slots

Ejemplo DWU 100

1 2 3 4 5 6 7 8 9 10

11 12 13 14 15 16 17 18 19 20

21 22 23 24 25 26 27 28 29 30

31 32 33 34 35 36 37 38 39 40

41 42 43 44 45 46 47 48 49 50

51 52 53 54 55 56 57 58 59 60

15

60 Buckets (Blob Storage)

1-E

ng

ine R

ole

1-

Wo

rker

No

des

Ejemplo DWU 300

1 2 3 4 5 6 7 8 9 10

11 12 13 14 15 16 17 18 19 20

21 22 23 24 25 26 27 28 29 30

31 32 33 34 35 36 37 38 39 40

41 42 43 44 45 46 47 48 49 50

51 52 53 54 55 56 57 58 59 60

16

60 Buckets (Blob Storage)

1-E

ng

ine R

ole

Worker Node

Provisionamiento SQL DW

17

DEMO

Diseño de Tablas

18

Hash Round Robin

Inserta de manera aleatoria.

Joins entre tablas que tienen que ir de PK a

FK. Ejem: Dimensiones.

Si necesitan hacer cargas de muchos datos

en un área Stage, sería la mejor

configuración.

Inserta basado en el valor de una columna

que sirve como elemento diferenciador.

Se pueden utilizar para Fact tables.

Se pueden usar para Summarized tables.

Importante, los puntos anteriores son

válidos si y solo sí cuentan con una

columna que permita agrupar valores en

común.

Si un Full Scan no tiene un buen

rendimiento.

Consideraciones para el diseño de tablas

Tablas se crean con Page Compression de forma predeterminada.

Round Robin también es el valor predeterminado en la opción de distribución de datos.

No hay limite de filas, es determinado por el storage.

1024 columnas por tabla

2 billones de tablas por base de datos

19

Distribución = Round Robin

Diseño de Tablas SQL DW

20

DEMO

SQL 2016 Basic Availability Groups multisubnet failover en Azure

24 de Mayo (12 pm GMT -5)

Kenneth Ureña

Resúmen:

Próximo Evento