datos masivos i - conceptos básicos -...

Datos Masivos IConceptos básicos

Gibran Fuentes-PinedaEnero 2020

1

Muchos más datos y a mayor velocidad

Imagen tomada de http://www.tech-dynamics.com/wp-content/uploads/2014/02/BigDataChart.png

2

Más parámetros y más datos no estructurados

Imagen tomada de https://www.datanami.com/2017/02/01/solving-storage-just-beginning-minio-ceo-periasamy/

3

Análisis menos descriptivo, más predictivo/prescriptivo

Descriptivo Diagnóstico Predictivo Prescriptivo

Complejidad

Involucramiento humano

4

Más aplicaciones (1)

•

Imagen tomada de The Washington Post

5

Más aplicaciones (2)

•

Imagen tomada de Snavely et al. Photo Tourism: Exploring Photo Collections in 3D, ACM Transactions on Graphics , 2006.

6

Más aplicaciones (3)

•

7

Mejores modelos (1)

Imagen tomada de Tang et al., Canadian Association of Radiologists Journal 69(2), 2018

8

Mejores modelos (2)

Imagen tomada de

https://hackernoon.com/memorizing-is-not-learning-6-tricks-to-prevent-overfitting-in-machine-learning-820b091dc42

9

Definición

10

Características: 3Vs

11

Características: 4Vs

12

Quizás muchas Vs

13

Retos

• Concepciones: cuestión simplemente implementacional,lo mismo pero con más datos

• Muchos retos• Algoritmos, estructuras de datos y modelos escalables• Representaciones eficientes• Dimensionalidad, diversidad y variabilidad extremas• Respuesta en línea o tiempo real• Paralelización• Modelado• Búsqueda, organización y exploración

14

El principio de Bonferroni

Calcula el número esperado de ocurrencias de un even-to bajo la suposición que es aleatorio. Si el número esmuchomayor al de las ocurrencias reales, entonces lasconclusiones que puedas sacar a partir de estos even-tos probablemente sean falsas.

15

El caso de Google Flu Trends1

1Ginsberg et al. Detecting influenza epidemics using search engine querydata, Nature, 2009.

16

Privacidad y riesgo

• Vigilancia• Sesgos• Baja exploración

17