big data - hacklabalmeria.nethacklabalmeria.net/recursos/2015-06-05-jpd15/maria parra amat -...

BIG DATAMARÍA PARRA AMAT

Almería, 5 junio 2015

@mariaparraamat #jpd2015

"Petróleo del XXI" Nuevo enfoque en el entendimiento y la toma de decisiones Conjunto de técnicas y herramientas

BIG DATA

@mariaparraamat #jpd2015

Estadística Metodologías existentes aplicadas a nuevos problemas

ORIGEN

@mariaparraamat #jpd2015

• Ultraconectividad

• Más sensores y fuentes de datos

• Desarrollo tecnológico• Almacenamiento: capacidad

y coste

• Procesamiento: HDFS y Mapreduce

POPULARIZACIÓN

@mariaparraamat #jpd2015

• 5 V's

CARACTERÍSTICAS

Volumen

Variedad

Velocidad

Veracidad

Valor

@mariaparraamat #jpd2015

La cantidad de datos. Desconocimiento del

volumen real. Incremento del tráfico en

internet será exponencial -Era del Zettabyte.

VOLUMEN59,972,4

88,4

109

135,5

168

0

20

40

60

80

100

120

140

160

180

2014 2015 2016 2017 2018 2019

Estimación tráfico de datos

Exabytes al mes

@mariaparraamat #jpd2015

• Procedencia diversa• Multitud de formatos

VARIEDAD

@mariaparraamat #jpd2015

Los datos en movimiento Obtener la información correcta en el momento preciso

VELOCIDAD

@mariaparraamat #jpd2015

Confianza o fiabilidad de los datos Evitar sesgos o ruidos Limpieza de datos apropiados

VERACIDAD

@mariaparraamat #jpd2015

Es la importancia que puede tener el dato para la toma de decisiones en las empresas y los gobiernos.

VALOR DEL DATO

@mariaparraamat #jpd2015

Estadística Informática Campo de aplicación

DISCIPLINAS

@mariaparraamat #jpd2015

Expertos en:

Estadística y matemáticas

Ingeniería de datos Aprendizaje científico Negocio Desarrollo de

producción de código Visualización GIS

LAS CATEGORÍAS DE “CIENTÍFICO DE DATOS”

@mariaparraamat #jpd2015

Diálogo con expertos en la materia

Captura y almacenamiento de la información Procesado masivo de datos

Análisis con técnicas de inteligencia artificial - Minería de datos

Visualización

TAREAS PRINCIPALES EN UN PROYECTO DE BIG DATA

@mariaparraamat #jpd2015

Fundamental para tener éxito

Conocer inquietudes del experto

Informar de las soluciones reales que aporta Big Data

DIÁLOGO CON EXPERTOS EN LA MATERIA

@mariaparraamat #jpd2015

Datos existentes:

Documentos

Web

Bases de datos Sql

noSql

Crear nuevas infraestructuras

CAPTURA Y ALMACENAMIENTO DE LA INFORMACIÓN

@mariaparraamat #jpd2015

Framework Hadoop

HDFS

MapReduce

Otras utilidades

Hive, Pig, integración con R

PROCESADO MASIVO DE DATOS

@mariaparraamat #jpd2015

TÉCNICAS DE INTELIGENCIA ARTIFICIAL PARA EL ANÁLISIS

Minería de datos Utiliza técnicas de aprendizaje automático

Minería de texto

@mariaparraamat #jpd2015

Minería de datos

Minería de texto Encontrar términos frecuentes

Buscar términos relacionados con otros

Agrupamiento Clasificación

MOA, Weka, R

TÉCNICAS DE INTELIGENCIA ARTIFICIAL PARA EL ANÁLISIS

@mariaparraamat #jpd2015

Representación gráfica mediante:

Estadísticas

Mapas

Diagramas

Esquemas

Dos finalidades

Presentar datos para una audiencia determinada

Cómo herramienta de análisis

Herramientas: Tableau, infogram, cartoDB.

Librerías: Google Charts, JQuery plug-ins, D3.js

VISUALIZACIÓN

@mariaparraamat #jpd2015

Big Data Landscape 1.0 Big Data Landscape 2.0 Big Data Landscape 3.0

PAISAJE BIG DATA

@mariaparraamat #jpd2015

Big Data Landscape 1.0

Big Data Landscape 2.0 Big Data Landscape 3.0

PAISAJE BIG DATA

@mariaparraamat #jpd2015

Big Data Landscape 1.0

Big Data Landscape 2.0

Big Data Landscape 3.0

PAISAJE BIG DATA

@mariaparraamat #jpd2015

No permite detectar comportamientos individuales.

Puede detectar correlación, pero no causalidad.

Gran cantidad de ruido.

Big Data puede sugerir hipótesis.

Período de validez determinado.

LIMITACIONES

@mariaparraamat #jpd2015

Marketing Análisis de sentimientos En la industria del entretenimiento

Seguimiento de epidemias

Educación Crimen organizado

Salud

Periodismo de datos

APLICACIONES

@mariaparraamat #jpd2015

Marketing

Análisis de sentimientos En la industria del entretenimiento

Seguimiento de epidemias

Educación Crimen organizado

Salud

Periodismo de datos

APLICACIONES

@mariaparraamat #jpd2015

Marketing

Análisis de sentimientos

Industria del entretenimiento Seguimiento de epidemias

Educación Crimen organizado

Salud

Periodismo de datos

APLICACIONES

@mariaparraamat #jpd2015

Marketing

Análisis de sentimientos En la industria del entretenimiento

Seguimiento de epidemias Educación Crimen organizado

Salud

Periodismo de datos

APLICACIONES

@mariaparraamat #jpd2015

Marketing

Análisis de sentimientos En la industria del entretenimiento

Seguimiento de epidemias

Educación Crimen organizado

Salud

Periodismo de datos

APLICACIONES

@mariaparraamat #jpd2015

Marketing

Análisis de sentimientos En la industria del entretenimiento

Seguimiento de epidemias

Educación

Crimen organizado Salud

Periodismo de datos

APLICACIONES

@mariaparraamat #jpd2015

Marketing

Análisis de sentimientos En la industria del entretenimiento

Seguimiento de epidemias

Educación Crimen organizado

Salud Periodismo de datos

APLICACIONES

@mariaparraamat #jpd2015

Marketing

Análisis de sentimientos En la industria del entretenimiento

Seguimiento de epidemias

Educación Crimen organizado

Salud

Periodismo de datos

APLICACIONES

@mariaparraamat #jpd2015

Email: mariaparraamat@gmail.com

Twitter: @mariaparraamatFacebook: www.facebook.com/mariaparraamat

MARÍA PARRA AMAT

MUCHAS GRACIASALMERÍA, 5 DE JUNIO DE 2015