minerÍa de datos y sus tendencias actuales dr. rafael bello pérez departamento de ciencias de la...

MINERÍA DE DATOS Y SUS TENDENCIAS ACTUALES

Dr. Rafael Bello PérezDepartamento de Ciencias de la ComputaciónUniversidad Central de Las Villas, CubaEmail: rbellop@uclv.edu.cu

Tomando de conferencias de Dr. Francisco Herrera, Universidad de Granada, España.

Construcción de sistemas inteligentes: Extracción de conocimiento

• Sistemas Expertos convencionales:

(algunos) Sistemas Expertos de segunda generación:

Experiencia ReglasIngeniero de conocimiento

Experiencia ReglasAlgoritmo deaprendizage

Gracias!!Gracias!!!!

3

http://elpais.com/elpais/2013/12/02/vinetas/1386011115_645213.html

El RotoViñeta de El Roto 3 de diciembre de 2013

Comentarios Finales

Minería de Datos

Somos Ricos en Datos, pero Pobres en información

Data mining- buscar conocimiento (patrones interesantes) en los datos.

Que hacer con los Datos

La Minería de Datos es una forma de aprender del pasado para tomar mejores decisiones en

el futuro

Minería de Datos

Nuevas necesidades de análisis datos

¿Para qué se utiliza el ‘conocimiento’ obtenido?

• hacer predicciones sobre nuevos datos• explicar los datos existentes• resumir una base de datos masiva para facilitar la toma de

decisiones• visualizar datos altamente dimensionales, extrayendo

estructura local simplificada, …

¿Qué es la Minería de Datos?

Minería de Datos. Áreas de aplicación• Aplicaciones empresariales / industrialesToma de decisiones en banca, seguros, finanzas,

marketing, control de calidad, retención de clientes, predicción, políticas de acción (sanidad, etc.), …

• Aplicaciones en investigación científicaMedicina, astronomía, geografía, genética, bioquímica,

meteorología, etc.

• Aplicaciones en Internet/Redes SocialesMinería de textos y de datos en la web

Sistemas inteligentes para la toma de decisiones.Los Sistemas de ayuda a la decisión (Decision Support Systems, DSS) son sistemas usados para analizar los datos y crear reportes.

Ellos apoyan la toma de decisiones mediante medios para obtener la información precisa cuando se necesita.

Un DSS exitoso tiene que brindar al usuario acceso flexible a los datos y herramientas para manipular y presentar los datos en cualquier clase de reporte.

Evolución de los DSS.

DBMS Métodos Estadísticos

Investigación de Operaciones

Datos Modelos

Sistema de ayuda a la decisión.

Evolución de los DSS. Continuación.

DBMS Métodos Estadísticos

Investigación de

Operaciones

Inteligencia Artificial

Datos y Modelos Conocimiento

Sistema inteligente de ayuda a la decisión.

Evolución de los DSS. Continuación.

DBMS Métodos Estadísticos

Investigación de

Operaciones

Inteligencia Artificial

Datos y Modelos Conocimiento

Minería de datos

Sistema inteligente de ayuda a la decisión con aprendizaje.

DEFINICIONES PARA EL TERMINO

El descubrimiento de conocimiento es la extracción no trivial de información implícita, desconocida previamente y potencialmente útil a partir de los datos.

La minería de datos es el proceso de escudriñar a través de enormes cantidades de datos, y mediante incansables e implacables búsquedas poder encontrar pequeñas pepitas de oro en una montaña de escoria.

La minería de datos ayuda a examinar vastas cantidades de información buscando patrones valiosos en los datos.

La minería de datos es el proceso de descubrir patrones insospechados.

Etapas en un proceso de KDD

Problema de KDD

Datos Fuente

Datos Preprocesados

Modelos

Conocimiento e Implantación

Comprensión del Problema y de los Datos

Preprocesamiento de Datos

Minería de Datos

Interpretación y Evaluación

Informalmente se asocia Minería de Datos con KDD

¿Qué es la Minería de Datos?

Descubrimiento de conocimiento

Problema/Datos Brutos

Datospara Análisis

DatosPreprocesados

Patrones/Modelos

Conocimiento

Selección

Preprocesamiento

Minería de Datos

InterpretaciónEvaluación

Procesamiento de datos: Disponer de datos de calidad previos al uso de algoritmos de extracción de conocimiento.

Preprocesamiento de Datos

preprocesamiento

Preprocesamiento de Datos

Granulación de la información

Nuevo!

Descubrimiento de conocimiento

Problema/Datos Brutos

Datospara Análisis

DatosPreprocesados

Patrones/Modelos

Conocimiento

Selección

Preprocesamiento

Minería de Datos

InterpretaciónEvaluación

Procesamiento de datos: Disponer de datos de calidad previos al uso de algoritmos de extracción de conocimiento.

TIPO DE CONOCIMIENTO A DESCUBRIR

• Clasificación.• Creación de conceptos.• Asociación.• Relaciones funcionales.• Dependencias funcionales.• Relaciones causales.

CLASIFICACION

Reglas que particionan los datos en grupos disjuntos. Clientes con edad entre 24 y 45 años y con ingreso superior a los 40000 USD anuales Deben responder afirmativamente a esta oferta. Si (24 Edad 45) and (Salario40000) entonces Respuesta=Si.

APRENDIZAJE DE CONCEPTOS• Un concepto es una descripción de algún subconjunto de objetos o eventos definidos en un conjunto mayor.

• Buscar a través de un espacio predefinido de hipótesis potenciales aquellas que mejor encaja al conjunto de entrenamiento.

REGLAS DE ASOCIACION

La esencia es buscar patrones donde la presencia de alguna cosa implique la presencia de otra.Una regla de asociación es una implicación de la forma X Ij, (c)Por ejemplo, el 90 por ciento de las operaciones de compra de pan y mantequilla también incluye leche. Pan y Mantequilla Leche : 90.

RELACIONES FUNCIONALES

Una relación funcional describe el valor de uno o más atributos como función de otros atributos.

Por ejemplo, y2x+3z.

DEPENDENCIAS FUNCIONALES

Dados dos conjuntos de atributos X e Y en una base de datos, una dependencia funcional (denotada por X Y) enuncia que cualquier par de tuplos t1 y t2, si t1(X)t2(X) entonces t1(Y)t2(Y). Ejemplo: Código del curso nombre del curso.

SECUENCIAS TEMPORALES

Reglas cuyos antecedentes y consecuentes contienen literales que son relacionadas a través de componentes temporales.

Ejemplos:Ejemplos:•Cuando las acciones de la compañía A crecen dos días Cuando las acciones de la compañía A crecen dos días consecutivos y los de la compañía B no caen durante ese consecutivos y los de la compañía B no caen durante ese período, entonces las acciones de la compañía C período, entonces las acciones de la compañía C crecerán el siguiente día.crecerán el siguiente día.•La compra de ropa va seguida por la compra de La compra de ropa va seguida por la compra de zapatos.zapatos.

• Métodos predictivos• Se utilizan algunas variables para predecir valores desconocidos

de otras variables

• Métodos descriptivos• Encuentran patrones interpretables que describen los datos

Métodos de Minería de Datos

Aprendizaje Supervisado vs No Supervisado

Aprendizaje supervisado: Aprende, a partir de un conjunto de instancias pre-etiquetadas un método para predecir (Ejemplo, clasificación: la clase a que pertenece una nueva instancia)

APRENDIZAJE A PARTIR DE EJEMPLOS

• Conjunto de objetos (instancias): ejemplos de problemas resueltos.

• Objetos: descritos mediante un conjunto de rasgos.

• CO = Conjunto de entrenamiento + Conjunto de control.

• Capacidad de generalización: resolver problema no vistos antes.

Sistema de Información Definición: (Sistema de Información)Sea un conjunto de atributos A=A1, A2,...,An y un conjunto U no vacío llamado universo de ejemplos (objetos, entidades, situaciones o estados, etc.) descritos usando los atributos Ai. Al par (U,A) se le denomina Sistema de información.

Definición: (Sistema de decisión)Si a cada elemento de U se le agrega un nuevo atributo d llamado decisión indicando la decisión tomada en ese estado o situación entonces se obtiene un Sistema de decisión (U, A{d}, donde dA).

APRENDIZAJE INDUCTIVO.Genera conocimiento formulado en forma de descripciones

intencionales a partir de ejemplos.

CE((x, f(x))) función h que aproxima f.⇒

APRENDIZAJE INDUCTIVO: formas de la función h.CE((x, f(x))) función h que aproxima f.⇒

• Expresión matemática (relación funcional).• Conjunto de reglas.• Árbol de decisión • Red neuronal artificial.

Clasificación

• Clasificación

El problema fundamental de la clasificación está directamente relacionado con la separabilidad de las clases.

Regresión

El problema fundamental de la predicción está en modelar la relación entre las variables de estado para obtener el valor de la variable de control.

METODOS de Clasificación

Se pueden construir distintos tipos de clasificadores:

Modelos Interpretables:• Árboles de decisión• Reglas (p.ej. listas de decisión)

Modelos no interpretables:• Clasificadores basados en casos (k-NN)• Redes neuronales• Redes bayesianas• SVMs (Support Vector Machines)• …

EJEMPLO DE CONJUNTO DE ENTRENAMIENTO

COLOR TAMANO PELAMBRE PELIGROSO

Negro Grande largo +

Carmelita Grande corto +

Carmelita Medio largo -

Negro Pequeño largo -

Carmelita Medio corto +

Negro Grande corto +

Carmelita Pequeño largo +

Carmelita Pequeño corto -

Carmelita Grande largo +

Negro Medio largo -

Negro Medio corto -

Negro Pequeño corto -

EJEMPLOS DE REGLAS INDUCIDAS POR ID3

If Tamaño es Grande then Peligroso.If Tamaño es Medio y Color es Negro then NO Peligroso.If Tamaño es Pequeño y Color es Negro then NO

Peligroso.If Tamaño es Medio y Color es Carmelita y Pelambre es

Corto then Peligroso.If Tamaño es Medio y Color es Carmelita y Pelambre es

Largo then NO Peligroso.If Tamaño es Pequeño y Color es Carmelita y Pelambre es

Corto then NO Peligroso.If Tamaño es Pequeño y Color es Carmelita y Pelambre es

Largo then Peligroso.

Un árbol de Decisión

Country

Colouryes

yes no

Germany Japan

red blue

nonobluebluedieseldiesel3-63-6JapanJapan3.3.yesyesredreddieseldiesel6-106-10JapanJapan2.2.yesyeswhitewhitedieseldiesel3-63-6GermanyGermany1.1.

Easy to sellEasy to sellColourColourEngineEngineAgeAgeCountryCountry Se quiere predecir la propiedad de Easy to sell para nuevos ejemplos basado en los rasgos’ Country, Age, Engine and Colour.

MEJORMEJOR: : cada camino del AD una reglacada camino del AD una regla

Usando los AD• Cada fila de la matriz una regla

AuthorAuthor ThreaThreadd

LengLengthth

ReadReadss

11 knownknown newnew shortshort truetrue

22 unknounknownwn

newnew longlong truetrue

……

IF (Author = known) and (Thread = new) and (Length = short)THEN (Reads = true)

IF (Author = unknown) and (Thread = new) and (Length = long)THEN (Reads = true)

…

IF (Author = known)THEN (Reads = true)

IF (Author = unknown) and (Thread = new) THEN (Reads = true)

IF (Author = unknown) and (Thread = old) THEN (Reads = false)

Esencia del aprendizaje perezoso• Un nuevo problema se puede resolver

• Recuperando problemas similares• adaptando las soluciones recuperadas

• Problemas similares tienen soluciones similares

© The Robert Gordon University, Aberdeen 37

?

SSS

SS S

SS S

PP

PPPP

P

PP

X

Ejemplo de Clasificador: k-NN

k = 3

Solución de problemas usando prototipos

P1: Calcular la similaridad entre el nuevo problema y cada objeto.

P2: Encontrar el conjunto de objetos más similares al problema.

P3: Calcular el valor de salida utilizando los valores del rasgo objetivo de los objetos recuperados.

Construcción de prototipos

Procedimiento para construir prototipos (se puede clasificar como de

remplazo, reducción, y no-determinístico)

¿Cómo construir clases de similaridad?

Clasede

Similaridad

Relaciones de

Similaridadprototipos

Nuevos modelos de aprendizaje: según rasgo objetivo

•Clasificación multi-etiqueta.•Clasificación jerárquica.•Clasificación ordinal.

Nuevos modelos de aprendizaje: según rasgos predictores

• Dominios discretos.• Datos mezclados.

Nuevos enfoques:

• Multi-way.• Datos desbalanceados.• Multi-instances learning.• Texto.

Aprendizaje no supervisado:

No hay conocimiento a priori sobre el problema, no hay instancias etiquetadas, no hay supervisión sobre el procedimiento.

(Ejemplo, clustering: Encuentra un agrupamiento de instancias “natural” dado un conjunto de instancias no etiquetadas)

Aprendizaje Supervisado vs No Supervisado

Agrupamiento

Hay problemas en los que deseamos agrupar las instancias creando clusters de similares características

Ej. Segmentación de clientes de una empresa

Agrupamiento

ObjetivoEncontrar agrupamientos de tal forma que los objetos de un grupo sean similares entre sí y diferentes de los objetos de otros grupos [clusters].

Agrupamiento. Niveles

k = 2

k = 6 k = 4

La decisión del número de clusters es uno de los retos en agrupamiento

Descubrimiento de Asociaciones

• Descubrimiento de reglas de asociación:

• Búsqueda de patrones frecuentes, asociaciones, correlaciones, o estructuras causales entre conjuntos de artículos u objetos (datos) a partir de bases de datos transaccionales, relacionales y otros conjuntos de datos

• Búsqueda de secuencias o patrones temporales

• Aplicaciones: • análisis de cestas de la compra (Market Basket analysis)• diseño de catálogos,…

• ¿Qué hay en la cesta? Libros de Jazz• ¿Qué podría haber en la cesta? El último CD de Jazz• ¿Cómo motivar al cliente a comprar los artículos que es probable que le

gusten?

TID Items

1 Bread, Coke, Milk

2 Beer, Bread

3 Beer, Coke, Diaper, Milk

4 Beer, Bread, Diaper, Milk

5 Coke, Diaper, Milk

Rules Discovered: {Milk} --> {Coke} {Diaper, Milk} --> {Beer}

Rules Discovered: {Milk} --> {Coke} {Diaper, Milk} --> {Beer}

Descubrimiento de asociaciones

Market Basket Analysis

Sumarización lingüística de datos (Linguistic Data Summaries, LDS )

LDS: propuesta por Yager y desarrollada por Kacprzyk-Yager.

Esencia de LDS: Datos numéricos (salarios, costos, edad,…) pueden ser resumidos lingüísticamente con respecto a un conjunto de atributos seleccionados mediante proposiciones.

Ejemplo:

La mayoría de los jóvenes y altamente calificados empleados son bien pagados.

Yager, R.R.: A new approach to the summarization of data. Information Sciences28, 69–86 1982.

R.R. Yager R.R.: On linguistic summaries of data. InW. Frawley and G. Piatetsky-Shapiro (Eds.): Knowledge Discovery in Databases. AAAI/MIT Press, pp. 347 -363, 1991.

J. Kacprzyk and R.R. Yager. Linguistic summaries of data using fuzzy logic. International

Journal of General Systems, 30, 33 - 154, 2001.

49

Sumarización lingüística de datos EJEMPLO 1Datos sobre la gestión de una empresa.

50

empresa CP VI VP PH empresa CP VI VP PH 1 120 10 101,1 60 10 123 45,6 231,2 11.23 2 39,75 35 98,12 12.20 11 78,60 66,1 89,78 14.50 3 45,60 43 112,1 9.9 12 111,9 55,33 107,9 88.76 4 89 34,67 78,8 67.90 13 67 13,56 98,34 98.9 5 134 45 56,78 7.8 14 98 37,9 76,12 7.69 6 27,45 39,98 89,9 9.78 15 33,9 23,24 123,1 9.88 7 231 12,6 201,1 89 16 105 17 231,3 79.89 8 234 13,4 134,7 101 17 67,8 34,56 89,3 18.16 9 45,90 39,99 134 8.9 18 189,78 9,89 103,56 93.9

CP: Costo de producción (en miles de pesos).VI: Volumen de inventarios (en miles de pesos)VP: Valor de la producción (en millones de pesos)PH: Productividad por hombre (pesos por hombre/día)

El director: Que hacer para mejorar la productividad de la empresa?

Sumarización lingüística de datos EJEMPLO 1. Continuación.

Datos sobre la gestión de una empresa:

51

empresa CP VI VP PH empresa CP VI VP PH 1 120 10 101,1 60 10 123 45,6 231,2 11.23 2 39,75 35 98,12 12.20 11 78,60 66,1 89,78 14.50 3 45,60 43 112,1 9.9 12 111,9 55,33 107,9 88.76 4 89 34,67 78,8 67.90 13 67 13,56 98,34 98.9 5 134 45 56,78 7.8 14 98 37,9 76,12 7.69 6 27,45 39,98 89,9 9.78 15 33,9 23,24 123,1 9.88 7 231 12,6 201,1 89 16 105 17 231,3 79.89 8 234 13,4 134,7 101 17 67,8 34,56 89,3 18.16 9 45,90 39,99 134 8.9 18 189,78 9,89 103,56 93.9 CP: Costo de producción; VI: Volumen de inventarios; VP: 3: Valor de la producción;PH: Productividad por hombre.

Sumarización lingüística:

La mayoría de las empresas con un alto inventario tienen una baja productividad.

https://www.knime.org/

KNIME (o Konstanz Information Miner) es una plataforma de minería de datos que permite el desarrollo de modelos en un entorno visual. KNIME está desarrollado sobre la plataforma Eclipse y programado, esencialmente, en java.

Fue desarrollado originalmente en el departamento de bioinformática y minería de datos de la Universidad de Constanza, Alemania, bajo la supervisión del profesor Michael Berthold. En la actualidad, la empresa KNIME.com GmbH, radicada en Zúrich, Suiza, continúa su desarrollo además de prestar servicios de formación y consultoría.

Herramientas, Lenguajes, Kaggle

Weka

• The University of Waikato, New Zealand

• Machine learning software in Java implementation

http://www.cs.waikato.ac.nz/ml/weka/

Herramientas, Lenguajes, Kaggle

KEEL

• University of Granada• Machine learning

software in Java implementation

http://www.keel.es/

Herramientas, Lenguajes, Kaggle

55

Muchas y nuevas fuentes de datos

datos estructurados y datos no estructurados, imágenes, vídeos …

56

Datos Economía del conocimiento

Datos son el centro de la

futura sociedad de la

economía del conocimiento

Data Mining: nueva tendencia Big Data

Explorar grandes volúmenes de datos para extraer información útil para dar respuestas rápidas en tiempo real.

Big Data parte grandes volúmenes de datos, heterogéneos (tipos y dimensiones diversas), de fuentes autónomas con control distribuido y descentralizado, y trata de explorar relaciones complejas y dinámicas entre los datos.

Data Mining with Big Data. Xindong Wu, Xingquan Zhu. IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING, VOL. 26, NO. 1, JANUARY 2014

Data Mining y Big Data: un ejemploRepresentación de una persona en Salud.Genero,

Edad,

Historia medica familiar,

Rayos X (imágenes),

Tag (videos),

Código genético (imágenes y secuencias de Microarray DNA),

+

Cada centro de salud tiene su propio esquema de representación.Como agregar la información heterogénea desde diferentes fuentes?

Data Mining with Big Data. Xindong Wu, Xingquan Zhu. IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING, VOL. 26, NO. 1, JANUARY 2014

Big Data: su inicio

Adaptaciones de las técnicas de descubrimiento de conocimiento a los requerimientos de BD.

On the use of MapReduce for imbalanced big data using Random Forest. Sara del Río, Victoria López, José Manuel Benítez, Francisco Herrera. Information Sciences 285 (2014) 112–137

¿Qué es Big Data?

No hay una definición estándar

Big data es una colección de datos grande, complejos, muy difícil de procesar a través de herramientas de gestión y procesamiento de datos tradicionales

60

“Big Data” son datos cuyo volumen,

diversidad y complejidad requieren

nueva arquitectura, técnicas,

algoritmos y análisis para gestionar

y extraer valor y conocimiento

oculto en ellos ...

BD

Data-intensive applications, challenges, techniques and technologies: A survey on Big DataC.L. Philip Chen, Chun-Yang Zhang, Information Sciences 275 (2014) 314–347

Richard T. Kouzes, Gordon A. Anderson, Stephen T. Elbert, Ian Gorton, Deborah K. Gracio, The changing paradigm of data-intensive computing, Computer 42 (1) (2009) 26–34.

BD obliga a:

Trabajar con mucha informacion privada y romper con los enfoques clasicos de seguridad de los datos.

Manipular enormes cantidades de datos no estructurados.

Mucho intercambio y cooperacion internacional.

Romper con el enfoque relacional de las bases de datos.

Buscar nuevas alternativas para el procesamiento paralelo.

62

¿Qué es Big Data?

Las 3 V’s de Big Data

63

El volumen de datoscrece exponencialmente• Crecimiento x 44 de 2009 a 2020• De 0.8 zettabytes a 35ZB

Crecimiento exponencial en los datos generados/almacenados

1ª:Volumen

¿Qué es Big Data? 3 V’s de Big Data

64

• Los DATOS se generan muy rápido y necesitan ser procesados rápidamente

• Online Data Analytics• Decisiones tardías oportunidades perdidasA diferencia del clásico data warehouses que generalmente “almacena” data,

big data es más dinámico, las decisiones tomadas usando BD pueden

afectar los próximos datos.

Ejemplos:

• E-Promociones: Basadas en la posición actual e historial de compra envío

de promociones en el momento de comercios cercanos a la posición

• Monitorización/vigilancia sanitaria: Monitorización sensorial de las

actividades del cuerpo cualquier medida anormal requiere una reacción

inmediata

2ª:Velocidad

¿Qué es Big Data? 3 V’s de Big Data

65

• Varios formatos y estructuras:

Texto, numéricos, imágenes, audio, video, secuencias, series temporales …

• Una sola aplicación puede generar muchos tipos de datos

Extracción de conocimiento Todos estos tipos de datos necesitan ser analizados

conjuntamente

Extracción de conocimiento Todos estos tipos de datos necesitan ser analizados

conjuntamente

3ª:Variedad

¿Qué es Big Data? 3 V’s de Big Data

66

4ªV

¿Qué es Big Data?

Veracidad

Veracidad4ª V

67

¿Qué es Big Data?

5ªV = Valor

Aproximaciones

y tecnologías

innovativas

5 V’s --> Valor

68

Big Data. Aplicaciones

Astronomía Telefonía

Procesamiento deinformación WEB

Tráfico en Internet

Transacciones de tarjetas de crédito

Genómica

Aplicaciones: BBVA Bank

70

Tratamiento computacional

MapReduce: Paradigma de Programación para Big Data (Google)

Plataforma Hadoop (Open access)

Librería Mahout para Big Data. Otras librerías

71

• Escalabilidad de grandes cantidades de datos • Exploración 100 TB en 1 nodo @ 50 MB/sec = 23 días• Exploración en un clúster de 1000 nodos = 33 minutos

Solución Divide-Y-Vencerás

MapReduce– Modelo de programación de datos paralela

– Concepto simple, elegante, extensible para múltiples aplicaciones

• Creado por Google (2004)– Procesa 20 PB de datos por día (2004)

• Popularizado por el proyecto de codigo abierto Hadoop– Usado por Yahoo!, Facebook, Amazon, …

MapReduce

72

Características

• Paralelización automática:• Dependiendo del tamaño de ENTRADA DE DATOS se crean

mutiples tareas MAP• Dependiendo del número de intermedio <clave, valor>

particiones se crean tareas REDUCE

• Escalabilidad: • Funciona sobre cualquier cluster de nodos/procesadores• Puede trabajar desde 2 a 10,000 máquinas

• Transparencia programación • Manejo de los fallos de la máquina• Gestión de comunicación entre máquina

MapReduce

MapReduce• MapReduce es el entorno más popular

para Big Data• Basado en la estructura Valor-llave. • Dos operaciones:

1. Función Map : Procesa bloques de información

2. Función Reduce function: Fusiona los resultados previos de acuerdo a su llave.

• + Una etapa intermedia de agrupamiento por llave

J. Dean, S. Ghemawat, MapReduce: Simplified data processing on large clusters, Communications of the ACM 51 (1) (2008) 107-113.

mapmap map map

Shuffling: group values by keys

reduce

reduce

reduce

map (k, v) → list (k’, v’)reduce (k’, list(v’)) → v’’

(k , v)(k , v)(k , v) (k , v)

(k’, v’)(k’, v’)(k’, v’)(k’, v’)

k’, list(v’)k’, list(v’)k’, list(v’)

v’’v’’v’’

74

Hadoop

http://hadoop.apache.org/

75

Map ReduceLayer

HDFSLayer

Task tracker

Jobtracker

Task tracker

Namenode

Data node

Data node

http://hadoop.apache.org/

Hadoop Distributed File System (HDFS) es un sistema de archivos distribuido, escalable y portátil escrito en Java para el framework Hadoop

Creado por Doug Cutting (chairman of board of directors of the Apache Software Foundation, 2010)

Hadoop

76

Mahout

Cuatro grandes áreas de aplicación

Agrupamiento

Sistemas de Recomendaciones

Clasificación

Asociación

77

Mahout ¿Qué algoritmos puedo encontrar para Hadoop?

Analizamos 10 algoritmos muy conocidos

Hadoop

Palit, I., Reddy, C.K., 2012. Scalable and parallel boosting with mapReduce. IEEE TKDE 24 (10), pp. 1904-1916.

(Amazon EC2 cloud, CGL-MapReduce: (modelos iterativos de MapReduce)

Decision trees (C4.5, Cart)(MReC4.5)K-MeansSVMApriorikNNNaïve BayesEM (Expectation Maximization)PageRankAdaboost

No disponibles

MapReduce

Generation 1st Generation

2nd Generation 3nd Generation

Examples SAS, R, Weka, SPSS, KEEL

Mahout, Pentaho, Cascading

Spark, Haloop, GraphLab, Pregel, Giraph, ML over Storm

Scalability Vertical Horizontal (over Hadoop) Horizontal (Beyond Hadoop)

Algorithms Available

Huge collection of algorithms

Small subset: sequential logistic regression, linear SVMs, Stochastic Gradient Descendent, k-means clustering, Random forest, etc.

Much wider: CGD, ALS, collaborative filtering, kernel SVM, matrix factorization, Gibbs sampling, etc.

Algorithms Not Available

Practically nothing

Vast no.: Kernel SVMs, Multivariate Logistic Regression, Conjugate Gradient Descendent, ALS, etc.

Multivariate logistic regression in general form, k-means clustering, etc. – Work in progress to expand the set of available algorithms

Fault-Tolerance

Single point of failure

Most tools are FT, as they are built on top of Hadoop

FT: HaLoop, SparkNot FT: Pregel, GraphLab, Giraph

Ciencia de Datos

Data Science o la Ciencia de Datos incorpora diferentes elementos y se basa en las técnicas y teorías de muchos campos, incluyendo las matemáticas, estadística, ingeniería de datos, reconocimiento de patrones y aprendizaje, computación avanzada, visualización, modelado de la incertidumbre, almacenamiento de datos y la informática de alto rendimiento con el objetivo de extraer el significado de datos y la creación de productos de datos.

Ciencia de Datos

¿Qué es un Científico de Datos?

Un científico de datos es un profesional que debe dominar las ciencias matemáticas y  la estadística, acabados conocimientos de programación (y sus múltiples lenguajes), ciencias de la computación y analítica.

Oportunidad profesional: En 2015, Gartner predice que 4,4 millones de empleos serán creados en torno a big data. (Gartner, 2013)

81

Científico de Datos

CIENTIFICO DE DATOS

Fuente: http://www.gartner.com/technology/topics/big-data.jsp

Surge como profesión el “Científico de Datos”

82

http://www.revistacloudcomputing.com/2013/10/espana-necesitara-60-000-profesionales-de-big-data-hasta-2015/?goback=.gde_4377072_member_5811011886832984067#!

“Existe una demanda mundial para formar a 4,4 millones de profesionales de la gestión Big Data desde ingenieros, gestores y científicos de datos”, comenta Antón. Sin embargo, “las empresas todavía no ven en el Big Data un modelo de negocio”, lamenta. “Solo se extrae un 1% de los datos disponibles en la red”, añade. “Hace falta formación y concienciación.

Oportunidades en Big Data (en España)

Demanda de profesionales Una demanda creciente de profesionales en “Big Data” y “Ciencia de Datos”

83

Big Data 3.0: Intelligent Una combinación de datos, con enormes bases de conocimiento y algoritmos de recopilación de información muy grandes, capaces de alcanzar el nivel de una verdadera inteligencia.

Se pueden ver ejemplos pioneros de esto ya: Google Now, Watson, …

Big Data 3.0: Intelligent

Big data 3.0

84

Comentarios Finales

Big Data es un área emergente y en expansión. Las posibilidades de desarrollo de algoritmos para nuevos datos, aplicaciones reales … es un nicho de investigación y desarrollo en los próximos años.

Oportunidades en Big Data