mejor proyecto big data

Candidatura Mejor Proyecto BigData realizado para

Integrado con fuentes de datos

Captura de datos/sensores

Tiempo real

Almacenamiento distribuido

y Almacenamiento

en cloud

Arquitectura lambda

procesada con herramientas de

Hortonworks

Analiza comportamientos machine learning

Visualización en tiempo real y en

Dashboards personalizados

Servicios Consultoría

Industria 4.0Telecos

SmarcitiesSanitario

¿Qué ofrecemos en ZYLK?

Implantamos en su compañía una solución completa de analítica avanzada basada en la suite de Hortonworks y en nuestro know-how

Le permitimos sacar valor a sus datos

Luego aplicamos una capa de analítica avanzada

Captura Integración Arquitectura Análisis Casos de Uso

Fuente de datos

Visualización

Utilizamos arquitectura lambda en tiempo real con las herramientas Big Data de Hortonworks

Extracción Proceso VisualizaciónAlmacenaje

¿Cómo lo hacemos?Data Analysis

Predicción

¿Cómo lo hacemos?

Hortonworks Dataflow y Ambari Resource Manager

Se necesita un periodo de consulta inicial seguido de la adquisición de datos API’s para ofrecer un valor de modelización del sistema y técnicas

de machine learning

Casos de Éxito : EUSKALTELLa Inteligencia del Dato al Servicio de las Telecomunicaciones

Big Data

Smart Data

¿Cómo puedo aportar valor a mis clientes?

¿Cómo convencer a negocio?

x2.5 year-on-year

Mejoramos la experiencia del usuario

yMejoramos procesos de

negocio

Caso 1: Widget consumo de datos en T.R.Experiencia de usuario

Caso 2: Prevención de Averías en RedProcesos de negocio

¿Cómo puedo aportar valor a terceros con mis

datos?

Caso 3: Replicate Projecthttp://replicate-project.eu/

Este proyecto ha recibido fondos del programa de investigación e innovación H2020 de la Unión Europea en el marco del contrato nº 691735

Mejoramos la sostenibilidad de los recursos de la ciudad

Euskaltel: Replicate ProjectEl Dato en las Telecomunicaciones

ü Aproximadamente 150 millones de eventos/día ingeridos en Apache Kafkaü 100 cores, 300 GB de memoria, 4 TB HDFS storage

OBJETIVODisponer de un sistema de detección de eventos en tiempo real a fin de

mejorar la experiencia de usuario y la sostenibilidad de recursos de una ciudad gracias al mantenimiento predictivo

Representación como una serie temporal#peticiones#fallos#código error #...

Análisis: Detección de fallos a partir de umbrales obtenidos a partir de un periodo sin fallos

Replicate Project

Smart MobilitySimulación


Wifi Kalean +

Big Data

Datos agregados, anonimizadosy en tiempo real

PREDICCIÓN Y MEJORA EN LA TOMA DE DECISIONES

ü Tráficoü Obras en la ciudadü Parkingsü Rutas turísticas etc..

Replicate Project

Smart MobilitySimulación


SMART

MOBILITY

Mapa de calor con datos

reales

Ejemplo: Código 200

# peticiones (LTE & Wifi Kalean ): millones de conexiones por díaAnálisis código éxito (OK)

Los umbrales no siempre funcionan

Ejemplo: Código 200

Detección de OutliersEstadísticos en ventanas de tiempo y algoritmos de regresión

Arquitectura Multicapa

1

2

3

4

5

Nifi

Kafka, Hbase

Flink

EAG


API Ingesta

ü Procesos ETLü Back Pressure Control & Guaranted Delivery

1


Arquitectura Lambda2


Micro servicios3


API Datos

Procesos Distribuidosü Programación Funcionalü Analítica Avanzada

o Ventanaso Heurísticoso Algoritmos de ML

4


API Gateway

EAGDatos Agregados y anonimizados

5

Time & Windows

Event timeProcessing timeIngestion time

Visualización

Zeppelinü Intérpretesü Unificación de fuentesü Computación bajo demandaü Standalone Vs. cluster

Casos de Uso y Conclusiones

Canal Onlineü Experiencia de UsuarioMarketingü Dimensionamiento de serviciosReplicateü El dato como valor añadido

¿Qué valor aporta?ü Facilita el dimensionado de serviciosü Mejora de la experiencia de usuarioü Añade funcionalidad sin penalizar transacciones (Canal online, aplicación

móvil)ü Elimina Islas (un único sumidero de información)

mejor proyecto big data

Technology