Download - Soluciones para Mejorar la Toma de Decisiones, la Analítica en Tiempo Real y Batch usando WSO2 DAS
![Page 1: Soluciones para Mejorar la Toma de Decisiones, la Analítica en Tiempo Real y Batch usando WSO2 DAS](https://reader031.vdocumento.com/reader031/viewer/2022021502/586e80521a28aba0038b51b3/html5/thumbnails/1.jpg)
Soluciones para Mejorar la Toma de Decisiones
La Analítica en Tiempo Real y Batch usando WSO2 DAS
![Page 2: Soluciones para Mejorar la Toma de Decisiones, la Analítica en Tiempo Real y Batch usando WSO2 DAS](https://reader031.vdocumento.com/reader031/viewer/2022021502/586e80521a28aba0038b51b3/html5/thumbnails/2.jpg)
BIG DATA – Conceptos Clave
Análisis, procesamiento y almacenamiento de grandes colecciones de datos, de fuentes diversas, utilizando metodologías y herramientas para apoyar la Toma de Decisiones.
Velocidad -‐> Cantidad de tiempo que toma a la Data en ser procesada. Variedad -‐> Múltiples formatos y tipos de datos. Veracidad -‐> Relación entre Señal (Data con valor) vs Ruido (Data sin valor). Valor -‐> Utilidad de los datos para una empresa.
![Page 3: Soluciones para Mejorar la Toma de Decisiones, la Analítica en Tiempo Real y Batch usando WSO2 DAS](https://reader031.vdocumento.com/reader031/viewer/2022021502/586e80521a28aba0038b51b3/html5/thumbnails/3.jpg)
BIG DATA – Nuestro Modelo El Ecosistema Big Data
![Page 4: Soluciones para Mejorar la Toma de Decisiones, la Analítica en Tiempo Real y Batch usando WSO2 DAS](https://reader031.vdocumento.com/reader031/viewer/2022021502/586e80521a28aba0038b51b3/html5/thumbnails/4.jpg)
BIG DATA -‐ Aplicación
• Optimización Operacional. • Inteligencia Accionable (Reglas de Negocio Adaptables).
• IdentiUicación nuevos mercados. • Detección de fallas y fraude. • Registros más detallados. • Predicciones más precisas. • Mejorar la toma de decisiones. • Realizar descubrimientos CientíUicos.
![Page 5: Soluciones para Mejorar la Toma de Decisiones, la Analítica en Tiempo Real y Batch usando WSO2 DAS](https://reader031.vdocumento.com/reader031/viewer/2022021502/586e80521a28aba0038b51b3/html5/thumbnails/5.jpg)
BIG DATA – Nuestro Modelo Modelo de Implementación
![Page 6: Soluciones para Mejorar la Toma de Decisiones, la Analítica en Tiempo Real y Batch usando WSO2 DAS](https://reader031.vdocumento.com/reader031/viewer/2022021502/586e80521a28aba0038b51b3/html5/thumbnails/6.jpg)
BIG DATA – Nuestro Modelo Modelo Tecnológico
![Page 7: Soluciones para Mejorar la Toma de Decisiones, la Analítica en Tiempo Real y Batch usando WSO2 DAS](https://reader031.vdocumento.com/reader031/viewer/2022021502/586e80521a28aba0038b51b3/html5/thumbnails/7.jpg)
WSO2 DAS
Agregar Datos
Analizar Datos
Presentar los Resultados
![Page 8: Soluciones para Mejorar la Toma de Decisiones, la Analítica en Tiempo Real y Batch usando WSO2 DAS](https://reader031.vdocumento.com/reader031/viewer/2022021502/586e80521a28aba0038b51b3/html5/thumbnails/8.jpg)
Capacidades de WSO2 DAS
Consultas
Visualizaciones
APIs
Datos
Análisis en tiempo real
Análisis Interactivos
Análisis Predictivos
Análisis en “Batch”
Alertas
![Page 9: Soluciones para Mejorar la Toma de Decisiones, la Analítica en Tiempo Real y Batch usando WSO2 DAS](https://reader031.vdocumento.com/reader031/viewer/2022021502/586e80521a28aba0038b51b3/html5/thumbnails/9.jpg)
Análisis en Tiempo Real
El Análisis en tiempo real signiUica que WSO2 DAS puede procesar y tomar decisiones inmediatamente cuando acceden a DAS. La información se ingiere por medio de un data agent. El data agent es una pequeña aplicación que envía un evento al Ulujo de CEP. El Ulujo de CEP sigue una secuencia donde se valida que ruta debe seguir. Si es necesario se disparan alertas.
Push Event Stream
Real-‐time Process
Application
![Page 10: Soluciones para Mejorar la Toma de Decisiones, la Analítica en Tiempo Real y Batch usando WSO2 DAS](https://reader031.vdocumento.com/reader031/viewer/2022021502/586e80521a28aba0038b51b3/html5/thumbnails/10.jpg)
Data Agent
• El data agent consiste de una aplicación Java desplegada en el WSO2 AS.
• Es un intermediario entre la fuente de datos y DAS
• Produce una salida en forma de JSON, que es entendible por WSO2 DAS, este JSON contendrá un registro o data que se procesará en DAS
![Page 11: Soluciones para Mejorar la Toma de Decisiones, la Analítica en Tiempo Real y Batch usando WSO2 DAS](https://reader031.vdocumento.com/reader031/viewer/2022021502/586e80521a28aba0038b51b3/html5/thumbnails/11.jpg)
Flujo CEP en WSO2 DAS
• Los componentes en un Ulujo CEP: • Receivers: Capturan un mensaje con determinada estructura • Event Stream: Actuan como colas de mensajes, son el riel donde se conducira el evento
• Execution Plan: usan Siddhi para determinar que caminos debe tomar un evento, pueden modiUicar el evento
• Publisher: Exponen o comunican un evento.
![Page 12: Soluciones para Mejorar la Toma de Decisiones, la Analítica en Tiempo Real y Batch usando WSO2 DAS](https://reader031.vdocumento.com/reader031/viewer/2022021502/586e80521a28aba0038b51b3/html5/thumbnails/12.jpg)
El Execution Plan y Siddhi
Para evaluar el camino lógico que debe tomar un evento, se utiliza el execution plan, este plan de ejecución, es un bloque de código Siddhi. Siddhi es un lenguaje similar a SQL, la principal diferencia es que Siddhi no busca registros en una base de datos, sino que evalúa los eventos que se reciben en un Ulujo CEP.
![Page 13: Soluciones para Mejorar la Toma de Decisiones, la Analítica en Tiempo Real y Batch usando WSO2 DAS](https://reader031.vdocumento.com/reader031/viewer/2022021502/586e80521a28aba0038b51b3/html5/thumbnails/13.jpg)
Ejemplo de Código Siddhi
![Page 14: Soluciones para Mejorar la Toma de Decisiones, la Analítica en Tiempo Real y Batch usando WSO2 DAS](https://reader031.vdocumento.com/reader031/viewer/2022021502/586e80521a28aba0038b51b3/html5/thumbnails/14.jpg)
El Análisis Batch
Si un Ulujo de eventos se conUigura para que sea persist ido , se almacenarán los eventos que pasen por ese Ulujo en una base de datos enlazada, en vez de ser analizados de inmediato, el evento se procesará por tareas programadas o a demanda del usuario usando scripts e n S p a r k S Q L , t r a s e s e procesamiento se puede o bien visualizar la información o generar nuevas alertas
![Page 15: Soluciones para Mejorar la Toma de Decisiones, la Analítica en Tiempo Real y Batch usando WSO2 DAS](https://reader031.vdocumento.com/reader031/viewer/2022021502/586e80521a28aba0038b51b3/html5/thumbnails/15.jpg)
Ejemplo de consultas SparkSQL
![Page 16: Soluciones para Mejorar la Toma de Decisiones, la Analítica en Tiempo Real y Batch usando WSO2 DAS](https://reader031.vdocumento.com/reader031/viewer/2022021502/586e80521a28aba0038b51b3/html5/thumbnails/16.jpg)
Ejemplo de scripts programados
![Page 17: Soluciones para Mejorar la Toma de Decisiones, la Analítica en Tiempo Real y Batch usando WSO2 DAS](https://reader031.vdocumento.com/reader031/viewer/2022021502/586e80521a28aba0038b51b3/html5/thumbnails/17.jpg)
Como DAS Comunica los Resultados
Los event publishers pueden publicar los eventos procesados de formas tales como correos electrónicos, logs, notiUicaciones push, JMS, servicios web, etc.
![Page 18: Soluciones para Mejorar la Toma de Decisiones, la Analítica en Tiempo Real y Batch usando WSO2 DAS](https://reader031.vdocumento.com/reader031/viewer/2022021502/586e80521a28aba0038b51b3/html5/thumbnails/18.jpg)
Como DAS Representa Visualmente
![Page 19: Soluciones para Mejorar la Toma de Decisiones, la Analítica en Tiempo Real y Batch usando WSO2 DAS](https://reader031.vdocumento.com/reader031/viewer/2022021502/586e80521a28aba0038b51b3/html5/thumbnails/19.jpg)
BIG DATA – Nuestro Modelo Aplicación – Caso de Uso Sector Industrial
A partir de esta información (provenientes de los Equipos en planta) se deben determinar, procesar, analizar datos para determinar y ciertas condiciones que permitieran generar registros, alarmas, mas información de interés operativo para la Planta (y el negocio).
• Información proveniente de Planta -‐ Sondas distribuidas (Recogida por el Data Server del SCADA)
• Información analizada desde Herramientas OUimáticas (No escalables para un Entorno de Inteligencia Operacional Exigente)
• Necesidad de Lectura y visualización de Información > Limitante actual. • Necesidad de procesamiento y análisis de información para toma de
decisión Operacional relacionadas > Análisis del dato deseado
Situación Actual
![Page 20: Soluciones para Mejorar la Toma de Decisiones, la Analítica en Tiempo Real y Batch usando WSO2 DAS](https://reader031.vdocumento.com/reader031/viewer/2022021502/586e80521a28aba0038b51b3/html5/thumbnails/20.jpg)
BIG DATA – Nuestro Modelo Qué se Buscaba? -‐ Caso de Uso Sector Industrial
• Escalabilidad Coste Total (Implantación de futuro). • Manejo de un Volumen de Datos elevado. • Debe incorporar Agilidad de consulta de Datos. • Realizar Análisis Complejos. • Debe poder extraer y analizar datos desde diferentes tipos de orígenes (Cruzar
información de diferentes orígenes). • Herramienta de Visualización data “en Bruto” y Procesada de uso por Analista
de negocio – PerUil no técnico. Toma de decisiones en tiempo real y temprana – Inteligencia Operacional (hacia un
predictivo)
Mejor disponibilidad en Planta > Mejorar producción > Mejorar ventas y Calidad de los productos
![Page 21: Soluciones para Mejorar la Toma de Decisiones, la Analítica en Tiempo Real y Batch usando WSO2 DAS](https://reader031.vdocumento.com/reader031/viewer/2022021502/586e80521a28aba0038b51b3/html5/thumbnails/21.jpg)
BIG DATA – Nuestro Modelo La Solución – Caso de Uso Sector Industrial
![Page 22: Soluciones para Mejorar la Toma de Decisiones, la Analítica en Tiempo Real y Batch usando WSO2 DAS](https://reader031.vdocumento.com/reader031/viewer/2022021502/586e80521a28aba0038b51b3/html5/thumbnails/22.jpg)
Funcionalidad y Resultados de la Solución
• Calculo en Dase de Datos (NoSQL) • Alertas y Alarmas en tiempo real (E-‐mail & Push Message) • Visualización de Datos Brutos y Analizados. • Analítica en Tiempo Real. • Analítica Interactiva > Obtención de resultados rápidos a través de consultas AdHoc de un conjunto de Datos. Permite búsquedas complejas por textos utilizando el sistema de ideación disminuido de Apache Lucene.
![Page 23: Soluciones para Mejorar la Toma de Decisiones, la Analítica en Tiempo Real y Batch usando WSO2 DAS](https://reader031.vdocumento.com/reader031/viewer/2022021502/586e80521a28aba0038b51b3/html5/thumbnails/23.jpg)
• Analítica en Batch > Se reUiere al análisis de datos persistidos. La solución esta orientada a la sumarización y análisis de evolución de datos. Se uso implementado Spark SQL con el WSO2 DAS.
• Como Base de Datos se implemento Apache Cassandra (Base de Datos NoSQL) distribuida y preparada para Big Data. (Ventaja, es software libre (Apache Software Foundation). Permite accesar a grandes volúmenes de datos en forma distribuida, es un sistema descentralizado donde cada nodo tiene la misma información.
• Visualización de Datos con WSO2 DAS y Herramientas desacopladas de Visualización.
Funcionalidad y Resultados de la Solución
![Page 24: Soluciones para Mejorar la Toma de Decisiones, la Analítica en Tiempo Real y Batch usando WSO2 DAS](https://reader031.vdocumento.com/reader031/viewer/2022021502/586e80521a28aba0038b51b3/html5/thumbnails/24.jpg)
What´s next
• Analítica Predictiva > Se reUiere a la predicción de valores a partir de datos históricos obtenidos del sistema SCADA.
• Utilizar la tecnología de Machine Learning (con WSO2 ML) para “enseñar” al algoritmo a través de diferentes ejecución de la distribución de siguen los juegos de datos para predecir comportamientos anómalos en la variables analizadas
![Page 25: Soluciones para Mejorar la Toma de Decisiones, la Analítica en Tiempo Real y Batch usando WSO2 DAS](https://reader031.vdocumento.com/reader031/viewer/2022021502/586e80521a28aba0038b51b3/html5/thumbnails/25.jpg)
www.ticxar.com [email protected]