introducción a redes neuronales y sus aplicaciones en...

27
Introducción a Redes Neuronales y sus Aplicaciones en Electrónica de Potencia Ing. Carlos Selmo Esp. Ing. Pablo Cossutta Dr. Miguel Aguirre 10 de Mayo de 2019 C. Selmo, P. Cossutta, M. Aguirre Introducción a Redes Neuronales 10 de Mayo de 2019 1 / 27

Upload: others

Post on 11-Oct-2020

1 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Introducción a Redes Neuronales y sus Aplicaciones en ...ener.utalca.cl/wp-content/uploads/2019/06/15-Miguel-Aguirre-Carlos... · Introducción IntroducciónIA(Linkexterno) C. Selmo,

Introducción a Redes Neuronales y sus Aplicaciones enElectrónica de Potencia

Ing. Carlos SelmoEsp. Ing. Pablo Cossutta

Dr. Miguel Aguirre

10 de Mayo de 2019

C. Selmo, P. Cossutta, M. Aguirre Introducción a Redes Neuronales 10 de Mayo de 2019 1 / 27

Page 2: Introducción a Redes Neuronales y sus Aplicaciones en ...ener.utalca.cl/wp-content/uploads/2019/06/15-Miguel-Aguirre-Carlos... · Introducción IntroducciónIA(Linkexterno) C. Selmo,

Introducción

Introducción IA (Link externo)

C. Selmo, P. Cossutta, M. Aguirre Introducción a Redes Neuronales 10 de Mayo de 2019 2 / 27

Page 3: Introducción a Redes Neuronales y sus Aplicaciones en ...ener.utalca.cl/wp-content/uploads/2019/06/15-Miguel-Aguirre-Carlos... · Introducción IntroducciónIA(Linkexterno) C. Selmo,

Machine Learning

Aprendizaje Supervisado Aprendizaje no supervisadoDataset anotado Dataset no anotadoClasificación Nuevas representaciones de los datosPredicción VisualizaciónFiltrado Clustering

• Apredizaje por refuerzos

C. Selmo, P. Cossutta, M. Aguirre Introducción a Redes Neuronales 10 de Mayo de 2019 3 / 27

Page 4: Introducción a Redes Neuronales y sus Aplicaciones en ...ener.utalca.cl/wp-content/uploads/2019/06/15-Miguel-Aguirre-Carlos... · Introducción IntroducciónIA(Linkexterno) C. Selmo,

Aprendizaje supervisado

Aprendizaje supervisado

C. Selmo, P. Cossutta, M. Aguirre Introducción a Redes Neuronales 10 de Mayo de 2019 4 / 27

Page 5: Introducción a Redes Neuronales y sus Aplicaciones en ...ener.utalca.cl/wp-content/uploads/2019/06/15-Miguel-Aguirre-Carlos... · Introducción IntroducciónIA(Linkexterno) C. Selmo,

Sistema modelo costo optimizador

X1; X2; X3; : : : ; Xn Modelo y1; y2; y3; : : : ; yn

y1; y2; y3; : : : ; yn

d1; d2; d3; : : : ; dn

Funciónde Costo J

y1; y2; y3; : : : ; yn

d1; d2; d3; : : : ; dnOptimizador ∆W

C. Selmo, P. Cossutta, M. Aguirre Introducción a Redes Neuronales 10 de Mayo de 2019 5 / 27

Page 6: Introducción a Redes Neuronales y sus Aplicaciones en ...ener.utalca.cl/wp-content/uploads/2019/06/15-Miguel-Aguirre-Carlos... · Introducción IntroducciónIA(Linkexterno) C. Selmo,

Optimizadores

• Métodos de gradienteI Wt+1 = Wt − ”∇J (W )

C. Selmo, P. Cossutta, M. Aguirre Introducción a Redes Neuronales 10 de Mayo de 2019 6 / 27

Page 7: Introducción a Redes Neuronales y sus Aplicaciones en ...ener.utalca.cl/wp-content/uploads/2019/06/15-Miguel-Aguirre-Carlos... · Introducción IntroducciónIA(Linkexterno) C. Selmo,

Función de costo

y1; y2; y3; : : : ; yn

d1; d2; d3; : : : ; dn

Funciónde Costo J

• Medida de apartamiento entre las salidas del modelo para las entradasdel dataset y las salidas deseadas (Anotaciones)• Los optimizadores buscan los parámetros W que minimizan la función

de costo• Criterio probabilistico: minimizar la entropía cruzada entre la

estimación del modelo y los datos reales

Loss = XENT (y ;d ) = − 1

N

NXi=1

[di log yi + (1− di ) log(1− yi )]

• Criterio físico: Minimizar la energía del error de estimación

Loss = MSE (y ;d ) =1

N

NXi=1

(di − yi )2

C. Selmo, P. Cossutta, M. Aguirre Introducción a Redes Neuronales 10 de Mayo de 2019 7 / 27

Page 8: Introducción a Redes Neuronales y sus Aplicaciones en ...ener.utalca.cl/wp-content/uploads/2019/06/15-Miguel-Aguirre-Carlos... · Introducción IntroducciónIA(Linkexterno) C. Selmo,

Estrategia de entrenamiento del modelo

1 Separo los datos X1; X2; : : : ; XN en dos subconjuntos deentrenamiento

I Train: Xtrain1 ; Xtrain2 ; : : : ; XtrainMI Validation: Xvalid1 ; Xvalid2 ; : : : ; XvalidL

2 Minimizo la función de costo para el subconjunto de entrenamientoI Denominado train

3 Calculo la función de costo para el subconjunto de validaciónI Denominado valid

I Si el costo para validación es similar al de entrenamiento, el modelogeneraliza correctamente

I Si es mayor, el modelo no generaliza correctamente• No sirve

C. Selmo, P. Cossutta, M. Aguirre Introducción a Redes Neuronales 10 de Mayo de 2019 8 / 27

Page 9: Introducción a Redes Neuronales y sus Aplicaciones en ...ener.utalca.cl/wp-content/uploads/2019/06/15-Miguel-Aguirre-Carlos... · Introducción IntroducciónIA(Linkexterno) C. Selmo,

Perceptrón

• El modelo más simple• Modela matemáticamente el comportamiento de una neurona• Realiza el producto punto entre la entrada y el vector de pesos W y al

resultado aplicarle una función no lineal (función de activación)

C. Selmo, P. Cossutta, M. Aguirre Introducción a Redes Neuronales 10 de Mayo de 2019 9 / 27

Page 10: Introducción a Redes Neuronales y sus Aplicaciones en ...ener.utalca.cl/wp-content/uploads/2019/06/15-Miguel-Aguirre-Carlos... · Introducción IntroducciónIA(Linkexterno) C. Selmo,

Función de activación

• Se utilizan funciones derivablesI Necesario para poder aplicar métodos de gradiente

C. Selmo, P. Cossutta, M. Aguirre Introducción a Redes Neuronales 10 de Mayo de 2019 10 / 27

Page 11: Introducción a Redes Neuronales y sus Aplicaciones en ...ener.utalca.cl/wp-content/uploads/2019/06/15-Miguel-Aguirre-Carlos... · Introducción IntroducciónIA(Linkexterno) C. Selmo,

Ejemplo

• xi : variables eléctricas (tensiones, corrientes, etc.)• yi : valor de duty cycle de una llave• di : valor de duty cycle óptimo

I Calculado analíticamente para cada vector de entradaI Tanto para entrenamiento como para validación

C. Selmo, P. Cossutta, M. Aguirre Introducción a Redes Neuronales 10 de Mayo de 2019 11 / 27

Page 12: Introducción a Redes Neuronales y sus Aplicaciones en ...ener.utalca.cl/wp-content/uploads/2019/06/15-Miguel-Aguirre-Carlos... · Introducción IntroducciónIA(Linkexterno) C. Selmo,

Fully Connected Neural Network (FCNN)

• El perceptrón es un modelo muy sencillo, en general insuficiente paramodelar dinámicas complejas• Interconectando perceptrones se pueden realizar redes neuronales mas

complejas capaces de modelar dinámicas complejas• Se arman capas de perceptrones y se interconectan entre sí todas las

salidas de una capa con todas las entradas de la capa siguienteI Capa de entradaI Capa(s) ocultasI Capa de salida

C. Selmo, P. Cossutta, M. Aguirre Introducción a Redes Neuronales 10 de Mayo de 2019 12 / 27

Page 13: Introducción a Redes Neuronales y sus Aplicaciones en ...ener.utalca.cl/wp-content/uploads/2019/06/15-Miguel-Aguirre-Carlos... · Introducción IntroducciónIA(Linkexterno) C. Selmo,

FCNN

C. Selmo, P. Cossutta, M. Aguirre Introducción a Redes Neuronales 10 de Mayo de 2019 13 / 27

Page 14: Introducción a Redes Neuronales y sus Aplicaciones en ...ener.utalca.cl/wp-content/uploads/2019/06/15-Miguel-Aguirre-Carlos... · Introducción IntroducciónIA(Linkexterno) C. Selmo,

Ejemplo clásico: Clasificación de dígitos escritos a mano

• Los datos son imágenes de 28x28 píxeles conteniendo dígitos escritos amano del 0 al 9 relevados de sobres de USPS (MNIST Dataset)

• La cantidad de parámetros del modelo es 109184I 784x128 + 128x64 + 64x10 = 109184

C. Selmo, P. Cossutta, M. Aguirre Introducción a Redes Neuronales 10 de Mayo de 2019 14 / 27

Page 15: Introducción a Redes Neuronales y sus Aplicaciones en ...ener.utalca.cl/wp-content/uploads/2019/06/15-Miguel-Aguirre-Carlos... · Introducción IntroducciónIA(Linkexterno) C. Selmo,

Convolutional Neural Networks (CNN)

• Las FCNN al conectar todas las salidas de una capa a todos losperceptrones de la siguiente, crecen rápidamente en cantidad deparámetros• Esto es un inconveniente ya que para estimar más parámetros hacen

falta más observaciones para que la red generalice• Existen otras operaciones derivables que requieren menor cantidad de

parámetros y para ciertos tipos de problemas generalizan mejorI Datos seriados (Series temporales, textos, etc.) → CNN1D y RNNI Datos estructurados bidimensionalmente (Imágenes) → CNN2DI Datos estructurados tridimensionalmente (MRI) → CNN3D

C. Selmo, P. Cossutta, M. Aguirre Introducción a Redes Neuronales 10 de Mayo de 2019 15 / 27

Page 16: Introducción a Redes Neuronales y sus Aplicaciones en ...ener.utalca.cl/wp-content/uploads/2019/06/15-Miguel-Aguirre-Carlos... · Introducción IntroducciónIA(Linkexterno) C. Selmo,

Aprendizaje por refuerzo

C. Selmo, P. Cossutta, M. Aguirre Introducción a Redes Neuronales 10 de Mayo de 2019 16 / 27

Page 17: Introducción a Redes Neuronales y sus Aplicaciones en ...ener.utalca.cl/wp-content/uploads/2019/06/15-Miguel-Aguirre-Carlos... · Introducción IntroducciónIA(Linkexterno) C. Selmo,

Aplicaciones

Aplicaciones en Electrónica de Potencia

C. Selmo, P. Cossutta, M. Aguirre Introducción a Redes Neuronales 10 de Mayo de 2019 17 / 27

Page 18: Introducción a Redes Neuronales y sus Aplicaciones en ...ener.utalca.cl/wp-content/uploads/2019/06/15-Miguel-Aguirre-Carlos... · Introducción IntroducciónIA(Linkexterno) C. Selmo,

Modulación Vectorial (1)

o

vdc

g1

g1

g2

g2

g3

g3

a

Load

bn

cv0;7

#1g1;2;3 = 100

g1;2;3 = 011

#2110

001#3

010

101

#4011

100

#5001

110#6

101

010

v1

v 2

v3

v4

v 5

v6

Sector 1

Sector 2

Sector 3

Sector 4

Sector 5

Sector 6

• ImplicaI Cálculo de las referencias en coordenadas ¸˛0I Cálculo de los tiempos en cada uno de los 3 estados en cada sectorI Posee un costo computacional en el controlador

• Puede optimizarse mediante el uso de tablas

C. Selmo, P. Cossutta, M. Aguirre Introducción a Redes Neuronales 10 de Mayo de 2019 18 / 27

Page 19: Introducción a Redes Neuronales y sus Aplicaciones en ...ener.utalca.cl/wp-content/uploads/2019/06/15-Miguel-Aguirre-Carlos... · Introducción IntroducciónIA(Linkexterno) C. Selmo,

Modulación Vectorial (2)

• El cálculo de los diversos d depende del sector• Para el Sector 1

`0 < ¸ ≤ ı

3

´I dA = 1

2 +√3ımˆ−sin

`ı3 − ¸

´− sin (¸)

˜I dB = 1

2 +√3ımˆsin`ı3 − ¸

´− sin (¸)

˜I dC = 1

2 +√3ımˆsin`ı3 − ¸

´+ sin (¸)

˜• En cada sector un cálculo similar pero diferente• Red neuronal de 3 capas

I 1 nodo, 15 nodos, 3 nodos

• Se obtienen los mismos resultados que con un modulador SVPWM

[1] Z. Yuan and J. Cheng, “Research on space vector pwm inverter based on artificial neural

network,” in 2013 Sixth International Symposium on Computational Intelligence and Design,

vol. 2, pp. 80–83, Oct 2013

C. Selmo, P. Cossutta, M. Aguirre Introducción a Redes Neuronales 10 de Mayo de 2019 19 / 27

Page 20: Introducción a Redes Neuronales y sus Aplicaciones en ...ener.utalca.cl/wp-content/uploads/2019/06/15-Miguel-Aguirre-Carlos... · Introducción IntroducciónIA(Linkexterno) C. Selmo,

Modulación Vectorial - Rectificador (1)

[2] A. H. Bhat and P. Agarwal, “An artificial-neural-network-based space vector pwm of a

three-phase high power factor converter for power quality improvement,” in 2006 India

International Conference on Power Electronics, pp. 309–314, Dec 2006

C. Selmo, P. Cossutta, M. Aguirre Introducción a Redes Neuronales 10 de Mayo de 2019 20 / 27

Page 21: Introducción a Redes Neuronales y sus Aplicaciones en ...ener.utalca.cl/wp-content/uploads/2019/06/15-Miguel-Aguirre-Carlos... · Introducción IntroducciónIA(Linkexterno) C. Selmo,

Modulación Vectorial - Rectificador (2)

• La modulación SVPWM serealiza mediante una redneuronal• El resto del sistema de control es

tradicional• En este caso de implementación

particular se mejoró el tiempo decálculo y la THD de salida deforma NO significativa

C. Selmo, P. Cossutta, M. Aguirre Introducción a Redes Neuronales 10 de Mayo de 2019 21 / 27

Page 22: Introducción a Redes Neuronales y sus Aplicaciones en ...ener.utalca.cl/wp-content/uploads/2019/06/15-Miguel-Aguirre-Carlos... · Introducción IntroducciónIA(Linkexterno) C. Selmo,

• ¿ Que sucede con mayor cantidad de niveles ?I Convertidor NPT de 5 niveles posee 125 estados diferentes [3]I MCSI Multinivel de 7 niveles (729 estados)

[3] M. A. Saqib and S. A. R. Kashif, “Artificial neural network based space vector pwm for a

five-level diode-clamped inverter,” in 2010 20th Australasian Universities Power Engineering

Conference, pp. 1–6, Dec 2010

C. Selmo, P. Cossutta, M. Aguirre Introducción a Redes Neuronales 10 de Mayo de 2019 22 / 27

Page 23: Introducción a Redes Neuronales y sus Aplicaciones en ...ener.utalca.cl/wp-content/uploads/2019/06/15-Miguel-Aguirre-Carlos... · Introducción IntroducciónIA(Linkexterno) C. Selmo,

Predicción de Generación en Generación Eólica (1)

• Predicción a futuro de la velocidad de viento y potencia generada poruna turbina a partir de los datos obtenidos en las 24 horas previas

I Predicción a 3 horas• Datos de medición cada 10 min

I 6 mediciones por horaI 144 mediciones por día

• Genetic Neural NetworkI 3 capas

• Entrada: 144 nodos• Capa oculta: 2n + 1 = 289 nodos• Salida: 18 nodos

• Se tomaron datos durante 10 días (Zhangbei - China)I 9 días para entrenar la redI 1 día para validar resultados

C. Selmo, P. Cossutta, M. Aguirre Introducción a Redes Neuronales 10 de Mayo de 2019 23 / 27

Page 24: Introducción a Redes Neuronales y sus Aplicaciones en ...ener.utalca.cl/wp-content/uploads/2019/06/15-Miguel-Aguirre-Carlos... · Introducción IntroducciónIA(Linkexterno) C. Selmo,

Predicción de Generación en Generación Eólica (2)

[4] W. Xin, Y. Liu, and X. Li, “Short-term forecasting of wind turbine power generation based on

genetic neural network,” in 2010 8th World Congress on Intelligent Control and Automation,

pp. 5943–5946, July 2010

C. Selmo, P. Cossutta, M. Aguirre Introducción a Redes Neuronales 10 de Mayo de 2019 24 / 27

Page 25: Introducción a Redes Neuronales y sus Aplicaciones en ...ener.utalca.cl/wp-content/uploads/2019/06/15-Miguel-Aguirre-Carlos... · Introducción IntroducciónIA(Linkexterno) C. Selmo,

MPPT

• Utilizando mediciones eléctricas, ambientales y ambas• Comparación con PO

[5] I. Chtouki, P. Wira, and M. Zazi, “Comparison of several neural network perturb and observe

mppt methods for photovoltaic applications,” in 2018 IEEE International Conference on

Industrial Technology (ICIT), pp. 909–914, Feb 2018

C. Selmo, P. Cossutta, M. Aguirre Introducción a Redes Neuronales 10 de Mayo de 2019 25 / 27

Page 26: Introducción a Redes Neuronales y sus Aplicaciones en ...ener.utalca.cl/wp-content/uploads/2019/06/15-Miguel-Aguirre-Carlos... · Introducción IntroducciónIA(Linkexterno) C. Selmo,

Conclusiones

• El aprendizaje supervisado (Redes neuronales) puede ser utilizado parapredicción, clasificación y filtrado (lineal y no lineal)• La electrónica de potencia es una disciplina donde la predicción y

filtrado son ampliamente requeridos• En el ITBA estamos vinculando ambas disciplinas en el marco del

convertidor MCSI con resultados preliminares alentadores• La capacidad de cómputo dependiendo del caso puede exceder

ampliamente la necesaria para soluciones tradicionales

C. Selmo, P. Cossutta, M. Aguirre Introducción a Redes Neuronales 10 de Mayo de 2019 26 / 27

Page 27: Introducción a Redes Neuronales y sus Aplicaciones en ...ener.utalca.cl/wp-content/uploads/2019/06/15-Miguel-Aguirre-Carlos... · Introducción IntroducciónIA(Linkexterno) C. Selmo,

Introducción a Redes Neuronales

¡ Muchas Gracias !

Ing. Carlos SelmoEsp. Ing. Pablo CossuttaDr. Ing. Miguel Aguirre

C. Selmo, P. Cossutta, M. Aguirre Introducción a Redes Neuronales 10 de Mayo de 2019 27 / 27