![Page 1: Aplicaciones de las Redes Neuronales Artificilaes Dr. Héctor Allende](https://reader035.vdocumento.com/reader035/viewer/2022062217/5665b4581a28abb57c90ba3b/html5/thumbnails/1.jpg)
Aplicaciones de las Redes Neuronales Artificilaes
Dr. Héctor Allende
![Page 2: Aplicaciones de las Redes Neuronales Artificilaes Dr. Héctor Allende](https://reader035.vdocumento.com/reader035/viewer/2022062217/5665b4581a28abb57c90ba3b/html5/thumbnails/2.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 2
Areas de Aplicación
• Areas donde se aplican ANN:– Ingeniería ( Control, Robótica, Visión )– Ciencias de la computación.– Neurofisiología.– Física.– Matemáticas– Ciencia del Conocimiento.– Economía y finanzas– Estadísticas.
![Page 3: Aplicaciones de las Redes Neuronales Artificilaes Dr. Héctor Allende](https://reader035.vdocumento.com/reader035/viewer/2022062217/5665b4581a28abb57c90ba3b/html5/thumbnails/3.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 3
Aplicaciones.• Algunas aplicaciones:
– Reconocimiento de patrones.– Predicción.– Regresión.– Compresión.– Procesamiento de Señales – Data Mining.– Series de Tiempo.– Finanzas.– Reconocimiento de voz, caras, caracteres .– Restauración de imagenes.etc.
![Page 4: Aplicaciones de las Redes Neuronales Artificilaes Dr. Héctor Allende](https://reader035.vdocumento.com/reader035/viewer/2022062217/5665b4581a28abb57c90ba3b/html5/thumbnails/4.jpg)
EjemploModelos de Regresión
Redes FeedForward
![Page 5: Aplicaciones de las Redes Neuronales Artificilaes Dr. Héctor Allende](https://reader035.vdocumento.com/reader035/viewer/2022062217/5665b4581a28abb57c90ba3b/html5/thumbnails/5.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 5
Modelos de Regresión
• Tipo de Redes:– Feedforward , Feedforward Recurrentes
• Característica:– Las redes Feedforward son aproximadores universales.
– Pueden modelar funciones altamente no-lineales, donde modelos lineales tradicionales, no se comportan bien.
– No necesitan conocomiento del fenómeno, sólo un conjunto de datos.
– Aprendizaje es supervizado.
– Corrección del Error
![Page 6: Aplicaciones de las Redes Neuronales Artificilaes Dr. Héctor Allende](https://reader035.vdocumento.com/reader035/viewer/2022062217/5665b4581a28abb57c90ba3b/html5/thumbnails/6.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 6
Formulación del problema
• Se desea modelar la siguiente función
donde con
))5.0exp(1(10)(
20,...,1)(1
iis
iisi
xxf
iexfx
),0(~ 102INei 3/12
![Page 7: Aplicaciones de las Redes Neuronales Artificilaes Dr. Héctor Allende](https://reader035.vdocumento.com/reader035/viewer/2022062217/5665b4581a28abb57c90ba3b/html5/thumbnails/7.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 7
Tipo de ANN utilizada
• La entrada a la red fue normalizada entre
[-1,1].
• Tiene 1 neurona de entrada y 1 de salida.
• La red tiene 1 capa escondida y 3 neuronas escondidas.
• La red es del tipo FeedForward con algoritmo de aprendizaje Back-Propagation.
![Page 8: Aplicaciones de las Redes Neuronales Artificilaes Dr. Héctor Allende](https://reader035.vdocumento.com/reader035/viewer/2022062217/5665b4581a28abb57c90ba3b/html5/thumbnails/8.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 8
Proceso de Aprendizaje.Desempeño del BackPropagation
![Page 9: Aplicaciones de las Redes Neuronales Artificilaes Dr. Héctor Allende](https://reader035.vdocumento.com/reader035/viewer/2022062217/5665b4581a28abb57c90ba3b/html5/thumbnails/9.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 9
Datos experimentales y salida de la ANN
![Page 10: Aplicaciones de las Redes Neuronales Artificilaes Dr. Héctor Allende](https://reader035.vdocumento.com/reader035/viewer/2022062217/5665b4581a28abb57c90ba3b/html5/thumbnails/10.jpg)
EjemploSeries de Tiempo y Predicción
Redes FeedForward
![Page 11: Aplicaciones de las Redes Neuronales Artificilaes Dr. Héctor Allende](https://reader035.vdocumento.com/reader035/viewer/2022062217/5665b4581a28abb57c90ba3b/html5/thumbnails/11.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 11
Formulación del problema
• Tipo de Redes:– FeedForward.
• Modelar los datos de la “Línea Aerea Internacional”modelo (ARIMA), de orden (0,1,1)x(0,1,1)12
( )( ) ( )( )1 1 1 1120
12 B B x B B at t
![Page 12: Aplicaciones de las Redes Neuronales Artificilaes Dr. Héctor Allende](https://reader035.vdocumento.com/reader035/viewer/2022062217/5665b4581a28abb57c90ba3b/html5/thumbnails/12.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 12
ANN de los datos de la Aerolínea
1 1
xt-1
xt-13
xtxt-12
INPUT LAYER HIDDEN LAYER OUTPUT LAYER
-1.1339
-1.5058
1.2433
-3.1022
-0.0883 1.5182
![Page 13: Aplicaciones de las Redes Neuronales Artificilaes Dr. Héctor Allende](https://reader035.vdocumento.com/reader035/viewer/2022062217/5665b4581a28abb57c90ba3b/html5/thumbnails/13.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 13
Datos de la Aerolínea
![Page 14: Aplicaciones de las Redes Neuronales Artificilaes Dr. Héctor Allende](https://reader035.vdocumento.com/reader035/viewer/2022062217/5665b4581a28abb57c90ba3b/html5/thumbnails/14.jpg)
EjemploClasificación de Patrones
LVQ (Learning vector quantizacion)
![Page 15: Aplicaciones de las Redes Neuronales Artificilaes Dr. Héctor Allende](https://reader035.vdocumento.com/reader035/viewer/2022062217/5665b4581a28abb57c90ba3b/html5/thumbnails/15.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 15
Clasificación de Patrones
• Tipo de Redes:– LVQ (Learning vector quantizacion).
• Característica:– Consiste en clasificar un conjunto de elementos
en un conjunto de clases.– Se debe utilizar redes con aprendizaje
supervisado.– Las ANN son ampliamente usada en problemas
de clasificación.
![Page 16: Aplicaciones de las Redes Neuronales Artificilaes Dr. Héctor Allende](https://reader035.vdocumento.com/reader035/viewer/2022062217/5665b4581a28abb57c90ba3b/html5/thumbnails/16.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 16
Formulación del Problema
• Patrones:
– P son los patrones de entrada (p1 , p2)
– C es la clase a la cual pertenece cada patrón.
]1 1 1 2 2 2 2 1 1 1 [
0 1- 1 2- 1- 1 2 1- 1 0
3 2 2 0 0 0 0 2- 2- 3-
C
P
![Page 17: Aplicaciones de las Redes Neuronales Artificilaes Dr. Héctor Allende](https://reader035.vdocumento.com/reader035/viewer/2022062217/5665b4581a28abb57c90ba3b/html5/thumbnails/17.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 17
Gráfico de la ubicación de los Patrones.
Rojo : Clase 1
Celeste : Clase 2
![Page 18: Aplicaciones de las Redes Neuronales Artificilaes Dr. Héctor Allende](https://reader035.vdocumento.com/reader035/viewer/2022062217/5665b4581a28abb57c90ba3b/html5/thumbnails/18.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 18
Parámetros de la ANN
• Neuronas escondidas: 4
• Razón de aprendizaje: 0.1
• Por ciento de cada clase: Clase 1: 60%, Clase 2: 40%
![Page 19: Aplicaciones de las Redes Neuronales Artificilaes Dr. Héctor Allende](https://reader035.vdocumento.com/reader035/viewer/2022062217/5665b4581a28abb57c90ba3b/html5/thumbnails/19.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 19
Resultado de la Red neuronal.
+ Vectores de entrada.
O Pesos de las neuronas
Rojo: patrones clasificados como clase 1
Celeste: patrones clasificados como clase 2.
![Page 20: Aplicaciones de las Redes Neuronales Artificilaes Dr. Héctor Allende](https://reader035.vdocumento.com/reader035/viewer/2022062217/5665b4581a28abb57c90ba3b/html5/thumbnails/20.jpg)
Clasificación de caracteres
Counterpropagation Network
Redes CPN
![Page 21: Aplicaciones de las Redes Neuronales Artificilaes Dr. Héctor Allende](https://reader035.vdocumento.com/reader035/viewer/2022062217/5665b4581a28abb57c90ba3b/html5/thumbnails/21.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 21
Clasificación de Caracteres
• Tipo de Redes:– CPN.
• Característica:– Consiste en un problema de clasificación de patrones.
– Se debe utilizar redes con aprendizaje supervisado.
– Las ANN son ampliamente usada en estos problemas de clasificación.
![Page 22: Aplicaciones de las Redes Neuronales Artificilaes Dr. Héctor Allende](https://reader035.vdocumento.com/reader035/viewer/2022062217/5665b4581a28abb57c90ba3b/html5/thumbnails/22.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 22
Formulación del Problema
• Se tiene un conjunto de letras como una imagen binaria de 5x6 pixeles, “1”cuando el pixel esta encendido y “0” cuando el pixel esta apagado
• La red tiene que asociar correctamente el código ASCII a la imagen.
1) 0 0 0 1 1 0 0 0 1 1 1 1
1 1 1 0 0 0 1 0 1 0 1 0 0 0 1 0 0()( AxTrep
![Page 23: Aplicaciones de las Redes Neuronales Artificilaes Dr. Héctor Allende](https://reader035.vdocumento.com/reader035/viewer/2022062217/5665b4581a28abb57c90ba3b/html5/thumbnails/23.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 23
Ejemplo de Imágenes de Letras
![Page 24: Aplicaciones de las Redes Neuronales Artificilaes Dr. Héctor Allende](https://reader035.vdocumento.com/reader035/viewer/2022062217/5665b4581a28abb57c90ba3b/html5/thumbnails/24.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 24
Representación de las letras
binario Código 1) 0 0 0 0 0 1 (0)(
65A de ASCII Código
1 0 0 0 1
1 0 0 0 1
1 1 1 1 1
1 0 0 0 1
0 1 0 1 0
0 0 1 0 0
)(
Ay
Ax
T
Trep
![Page 25: Aplicaciones de las Redes Neuronales Artificilaes Dr. Héctor Allende](https://reader035.vdocumento.com/reader035/viewer/2022062217/5665b4581a28abb57c90ba3b/html5/thumbnails/25.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 25
Letras de Testeo
![Page 26: Aplicaciones de las Redes Neuronales Artificilaes Dr. Héctor Allende](https://reader035.vdocumento.com/reader035/viewer/2022062217/5665b4581a28abb57c90ba3b/html5/thumbnails/26.jpg)
EjemploProblemas de Heurística:
Traveling Salesperson Problem(TSP)
Redes de Hopfield
![Page 27: Aplicaciones de las Redes Neuronales Artificilaes Dr. Héctor Allende](https://reader035.vdocumento.com/reader035/viewer/2022062217/5665b4581a28abb57c90ba3b/html5/thumbnails/27.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 27
Problemas de Heurística: “Problema del Vendedor Viajero”
• Tipo de Redes:– Hopfield bidimensional con memoria continua.
• Característica:– Problema del tipo NP (no-polinomial).
– Consiste en un problema de Optimización.
– Se debe utilizar redes con aprendizaje no supervisado.
![Page 28: Aplicaciones de las Redes Neuronales Artificilaes Dr. Héctor Allende](https://reader035.vdocumento.com/reader035/viewer/2022062217/5665b4581a28abb57c90ba3b/html5/thumbnails/28.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 28
Formulación del Problema
• Condiciones:• Un vendedor viajero debe visitar un número de
ciudades, visitándolas todas, solo una vez. • Moverse de una ciudad a otra tiene un costo
asociado ( dependiendo de la distancia) . • El vendedor viajero debe volver al punto de partida.• Se debe encontrar la secuencia correcta que
minimiza el costo.• (n!): 2n = número de recorridos distintos
![Page 29: Aplicaciones de las Redes Neuronales Artificilaes Dr. Héctor Allende](https://reader035.vdocumento.com/reader035/viewer/2022062217/5665b4581a28abb57c90ba3b/html5/thumbnails/29.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 29
Análisis del Problema
• Sea C1, C2, .., CK las ciudades involucradas.
• A cada ciudad se le asocia un número que representa el orden en el que fue visitada.– La representación es binaria.– Ej: 1era ciudad = (1 0 0... 0)– Ej: 2da ciudad = (0 1 0 ... 0)– Etc...
![Page 30: Aplicaciones de las Redes Neuronales Artificilaes Dr. Héctor Allende](https://reader035.vdocumento.com/reader035/viewer/2022062217/5665b4581a28abb57c90ba3b/html5/thumbnails/30.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 30
Matriz que define el Problema
K
k2
k1
1
21
C 1 ..... 0 ..... 0 .... 0
..........................
C 0 ..... 1 ..... 0 .... 0
..........................
C 0 ..... 0 ..... 1 .... 0
.........................
C 0 ..... 0 ..... 0 .... 1
K .... j .... j .... 1
![Page 31: Aplicaciones de las Redes Neuronales Artificilaes Dr. Héctor Allende](https://reader035.vdocumento.com/reader035/viewer/2022062217/5665b4581a28abb57c90ba3b/html5/thumbnails/31.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 31
Análisis del Problema
• La idea es construir una memoria de Hopfied Bidimensional, tal que la salida es la matriz Y que tiene la forma anterior, y será la solución.
![Page 32: Aplicaciones de las Redes Neuronales Artificilaes Dr. Héctor Allende](https://reader035.vdocumento.com/reader035/viewer/2022062217/5665b4581a28abb57c90ba3b/html5/thumbnails/32.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 32
Restricciones para Y
1. Cada ciudad no puede ser visitada más de 1 vez. Cada fila tiene no más de un 1.
2. 2 ciudades no pueden ser visitadas al mismo tiempo Cada columna no puede contener más que un 1.
3. Todas las ciudades deben ser visitadas Cada fila o columna debe tener al menos un 1.
4. El costo o distancia total debe ser minimizado. Sea dk1 k2 el costo entre las ciudades Ck1 y Ck2.
![Page 33: Aplicaciones de las Redes Neuronales Artificilaes Dr. Héctor Allende](https://reader035.vdocumento.com/reader035/viewer/2022062217/5665b4581a28abb57c90ba3b/html5/thumbnails/33.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 33
Pesos asociados a las Neuronas.
![Page 34: Aplicaciones de las Redes Neuronales Artificilaes Dr. Héctor Allende](https://reader035.vdocumento.com/reader035/viewer/2022062217/5665b4581a28abb57c90ba3b/html5/thumbnails/34.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 34
Construcción de los pesos.
1. Cada ciudad debe aparecer 1 vez en el tour:
• Una neurona en una fila debe inhibir todas las otras de la misma fila.
RA ),1(21211122
)1(jjkkjkjk Aw
![Page 35: Aplicaciones de las Redes Neuronales Artificilaes Dr. Héctor Allende](https://reader035.vdocumento.com/reader035/viewer/2022062217/5665b4581a28abb57c90ba3b/html5/thumbnails/35.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 35
Construcción de los pesos.
2. No debe haber con el mismo número de orden en un tour.
• Una neurona en una columna debe inhibir todas las otras de la misma columna.
RB ),1(21211122
)2(kkjjjkjk Bw
![Page 36: Aplicaciones de las Redes Neuronales Artificilaes Dr. Héctor Allende](https://reader035.vdocumento.com/reader035/viewer/2022062217/5665b4581a28abb57c90ba3b/html5/thumbnails/36.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 36
Construcción de los pesos.
3. La mayoría de las neuronas deben tener valor cero entonces se debe usar inhibición global
RC )3(
1122Cw jkjk
![Page 37: Aplicaciones de las Redes Neuronales Artificilaes Dr. Héctor Allende](https://reader035.vdocumento.com/reader035/viewer/2022062217/5665b4581a28abb57c90ba3b/html5/thumbnails/37.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 37
Construcción de los pesos.4. Distancia total debe ser minimizada,
entonces las neuronas reciben entrada inhibitoria proporcinal a la distancia.
e.t.o.c.
1jy j si 1''
e.t.o.c.
jy 1j si 0'
RD ),(
2
212
2
212
1´´1')4(
2121211122
j
KKj
j
Kj
donde
Ddw jjjjkkjkjk
![Page 38: Aplicaciones de las Redes Neuronales Artificilaes Dr. Héctor Allende](https://reader035.vdocumento.com/reader035/viewer/2022062217/5665b4581a28abb57c90ba3b/html5/thumbnails/38.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 38
Función de Energía
• Función de energía de la memoria discreta de Hopfield:
• Formula de actualización:
)(2
1txyWyyE TT
)](1̂[)(1̂)()()1( tytyCtWytyty
![Page 39: Aplicaciones de las Redes Neuronales Artificilaes Dr. Héctor Allende](https://reader035.vdocumento.com/reader035/viewer/2022062217/5665b4581a28abb57c90ba3b/html5/thumbnails/39.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 39
Inicio del Algoritmo. TSP 50 ciudades
![Page 40: Aplicaciones de las Redes Neuronales Artificilaes Dr. Héctor Allende](https://reader035.vdocumento.com/reader035/viewer/2022062217/5665b4581a28abb57c90ba3b/html5/thumbnails/40.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 40
Solución Encontrada.TSP 50 ciudades