![Page 1: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/1.jpg)
Clasificación Supervisada
Redes Neuronales
Jesús Ariel Carrasco OchoaInstituto Nacional de Astrofísica, Óptica y Electrónica
![Page 2: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/2.jpg)
Redes Neuronales
Idea central: simular el funcionamiento delcerebro, el cual es un conjunto grande deneuronas interconectadas
La unidad básica es la neurona
La idea inicial es tener una neurona artificial
Posteriormente tener un cierto número deneuronas artificiales conectadas formandouna red neuronal artificial
![Page 3: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/3.jpg)
Redes Neuronales
Neurona real
Núcleo
DendritasAxón
![Page 4: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/4.jpg)
Redes Neuronales
El núcleo está en el cuerpo celular y controla el funcionamiento de la neurona
Las dendritas son conexiones de entrada
El axón es una conexión de salida
Las conexiones entre dendritas y axones se llamas sinapsis
![Page 5: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/5.jpg)
Redes Neuronales
Cuando las dendritas reciben un impulso de un axón, pueden estimular o inhibir la producción e una salida
Una neurona no produce una salida a menos que los estímulos que recibe a través de sus dendritas alcance cierto umbral
En este sentido las neuronas son dispositivos de todo o nada
![Page 6: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/6.jpg)
Redes Neuronales
El cerebro humano tiene aproximadamente 1011 neuronas
Cada neurona tiene hasta 105 sinapsis
En el cerebro humano hay aproximadamente 1016 sinapsis
1016253 =213240 =223230
=8192 Teras = 8388608 Gigas
![Page 7: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/7.jpg)
Redes Neuronales
Una red neuronal real se vería como
![Page 8: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/8.jpg)
Redes Neuronales
Neurona Artificial
x1
x2
.
.
.
xm
w1
w2...wm
umbralwxm
iii
1
Salida
![Page 9: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/9.jpg)
Redes Neuronales
Si
entonces se produce una salida=1
En caso contrario se produce una salida=0
como
umbralwxm
iii
1
0 a eequivalent es 11
umbralwxumbralwxm
iii
m
iii
![Page 10: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/10.jpg)
Redes Neuronales
Para simplificar se agrega una entrada con valor fijo 1 y se agrega un peso w0=-umbral, con lo que
1con 0
0
0
00
01
1
xwx
wwx
umbralwx
m
iii
m
iii
m
iii
![Page 11: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/11.jpg)
Redes Neuronales
Neurona Artificial
x0=1
x1
x2
.
.
.
xm
w0
w1
w2...wm
00
m
iiiwx Salida
![Page 12: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/12.jpg)
Redes Neuronales
Una Red Neuronal Artificial es un conjunto de neuronas artificiales interconectadas
Entrenar la red consiste en encontrar los valores adecuados para los pesos wi de cada neurona, tal que la salida final sea la deseada
![Page 13: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/13.jpg)
Redes Neuronales
Para generalizar al caso de salidas reales se puede tomar
Donde f:
Comúnmente se usa una sigmoidal
m
iiiwxfsalida
1
![Page 14: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/14.jpg)
Redes Neuronales
![Page 15: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/15.jpg)
Redes Neuronales
Comúnmente
Esta función cumple que
xe
xf
1
1
0 , ,
1 ,0 , cuando
xfex
xfexx
x
![Page 16: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/16.jpg)
Redes Neuronales
Además
)(1)( 1
11
1
1
1
1
1
1
1
11
1
1
11
1
1
1
1
222
22
xfxfee
eee
e
e
e
ee
eee
xf
xx
xxx
x
x
x
x
x
x
xx
![Page 17: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/17.jpg)
Perceptrón (Frank Rosenblatt, 1958)
Perceptrón (Booleano)
Rosenblatt, F. (1958). The perceptron: a probabilistic model forinformation storage and organization in the brain. Psychological review,65(6), 386.
x0=1
x1
x2
.
.
.
xm
w0
w1
w2...wm
00
m
iiiwx Salida 0/1
![Page 18: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/18.jpg)
Perceptrón
Perceptrón (continuo)
Salida (0,1)
x1
x2
.
.
.
xm
w1
w2...wm
m
iiiwxf
0
![Page 19: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/19.jpg)
Redes Neuronales
Red de una sola capa de Perceptrones
x1
x2
.
.
.
xm
w11
w21..wm1
m
iiiwxf
0
Salida 1
m
iiiwxf
0
m
iiiwxf
0
w12
w22..wm2
w1s
w2s..wms
Salida 2
Salida s
![Page 20: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/20.jpg)
Redes Neuronales
Perceptrón multicapa
x1
x2
.
.
.
xm
w11
w21..wm1
w12
w22..wm2
w1s
w2s..wms
m
iiiwxf
0
Salida 1
m
iiiwxf
0
m
iiiwxf
0
Salida 2
Salida u
m
iiiwxf
0
m
iiiwxf
0
m
iiiwxf
0
wij
![Page 21: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/21.jpg)
Redes Neuronales
Redes hacia adelante (feedforward) Redes recurrentes (feedback) Redes de Base Radial (RBFN) Redes de Hopfield (memorias auto-asociativas) Mapas Auto-organizables (SOM) Redes Morfológicas Redes Neuronales Celulares Redes Neuronales Convolucionales (CNN) Autoencoders Redes profundas etc.
![Page 22: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/22.jpg)
Como entrenar un Perceptrón
Si se tienen n objetos O1,O2,…,On
Separados en dos clases C0 y C1
Descritos por m atributos Booleanos x1,x2,…,xm
![Page 23: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/23.jpg)
Como entrenar un Perceptrón
El perceptrón tiene la forma
x0=1
x1
x2
.
.
.
xm
w0
w1
w2...wm
00
m
iiiwx Salida 0/1
![Page 24: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/24.jpg)
Como entrenar un Perceptrón
Si una entrada x1,x2,…,xm produce 0 yse esperaba 1 hay que aumentar losvalores de los pesos que multiplican alas entradas con valor 1
Si una entrada x1,x2,…,xm produce 1 yse esperaba 0 hay que reducir losvalores de los pesos que multiplican alas entradas con valor 1
![Page 25: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/25.jpg)
Como entrenar un Perceptrón
1. Inicializar wi=0, i=0,…,m
2. Si los pesos wi producen una salida correcta paratoda la muestra FIN
3. Seleccionar una entrada para la que se produzcauna salida incorrecta
4. Si la salida producida es 0 tomarwi=wi+xi para i=0,…,m
5. Si la salida producida es 1 tomarwi=wi-xi para i=0,…,m
6. Ir a 2
![Page 26: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/26.jpg)
Como entrenar un Perceptrón
Suponemos que se tiene una muestrade entrenamiento como sigue
T x1 x2 x3 x4 x5 x6 SalidaO1 1 0 0 0 1 1 0
O2 0 1 0 0 0 1 0
O3 0 0 1 0 1 0 1
O4 0 1 1 1 0 0 1
![Page 27: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/27.jpg)
Como entrenar un Perceptrón
x0=1
x1
x2
x3
x4
X5
x6
w0
w1
w2
w3
w4
w5
w6
06
0
i
iiwx Salida 0/1
![Page 28: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/28.jpg)
Como entrenar un Perceptrón
i w0 w1 w2 w3 w4 w5 w6
1 0 0 0 0 0 0 02
3
4
T x0 x1 x2 x3 x4 x5 x6 S S0 S1 S2
O1 1 1 0 0 0 1 1 0O2 1 0 1 0 0 0 1 0O3 1 0 0 1 0 1 0 1O4 1 0 1 1 1 0 0 1
![Page 29: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/29.jpg)
Como entrenar un Perceptrón
i w0 w1 w2 w3 w4 w5 w6
1 0 0 0 0 0 0 02
3
4
T x0 x1 x2 x3 x4 x5 x6 S S0 S1 S2
O1 1 1 0 0 0 1 1 0 1O2 1 0 1 0 0 0 1 0 1O3 1 0 0 1 0 1 0 1 1O4 1 0 1 1 1 0 0 1 1
![Page 30: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/30.jpg)
Como entrenar un Perceptrón
i w0 w1 w2 w3 w4 w5 w6
1 0 0 0 0 0 0 02 -1 -1 0 0 0 -1 -1 -x1
3
4
T x0 x1 x2 x3 x4 x5 x6 S S0 S1 S2
O1 1 1 0 0 0 1 1 0 1O2 1 0 1 0 0 0 1 0 1O3 1 0 0 1 0 1 0 1 1O4 1 0 1 1 1 0 0 1 1
![Page 31: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/31.jpg)
Como entrenar un Perceptrón
i w0 w1 w2 w3 w4 w5 w6
1 0 0 0 0 0 0 02 -1 -1 0 0 0 -1 -1 -x1
3
4
T x0 x1 x2 x3 x4 x5 x6 S S0 S1 S2
O1 1 1 0 0 0 1 1 0 1 0O2 1 0 1 0 0 0 1 0 1 0O3 1 0 0 1 0 1 0 1 1 0O4 1 0 1 1 1 0 0 1 1 0
![Page 32: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/32.jpg)
Como entrenar un Perceptrón
i w0 w1 w2 w3 w4 w5 w6
1 0 0 0 0 0 0 02 -1 -1 0 0 0 -1 -1 -x1
3 0 -1 0 1 0 0 -1 +x3
4
T x0 x1 x2 x3 x4 x5 x6 S S0 S1 S2
O1 1 1 0 0 0 1 1 0 1 0O2 1 0 1 0 0 0 1 0 1 0O3 1 0 0 1 0 1 0 1 1 0O4 1 0 1 1 1 0 0 1 1 0
![Page 33: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/33.jpg)
Como entrenar un Perceptrón
i w0 w1 w2 w3 w4 w5 w6
1 0 0 0 0 0 0 02 -1 -1 0 0 0 -1 -1 -x1
3 0 -1 0 1 0 0 -1 +x3
4
T x0 x1 x2 x3 x4 x5 x6 S S0 S1 S2
O1 1 1 0 0 0 1 1 0 1 0 0O2 1 0 1 0 0 0 1 0 1 0 0O3 1 0 0 1 0 1 0 1 1 0 1O4 1 0 1 1 1 0 0 1 1 0 1
![Page 34: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/34.jpg)
Como entrenar un Perceptrón
i w0 w1 w2 w3 w4 w5 w6
1 0 0 0 0 0 0 02 -1 -1 0 0 0 -1 -1 -x1
3 0 -1 0 1 0 0 -1 +x3
4
T x0 x1 x2 x3 x4 x5 x6 S S0 S1 S2
O1 1 1 0 0 0 1 1 0 1 0 0O2 1 0 1 0 0 0 1 0 1 0 0O3 1 0 0 1 0 1 0 1 1 0 1O4 1 0 1 1 1 0 0 1 1 0 1
![Page 35: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/35.jpg)
Como entrenar un Perceptrón
i w0 w1 w2 w3 w4 w5 w6
1 0 0 0 0 0 0 02 -1 -1 0 0 0 -1 -1 -x1
3 0 -1 0 1 0 0 -1 +x3
4
T x0 x1 x2 x3 x4 x5 x6 SOa 1 1 1 0 0 1 1 0Ob 1 0 1 1 1 1 0 1Oc 1 1 0 1 0 1 1 0
![Page 36: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/36.jpg)
Como entrenar un Perceptrón
i w0 w1 w2 w3 w4 w5 w6
1 0 0 0 0 0 0 02 -1 -1 0 0 0 -1 -1 -x1
3 0 -1 0 1 0 0 -1 +x3
4
T x0 x1 x2 x3 x4 x5 x6 SOa 1 1 1 0 0 1 1 0Ob 1 0 1 1 1 1 0 1Oc 1 1 0 1 0 1 1 0
![Page 37: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/37.jpg)
Como entrenar un Perceptrón
i w0 w1 w2 w3 w4 w5 w6
1 0 0 0 0 0 0 02 -1 -1 0 0 0 -1 -1 -x1
3 0 -1 0 1 0 0 -1 +x3
4
T x0 x1 x2 x3 x4 x5 x6 SOa 1 1 1 0 0 1 1 0Ob 1 0 1 1 1 1 0 1Oc 1 1 0 1 0 1 1 0
![Page 38: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/38.jpg)
Como entrenar un Perceptrón Multicapa
Si se tiene una muestra T con n objetosO1,O2,…,On
Descritos por m atributos reales x1,x2,…,xm
Cada objeto Oq tiene asociada la salida deseadaDq y produce la salida Sq, q=1,…,n
Dq,Sq[0,1], q=1,…,n
![Page 39: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/39.jpg)
Como entrenar un Perceptrón Multicapa
x1
x2
.
.
.
xm
w1(m+1)
w2(m+1)..wm(m+1)
w1(m+2)
w2(m+2)..w2(m+2)
w1(m+s)
w2(m+s)..wm(m+s)
m
iiiwxf
0
Salida
m
iiiwxf
0
m
iiiwxf
0
m
iiiwxf
0
m
iiiwxf
0
m
iiiwxf
0
m
iiiwxf
0
wij
![Page 40: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/40.jpg)
Como entrenar un Perceptrón Multicapa
Como evaluarlo?
Se evalúa por capas
Con las entrada se evalúa la capa 1, conlas salidas de la capa 1 se evalúa lacapa 2, y así sucesivamente hastaevaluar la última neurona que producela salida de la red
![Page 41: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/41.jpg)
Como entrenar un Perceptrón Multicapa
Como entrenarlo?
Retropropagación (backpropagation)
Werbos, P. (1974). Beyond regression:" new tools for prediction and analysis in the behavioral sciences. Ph. D. dissertation, Harvard University.
Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. nature, 323(6088), 533-536.
![Page 42: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/42.jpg)
Retropropagación (backpropagation)
Se considera el siguiente funcional
TO
q
SDP 2
Salida deseadaPara Oq
Salida observadaPara Oq
![Page 43: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/43.jpg)
Retropropagación (backpropagation)
El valor máximo de P es 0
El objetivo es maximizar P
Se busca obtener los pesos wij que maximicen P
Para esto se deriva P respecto a los wij
Supondremos que se tienen z neuronas N1,…,Nz
wij es el peso de la conexión de la Ni con Nj
Sea oj la salida de la neurona Nj
Sea Kj el conjunto de los índices de las neuronas alas que se conecta la salida de la neurona Nj
![Page 44: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/44.jpg)
Retropropagación (backpropagation)
x1
x2
.
.
.
xm
m
iiiwxf
0
Salida
m
iiiwxf
0
m
iiiwxf
0
m
iiiwxf
0
m
iiiwxf
0
m
iiiwxf
0
m
iiiwxf
0
wij
z
z-1
z-n-1
z-n
n
1
2
![Page 45: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/45.jpg)
Retropropagación (backpropagation)
1. Inicializar aleatoriamente los pesos wij2. Determinar el parámetro de rapidez r3. Si el desempeño es satisfactorio FIN4. Tomar para todo i,j:5. Para cada OpT
5. Calcular la salida de la red Sp6. Tomar z=Dp-Sp7. Para j=z-1,…,1
8. Tomar
9. Para toda Ni que se conecte a una entrada de Nj
10.Tomar
11.Tomar para todo i,j:12.Ir a 3
jKk
kkkjkj oow )1(
jjjiijij ooro )1(
ijijij ww
0 ij
![Page 46: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/46.jpg)
Perceptrón Multicapa
o Intuitivamente si una red da buenos resultados,una red más grande debería dar mejoresresultados.
o Esto no es cierto en todos los casos.
o Una red más grande tendrá más pesos paraentrenar.
o Entre más variables libres se tengan másoscilación puede haber entre los puntos aentrenar.
o Heurística: El número de pesos por entrenarpara cada salida debe ser menor que el númerode muestras de entrada
![Page 47: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/47.jpg)
Redes de Función de Base Radial
Usualmente tienen solo 2 capas
Las sinapsis de las entadas de la primera capa no tienen pesosasociados.
La función de salida de las neuronas de la primera capa es unafunción de base radial, comúnmente una función tipo Gaussiana,usualmente
La función de salida de las neuronas de la última capa essolamente la suma de los pesos del producto de las entradaspor los pesos asociados.
De este modo la salida está dada por
221
)( iXi eXf
2
21
iXijj ewSalida
![Page 48: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/48.jpg)
Redes de Función de Base Radial
221
iXe
m
iiiwx
0
x1
x2
.
.
.
xm
w11
w21..wm1
w12
w22..w22
w1u
w2u...wmu
Salida 1
Salida 2
Salida u
m
iiiwx
0
m
iiiwx
0
221
iXe
221
iXe
![Page 49: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/49.jpg)
Redes de Interpolación
Es una red como la descrita
La primera capa tiene una neurona por cada objetoen la muestra
La media para la función de la neurona i de la capade entrada es igual al objeto i de la muestra
La varianza es un parámetro dado y es igual paratodas las neuronas de la primera capa
![Page 50: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/50.jpg)
Como entrenar una Red de Interpolación
Si cada objeto Oj de la muestra está descrito por elvector Xj y se espera que produzca la salidaDj=(dj1,…,dju)
Para estimar los pesos de la salida i se forma elsiguiente sistema de ecuaciones
mimimmimim
imimii
imimii
dwXfwXfwXf
dwXfwXfwXf
dwXfwXfwXf
)(...)()(
)(...)()(
)(...)()(
2211
22222121
11212111
![Page 51: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/51.jpg)
Como entrenar una Red de Interpolación
Se resuelve el sistema de ecuaciones paracada salida.
Si son muchos objetos en la muestra estopuede ser muy costoso
Para resolver esto se usan las redes deaproximación
![Page 52: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/52.jpg)
Redes de Aproximación
Se seleccionan solamente algunos objetosde la muestra
Con estos objetos se construye una red deinterpolación con los objetos seleccionados
Se ajustan los pesos para los demásobjetos de la muestra
![Page 53: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/53.jpg)
Como entrenar una Red de Aproximación
Se considera el siguiente funcional
TO
q
SDP 2
Salida deseadaPara Oq
Salida observadaPara Oq
![Page 54: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/54.jpg)
Como entrenar una Red de Aproximación
1. Seleccionar algunos objetos de lamuestra y crear con ellos una red deinterpolación
2. Determinar el parámetro de rapidez r3. Si el desempeño es satisfactorio FIN4. Para cada neurona de salida j=1,…,u
5. Para cada peso wij
6. Tomar
7. Ir a 3
2
21
1
)( ipXn
ppjpjijij eSdrww
![Page 55: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/55.jpg)
Redes de Aproximación
Para evitar la construcción de la red deinterpolación
Inicializar los pesos aleatoriamente
Seguir el proceso de ajuste de los pesos
Ajustar al mismo tiempo las medias de lasGaussianas
![Page 56: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/56.jpg)
Como entrenar una Red de Aproximación
1. Inicializar aleatoriamente los pesos wij y las i2. Determinar el parámetro de rapidez r3. Si el desempeño es satisfactorio FIN4. Para cada neurona de salida j=1,…,u
5. Para cada peso wij
6. Tomar
7. Tomar
8. Tomar
9. Ir a 3
2
21
1
)( ipXn
ppjpjij eSdrw
)()( 1
1
2
21
ipX
n
ppjpjiji XeSdwr ip
iii
ijijij www
![Page 57: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/57.jpg)
Extreme Learning Machines (ELM)
ELM en esencia es un método para entrenarredes neuronales artificiales de la forma:
m
iiig
01x1
x2
.
.
.
xn
β11
β21..βm1β12
β22...β2u
β1u
β2u...βmu
Salida 1
Salida 2
Salida u
m
iiig
02
m
iiuig
0
)( 11 bXWg
)( 22 bXWg
)( mm bXWg
w11
w21..wn1
w12
w22.
.wn2
w1m
w2m..wnm
![Page 58: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/58.jpg)
Extreme Learning Machines (ELM)
1. Inicializar aleatoriamente los pesos wik y los sesgosbi (i=1,..,m;k=1,..,n)
2. Si cada objeto Oj (j=1,…,N) de la muestra estádescrito por el vector Xj y se espera que produzca lasalida Dj*=(dj1,…,dju). Para cada salida i generar elsistema A =D*i como:
3. Tomar =A-D*iA- es la inversa generalizada de Moore-Penrose de A
NimimNmiN
imimmi
imimmi
dbXWgbXWg
dbXWgbXWg
dbXWgbXWg
)(...)(
)(...)(
)(...)(
111
221121
111111
i*
i*
![Page 59: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/59.jpg)
Inversa generalizada de Moore-Penrose
Sea A una matriz de nxm, la inversageneralizada de Moore-Penrose, denotadacomo A- es una matriz de mxn, quecumple:
AA-A = A
A-AA- = A-
A-A = (A-A)T
AA- = (AA-)T
![Page 60: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/60.jpg)
Inversa generalizada de Moore-Penrose
La inversa generalizada de Moore-Penrose de una matriz A siempre existe y es única.
Si A es cuadrada e invertible entonces A-=A-1
![Page 61: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/61.jpg)
Inversa generalizada de Moore-Penrose
En nuestro caso:
jj
jj
jj
jj
DA
AA
DAAAAA
DAAA
DA
* *
* *
* *
* *
:queda nos eliminando tantolopor
queda nos
Penrose-Moore de dageneraliza inversa la de spropiedadepor
entonces
Si
![Page 62: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/62.jpg)
Inversa generalizada de Moore-Penrose
Cómo calcularla ?
TT
TT
AIAAA
AAAA
1
1
)(
)(
![Page 63: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/63.jpg)
Redes Neuronales Convolucionales (CNN)
Se usan principalmente para procesamiento de imágenes Fukushima, K., & Miyake, S. (1982). Neocognitron: A self-organizing
neural network model for a mechanism of visual pattern recognition. In Competition and cooperation in neural nets (pp. 267-285). Springer, Berlin, Heidelberg.
LeCun, Y., Boser, B., Denker, J. S., Henderson, D., Howard, R. E., Hubbard, W., & Jackel, L. D. (1989). Backpropagation applied to handwritten zip code recognition. Neural computation, 1(4), 541-551.
LeCun, Y., Bottou, L., Bengio, Y., & Haffner, P. (1998). Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11), 2278-2324.
Basadas en operaciones de convolución
Se han usado en procesamiento de texto
![Page 64: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/64.jpg)
Redes Neuronales Convolucionales (CNN)
Clasificación
(MLP u Otra)
ImagenReducción
Convolución+ReLU (Pooling)
![Page 65: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/65.jpg)
Convolución
![Page 66: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/66.jpg)
Convolución + ReLU
Rectifier Linear Unit : f(x)=max(0,x)
![Page 67: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/67.jpg)
Reducción (Pooling)
El más común es el Max-Pooling
![Page 68: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/68.jpg)
Redes Neuronales Convolucionales (CNN)
![Page 69: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/69.jpg)
Redes Neuronales Convolucionales (CNN)
Cómo se entrenan ?
Se entrenan usando retropropagación.
El número de parámetros a optimizar en la fase de convolución no es tan grande, solamente los valores de los kernels(filtros).
![Page 70: RedesNeuronales2020.ppt [Modo de compatibilidad]ariel/RedesNeuronales2020.pdf5HGHV 1HXURQDOHV {&XDQGRODV GHQGULWDV UHFLEHQ XQ LPSXOVR GH XQ D[yQ SXHGHQ HVWLPXODU R LQKLELU ODSURGXFFLyQ](https://reader035.vdocumento.com/reader035/viewer/2022071605/6140e58183382e045471be46/html5/thumbnails/70.jpg)
Clasificación Supervisada
Redes Neuronales
Jesús Ariel Carrasco OchoaInstituto Nacional de Astrofísica, Óptica y Electrónica