razón de aprendizaje variable lvbp
Post on 12-Jul-2015
1.387 Views
Preview:
TRANSCRIPT
Noviembre 2002 ESCOM IPN 2
Razón de Aprendizaje Razón de Aprendizaje Variable (LVBP)Variable (LVBP)
❚ Incrementa la velocidad de convergencia al aumentar la velocidad de aprendizaje α en superficies planas y diminuye esta razón cuando la pendiente aumenta.
Noviembre 2002 ESCOM IPN 3
Razón de Aprendizaje Adaptable (∆α)
❚ Una forma de incrementar la velocidad de convergencia hacia un mínimo del error cuadrático medio (E) es variando la velocidad de aprendizaje.
❚ si E disminuye constantemente, ∇E es negativo para un número de pasos, entonces se debe incrementar la α.
0)()1( >+=+ cckk αα
Noviembre 2002 ESCOM IPN 4
Razón de Aprendizaje Adaptable (∆α) 2
❚ si E se ha incrementado (∇E>0) entonces se debe reducir la α.
10)()1( <<=+ bkbk αα
Noviembre 2002 ESCOM IPN 5
Reglas del algoritmoReglas del algoritmo VLBP (1) VLBP (1)
❚ 1.- Si el error cuadrático se incrementa mayor a un porcentaje establecido (1% a 5%) después de haber actualizado W; entonces se descarta la actualización;
❚ α se multiplica por 0 < ρ < 1 ❚ γ se ajusta a cero (si se utiliza el
momento).
Noviembre 2002 ESCOM IPN 6
Reglas de algoritmo Reglas de algoritmo VLBP (2)VLBP (2)
❚ 2.- si el error cuadrático disminuye después de haber actualizado W, entonces la actualización es aceptada.
❚ α es multiplicada por un factor η >1.❚ Si γ había sido ajusta a cero, este regresa
a su valor original.
Noviembre 2002 ESCOM IPN 7
Reglas de AlgoritmoReglas de Algoritmo VLBP VLBP
❚ 3.- Si el error cuadrático se incrementa en un valor menor a ζ , entonces la actualización de W se acepta pero α no cambia.
❚ Si γ había sido ajusta a cero, este regresa a su valor original.
❚ Valores típicos: η = 1.05 ρ= 0.7 ζ=4%
Noviembre 2002 ESCOM IPN 8
❚ Cuando la trayectoria viaja en línea recta, α y el tamaño del paso tienden a incrementarse con una disminución del error constante.
❚ Cuando la trayectoria llega a un valle angosto disminuye α rápidamente.
Noviembre 2002 ESCOM IPN 9
-5 0 5 10 15-5
0
5
10
15
w11,1
w21,1
η 1.05=
ρ 0.7=
ζ 4%=
Ejemplo
Noviembre 2002 ESCOM IPN 10
100 102 1040
0.5
1
1.5
Iteration Number100 102 1040
20
40
60
Iteration Number
Razón de Aprendizaje Error Cuadrático
Noviembre 2002 ESCOM IPN 11
Variantes del AlgoritmoVariantes del Algoritmo VLBP VLBP
❚ Delta-bar-delta (R. A Jacobs)❚ Cada parámetro de la red (W y b) tiene su
propia razón de aprendizaje. El algoritmo incrementa α, para un parámetro si este cambia en la misma dirección por varia iteraciones. Si la dirección del parámetro (p/ej. W ) cambia alternamente, entonces debe reducirse la α .
Noviembre 2002 ESCOM IPN 12
Variantes del AlgoritmoVariantes del Algoritmo VLBP (2) VLBP (2)
❚ Algoritmo de tolerancia SuperSAB (T. Tollenaere)
❚ Es similar al Delta bar delta de Jacobs, pero tiene reglas mas complejas para ajustar la velocidad de aprendizaje α.
Noviembre 2002 ESCOM IPN 13
EjemplosEjemplosMétodo del Momento Método del Momento
y Aprendizaje variabley Aprendizaje variable
Noviembre 2002 ESCOM IPN 14
Ejemplo: 1❚ Aplique el algoritmo de Razón de
Aprendizaje Variable y Momento a la siguiente función.
❚ Valores iniciales:
❚ A) Realice 5 iteraciones.❚ B) Dibuje la superficie de error en 2D.❚ C) Grafique los punto obtenidos.
22
21 25)( xxxF +=
=
5.0
5.00x
5.12.005.0 === ηγα
%55.0 == ζρ
Noviembre 2002 ESCOM IPN 15
Solución
Noviembre 2002 ESCOM IPN 16
❚ La regla de actualización de pesos y umbrales es la misma que la usada en Backpropagation, con la variante que se modifica la velocidad de aprendizaje en cada época, cuando se actualiza por lotes de entrenamiento.
❚ La estimación instantánea del error se puede calcular por:
( ) ( )qqT
qqq aTaTE −−=21
Conclusión
Noviembre 2002 ESCOM IPN 17
Algoritmo de Retropropagación con Razón de Aprendizaje Variable
)()()1( kWkWkW mmm ∆+=+
Tmmq
m askW )()( 1−−=∆ α
mq
m skb α−=∆ )(
qαDonde: Es la razón de aprendizaje variable, actualizada en cada época q.
Noviembre 2002 ESCOM IPN 18
Razón de Aprendizaje Variable con Momento
( ) ( )kWkWkW mmm ∆+=+ )(1
Tmmq
mm askWkW )()1()1()( 1−−−−∆=∆ αγγ
mq
mm skbkb αγγ )1()1()( −−−∆=∆
Noviembre 2002 ESCOM IPN 20
❚traingdaEs una funcion que entrena redes multicapa
con retropropagación, actualizando W y b de acuerdo al gradiente descendente con razón de aprendizaje adaptable.
Sintaxis[net, tr] = traingda (net, P,T,A,Q,Ts,VV)
Algoritmo de Retropropagación
con Aprendizaje Adaptable (LVBP)
Noviembre 2002 ESCOM IPN 21
❚ Donde:❚ net = Define la red neuronal❚ net = netff([0 5 ] [3 1] {tansig purelin}
traingda)❚ P patrones de entrada❚ T valores objetivo❚ Ai Condiciones iniciales❚ Q Tamaño del lote❚ Ts Tamaño del paso❚ VV Estructura de vectores de validación
Noviembre 2002 ESCOM IPN 22
Valores por omisiónValores por omisión
net.trainParam.epochs= 10net.trainParam.goal= 0 net.trainParam.lr= 0.01 net.trainParam.lr_inc= 1.05net.trainParam.lr_dec= 0.7net.trainParam.max_fail= 5
Noviembre 2002 ESCOM IPN 23
Valores por omisión (2)Valores por omisión (2)
net.trainParam.max_perf_inc= 1.04 net.trainParam.min_grad= 1e-10net.trainParam.show= 25 net.trainParam.time= inf
Noviembre 2002 ESCOM IPN 24
❚trainbpx❚ Entrena redes multicapa con
retropropagación rápida. Se puede usar para redes de una,dos o tres capas.
❚ Ejemplo use la funcion trainbpx para una red de dos capas.
❚ [W1,b1,W2,b2,epochs,tr] = trainbpx (W1,b1,’tansig’, W2,b2,’purelin’,p,t,tp)
Método del Momento y Aprendizaje Variable
Noviembre 2002 ESCOM IPN 25
Valores por omisión para tpValores por omisión para tp❚ tp= [disp-freq = 25 ❚ max-epoch= 100 ❚ err-goal= 0.02❚ lr= 0.01❚ momentum= 0.9❚ lr-inc= 1.05❚ lr-dec= 0.7❚ err-ratio= 1.04 ]
Noviembre 2002 ESCOM IPN 26
❚ %EJEMPLO: OR EXCLUSIVA❚ clear;echo on;clc;NNTWARN OFF;
P = [0 0 1 1 ;0 1 0 1];
T = [0 1 1 0 ];
[w1,b1,w2,b2]=initff(P,2,'tansig',1,'purelin')
[w1, b1,w2,b2,epochs,tr]= trainbpx(w1,b1,'tansig',w2,b2,'purelin',P,T)
Noviembre 2002 ESCOM IPN 27
[a1,a2]=simuff(P,w1,b1,'tansig',w2,b2,'purelin')
pause %Pulse una tecla para graficar la solución
plotpv(P,T);
plotpc(w1,b1);
plotpc(w2,b2);
echo off
top related