Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 1
La Memoria de BAM/HopfieldUso de parte de la Información para recuperar el remanente
asociado
Capítulo 4
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 2
Memoria Asociativa• Definición: Sean P pares de vectores {(x1,y1),..,
(xP,yP)} con xpRN e yp RK, conjunto llamado
muestra. Entonces la función
M: RNRK con N,K y P N+ se llama una Memoria Hetereoasociativa ssi:– M(xp)=yp p=1,..,P
– M(x)=yp para todo x tal que ||x-xp||<|| x-xl|| l=1,..,P, lp
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 3
Memoria Asociativa
• Definición: Sean P pares de vectores {(x1,y1),..,(xP,yP)} con xpRN e yp RK, conjunto llamado muestra. Entonces la función
• M: RNRK se llama memoria asociativa interpolativa ssi:
P1,..,p ,)( entonces si ie,
,
)( que tal
P1,..,p y )( p
pp
KN
pp
p
yxMyxx
ed
eydxMed
xM
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 4
Memoria Asociativa
La memoria asociativa interpolativa se puede construir desde un conjunto ortonormal de vectores {xp} , p=1,.. P. Entonces la función M se define como
xxyxMP
p
Tpp
1
)(
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 5
Memoria Asociativa
• Definición:Sean un conjunto de P vectores {x1,..,xP} con xpRN , N, PN+ conjunto llamado muestra. Entonces la función M: RNRN se dice que implementa una memoria autoasociativa ssi:
plPlxxxxxxxM
xM
lpp
p
,..,1 |||||||| : )(
P1,..,p x )( p
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 6
La Arquitectura BAM
• BAM(Bidirectional Associative Memory): Implementa una memoria asociativa interpolativa y consiste en dos capas de neuronas totalmente conectadas.
• La entrada y salida se pueden cambiar intercambiar , i.e., las direcciones de las flechas se invierten.
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 7
Estructura de una red BAM
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 8
La Arquitectura BAM• Matriz de Pesos:
– {xp}p=1, P conjunto ortogonal.
• Salida de la red: y=W x
• Función de activación: f (x)=x
• Si {yp} es ortogonal, entonces la red es reversible: x = Wt y
• La red puede ser usada como memoria autoasociativa considerando xy,
entonces:
P
p
TppxyW
1
P
p
TppxxW
1
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 9
Dinámica de la BAM– En las ANN-BAM los pesos no son ajustados
durante el período de entrenamiento. Se calculan desde la partida a partir de un conjunto de vectores a ser almacenados: {xp,yp}p=1,..,P
– Se usan vectores bipolares (con valores -1 o 1) pertenecientes al espacio de Hamming.
– x = 2x* -1 ( con valores “0” o “1”)
– A partir de {xp } e {yp } ortonormales BAM
– El proceso de trabaja en tiempo discreto.
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 10
Distancia de Hamming
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 11
Procedimiento
• En t=0, x= 0 es aplicado a la red y se calcula y(0)=W x(0)
• La salida de las capas x e y son propagadas hacia adelante y atrás hasta que se alcanza un estado estable usando:
0̂))1(())(( :estableCondición
)(|))1((|))1(()1(
)(|))((|))(()1(
:matricial forma
0)1(:),( si 1
K1,..,j ,0)1(:),( si )(
0)1(:),( si 1
))1(:),(()1(
0)()(:, si 1
N1,..,i ,0)()(:, si )(
0)()(:, si 1
))()(:,()1(
txWsigntyWsign
tytxWsigntxWsignty
txtyWsigntyWsigntx
txjW
txjWty
txjW
txjWfty
tyiW
tyiWtx
tyiW
tyiWftx
TT
cTT
cTT
T
Tj
T
j
T
Ti
T
Ti
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 12
Procedimiento
– Cuando se trabaja en el proceso inverso y(0) es aplicado a la red, x(0)=WT y(0) es calculado a partir :
– El sistema resultante es un sistema dinámico : Solución estable
– El proceso converge a la solución en tiempo finito
0̂))1(())(( :estableCondición
)(|))1((|))1(()1(
)(|))((|))(()1(
tyWsigntxWsign
txtWysigntWysigntx
tytWxsigntWxsignty
TT
C
C
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 13
Función de Energia de la BAM• Función de Energía de la BAM:
E(x,y)=-yt W x
• Teorema:La función de energía tiene las siguientes propiedades:
ij
jiwEii,
min ||)
tt EEEiii 1)
))(),(())1(),1(() 1 tytxEtytxEi tt
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 14
Función de Lyapunov
Obervaciones • Se puede verificar que la función de Energia es una
función de Lyapunov y por lo tanto el sistema dinámico posee una solución estable.
• En esencia la matriz de pesos determina una superficie con valles ( depresiones atractivas ) y colinas similares al BPL
• BAM se parece a un sistema fisico disipativo, en el que la función E, corresponde a la energía del sistema fisico
• Inicialmente los cambios de E(x,y) son grandes y a medida que los vectores x e y , van alcanzando su estado estable el valor de E tiene cambios más pequeños
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 15
•Proposición: Si el patrón de entrada xl es igual al guardado {xp}
entonces se obtiene yl
DEM:
llpl
P
pp
P
pl
tpp
yysignysign
xxysigntWxsigny
)()(
)())((
1
1
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 16
• Observación:– El proceso de ejecución es convergente y la solución se
alcanza en tiempo finito.
– El numero máximo de vectores que pueden ser guardados son 2N-1.
– Los vectores de Hamming son simétricos con respecto a la notación 1. Por lo tanto el vector de Hamming lleva la misma información que su complemento xc.
• Como xC = -x e yp= W xp,
se tiene: ypC = - yp = W xp = W(-xp) = W xp
c
– La BAM guarda la dirección de los vectores de la muestra y no sus valores.
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 17
El Algoritmo de la BAM• Inicialización de la red: Calcular la matriz de pesos W.
• Red recursiva Forward:– Dado x(0), calcular y(0) =W x(0)
– Calcular:
Hasta estabilizar la red
• Red recursiva Backward:– Dado y(0), calcular x(0) = WT y(0)
– Calcular:
Hasta estabilizar la red.
)(|))1((|))1(()1(
)(|))((|))(()1(
tytxWsigntxWsignty
txtyWsigntyWsigntx
cTT
cTT
)(|))1((|))1(()1(
)(|))((|))(()1(
txtWysigntWysigntx
tytWxsigntWxsigntyC
C
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 18
La Estructura de Memoria Autoasociativa
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 19
Memoria de Hopfield Discreta
• Consiste en una memoria autoasociativa con una capa totalmente conectada la que adicionalmente recibe una señal de entrada externa x.
P
p
Tpp yyW
1
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 20
La Memoria de Hopfield
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 21
Memoria discreta de Hopfield
• Características:– Trabaja con vectores binarios {0,1}.– Matriz peso:
con la diagonal igual a 0.– Función de actualización:
donde {tj}j=1,K = t es el vector umbral– Notación matricial:
P
p
Tpp yyW
1
)1̂2)(1̂2(
K
jii
jjiji
K
jii
jjijij
K
jii
jjiji
j
txyw
txywty
txyw
ty
1
1
1
si 0
si )(
si 1
)1(
)(|)(|]|)(|1̂)([2
1)1(
))(()(
tytAtAtAty
txtWysigntA
cc
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 22
Función de Energía
• Función de energía de la memoria discreta de Hopfield:
• Teorema: Propiedades de la función de energía:
• El proceso de iteración converge en tiempo finito.
)(2
1txyWyyE TT
)]([)]1([) 1 tyEtyEi tt
KwEiiij
ji ||2
1)
,min
tt EEEiii 1)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 23
Memoria Continua de Hopfield
• Función de activación:
• Inversa de la función de activación:
ganancia de parámetro
) 2
)tanh(1()(
a
af
]1
ln[2
1)()1(
y
yyf
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 24
Memoria de Hopfield Continua
• Ecuación diferencial que describe la evolución:
• En aproximación de tiempo discreto, el procedimiento de actualización:
atxWydt
da
atxywdt
da K
jii
jjjijij
1
:matricialNotación
1
1
)](1̂[)()(1̂
)(ln
1)()()1( tyty
ty
tytxtWytyty
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 25
Memoria de Hopfield Continua• Función de Energía de la memoria de Hopfield:
• Teorema: Propiedades de la función de energia:–
– El proceso iterativo es convergente. +, entonces se tiene el caso discreto– 0, existe solo 1 estado estable
K
j
y
j
K
jjj
K
jiji
ijij
j
dyyftyxywyE1 0
)1(
11,
')'(1
2
1
0) dt
dEi
K
ijij
ji KwEii1,
min ||2
1)
1̂2
1y