redes neuronales artificiales teorÍa y aplicaciones dr. héctor allende departamento de...
Post on 02-Feb-2016
218 Views
Preview:
TRANSCRIPT
REDES NEURONALES ARTIFICIALES
TEORÍA Y APLICACIONES
Dr. Héctor AllendeDepartamento de Informática
Universidad Técnica Federico Santa María
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 2
SOM/KOHONEN NetworkMapas Autoorganizativos
Capítulo 3
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 3
Estructura de la RedSOM (Self-Organization Map o Kohonen Network)
Teuvo Kohonen Rev. Information Science(1984)– Red de aprendizaje no supervisado.– Posee una única capa, la capa de salida.
• Posee un feedback lateral. En general es de forma indirecta
( tipo “Sombrero Mejicano”).
• Consiste en K neuronas.
• Puede ser unidimensional (K) o multidimensional ( KxK).
– La capa adicional de entrada solo distribuye la entrada en la capa de salida.
• Consiste en N neuronas (dimensión de la entrada).
• No hay procesamiento
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 4
Estructura de la red de Kohonen
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 5
Sombrero mejicano
Las Neuronas cercanas reciben un feedback (+)
Las Neuronas a mediana distancia reciben feedback (-).
Las Neuronas lejanas no son afectadas.
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 6
Estructura de la Red.
• Obervaciones:– La distancia entre neuronas es discreta. 0 para la
neurona misma, 1 para las neuronas más cercanas etc.– La función de feedback determina la velocidad de
aprendizaje.– Vecindad Neuronal: Area afectada por el feedback
lateral.– Para grandes vecindades, la distancia puede
considerarse función continua.
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 7
El Proceso de aprendizaje
• Matriz de pesos:
• Vector de entrada: – Entrada es una función paramétrizada x = x(t)
• Entrada total: a = W x
• La neurona k que tiene un peso asociado
tal que:
se declara ganadora.
NiKjijwW
,..,1,..,1}{
NiixX ,..,1}{
||:),(||||:),(|| min,..,1
xjWxkW T
Kj
T
NkW :),(
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 8
Proceso de aprendizaje
• Todas las neuronas incluidas en la vecindad neuronal incluida ella misma participan en el proceso de aprendizaje. Las otras neuronas no son afectadas.
• El proceso de aprendizaje consiste en cambiar el vector de pesos en la dirección del vector de entrada (feedback positivo).
• Existe también un proceso de olvido proceso que retarda el progreso (feedback negativo)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 9
Proceso de aprendizaje
• Aprendizaje lineal: cambios ocurren en direccion de la combinación lineal de X y W(j,:) para cada neurona:
donde y son funciones escalares (no lineales). : feedback positivo : feedback negativo
• A continuación se considera que la vecindad neuronal es toda la red.
),(),( WxWxdt
dW
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 10
Tipos de aprendizaje• La ecuacion diferencial Trivial:
tt
tT
T
T
eWdtetxtW
Wxdt
dW
jWxdt
jdW
0
0
'
0
')'(1̂)(
:Solución
.W W(0):inicialCondición
1̂
:matricial forma
00, :),(:),(
Para t, W(j,:) es un promedio exponencialmente ponderado de X.
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 11
Tipos de Aprendizaje
• La ecuación simple:
.W W(0):inicialCondición
])()()[()1(
])()()[()1(
)()1(
:discreto en tiempo Aprox.
)()(1
:matricial, forma
00, :),()(:),(
0
IItxtxtWtW
ItxtxtWtt
tWtW
t
W
dt
dW
IxxWWxtadt
dW
Wxa
jWxtadt
jdW
T
T
TT
Tj
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 12
Tipos de Aprendizaje• La Solución de la ecuación simple:
– La solución puede ser divergente o convergente a cero, casos ambos casos son inaceptables.
– Para tiempos cortos la solución se aproxima a procesos asintóticamente estables.
• Para t ; relativamente pequeños y 0:
1
0'0 ])()([)(t
t
T IItxtxWtW
1
0'0 )'()'()(
t
t
T txtxIWtW
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 13
Tipos de Aprendizaje
• La Ecuación diferencial de Riccati:
WWxxdt
dW
jWjWIxdt
jdW
jWxxjWa
jWaxdt
jdW
TT
TT
TTj
jT
)1̂(1̂
:matricialnotación En
:)],(:),([:),(
:),(:),( como
0,0 :),(:),(
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 14
Tipos de Aprendizaje• Ecuación de Riccati:
– Proposición: Considerando un acercamiento estadístico a la ecuación de Riccati, si una existe solución, la solución de W es de la forma:
– Todo W(j,:) llega a estar paralelo a <x> y tendrá la norma
cteWxEx
xx
xW
T
t
}/{ donde
0̂ si ||||
1̂lim
/||:),(|| jW
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 15
Tipos de Aprendizaje• Ecuaciones más generales:Teorema: Sea > 0, a =Wx y (a) una función arbitraria tal
que E{(a)|W} existe. Sea x = x(t) un vector con propiedades estadísticas estacionarias (e independiente de W). Entonces, si el proceso de aprendizaje es del tipo:
tiene soluciones W acotada para t, entonces debe tener la forma:donde <x> es la esperanza de x(t). ie., W(j,:) llega a ser
paralelo a <x>
Waxdt
dW
jWaxdt
jdW
TT
jT
]1̂)([1̂
:matricialnotación en
K1,..,j :),()(:),(
Tt xW 1̂lim
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 16
Tipos de AprendizajeTeorema: Sea > 0, a = Wx y (a) una función arbitraria tal
que E{(a)|W} existe. Sea <xxT>=E{xxT|W}. Sea max=máxl
l el valor propio máximo de < xxT > y umax el vector propio asociado. Entonces, si el proceso de aprendizaje es del tipo:
tiene soluciones no triviales W acotada para t, entonces debe tener la forma:
donde Wumax Ô, W(0) = W0 ; ie, W(j,:) llega a ser paralelo a umax
Waaxdt
dW
jWaxadt
jdW
TT
Tj
]1̂)([
:matricialnotación en
:),()(:),(
Tt xW 1̂lim
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 17
Dinámica de la Red
• Función de ejecución de la red:Para cada vector de entrada X ,
la neurona k para la cual
se declara ganadora. El ganador es usado para decidir que pesos serán cambiados. Todas las neuronas pertenecientes a la vecindad neuronal participan en el aprendizaje.
||:),(||||:),(|| min,..,1
XjWXkW T
Kj
T
nTjW :),(
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 18
Dinámica de la Red
• Función de aprendizaje de la red:– El proceso de aprendizaje es no-supervisado.
– El aprendizaje se desarrolla en tiempo discreto.
– W=W(t)
– En t = 0 los pesos son inicializados con valores aleatorios pequeños W(0) = W0 .
– Los pesos se actualizan de la siguiente forma:
• Para x(t) encontrar la neurona ganadora k.
• Actualizar los pesos según modelo elegido:
)/()1()( dtdWtWtWW
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 19
Dinámica de la Red
• Inicialización y condición de parada:– Los pesos son inicializados con valores
aleatorios pequeños.– La condición de parada del proceso de
aprendizaje puede ser:• Elegir un número fijo de pasos.
• El proceso de aprendizaje continúa hasta que la cantidad de ajuste: wji= wji(t+1)-wji (t)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 20
El Algoritmo• Para toda las neuronas en la capa de salida: inicializar los pesos con
valores aleatorios
• Si se trabaja con vectores normalizados, Normalizar vectores
• Elegir el modelo de aprendizaje ( Ecuación diferencial)
• Elegir un modelo de vecino neuronal ( fu. de feedback lateral).
• Elegir condición de parada.
• Construir a partir de la ED, la fórmula de adaptación de los pesos.
• Considerando tiempo discreto, repetir los pasos anteriores hasta que la condición de parada se cumpla:– Tomar la entrada x(t)
– Para todas las neuronas j en la capa de salida, encontrar la ganadora.
– Conociendo la ganadora, actualizar los pesos.
)1,0(2U
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 21
Fórmula de adaptación de pesos• La ecuacion diferencial Trivial:
])(exp[h j)h(k,
,.0;,, j)h(k,
j)h(k, lateralfeedback defu la Dada
1̂
2jk
etocNjparao
Wxdt
dW
c
T
Para t, W(j,:) es un promedio exponencialmente ponderado de X.
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 22
Fórmula de adaptación de pesos
La ecuación Trivial:
.W W(0):inicial Condición
])(1̂[]1̂)()[()()1(
))(exp()(
exp),(
0
0
WtxnormxhttWtW
tft
jkh
TT
top related