redes kohonen
Post on 14-Jun-2015
2.973 Views
Preview:
TRANSCRIPT
Aula: Redes Competitivas y
Mapas de Kohonen
Antecedentes
� Los trabajos de Von der Malsburg (1973) trazan laauto organización de las células nerviosas.
� En 1975, Fukushima propuso el cognitron que esuna red competitiva multicapa y auto organizada.una red competitiva multicapa y auto organizada.
� Willshaw y von der Malsburg (1976) trabajaronsobre la formación de las conexiones neuronalesmediante Autoorganización.
� Grossberg (1972, 1976) sobre la clasificaciónadaptativa de patrones.
2
Aprendizaje supervisado� Se le suministra a la red un conjunto de datos de entrada y la
respuesta esperada.
� Se comparan los datos obtenidos por el sistema con los datos de entrada aportados, con la respuesta esperada y se modifican los pesos en función del error obtenido.
� El conjunto de datos utilizados en el proceso de aprendizaje se denomina conjunto de entrenamiento (training set).
� Si los vectores de entrada utilizados no contienen la información idónea la red puede llegar a no aprender.
Mecanismos de aprendizaje
Aprendizaje no supervisado
� Sólo se aplica a la red neuronal los datos de entrada, sin indicarle la salida esperada.
� La red neuronal es capaz de reconocer algún tipo de estructura en el conjunto de datos de entrada (normalmente redundancia de datos) y de esta forma se produce auto-aprendizaje.
� Durante el proceso de aprendizaje la red autoorganizada debe descubrir por sí misma rasgos comunes, regularidades, correlaciones o categorías en los datos de entrada, incorporarlos a su estructura interna de conexiones.
� Se dice, por tanto, que las neuronas deben auto-organizarse en función de los estímulos (datos) procedentes del exterior.
Mecanismos de aprendizaje
Neurociencias Conceptos
La inspiración biológica
Humunculus, el hombrecito dentro del cerebro
La inspiración biológica
Humunculus, el hombrecito dentro del cerebro
La inspiración biológica
Cartas retinotópicas
Hubel & Wiesel
La inspiración biológica
Cartas retinotópicas
Informaciones Multidimensionales
La inspiración biológica
Sinestesia
La inspiración biológica
Sinestesia
La inspiración biológica
Proceso biológico
Si algunas regiones del espacio de entrada son mas usadas que otras y
reciben una rica variedad de estímulos estas se mapearan mejor.
(ej. Las manos de un pianista o un cirujano)
Autoorganización
Cada nodo de la red tiene
conexiones exicitatorias laterales
con su vecinos mas próximos pero
conexiones laterales inhibitorias con
sus vecinos mas distantes.
En el mapa topográfico cortical estas
regiones crecerán , mientras que las
regiones que no son usadas se
harán mas pequeñas.
La inspiración biológica
El “sombrero mejicano”
Respuesta Positiva(Excitación)
Respuesta Negativa
+
- Respuesta Negativa(Inhibición)
-
La inspiración biológica
El “sombrero mejicano”
La inspiración biológica
Tomando la inspiración biológicaB
ioló
gic
o
Red de Neuronas
Proceso de aprendizaje
por competición
Bio
ins
pir
ad
o
Ejemplos
Estímulos del espacio
de entrada
La inspiración biológica
Mapas Autoorganizados
Al final del aprendizaje
neuronas con
características
similares se ubican cerca
unas
de otras.
Redes No Supervisadas
� Redes Competitivas.
� Mapas de Kohonen-Self Organizing Maps (SOM).
“Generación de una taxonomía de datos sin conocimientos previos”
Redes Neuronales Competitivas
� La competición entre neuronas hará que una sola de ellas (ó
algunas en ciertos casos) sean las que aprendan.
� De esta forma lograremos que cada unidad aprenda información
diferente, es decir se especialice.
Red neuronal competitiva
� Una red competitiva está constituida por N sensores de
entrada, M unidades de proceso (neuronas artificiales), y
conexiones entre cada sensor y cada unidad de proceso,
de manera que la conexión entre el sensor j y la unidad
de proceso i tiene asociado un valor wij.
Regla de aprendizaje
� Por lo tanto la regla de aprendizaje es la
siguiente:
� Donde r es la unidad ganadora, del mayor
potencial sinaptico:
Interpretación Geométrica
� Para entender mejor dicha regla de aprendizaje vamos a
realizar la siguiente interpretación geométrica.
Aplicaciones de sistemas
organizados
� “Clustering” ó agrupamiento.
� Reducción de la dimensionalidad.� Reducción de la dimensionalidad.
� Detección de familiaridad (similitud entre un valor nuevo y valores ya presentados).
Agrupamiento
� Conjunto de datos representados en dos dimensiones.
Creando el modelo bioinspirado
Inspirándose en estos comportamientos biológicos se
desarrollaron los mapas autoorganizados.
Los Mapas Autoorganizados o SOM (Self-Organizing
Maps) fueron creados por Teuvo Kohonen entre los
años 1982 y 1990
La idea se basa en un funcionamiento biológico de
aprendizaje por competición, de forma que cuando un
conjunto de datos de entrada se presenta a la red, los
pesos de las neuronas se adaptan de forma que la
clasificación presente en el espacio de entrada se
preserva en la salida.
Red SOFM
� Capa de entrada.
� Capa de Competitiva.
� Conexión entre cada entrada con todas las neuronas.
SOFM (Self-organizing Feature Map)
� También llamados Mapas Autorganizado de
Kohonen.
Aprendizaje de la red Kohonen
� Calculamos la mínima distancia entre los pesos
y las entradas de nuestro sistema.
� Por lo tanto:
Aprendizaje con vecindario
� Adicionamos la capacidad de relación con las
neuronas vecinas tenemos:
:valor entero que marca el
limite del vecindario de
aprendizaje
Tipos de Vecindarios: Bidimensionales
Arquitectura SOM
Capa de entrada Una por cada variable de entrada
Capa de salida y competiciónNo existe capa oculta
…n
…
…
n
m
Un ejemplo de la arquitectura SOM
Capa de entrada de tres dimensiones (x,y,z)
Capa de salida y competición de 9 neuronas
Capa de entrada
Tabla con ejemplos
Estímulos del espacio de entrada.de entrada.
Una neurona por cada dimensión, en este ejemplo 3.
x y z
R3
Cada neurona de la capa de entrada esta conectada a todas las neuronas de la capa de salida.
Capa de entrada
x y z
R3
capa de salida.
Mapas autoorganizados/ Un ejemplo de la arquitectura SOM
Capa de entrada
18.91 22.13 27.40
Cada ejemplo es presentado a las neuronas de la capa de salida.
x y z
R3
Así se buscan las neuronas mas parecidas al vector de entrada mediante un proceso de competición.
Finalmente se crean grupos con características similares.
Mapas autoorganizados/ Un ejemplo de la arquitectura SOM
Capa de salida y competición
Entre las neuronas de la capa de salida, puede decirse que existen conexiones laterales de excitación e inhibición implícitas, pues aunque no estén conectadas, cada una de estas neuronas va a tener cierta influencia sobre sus vecinas.
Mapas autoorganizados/ Un ejemplo de la arquitectura SOM
Capa de salida y competición
0
1
2
La influencia sobre vecinos se consigue a través de un proceso de competición entre las neuronas y de la aplicación de una función denominada de vecindad.
Cuadrada
01
2
Mapas autoorganizados/ Un ejemplo de la arquitectura SOM
Hexagonal
1.Determinar la topología del mapa
2. Determinar el tamaño del mapa
3. Escoger el tipo de vecindario
0
1
2
0
1
2
4. Inicializar los pesos de las neuronas
x y
R2
Concepto de peso
w2
w1
w
w1w2
wDos
Dimensiones
Capa de Salida
Dos
Dimensiones
(x,y)
Capa de Entrada
w1
w2w1
w3
w
w1w2w3
w
w1w2w3…wn
w
Dos
Dimensiones
Dos
Dimensiones
Tres
Dimensiones
(x,y,z)
n
Dimensiones
(x,y,z, …, n)
Inicializar los pesos de las neuronas
x y
R2
t = 0
Inicializar los pesos de las neuronas
x y
R2
t = 00.2 0.3
Inicializar los pesos de las neuronas
0.2 0.3 0.4 0.8 0.9 0.3 0.5 0.7 0.7 0.3 0.6 0.1
0.6 0.7 0.2 0.7 0.9 0.4 0.6 0.7 0.5 0.3 0.2 0.3
0.4 0.7 0.9 0.2 0.1 0.3 0.8 0.3 0.5 0.8 0.3 0.3
t = 0
0.4 0.7 0.9 0.2 0.1 0.3 0.8 0.3 0.5 0.8 0.3 0.3
0.2 0.6 0.6 0.6 0.7 0.4 0.5 0.5 0.5 0.6 0.6 0.3
0.2 0.7 0.7 0.8 0.7 0.8 0.8 0.6 0.6 0.7 0.2 0.3
0.2 0.7 0.2 0.3 0.9 0.3 0.9 0.7 0.2 0.3 0.7 0.8
Inicializar los pesos de las neuronas
x y
R2
t = 0
0.20.3
0.40.8
0.90.3
0.50.7
0.70.3
0.60.1
0.60.7
0.20.7
0.90.4
0.60.7
0.50.3
0.20.3
0.40.7
0.90.2
0.10.3
0.80.3
0.50.8
0.30.3
0.20.6
0.60.6
0.70.4
0.50.5
0.50.6
0.60.3
0.20.7
0.70.8
0.70.8
0.80.6
0.60.7
0.20.3
0.20.7
0.20.3
0.90.3
0.90.7
0.20.3
0.70.8
Inicializar los pesos de las neuronas
x y
R2
0.20.3
0.40.8
0.90.3
0.50.7
0.70.3
0.60.1
0.60.7
0.20.7
0.90.4
0.60.7
0.50.3
0.20.3
0.40.7
0.90.2
0.10.3
0.80.3
0.50.8
0.30.3
0.20.6
0.60.6
0.70.4
0.50.5
0.50.6
0.60.3
0.20.7
0.70.8
0.70.8
0.80.6
0.60.7
0.20.3
0.20.7
0.20.3
0.90.3
0.90.7
0.20.3
0.70.8
Mapas autoorganizados/ Algoritmo de aprendizaje
Inicializar los pesos de las neuronas
x y
R2
0.20.3
0.40.8
0.90.3
0.50.7
0.70.3
0.60.1
0.60.7
0.20.7
0.90.4
0.60.7
0.50.3
0.20.3
0.40.7
0.90.2
0.10.3
0.80.3
0.50.8
0.30.3
0.20.6
0.60.6
0.70.4
0.50.5
0.50.6
0.60.3
0.20.7
0.70.8
0.70.8
0.80.6
0.60.7
0.20.3
0.20.7
0.20.3
0.90.3
0.90.7
0.20.3
0.70.8
1
w2
w10 1
5. Presentar una entrada a la red
0.14 0.77
x y
R2
0.20.3
0.40.8
0.90.3
0.50.7
0.70.3
0.60.1
0.60.7
0.20.7
0.90.4
0.60.7
0.50.3
0.20.3
0.40.7
0.90.2
0.10.3
0.80.3
0.50.8
0.30.3
0.20.6
0.60.6
0.70.4
0.50.5
0.50.6
0.60.3
0.20.7
0.70.8
0.70.8
0.80.6
0.60.7
0.20.3
0.20.7
0.20.3
0.90.3
0.90.7
0.20.3
0.70.81
1
w2
w10
Mapas autoorganizados/ Algoritmo de aprendizaje
Presentar una entrada a la red
0.14 0.77
1
1
w2
w10x y
R2
0.20.3
0.40.8
0.90.3
0.50.7
0.70.3
0.60.1
0.60.7
0.20.7
0.90.4
0.60.7
0.50.3
0.20.3
0.40.7
0.90.2
0.10.3
0.80.3
0.50.8
0.30.3
0.20.6
0.60.6
0.70.4
0.50.5
0.50.6
0.60.3
0.20.7
0.70.8
0.70.8
0.80.6
0.60.7
0.20.3
0.20.7
0.20.3
0.90.3
0.90.7
0.20.3
0.70.8
Mapas autoorganizados/ Algoritmo de aprendizaje
6. Encontrar la neurona ganadora
0.14 0.77
x y
R2
0.20.3
0.40.8
0.90.3
0.50.7
0.70.3
0.60.1
0.60.7
0.20.7
0.90.4
0.60.7
0.50.3
0.20.3
0.40.7
0.90.2
0.10.3
0.80.3
0.50.8
0.30.3
0.20.6
0.60.6
0.70.4
0.50.5
0.50.6
0.60.3
0.20.7
0.70.8
0.70.8
0.80.6
0.60.7
0.20.3
0.20.7
0.20.3
0.90.3
0.90.7
0.20.3
0.70.8
Mapas autoorganizados/ Algoritmo de aprendizaje
Ajustar los pesos de la neurona ganadora
Ajustar los pesos de la neurona ganadora en la dirección del punto presente en la entrada.
∆W = α(t) (X – W) , también los pesos de las neuronas de la vecindad de la neurona ganadora.
Pero con una tasa de aprendizaje reducida (Sombrero Mejicano) de manera que se especialice menos que la neurona ganadora.que se especialice menos que la neurona ganadora.
Mapas autoorganizados/ Algoritmo de aprendizaje
7. Presentar otro ejemplo
0.09 0.71
x y
R2
0.20.3
0.40.8
0.90.3
0.50.7
0.70.3
0.60.1
0.60.7
0.20.7
0.90.4
0.60.7
0.50.3
0.20.3
0.40.7
0.90.2
0.10.3
0.80.3
0.50.8
0.30.3
0.20.6
0.60.6
0.70.4
0.50.5
0.50.6
0.60.3
0.20.7
0.70.8
0.70.8
0.80.6
0.60.7
0.20.3
0.20.7
0.20.3
0.90.3
0.90.7
0.20.3
0.70.8
Mapas autoorganizados/ Algoritmo de aprendizaje
Presentar otro ejemplo
0.09 0.71
x y
R2
0.20.3
0.40.8
0.90.3
0.50.7
0.70.3
0.60.1
0.60.7
0.20.7
0.90.4
0.60.7
0.50.3
0.20.3
0.40.7
0.90.2
0.10.3
0.80.3
0.50.8
0.30.3
0.20.6
0.60.6
0.70.4
0.50.5
0.50.6
0.60.3
0.20.7
0.70.8
0.70.8
0.80.6
0.60.7
0.20.3
0.20.7
0.20.3
0.90.3
0.90.7
0.20.3
0.70.8
Mapas autoorganizados/ Algoritmo de aprendizaje
BMU (Best match unit)
Mapas autoorganizados/ Algoritmo de aprendizaje
Repetir
Reducir la vecindad de las neuronas y repetir 2 a 4 veces para todos los puntos por un cierto numero de iteraciones
Mapas autoorganizados/ Algoritmo de aprendizaje
Visualización y funcionamiento del mapa
x y
R2
0.20.3
0.40.8
0.90.3
0.50.7
0.70.3
0.60.1
0.60.7
0.20.7
0.90.4
0.60.7
0.50.3
0.20.3
0.40.7
0.90.2
0.10.3
0.80.3
0.50.8
0.30.3
0.20.6
0.60.6
0.70.4
0.50.5
0.50.6
0.60.3
0.20.7
0.70.8
0.70.8
0.80.6
0.60.7
0.20.3
0.20.7
0.20.3
0.90.3
0.90.7
0.20.3
0.70.8
Mapas autoorganizados/ Algoritmo de aprendizaje
Ejemplo
� función de vecindad
Visualización y funcionamiento del mapa•Una vez seleccionado el mapa óptimo, podemos pasar a la
fase de visualización observando en qué coordenadas del
mapa se encuentra la neurona asociada a cada patrón de
entrenamiento.
•Esto nos permite proyectar el espacio multidimensional de
entrada en un mapa bidimensional.entrada en un mapa bidimensional.
•Además de analizar la similitud entre los clusters o
agrupaciones de datos organizados por la propia red.
•Por este motivo, el modelo de mapa autoorganizado es
especialmente útil para establecer relaciones, desconocidas
previamente, entre conjuntos de datos.
Bondades de los mapas autoorganizados
� Clustering: Actuar como clasificadores, encontrando patrones en los datos
de entrada y clasificándolos en grupos según estos patrones.
� Reducción de dimensión: Representar datos multidimensionales en espacios de mucha menor dimensión, normalmente una o dos dimensiones, preservando la topología de la entrada.
Esto es muy útil cuando se trabaja con espacios multidimensionales (más Esto es muy útil cuando se trabaja con espacios multidimensionales (más de tres dimensiones) que el ser humano no es capaz de representar, como por ejemplo en problemas agro-ecológicos en los que intervienen numerosas variables como temperatura, precipitación, humedad relativa, etc.
� Pre-tratamiento de datos: SOM trabaja con ausencia de datos
� Análisis y comprensión de datos: SOM permite una presentación visual sobre las relaciones entre variables
Visualización y funcionamiento del mapa
x y
R2
Mapas autoorganizados/ Algoritmo de aprendizaje
Aplicacion
top related