memoria bibliografía: miyashita et al (nature, 1988a,1988b,1991) hopfield, pnas 79: 2554 (1986)...

22
Memoria Bibliografía: Miyashita et al (Nature, 1988a,1988b,1991) Hopfield, PNAS 79: 2554 (1986) ad persistente de Hopfield ión de correlaciones temporales en correlaciones es ión entre pares de estímulos

Upload: ildefonso-corral

Post on 05-Mar-2015

9 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Memoria Bibliografía: Miyashita et al (Nature, 1988a,1988b,1991) Hopfield, PNAS 79: 2554 (1986) Actividad persistente Modelo de Hopfield Conversión de

Memoria

Bibliografía: Miyashita et al (Nature, 1988a,1988b,1991) Hopfield, PNAS 79: 2554 (1986)

Actividad persistente

Modelo de Hopfield

Conversión de correlaciones temporales en correlaciones espaciales

Asociación entre pares de estímulos

Page 2: Memoria Bibliografía: Miyashita et al (Nature, 1988a,1988b,1991) Hopfield, PNAS 79: 2554 (1986) Actividad persistente Modelo de Hopfield Conversión de

Hay neuronas en IT, selectivas a imágenes complejas en estímulos

visuales, mantienen su actividad una vez retirado el estímulo

Y Miyashita & Chang

Fig 2b

Miyashita & Chang,

Nature 331, 1988

Page 3: Memoria Bibliografía: Miyashita et al (Nature, 1988a,1988b,1991) Hopfield, PNAS 79: 2554 (1986) Actividad persistente Modelo de Hopfield Conversión de

Estímulos visuales

Fig 1

Page 4: Memoria Bibliografía: Miyashita et al (Nature, 1988a,1988b,1991) Hopfield, PNAS 79: 2554 (1986) Actividad persistente Modelo de Hopfield Conversión de

Método

Fig 2a

Page 5: Memoria Bibliografía: Miyashita et al (Nature, 1988a,1988b,1991) Hopfield, PNAS 79: 2554 (1986) Actividad persistente Modelo de Hopfield Conversión de

Fig 2c

Page 6: Memoria Bibliografía: Miyashita et al (Nature, 1988a,1988b,1991) Hopfield, PNAS 79: 2554 (1986) Actividad persistente Modelo de Hopfield Conversión de

Fig 2d

ACTIVIDAD DURANTE LA

ESPERA

Es selectiva al estímulo

Page 7: Memoria Bibliografía: Miyashita et al (Nature, 1988a,1988b,1991) Hopfield, PNAS 79: 2554 (1986) Actividad persistente Modelo de Hopfield Conversión de

Fig 2e

Para una célula, el número de estímulos que producen una dada frecuencia de disparo

En esta neurona, sólo dos imágenes producen un disparo mayor que 10 Hz

Page 8: Memoria Bibliografía: Miyashita et al (Nature, 1988a,1988b,1991) Hopfield, PNAS 79: 2554 (1986) Actividad persistente Modelo de Hopfield Conversión de

La respuesta en el “delay” de esta neurona se mantiene bajo cambios en el estímulo

Invariancia bajo transformaciones del estímulo

Fig 3a

Cambio en la escala Cambio cromáticoControl rotación

Page 9: Memoria Bibliografía: Miyashita et al (Nature, 1988a,1988b,1991) Hopfield, PNAS 79: 2554 (1986) Actividad persistente Modelo de Hopfield Conversión de

Fig 3a

Page 10: Memoria Bibliografía: Miyashita et al (Nature, 1988a,1988b,1991) Hopfield, PNAS 79: 2554 (1986) Actividad persistente Modelo de Hopfield Conversión de

J Hopfield, Proceedings of the National Academy of Sciences 79: 2554 (1986)

Modelo de Hopfield

Codificación de los estados de la red

Qué son las memorias

Elección de los patrones a almacenar en la memoria (“memorias”)

Regla de aprendizaje (Hebb)

Dinámica de la red (recuperación de un patrón almacenado)

Page 11: Memoria Bibliografía: Miyashita et al (Nature, 1988a,1988b,1991) Hopfield, PNAS 79: 2554 (1986) Actividad persistente Modelo de Hopfield Conversión de

),,1()1,1( NiSi

)2(}{ ,,1 estadosS NNii

“Neuronas binarias”:

Estados posibles de la red:

Codificación

CODIFICACION

N

i

bi

ai

ba SSN

q1

),( 1Definición de solape q entre dos estados de la red:

)(}{ ,,1,,1 memoriasPPNii

Los P patrones

(memorias) a almacenar en la memoria

Las “memorias” son P de los estados posibles de la red

Page 12: Memoria Bibliografía: Miyashita et al (Nature, 1988a,1988b,1991) Hopfield, PNAS 79: 2554 (1986) Actividad persistente Modelo de Hopfield Conversión de

ELECCION DE LAS “MEMORIAS”

REGLA DE APRENDIZAJE

Regla de Hebb

Page 13: Memoria Bibliografía: Miyashita et al (Nature, 1988a,1988b,1991) Hopfield, PNAS 79: 2554 (1986) Actividad persistente Modelo de Hopfield Conversión de

DINAMICA DE LA RED

Suponemos umbral nulo

Page 14: Memoria Bibliografía: Miyashita et al (Nature, 1988a,1988b,1991) Hopfield, PNAS 79: 2554 (1986) Actividad persistente Modelo de Hopfield Conversión de

}{ iS

)}0({ tSi

Page 15: Memoria Bibliografía: Miyashita et al (Nature, 1988a,1988b,1991) Hopfield, PNAS 79: 2554 (1986) Actividad persistente Modelo de Hopfield Conversión de

Régimen de saturación

NP

CAPACIDAD

Page 16: Memoria Bibliografía: Miyashita et al (Nature, 1988a,1988b,1991) Hopfield, PNAS 79: 2554 (1986) Actividad persistente Modelo de Hopfield Conversión de

14.0c

Alfa críticoHay un valor crítico de la capacidad, más allá del cual la memoria (en este

modelo) colapsa.

Page 17: Memoria Bibliografía: Miyashita et al (Nature, 1988a,1988b,1991) Hopfield, PNAS 79: 2554 (1986) Actividad persistente Modelo de Hopfield Conversión de

Hopfield con 3 patrones: A, C, J

Page 18: Memoria Bibliografía: Miyashita et al (Nature, 1988a,1988b,1991) Hopfield, PNAS 79: 2554 (1986) Actividad persistente Modelo de Hopfield Conversión de

Patrón inicial: A con 10 % de ruido

Page 19: Memoria Bibliografía: Miyashita et al (Nature, 1988a,1988b,1991) Hopfield, PNAS 79: 2554 (1986) Actividad persistente Modelo de Hopfield Conversión de

Patrón inicial: A con 40 % de ruido

Page 20: Memoria Bibliografía: Miyashita et al (Nature, 1988a,1988b,1991) Hopfield, PNAS 79: 2554 (1986) Actividad persistente Modelo de Hopfield Conversión de

El patrón final es un estado distinto de

los amacenados (aunque correlacionado con algunos de ellos)

Patrón inicial: A con 48 % de ruido

Page 21: Memoria Bibliografía: Miyashita et al (Nature, 1988a,1988b,1991) Hopfield, PNAS 79: 2554 (1986) Actividad persistente Modelo de Hopfield Conversión de

Patrón inicial: A con 60 % de ruido

El patrón final:

Page 22: Memoria Bibliografía: Miyashita et al (Nature, 1988a,1988b,1991) Hopfield, PNAS 79: 2554 (1986) Actividad persistente Modelo de Hopfield Conversión de

Fin “Memoria de Trabajo”