El cerebro estadístico
Escuela de Modelado en NeurocienciasInstituto Balseiro - Centro Atómico Bariloche
20 de Octubre de 2014 clase 1 / 4
Guillermo Solovey
Monday, October 20, 14
Plan de la clase
• Introducción• Probabilidad• Percepción como inferencia bayesiana • Construyendo un modelo bayesiano de percepción
Monday, October 20, 14
hipótesis del cerebro bayesiano
el principal desafío del cerebro es resolver el problema de la incerteza
¿podré cruzar el río? ¿lloverá?
¿me caerá mal? ¿conozco a esa persona?
Monday, October 20, 14
fuentes de incerteza sensorial
proyección en la retina
1. Ambiguedad
Kersten, Mamassian & Yuille, 2004Purves et al (Scholarpedia)
Weiji Ma
trapezoide rectángulo en el camino forma rara de alambre
Monday, October 20, 14
fuentes de incerteza sensorial
2. Baja calidad de los estímulos
es de noche hay niebla los objetos están lejos
acciones rápidas y en la periferia ruido neuronal
Monday, October 20, 14
el cerebro está forzado a computar probabilidades
Ambiguedad
Baja calidad de los estímulos
Incerteza
Probabilidad
~1990s:el proposito del cerebro es inferir estados del mundo a partir de datos ruidosos e incompletos. es decir: hace inferencia estadística.
P( hipótesis | evidencia ) = “probabilidad de que una hipótesis sea cierta dada la evidencia (sensorial, ...)”
Nuestro sistema perceptual debe seleccionar la solución mas plausible entre un número infinito de posibilidades
¿Cómo lo hace? La forma óptima es usando la regla de bayesconocimiento previomodelo interno.
veamos un ejemplo
Monday, October 20, 14
el abc de la inferencia bayesiana
Dada la ubicación de las manzanas... ¿dónde está el árbol? (0=imposible; 10=certeza absoluta)
28
3
Monday, October 20, 14
el abc de la inferencia bayesiana
la ubicación del río da información a priori: sabemos que no crecen árboles en los ríos.independientemente de la ubicación de las manzanas, ¿Cuál es la ubicación más probable del árbol?
el viento cambia el modelo: ¿Cómo se distribuyen las manzanas dada la posición del arbol?
28
3
90
1
P( arbol esta en x dada la ubicación de las manzanas ) = ??
P( ubicación de las manzanas dado que arbol esta en x): modeloP( arbol en x ): a priori
Monday, October 20, 14
el abc de la inferencia bayesiana
En percepción...
observaciones sensorialesestado del mundo que
se quirere conocer
informacion a prioriP( H | e ) P( e | H ) x P( H )
regla de Bayes!
∝Monday, October 20, 14
Regla de Bayes, 2 siglos de historia (y controversia)
Laplace, 1749-1827
Bayes, 1749-1827
Cuando los hechos cambian, cambio de opinión. ¿Usted que hace, señor?John Maynard Keynes
cuando obtenemos información nueva y objetiva sobre algo, obtenemos una creencia nueva y actualizada.
formaliza matemáticamente la regla de Bayes para dar respuesta a un problema práctico:
¿cómo inferir el movimiento planetario a partir de gran cantidad de datos de distintos observatorios, con diferente confiabilidad?
hoy se usa en infinidad de problemas:filtro de spam de gmailla búsqueda del vuelo de air france AF447aprendizaje, toma de decisiones, ...predicciones (del tiempo, electorales)netflixpercepción
Monday, October 20, 14
Percepción como inferencia inconciente
Una idea vieja ...
... reflotada en los últimos 20-30 años con un formalismo matemático riguroso
... No todo lo que se percibe a simple vista se percibe a través de la sensación en bruto (...) Los objetos del mundo visible se perciben a través de las características que los definen y a través de conocimientos previos ...
Al Hazen, 965-1040
Revolución bayesiana en ciencias cognitivas (S Dehaene, 2011)
Helmholtz, 1821-1894
La percepción es un proceso de inferencia inconciente.
Las experiencias previas actúan en conjunción con sensaciones presentes para producir una imagen perceptual. (Physiological Optics)
Monday, October 20, 14
inferencia bayesiana en percepción
¿Cómo hace inferencia el cerebro?
P( hipótesis | evidencia ) =P( evidencia | hipótesis ) P( hipótesis )
constante de normalización
¿Hace inferencia de forma óptima, es decir usando la regla de Bayes?
Knill & Pouget (2004)
Para algunos no hay duda de que somos óptimos...
Al menos hacemos un cómputo estadístico y el formalismo bayesiano provee un formalismo riguroso.
Monday, October 20, 14
Plan de la clase
• Introducción• Probabilidad• Percepción como inferencia bayesiana • Construyendo un modelo bayesiano de percepción
Monday, October 20, 14
abc de probabilidad
frecuencia relativa de ocurrencia del resultado de un experimento
grado de creencia
dos interpretaciones:
0 10 20 30 40 50 60 70
prob
abilid
ad
distancia d
con neblina, más incerteza
con sol, menos incerteza
P( 1 ) = 1/6 ≈ #1/N{4, 5, 1, 3, 5, 6, 1, 3, 4, 2, ...}
variables aleatorias:
A = el número que sale en el dado, la distancia al auto, ...a = posible valor que toma la variable A.p(A=a), para abreviar a veces es p(a).
variables binarias, las más simples (ocurrencia de un evento. p(A=”si”), p(A=”no”).
Monday, October 20, 14
abc de probabilidad
La probabilidad total es 1.
p( dado=1 ) + p( dado=2 ) + p( dado=3 ) + p( dado=4 ) + p( dado=5 ) + p( dado=6 ) = 1 X
a
p(A = a) = 1
0 10 20 30 40 50 60 70
prob
abilid
ad
distancia d
área = 1
variables discretas
variables contínuas
Zp(a)da = 1
densidad de probabilidad
Monday, October 20, 14
abc de probabilidad
p(A) p(B)
Probabilidad conjunta = p(A, B)
A, B dos variables aleatoriasEjemplos:p(dado sale par y mayor que 3)p(mañana llueve y pasado no llueva)p(soy físico y soy neurocientífico)
p(A,B)
Independencia: A, B dos variables aleatorias son independientes si: p(A,B) = p(A) p(B)
si A y B son independientes
p(A|B) = p(A,B)p(B)
Probabilidad condicional: Probabilidad de A dado el valor de B. Por definición:
p(A|B) = p(A)
Monday, October 20, 14
abc de probabilidad
p(A) p(B) p(A) p(B)
p(A,B) = p(B|A) p(A) p(A,B) = p(A|B) p(B)
p(A|B) = p(A,B)p(B)
p(B|A) = p(A,B)p(A)
p(A|B) = p(B|A) p(A)
p(B)
relacionando las dos probabilidades condicionales ...
regla de Bayes:
Monday, October 20, 14
Regla de Bayes
H1: hipótesis 1H2: hipótesis 2d: información visual
p(H1|d) = p(d|H1) p(H1)
p(d)p(H1|d) =
p(d|H1) p(H1)
p(d|H1) p(H1) + p(d|H2) p(H2)
p(H1|d) + p(H2|d) = 1
p(H2|d) = p(d|H2) p(H2)
p(d) p(H2|d) = p(d|H2) p(H2)
p(d|H1) p(H1) + p(d|H2) p(H2)
¿Cuál es la hipótesis más probable?
regla de Bayes
constante de normalización
Monday, October 20, 14
Plan de la clase
• Introducción• Probabilidad• Percepción como inferencia bayesiana • Construyendo un modelo bayesiano de percepción
Monday, October 20, 14
Percepción como inferencia bayesiana: regla de Bayes
Dos fuentes de información
probabilidad de una hipótesis
datos (inciertos)información sensorial
información previamemoria
Körding & Wolpert, 2004
P( hipótesis | información sensorial ) ∝ P( información sensorial | hipótesis ) P( hipótesis )
La forma óptima de combinarlas es usando la regla de Bayes:
función de verosimilitud likelihood
probabilidad a priori prior
probabilidad a posterioriposterior
x∝Monday, October 20, 14
Ejemplo de inferencia probabilística: cinta de recolección de equipaje
100 pasajeros1 valija por pasajero5% de los pasajeros tienen tu misma valija
a) A la distancia ves salir la primera valija, que tiene el mismo color, forma y tamaño que la tuya. ¿Es la tuya?
b) (ejercicio!) Ninguna de las primeras 85 valijas era la tuya. La valija 86 también tiene el mismo color, forma y tamaño que la tuya. ¿Cuál es la probabilidad de sea la tuya? ¿Qué cambia respecto de a)?
H1: es mi valija
H2: no es mi valija
p(d|H1) = 1
p(d|H2) = 0.05
p(H1|d) =1⇥ 0.01
1⇥ 0.01 + 0.05⇥ 0.99= 0.168
p(H2|d) =0.05⇥ 0.99
1⇥ 0.01 + 0.05⇥ 0.99= 0.832
p(H1) = 0.01
p(H2) = 0.99
prior likelihood posterior
Monday, October 20, 14
Inferencia bayesiana
factores que afectan la función de verosimilitud
factores que afectan la distribución de probabilidad a priori
condiciones ambientales (obstrucciones, distancia, ...)
el “ojo” de cada observador.
contexto o conocimiento previo
priors evolucionan en el tiempo a medida que acumulamos información nueva.Ejemplo, un adulto no tiene los mismos priors que un niño.
Monday, October 20, 14
¿Qué priors se usan en percepción?
Las ilusiones visuales dan una idea del tipo de priors que usa el sistema visual
1- la luz viene de arriba
Nature Neuroscience 2004
Monday, October 20, 14
¿Qué priors se usan en percepción?
=
>
=
Monday, October 20, 14
¿Qué priors se usan en percepción?
Howe & Purves, PNAS (2002)
tamaño percibido
tamaño real : tamaño proyección
2- la orientación de un objeto indica su tamaño relativo
Monday, October 20, 14
¿Qué priors se usan en percepción?
3- los objetos se mueven despacio
Monday, October 20, 14
¿Qué priors se usan en percepción?
El movimiento es compatible con un numero infinito de interpretaciones.
Monday, October 20, 14
la inferencia estadística es parte de los componentes primarios, automáticos e involuntarios de las operaciones mentales.
Monday, October 20, 14
Plan de la clase
• Introducción• Probabilidad• Percepción como inferencia bayesiana • Construyendo un modelo bayesiano de percepción
Monday, October 20, 14
Tarea: localización de una fuente sonora
objetivo:estimar en cada trial la ubicación de la fuente sonora con información auditiva y a priori
Pasos de un modelo generativo:
Construir un modelo bayesiano de percepción, paso a paso.
3- predicción del comporatmiento del sujeto:necesario para comparar con resultados de un observadorprobabilidad de cada estado del mundo
Psicofísica:
• estudiar la percepción de estímulos físicos controlados.• errores en la tarea informan sobre la forma en que el
observador realiza la tarea
1- modelo generativo (forward): distribuciones de probabilidad de las variables en la tarea.modelo del ruido en la información sensorial.
información sensorial
estado del mundo, s
modelo generativo
2- inferencia:invertir el modelo generativo. distribución posterior.¿cuál es el estado del mundo dada la información sensorial?
estimación del estado del mundo, ŝ
inferencia
Monday, October 20, 14
paso 1: modelo generativo
s
x
estímulo: ubicación real de la fuente
medición (ruidosa) del estímulo p(x|s): distribución del ruido en la medición.
p(s): distribución del estímulo.
distribuciones objetivas: reflejan probabilidades de ocurrencia
p(x|s) = 1p2⇡�
2exp� (x� s)
2
2�
2
p(s) =1p2⇡�2
s
exp� (s� µ)2
2�2s
distribución del estímulo. ruido
µ = 0
Ma, Kording, Goldreich
Monday, October 20, 14
paso 2: inferencia
inferencia
s
x
estímulo: ubicación real de la fuente
medición (ruidosa) del estímuloL(s) = p(x|s) = 1p
2⇡�
2exp� (x� s)
2
2�
2
función de likelihood: creencia de obtener x para cada ubicación posible de la fuente.
distribuciones subjetivas: cuantifican la creencia del observador sobre el valor
de variables del modelop(s|x) = p(x|s) p(s)p(x)
distribución posterior:
distribución a priori p(s) =1p2⇡�2
s
exp� (s� µ)2
2�2s
distribución a priori likelihood
Ma, Kording, Goldreich
Monday, October 20, 14
paso 2: inferencia (cont.)
inferencia
s
x
estímulo: ubicación real de la fuente
medición (ruidosa) del estímulo
distribución posterior:
p(s|x) = 1q2⇡�
2pos
exp� (s� µ
pos
)
2
2�
2pos
µ
pos
=1�
2
1�
2 + 1�
2s
x+1�
2s
1�
2 + 1�
2s
µ
�2pos
=1
1�
2 + 1�
2s
s
MAP
= argmax
s
p(s|x) = µ
pos
Ma, Kording, Goldreich
el prior empuja al posterior alejándolo de la medición y atrayéndolo hacia su propio valor medio
combinar una medición con información previa disminuye la varianza
Monday, October 20, 14
paso 3: distribución del estimador MAP
sMAP =1�2
1�2 + 1
�2s
x+1�2s
1�2 + 1
�2s
µ
Combinacion lineal de dos variables gaussiana. tambien es una distribucion gaussiana
La distribución de SMAP sirve para comparar el modelo con los resultados de los observadores.
Esta distribución se puede obtener ANTES de tener resultados.
Monday, October 20, 14
cómo modelar el prior?
usar la distribución del estímulo como prior
estadística natural
inferir el prior experimentalmente
Howe & Purves, PNAS (2002)
Monday, October 20, 14
Ejemplos de integración de información a priori con información sensorial
Kording & Wolpert, Nature (2004)
Weiss, Simoncelli & Adelson, Nature Neuroscience (2002)
Monday, October 20, 14
Ejemplos de integración de información a priori con información sensorial
Kersten & Yuille, Curr. Opin. Neurobiol (2003)
Monday, October 20, 14
información previa información visual
Ejemplos de integración de información a priori con información sensorial
P( hipótesis i | información visual ) =P( información visual | hipótesis i ) P( hipótesis i )
P( información visual )
hipótesis 1 = “derecha”hipótesis 2 = “izquierda”
la forma óptima de combinar los dos tipos de información es usando la regla de Bayes:
Monday, October 20, 14