los orígenes de la aproximación bayesiana a la inferencia estadística para seminario de hª de la...
TRANSCRIPT
Los orígenes de la aproximación bayesiana a la inferencia
estadística
Para Seminario de Hª de la Matemática
Curso XXXVI
14 de enero de 2015
Miguel A. Gómez Villegas
Catedrático de Estadística y Cálculo de ProbabilidadesDepartamento de Estadística e I.O.
Universidad ComplutenseIMI
AHEPE
RESUMEN
• Preliminares: Jacob Bernoulli y Nicolás Bernoulli, Christian Huygens, Abraham de Moivre
• Aproximación bayesiana• Aproximación frecuentista• ¿Qué pasó luego?• Conclusiones• Bibliografía
3
4
Christian Huygens(1629 – 1695)
Escribe a Van Schooten un tratado sobre los juegos de dados y que dará lugar a De Ratiociniis in Ludo Aleae (El Cálculo en los Juegos de Azar) (1660).
Contiene la sustitución de un juego de azar por su valor seguro
“La esperanza que se tiene de ganar en un juego tiene un valor tal que si se posee ese valor, puede uno procurarse esa misma ganancia mediante un juego equitativo”
𝐸 [ 𝑋 ]=𝑥=∑𝑖=1
∞
𝑥𝑖𝑃 (𝑋=𝑥 𝑖 )
Más Preliminares
5
Jakob Bernoulli(1654 – 1705)
Nicolás Bernoulli(1687 – 1759)
• Ars Conjectandi (El Arte de Conjeturar), publicado en Basilea en 1713.
• Se dan cuenta de que si , entonces
y esto llevó a interpretar, mal, que
• Harald Cramér. “Es lo mismo que definir un punto como el límite de una mancha de tiza cuando el área de ésta se hace pequeña”
6
7
Abraham De Moivre(1667 – 1705)
The Doctrine Chances (La Teoría del Azar) (1718, 1740, 1756)
Resuelve el problema de los puntos sobre la interrupción de un juego Resuelve los cinco problemas que
Huygens plantea en su libro Calcula la probabilidad de los distintos resultados a los que se puede llegar lanzando un número arbitrario de dados y soluciona el problema de la ruina y el problema de la ocupación
Son problemas de probabilidades directas
Hasta aquí no hay “inferencia estadística”
8
Aproximación bayesiana
Nace la inferencia estadística (probabilidades inversas) con Thomas Bayes (1701? – 1761)
An Essay Towards Solving a Problem in the Doctrine of Chances (Un Ensayo Hacia la Resolución de un Problema en la Doctrina del Azar)
leído ante la Real academia Inglesa en 1763 (póstumo)
9
10
Thomas Bayes 1701?-1761
• Su padre, Joshua Bayes, fue uno de los primeros ministros protestantes ordenados públicamente
• Entre 1719 y 1722 estudia en
Edimburgo• 1731 escribió el tratado “Divina
benevolencia o un intento de probar que el fin principal de la Divina Providencia es la felicidad de sus criaturas”
11
• 1736, John Noon publica el tratado “Una introducción a la doctrina de fluxiones y una defensa de los matemáticos frente a las objeciones del autor del analista”
• 1742, es elegido miembro de la Royal Society• 1764, Richard Price publica “Una nota sobre la divergencia de la
serie ln(z!)”• 1764, Richard Price publica “An essay towards solving a problem in
the doctrine of chances”• 1761, el 21 de abril muere y es enterrado en Dunhill Fields el
cementerio reformista donde están enterrados Richard Price, Daniel Defoe,...
• Gómez Villegas, M.A., Girón, F.J., Martínez, M.L. y Rios, D. (2001) “Un Ensayo Encaminado a Resolver un Problema de la Doctrina del Azar” de Thomas Bayes (Traducción) Revista de la Real Academia de Ciencias Exactas Físicas y Naturales 95, 1-2, 63-80.
12
• Distribución inicial
• Modelo
• Distribución final
1 21 1
1 2
(1 )( )
( , )p
B
1 1 21 1
( | ,..., ) ( | , )n n
n i ip x x Beta x n x
1 11( ,..., | ) (1 )
n n
i ix n x
nf x x
13
Richard Price(1723 – 1791)
Problema: Dado el número de veces que un suceso ha ocurrido o fallado, calcular la probabilidad de que la probabilidad de su ocurrencia en un solo experimento esté entre dos valores de probabilidadconocidos,
𝑃 (𝑎<𝜃<𝑏∨𝑋=𝑟 )
Definición de probabilidad:La probabilidad de cualquier suceso esel cociente entre el valor en el que unoespera dependiendo de la ocurrenciadel suceso cuya probabilidad debe ser calculada, y el valor de la cosa esperada una vez que ésta ha ocurrido.
𝑋=∑𝑖=1
𝑛
𝑥 𝑖
14
El significado de la definición de probabilidad puede verse enGómez-Villegas, M.A. (2001). El ensayo encaminado a resolver un problema en la doctrina del azar. Revista de la Real Academia de Ciencias Exactas Físicas y Naturales , 95, 1, 2, 81-85.
15
Opiniones suscitadas por el Ensayo
• Laplace (1812) sus demostraciones son algo complicadas• Todhunter (1865) el resumen sobre la Teoría de la Probabilidad es
excesivamente obscuro• Barnard (1958) el trabajo matemático de Bayes es de la más alta
calidad• K. Pearson (1920) califica el Ensayo como un resultado del siglo XX• Fisher (1956) las contribuciones matemáticas de Bayes le hacen
merecedor de ser considerado en el primer orden de los pensadores independientes
Contribuciones de Thomas Bayes
16
Introducción de las probabilidades inversas
Distribución inicial Uniforme (0,1)
La expresión continua del teorema de Bayes
Cálculo de la distribución final Beta
Pierre-Simon de Laplace• 1749-1827• Nace en Beamount-en-Auge en
la Normandía francesa• La revolución francesa se
produce en el 1789• En 1789 escribe “Memoria
sobre la probabilidad de las causas por los sucesos”
• En 1812, 1814, 1820 escribe
“Teoría Analítica de
Probabilidades”› donde aparece la versión
discreta del teorema de Bayes 17
• P{
Si P{ la expresión queda
• P{
18
19
Distribución inicial o a priori
Verosimilitud o modelo
Distribución predictiva
Distribución final o a posteriori
• La verosimilitud es común a la aproximación frecuentista
• Las distribuciones iniciales y finales son subjetivas
• La fórmula de Bayes permite incorporar la información
( )p
11
1
( ) ( ,..., | )( | ,..., )
( ,..., )n
nn
p f x xp x x
m x x
1( ,..., | )nf x x
1 1( ,..., ) ( ) ( ,..., | )n nm x x p f x x d
20
La aproximación frecuentista
• Históricamente es posterior
• Sólo trabaja con la verosimilitud o modelo
• Introduce un estadístico
• Trabaja con su distribución en el muestreo
1( ,..., | )nf x x
1( ,..., )nT x x
1( ( ,..., ) | )np t x x
21
En la aproximación bayesiana
Ejemplo:
a) Una persona asegura que distingue una partitura de Haydin de una de Mozart.
b) Un amigo asegura que predice si sale cara al tirar una moneda.
c) Una amiga asegura distinguir si el té ha sido hecho echando primero el agua y luego la leche o al revés.
En los tres casos se hacen 10 pruebas y aciertan 8 veces
¿Qué pasó luego?
22
E. Borel (1871 – 1956)
J. Neyman (1894 – 1981)
R.A. Fisher (1890 – 1962)
E. S. Pearson (1895 – 1980)
• Críticas a la subjetividad
• La dificultad del cálculo de las distribuciones finales
• La influencia de personalidades muy destacadas en el desarrollo de métodos “objetivos” como K. Pearson, Wald, Lehman, Wilks, …
23
Pero actualmente se tiene que…
• La aproximación bayesiana es automática y fácil de aplicar
• Hay problemas que solo tienen solución con la aproximación bayesiana
• Las aplicaciones frecuentistas han de esperar al “genio” que las desarrolle
• El teorema de Birnbaum: el principio de verosimilitud es equivalente a los principios de condicionalidad y suficiencia
• ¿Me querrán decir los partidarios de la aproximación frecuentista qué argumento se puede utilizar para negar el principio de condicionalidad o el de suficiencia?
24
25
Bibliografía
• Bernardo, J.M. & Smith, A.F.M.(1994) Bayesian Theory. New York: Wiley.
• Gelman, A., Carlin, J.B., Stern, H.S.& Rubin, D.B.(2004) Bayesian Data Analysis. London: Chapman & Hall.
• Girón, F.J. and Gómez Villegas, M.A. (1998) R.A. Fisher: su contribución a la ciencia estadística. Historia de la Matemática en el Siglo XX. Revista de la Real Academia de Ciencias Exactas Físicas y Naturales, 43-61.
• Gómez Villegas, M.A. (1994). El problema de la probabilidad inversa: Bayes y Laplace. Perspectivas Actuales de Lógica y Filosofía de la Ciencia, (E. Bustos et al., eds). Madrid: Siglo XXI de España Editores, 385-396.
• Gómez-Villegas, M.A. (2000) R.A.Fisher: el inicio del análisis multivariante. 100cias@uned, 3, 51-55.
• Gómez Villegas, M.A. (2001) El “Ensayo encaminado a resolver un problema en la doctrina del azar”, Revista de la Real Academia de Ciencias Exactas Físicas y Naturales (Esp),95, 1-2, 81-85.
• Gómez-Villegas, M.A. (2001) Thomas Bayes (1701-1761) en su tricentenario, Boletin de la SEIO, 17, 2, 15-17.
• Gómez-Villegas, M.A. (2004) Estadísticos significativos, 271-286. Hª. de la Probabilidad y la Estadística (II) (Por Santos, J., García, M. eds.) Madrid: Delta Publicaciones.
• Gómez Villegas, M.A. (2005-2011) Inferencia Estadística, Madrid: Díaz de Santos.
• Gómez Villegas, M.A., Girón, F.J. & Martínez, M.L. & Rios, D. (2001) Un Ensayo Encaminado a Resolver un Problema en la Doctrina del Azar (traducción), Revista de la Real Academia de Ciencias Exactas Físicas y Naturales (Esp),95, 1-2, 63-80. 26
• Gomez Villegas, M.A. (2009) Karl Pearson, el creador de la estadística matemática, Historia de la Probabilidad y la Estadística IV, J. Basalto y J.J. García (Eds) Congreso Internacional de Historia de la Estadística y la Probabilidad, 351-356.
• Gómez-Villegas, M.A. (2010) Erich Lehman (1917-2009). Obituario, Boletín de Estadística e Investigación Operativa, 26, 2, 183-185.
• Gómez-Villegas, M. A. (2011) Cómo la aproximación bayesiana pasó a ser frecuentista, Historia de la Probabilidad y la Estadística [V], J. Riobóo & I. Riobóo, eds. Santiago de Compostela: Nino-Centro de Impresión Digital, 225-235.
• Gómez-Villegas, M.A. (2012) Sobre el concepto del p-valor, Historia de la Probabilidad y la Estadística [VI], J.M.Arribas, A.Alma, Zoín, B.Mañas y A. Vallejo, eds. 26, Madrid:UNED, 351 – 356.
27
• Gómez-Villegas, M.A. (2006) ¿Por qué la inferencia estadística bayesiana?, Boletín de la Sociedad de Estadística e Investigación Operativa, 22, 1, 6-8.
• Gómez-Villegas, M.A. (2006) Andrei Markov (1856-1922). En el 150 aniversario de su nacimiento, Boletín de la Sociedad de Estadística e Investigación Operativa, 22, 4, 7-8.
• Gómez-Villegas, M.A. (2010) Erich Lehmann (1917-2009). Obituario, Boletín de la Sociedad de Estadística e Investigación Operativa, 26, 2, 183-185.
• Gómez-Villegas, M.A. (2014) 2013. Año internacional de la estadística: una panorámica, Historia de la Probabilidad y la Estadística [VII], J.Santos y S.de Paz, eds., Delta: Madrid, 11 - 29.
28
• De Mora, M. (1989) Los Inicios de la Teoría de la Probabilidad, Siglos XVI y XVII, Erandio: Universidad del País Vasco.
• Stigler, S.M. (1986) The History of Statistics, the measurement of Uncertainty before 1900, Cambridge: Harvard University Press.
29
¡Muchas gracias!
30