barcillo 2014 papa noel pruebas hipotesis y otros mitos absurdos

21
Fabrizio Marcillo Morla Todólogo [email protected] FACULTAD DE INGENIERÍA MARÍTIMA, CIENCIAS BIOLÓGICAS, OCEÁNICAS, Y RECURSOS NATURALES ESPOL Archivos soporte: https://www.dropbox.com/sh/ukyn39c278skegg/AACpF- CsuaMpldlCkMgIrolIa?dl=0 Videos presentación: http://www.youtube.com/playlist?list=PLp9BklmVca5FPt- NLPQEuktlXMwk5P2l9

Upload: fabrizio-marcillo-morla

Post on 08-Jul-2015

166 views

Category:

Science


0 download

DESCRIPTION

¿Que tienen en comun Papa Noel y las pruebas estadisticas de hipotesis? Hay personas que todavia creen que Papa Noel trae regalos, y hay personas que todavia creen que las pruebas de hipotesis son algun tipó de magia q misteriosamente resuelven los problemas de la ciencia. En estos videos se analiza como funcionan las pruebas de hipotesis; que signigican y que no. Se revisa tambien algunas concepciones falsas que se tienen sobre los supuestos Puede ver los videos de la presentacion aqui: https://www.youtube.com/playlist?list=PLp9BklmVca5FPt-NLPQEuktlXMwk5P2l9

TRANSCRIPT

Page 1: Barcillo 2014   papa noel pruebas hipotesis y otros mitos absurdos

Fabrizio Marcillo MorlaTodólogo

[email protected]

FACULTAD DE INGENIERÍA MARÍTIMA, CIENCIAS BIOLÓGICAS, OCEÁNICAS, Y RECURSOS NATURALES

ESPOL

Archivos soporte: https://www.dropbox.com/sh/ukyn39c278skegg/AACpF-CsuaMpldlCkMgIrolIa?dl=0Videos presentación: http://www.youtube.com/playlist?list=PLp9BklmVca5FPt-NLPQEuktlXMwk5P2l9

Page 2: Barcillo 2014   papa noel pruebas hipotesis y otros mitos absurdos
Page 3: Barcillo 2014   papa noel pruebas hipotesis y otros mitos absurdos

Hechos Un libro dice que hace 2000 años nació un niño, que

creció, hizo milagros, lo mataron y resucitó.

Saturnalias Romanas en diciembre, clímax el 25. Se convirtieron en fiesta de Navidad,

Hace 1700 había un obispo de nombre Nicolás Leyenda dice que daba regalos a escondidas (monedas en

los zapatos), a los niños.

En 1930 Coca Cola popularizó al Santa Claus de rojo y blanco.

En 1985 me trajo a regalar mi Bar por Navidad.

Mayoría de los adultos ya no creen en Santa Claus, sin embargo sigue siendo un personaje popular.

Page 4: Barcillo 2014   papa noel pruebas hipotesis y otros mitos absurdos

Única prueba de existencia Papa Noel

Page 5: Barcillo 2014   papa noel pruebas hipotesis y otros mitos absurdos

QuizHay un tratamiento que se sospecha puede alterar la media de una población. Ud. compara medias de grupo control con experimental, utiliza una prueba t, y resultado es significativo (p = 0,01).

Marque cada una de las siguientes afirmaciones como "verdadero" o "falso". “falso" = la afirmación no se deduce lógicamente de las premisas anteriores.

1. Usted ha probado que la hipótesis nula es falsa

2. Usted encontró la probabilidad de que la hipótesis nula sea verdadera.

3. Usted ha demostrado su hipótesis experimental

4. Usted puede deducir la probabilidad de que la hipótesis experimental sea cierta.

5. Usted sabe, cual es la probabilidad de equivocarse si decide rechazar la hipótesis nula

6. Si el experimento se repite un gran número de veces, usted obtendría un resultado significativo, en el 99% de las ocasiones

Page 6: Barcillo 2014   papa noel pruebas hipotesis y otros mitos absurdos

Los “Expertos” saben

% encuestados que respondieron mal al menos una pregunta

Page 7: Barcillo 2014   papa noel pruebas hipotesis y otros mitos absurdos

¿Ud. que Opina?

Page 8: Barcillo 2014   papa noel pruebas hipotesis y otros mitos absurdos

¿Cuál es el problema? Editores exigen uso de prueba de hipótesis y resultados

significantes para publicar. Sesgo de publicación: no se publica “no significativo”

Uso descontrolado de pruebas de hipótesis: Concluir lo obvio

Concluir lo que no importa

Dar una falsa confianza de algo

Cohen (1962), Sedlmeier and Gigerenzer (1989): En Journal pepa: poder 50% para detectar efecto mediano

cuando existe.

Gigerenzer (2004): “Estadística sin sentido”

Ioannidis (2005): “Por qué la mayoría de los resultados científicos publicados son falsos”

Page 9: Barcillo 2014   papa noel pruebas hipotesis y otros mitos absurdos

Hechos Laplace 1778: Primer uso reportado de pruebas de hipótesis.

No menciona “hipótesis nula”, pero utiliza p-value

K. Pearson 1900: prueba Ji-cuadrado bondad ajuste. No utiliza hipótesis

Fisher 1925: SMRW varias pruebas de significancia (inferencia) Prueba hipótesis nula SIN alterna. H0 nunca comprobada, solo contradice

DOE 1935: H1 sólo puede ser probada si es exacta.

Neyman & E. Pearson 1933: NP Lema (pruebas de hipótesis) toma de decisiones. H. Nula y alterna, Errores tipo I y II, s2 conocida, distribución conocida,

mínima diferencia detectable conocida: n calculado.

Lindquist 1940: Inventa híbrido incoherente. Muchos siguen. Pruebas de hipótesis actuales (NHST) son un híbrido mal hecho de Fisher-NP

(Gigerenzer 2004). “Ritual de la hipótesis nula”:1. Defina hipótesis nula de “No efecto”, no defina hipótesis de investigación.

2. Use p=5% para rechazar hipótesis nula, acepte su hipótesis de trabajo, reporte como p<0.05, p <0.01 o p<0.001, la que esté más cerca al p-value

3. Repita esto SIEMPRE

Page 10: Barcillo 2014   papa noel pruebas hipotesis y otros mitos absurdos

p-value p-value: NO es una probabilidad

Probabilidad: ni más ni menos que la frecuencia relativa de que variable tome ciertos valores en toda la población. FIJA.

Likelyhood: Es proporcional a la probabilidad de encontrar un valor del estadístico, al menos tan alejado, en el caso de que la hipótesis nula fuera verdadera.

Cuando es pequeño, se contradice hipótesis nula. No indica probabilidad que hipótesis alterna sea cierta

Si es grande se acepta provisionalmente hipótesis nula No indica probabilidad que hipótesis alterna se falsa

“Pequeño” es generalmente considerado < 0.05 Valor arbitrario, sale de un ejemplo (Fisher 1925) Antes se usaban tablas

Si definimos “pequeño” como muy pequeño, disminuye el poder Fisher (1956): “Ningún científico tiene un valor de significancia

fijo, este valor se lo decide según sus ideas y la circunstancia”

Page 11: Barcillo 2014   papa noel pruebas hipotesis y otros mitos absurdos

Proceso de inferencia paramétrica

Población de Chanchos

Población de valores de

V.A. Ej: Peso de ChanchoDescrita por

un(os) parámetro(s)

Ejemplo:

Media

m

Espacio Muestreal Población infinita

de todas las posibles

combinaciones (muestras) de

tamaño n Ej: n=10

Distribución Derivada

Población infinita de todos los promedios

calculados a cada posible muestra de

tamaño n=10

Cada muestra descrita por 1un estadístico

Ejemplo:

Promedio

Su distribución de probabilidad, cuando parámetro m=5, es conocida en ciertos casos

Ej: t-student n=9

Existeun

Una muestra n= 10 de la población de pesos es igual

que tomar 1 elemento del

espacio muestreal

Se puede calcular cual sería la probabilidad de obtener un estadístico al menos tan alejado, si el parámetro supuesto es cierto

¿Pesan los chanchos 5 kg?

Uy! Un chancho

Page 12: Barcillo 2014   papa noel pruebas hipotesis y otros mitos absurdos

Ejemplo Usted quiere comprar un auto nuevo, el modelo A

cuesta $100 menos, pero el modelo B consume significativamente menos gasolina (99.99% confianza) ¿Cuál compraría?

Univariate Results for Each DV (PapaNoel.sta)

Sigma-restricted param eterization

Effective hypothesis decomposition

Effect

Degr. of

Freedom

Km/Gal

SS

Km/Gal

MS

Km/Gal

F

Km/Gal

p

Intercept

Modelo

Error

Total

1 115522.7 115522.7 147038785 0.000000

1 0.0174 0.0174 22 0.000009

92 0.0723 0.0008

93 0.0897

Page 13: Barcillo 2014   papa noel pruebas hipotesis y otros mitos absurdos

Modelo; LS Means

Current effect: F(1, 92)=22.185, p=.00001

Effective hypothesis decomposition

Vertical bars denote 0.95 confidence intervals

A B

Modelo

35.03

35.04

35.05

35.06

35.07

35.08

35.09

KM

/Ga

l

Page 14: Barcillo 2014   papa noel pruebas hipotesis y otros mitos absurdos

Significancia, Eta- cuadrado, diferencia importante, poder, intervalos de confianza, Significancia: Cualquier desviación de hipótesis (ej: m1 – m2 ≠ 0)

puede ser atribuida a otras causas.

h2: porcentaje de cambio que puede ser explicado por la variable independiente. r2

Diferencia importante: definida por el investigador, con base en su conocimiento del tema

Poder: 1-b: “sensibilidad” probabilidad condicional de poder rechazar la hipótesis nula cuando esta es falsa. No es lo mismo que probabilidad de aceptar hipótesis alterna cuando es correcta.

Intervalo de confianza: intervalo en donde, si el parámetro estimado es igual al valor predicho, se esperaría que x% de los estadísticos del espacio muestreal estén. No es lo mismo que intervalo en donde se espera con un x% de confianza que se encuentre el parámetro.

Page 15: Barcillo 2014   papa noel pruebas hipotesis y otros mitos absurdos

Significancia vs Poder

Ausencia de prueba no es prueba de ausencia.

Page 16: Barcillo 2014   papa noel pruebas hipotesis y otros mitos absurdos

Mescolanza (Lindquist 1940)... Y otros hasta ahora Fisher Neyman Pearson

Una sola hipótesis (no necesariamente q1 – q2 ≠ 0)

Reporta nivel de confianza calculado (ej: p=0.061)

Hipótesis no se rechaza, solo se contradice por ahora

No se prueba hipótesis alterna

Usar solo cuando se conoce poco del tema

Dos (o más) hipótesis: H0, H1

Decida antes a, b, D, n, conozca s

Si p > a, acepte H0, de lo contrario rechace y acepte H1.

Aceptar H no significa que es cierta, sólo que se actúa como si lo fuera.

Usar solo cuando se tiene una disyuntiva de hipótesis y se puede calcular a y b.

Page 17: Barcillo 2014   papa noel pruebas hipotesis y otros mitos absurdos

Histogram (PapaNoel.sta 10v*94c)

Var8 = 5*1*normal(x, 2.6, 1.3416)

1 2 3 4

Var8

0

1

2

3

No

of o

bs

Var8: SW-W = 0.8519, p = 0.2006

¿Existe azar?

¿Representa a población?

¿Puede demostrarse normalidad en muestras pequeñas?

¿Existe la curva normal?

¿Existen las variables discretas y continuas?

¿Cómo determino que varianzas son iguales?

Muestra aleatoria de población que representa

Normalidad

Varianzas iguales

Muestras independientes

Independencia media varianza

Supuestos prueba t - ANOVA

Page 18: Barcillo 2014   papa noel pruebas hipotesis y otros mitos absurdos
Page 19: Barcillo 2014   papa noel pruebas hipotesis y otros mitos absurdos

¿Paramétrico o no paramétrico? Pruebas no paramétricas también tienen supuestos y

restricciones.

Ej: Kruskal – Wallis ANOVA de 1 vía por rangos: Cada muestra ha sido seleccionada aleatoriamente de la

población a la que representa

Las muestras son independientes

La variable dependiente es continua

La distribución de las poblaciones que se muestrean tienen la misma forma: No necesariamente normales.

Si igualdad de varianza

Page 20: Barcillo 2014   papa noel pruebas hipotesis y otros mitos absurdos

¿Entonces? ¿Sabemos cuál es realmente nuestra población?

¿Sabemos si nuestra muestra representa a nuestra población?

¿Sabemos lo que queremos probar ANTES de hacer el experimento?

Recordar: experimento no se repite infinita veces, generalmente solo 1 vez.

NO es lo mismo usar estadística en un experimento que en control de calidad

Pruebas de hipótesis son una herramienta importante cuando se sabe lo que dicen realmente, ojo cuando no.

Page 21: Barcillo 2014   papa noel pruebas hipotesis y otros mitos absurdos

Y si no me cree... Diaconis (2013) – The search for ramdomness

Feynman (1963) - The Meaning Of It All

Fisher (1922) - On The Mathematical Foundations Of Theoretical Statistics

Fisher (1923) Statistical tests of agreement between observation and hypothesis

Fisher (1925) - Statistical Methods for Research Workers .

Fisher (1935) - The Design of Experiments

Fisher (1935) - The Logic of Inductive Inference.

Fisher (1955) - Statistical Methods and Scientific induction

Gigerenzer (2004) Mindless statistics

Gigerenzer, Krauss, Vitouch (2004) - The Null Ritual: What You Always Wanted to Know About Significance Testing but Were Afraid to Ask

Huff (1954) - How To Lie With Statistics

Ioannidis (2005) - Why Most Published Research Findings Are False

Laplace (1778) - Memoire Sur Les Probabilities

Lehmann (2011) - Fisher, Neyman, and the Creation of Classical Statistics.

Lindquist (1940) - Statistical Analysis In Educational Research.

Micceri (1989) - The unicorn, the normal curve, and other improbably creatures

Neyman, Pearson E (1933) - On the problem of the most efficient tests of Statistical Hypotheses

Pearson K (1900) - On the criterion that a given system of deviations from the probable in the case of a correlated system of variables

Pearson K(1935) - Statistical Tests (Inman 2011 - Karl Pearson and R. A. Fisher on Statistical Tests - A 1935 Exchange From Nature)

Popper (1935) - The Logic of Scientific Discovery.

Sheskin 2000 - Handbook of parametric and nonparametric statistical procedures

StatSoft (2011) - Electronic Statistics Textbook

Stewart (2004) - Randomness: The last superstition

Student (1908) – The propable Error of a Mean