conf. 1. potencia estadística y tamaños de muestra

TAMAÑO DE LA MUESTRA, POTENCIA Y TAMAÑO DE EFECTO

Curso de Postgrado

Profesores: Ecól. Katiusca Valarezo A.

Ing. Eduardo González E.


Preguntas claves del diseño de una investigación:

¿Cuán grande debe ser la muestra para alcanzar un nivel de precisión

deseado en una estimación?

¿Cuán grande debe ser la muestra para que la prueba pueda detectar el

efecto que busco?

Si no me dio diferencias… ¿qué potencia tuvo la prueba?

¿qué tamaño de efecto podría haber detectado yo con estos datos?


Análisis de potencia

estadística

Técnicas relacionadas:

Estimación de tamaño de muestra

Estimación de tamaño de

efecto y sus intervalos de

confianza


Sumario: Tipos de errores en las pruebas de hipótesis Implicaciones de los errores Definición de potencia estadística Formas de aumentar la potencia Vías para calcularla Tamaño de efecto Vías para calcular los tamaños de muestra

Objetivo:Objetivo:- Presentar en términos simples y a través de ejemplos concretos, la

importancia y las vías de calcular la potencia de nuestras pruebas, y las implicaciones que trae no tenerla en cuenta.


Hipótesis nula(Ho)

Hipótesis alternativa(H1)

Prueba de hipótesis

Se calcula la probabilidad de que aparezca el dato (asumiendo que se cumpla la H0) p(X|H0)

DECISIÓN

Mantener H0 Rechazar H0

Muestra


Hipótesis nula(Ho)



Se calcula la probabilidad de que aparezca el dato (asumiendo que se cumpla la H0) p(X|H0) Muestra

Demasiado chica Demasiado grande

Baja precisiónExactitud cuestionable

POCA POTENCIA

Gasto innecesario de recursos y tiempo

DEMASIADA POTENCIA

Tamaño Tamaño idóneoidóneo


Exactitud: se refiere a la forma en que el valor

promedio de los resultados se acerca o se aleja del valor

poblacional medio.

Precisión: se refiere a la variabilidad de los datos.


Hipótesis nula(Ho)



Se calcula la probabilidad de que aparezca el dato (asumiendo que se cumpla la H0) p(X|H0)

DECISIÓN

Mantener H0 Rechazar H0

¿y si me equivoco?SIEMPRE QUE SE TOMA UNA DECISIÓN SE

CORRE UN RIESGO DE ERROR


¿Qué es científicamente más importante: demostrar que existe una diferencia o demostrar que no existe?

Cuando en una investigación obtenemos una diferencia significativa, generalmente “nos alegramos”, y si no la hallamos,

nos callamos...

Es la tendencia de que los resultados estadísticamente significativos tienen más probabilidad de que sean publicados

que aquellos que fallan en detectar significación.Gurevitch y Hedges 1999


Hipótesis nula(Ho)



Calculo la probabilidad de que aparezca el dato (asumiendo que

se cumpla la H0)

DECIDO

Mantengo la Ho Rechazo la Ho

Los resultados son estadísticamente SIGNIFICATIVOS

¿Quiere decir que ES VERDADERA?

¿p< 5 %?

Realmente no hay diferencias

La muestra no es suficiente

¿Que potenciapotencia tiene la prueba con estos datos para

detectar una diferencia si existiera?


Potencia estadística¿Por qué, para qué y cómo?


Tipos de errores posibles a cometer en las pruebas estadísticas

Situación real: Efecto determinado(Diferencia, asociación, correlación, …)

Existir (ε>0)

No existir (ε=0)

Mi Hipótesis: Si existe (H1 ε>0)

Hipótesis alternativa: No existe (H0 ε=0)

Hago un estudio (tomo datos)



Mi Hipótesis: Si existe (H1 ε>0)

Hipótesis alternativa: No existe (H0 ε=0)

Hago un estudio (tomo datos)

(H1 ε>0)

(H0 ε=0)


Conclusión del estudio

No rechazar H0 Rechazar H0


(H1 ε>0) (H0 ε=0) Hago un estudio

(tomo datos)



(H0 F) (H0 V) Realidad

Resultado

Mantener H0

Rechazar H0

(falso positivo)

(falso negativo)



Detectar un efecto que No existe

No detectar un efecto que SI existe

Diferentes probabilidades y efectosDiferentes probabilidades y efectos¿porqué?



Población

Muestra 1 Muestra 2 Muestra 3

X1 X2 X3

µµµµ parámetro

constante

Estadísticos (muestrales) aleatorios


1 2 3 4 5 6 7 8 9

Ejercicio:Hay una población natural cuyos elementos son…

…de esta toman 13 muestras de 5 unidades cada vez:

(µ = 5)¿Promedio?

4

3

6

1

9

2

8

4

5

3

9

6

3

4

6

7

4

7

8

2

3

4

9

1

3

2

8

3

5

7

5

4

5

4

1

3

3

5

2

8

1

4

7

9

3

7

3

8

2

4

2

3

6

1

3

8

2

4

6

3

9

5

8

7

8

1 2 3 4 5 6 7 8 9 10 11 12 13

Muestra:

4,6 4,4 5,6 6,4 4,0 5,0 4,2 4,2 4,8 4,8 3,0 4,6 7,4Medias muestrales:

Cal

cula

ndo…

Cal

cula

ndo…


4,6 4,4 5,6 6,4 4,0 5,0 4,2 4,2 4,8 4,8 3,0 4,6 7,4Medias muestrales:

1 2 3 4 5 6 7 8 9

Ejercicio:Hay una población natural cuyos elementos son… (µ = 5)

¿Promedio?

82 3 4 6 7µ(5) Medias

muestrales:

Al graficar las medias en un eje se obtiene:

Distribución de probabilidades



82 3 4 6 7µ(5) Medias

muestrales:


Muestras

µµ

Med

ias

mue

stra

les


82 3 4 6 7µ(5) Medias

muestrales:


Media (µ)

Frec

uenc

ia c

on q

ue a

pare

cen

las

med

ias

mue

stra

les



Media (µ)

Frec

uenc

ia c

on q

ue a

pare

cen

las

med

ias

mue

stra

les

(El área bajo la curva representa la probabilidad de que aparezca esa media)

Valores

95 % probabilidade

s

Límites de confianza

al 95%


Población A


Media (µ)

Frec

uenc

ia c

on q

ue a

pare

cen

las

med

ias

mue

stra

les

Valores

Probabilidad < 5%


(El área bajo la curva representa la probabilidad de que aparezca esa media)

Población A


Frec

uenc

ia c

on q

ue a

pare

cen

los

valo

res

Valores

Valores críticos

Regiones de Rechazo

Región de Aceptación


Estadístico

Población A


Población A


Media (µ)

X

X

X

POCO probable

Valores


Media (µ)

Población A


ALFARiesgo de equivocarse rechazando la igualdad (detectando una diferencia falsa)ES UN VALOR ARBITRARIOVALOR ARBITRARIO fijado de antemano por el investigador y no depende

de la calidad de los datos


Población A


ALFAX

Mayor probabilidad de rechazar una media muestral que realmente si

pertenece a la población

Media (µ)Rechazar una H0 verdaderaError de tipo 1:

…al decir: “Hay diferencias estadísticamente significativas”


Población A


Media (µ)

…al decir: “Hay diferencias estadísticamente significativas”

“Never confuse statistical significance with biological

significance”C. J. Krebs


Los errores de tipo I y II tienen diferentes implicaciones prácticas...En el contexto de las Pruebas de

Hipótesis hay dos tipos de situaciones

Apoyo por rechazo (Reject-support)

¿Interés?¿Detectar diferencias? ¿Detectar una igualdad?

Apoyo por aceptación (Accept-support)

RS testing: la hipótesis nula es la opuesta a lo que el investigador quiere y busca rechazarla. El rechazo apoya su teoría. Es la situación más común.

AS testing: La hipótesis nula es la que realmente cree el investigador, por tanto aceptarla es lo que apoya su teoría.


Los errores de tipo I y II tienen diferentes implicaciones prácticas...

Pruebas de Hipótesis deApoyo por rechazo

(Reject-support)

Error de tipo I Error de tipo II(falso positivo)

Problema social o económico:- más gastos

- estimula estudios adicionales innecesarios

(falso negativo)

Problema científico:

- una teoría correcta NO es confirmada

- Una acción ante un problema NO es tomada



Ejemplo:Hipótesis: “La población X está muriendo.”

Ho: δ1 = δ2(la densidad ahora es igual a la de antes)

H1: δ1 > δ2(la densidad ahora

ha disminuido)ResultadoMantengo H0 Rechazo H0

¿Conclusión? ¡Hay disminución!

¡Tomar medidas de prevención!

¿Conclusión? No hay disminuciónNo hay nada que hacer…




ResultadoMantengo H0 Rechazo H0

¿Conclusión? ¡Hay disminución!

¡Tomar medidas de protección!

¿Conclusión? No hay disminuciónNo hay que hacer nada…


Conclusión ¡Hay disminución!

¡Tomar medidas de prevención!

Error de tipo I(falso positivo)

$

ResultadoMantengo H0 Rechazo H0

Conclusión No hay disminuciónNo hay nada que hacer…

Error de tipo II(falso negativo)





Ejemplo:

Hipótesis: “La medicina X es letal.” Ho: δ1 = δ2(la morbilidad con ella es igual a sin ella)

H1: δ1 > δ2(la morbilidad con

ella es mayor)

Error de tipo I

(falso positivo)

$Error de tipo II

(falso negativo)

Si

En estos casos es mucho más importante evitar el error de

tipo II que el de tipo I


En el contexto de las Pruebas de Hipótesis hay dos tipos de

situaciones




En estos:- El investigador quiere rechazar H0. - La “sociedad” quiere controlar el error de Tipo I. - El investigador debe preocuparse MUCHO por el error tipo II- Tamaños de muestras muy altos “apoyan” al investigador. - Si hay demasiada potencia, efectos triviales se vuelven

“significativos"

Por tanto:en estos casos se INSISTE en

mantener bajo el alfa.


En el contexto de las Pruebas de Hipótesis hay dos tipos de

situaciones






Problema social o económico

Problema científicoEn estos:- El investigador quiere aceptar H0. - La “sociedad” debe preocuparse por controlar el error Tipo II- El investigador debe preocuparse MUCHO por el error Tipo I- Tamaños de muestras muy altos “perjudican” al investigador. - Si hay demasiada potencia la hipótesis será rechazada aunque

los datos se ajusten perfectamente.

Pruebas de Hipótesis deApoyo por aceptación

(Accept-support)

Error de tipo I Error de tipo II(falso positivo) (falso negativo)

Si se mantiene el alfa MUY bajo (lo recomendado en el otro caso) se “ayuda”

falsamente a lograr el objetivo.



¿Qué tamaño de muestra necesito para tener una potencia dada?

¿Qué tamaño de muestra necesito para detectar un tamaño de efecto dado?

¿Con solo estas muestras qué efecto podría detectar?


Ejemplo de cálculo de potencia:Un determinado autor quiso comprobar que un receptor adrenérgico (A2) está alterado en las plaquetas de las personas con hipertensión. Los resultados que obtuvo fueron:

Prueba t: p>0,05

(Clinical Science 64:265-272, 1983)

Medias casi idénticas:

Conclusión: no existe tal alteración en los receptores.


250 260240 270

¿CUAL ERA LA POTENCIA DE ESTE ESTUDIO PARA DETECTAR UNA DIFERENCIA, SI ESTA HUBIERA EXISTIDO?

Depende de cuán grande fuera esta diferencia

Ejemplo de cálculo de potencia a posteriori:

257 263Media 1 Media 2

Asumiendo la diferencia observada…

≠ 6

± 59,4 ± 86,6


¿CUAL ERA LA POTENCIA DE ESTE ESTUDIO PARA DETECTAR UNA DIFERENCIA, SI ESTA EXISTIERA?

Ejemplo de cálculo de potencia a posteriori:


Familia de pruebas-Exactas-Pruebas F-Pruebas t-Pruebas X2

-Pruebas Z


Tipo de prueba

Pruebas FANOVA de CS, efecto fijoANOVA de CD, efecto fijoANOVA de medidas repetidas (varias)Prueba T2 de HotellingsMANOVA (varios)Regresiones múltiplesComparaciones de varianzas

Pruebas ExactasCorrelación: diferencia con una constanteProporciones: - Diferencia con una constante (prueba binomial)- Diferencias entre grupos (prueba de McNemar)Prueba de Fisher Prueba de los signos

Pruebas tComparación de correlacionest de datos independientest de datos pareadost de un solo casoPruebas X2Tablas de contingenciaComparación de varianzasPruebas ZComparación entre dos r2Comparación entre proporciones


Tipo de análisis de potencia

A priori: Calcular n; dadas: alfa, potencia y tamaño de efecto

Compromiso: calcular alfa implicada & potencia, dadas: tasa beta/alfa, n y tamaño de efecto

Criterio: calcular alfa, dadas: potencia, tamaño de efecto y n

Post hoc: calcular potencia alcanzada, dadas: alfa, n y tamaño de efecto

Sensitividad: calcular tamaño de efecto, dadas: alfa, potencia y n


Número de colasTamaño de efectoAlfan1n2

Parámetros de entrada


Potencia: 7,9 %


Ejemplo de cálculo de potencia a posteriori:Un determinado autor quiso comprobar que un receptor adrenérgico (A2) está alterado en las plaquetas de las personas con hipertensión. Los resultados que obtuvo fueron:

Conclusión: no existe tal alteración en los receptores.

¿Potencia: 7,9 %?

La conclusión negativa (de no diferencia) no es sólida


Alfa

Análisis de potencia “inteligente”

Potencia actual Relación potencia con

nTamaño de

efecto

¿Potencia: 7,9 %?

Por ejemplo:

El investigador puede graficar la potencia contra la n, asumiendo que el valor verdadero es uno dado (ej.: 55% de una proporción binomial).

El gráfico demuestra que se alcanza una potencia aceptable (entre 0,80 y 0,90) a muestras de tamaño 600.

Pero esto es asumiendo que la proporción real es la dada. ¿Y si no fuera así? ¿Y si fuera 0,6%?

Se calcula para esta nueva proporción:

Mensaje:

En la planificación de un estudio uno debe estimar cual sería el tamaño de efecto

mínimo razonable que uno quiere detectar, la potencia mínima para detectarlo y la n

que permitiría alcanzarlo.


Eje Y

Eje X

-Potencia-Alfa-n-Tamaño de efecto


Todos los estudios tiene bajas potencias para detectar pequeñas diferencias y altas potencias para detectar

grandes diferencias, pero …¿como se define si es baja o alta?

Rta.:/ Depende del investigador y del contexto de la investigación.

La mayoría de los autores consideran como buenas potencias entre el 80-90%.


Otro ejemplo :

Potencias(Hip. de 2 colas)Ho: M1=M2, H1=M1<>M2

17 %8 %

83 %17 %

39 %33 %

11 %

41 %

Denis, D.; L. Mugica y M. Acosta (2000): Morfometría y alimentación del Aguaitacaimán (Butorides virescens) en las arroceras del Sur del Jíbaro. Biología 14(2): 133-140

Conclusión: NO hay dimorfismo sexual, excepto en el largo del pico


µo xxr

µ1 x

µo xr

µ1

A menor diferencia entre las medias…

…mayor es β…

…y menor la potencia de la prueba.Cuando las medias a comparar están más cercanos entre sí existe mayor probabilidad de aceptar una

igualdad que es irreal.

¿De que depende la potencia de una prueba?

• Del tamaño de efecto


• Del tamaño de muestra

N1N2 N3

N1 > N2 > N3

…ya que el error estándar de la media aumenta al disminuir el tamaño de la muestra…




H0: µ1=µ2

Para una hipótesis nula: H1: µ1≠µ2

H1: µ1<µ2

Cuando hay diferencias esperables en cualquier dirección…

0.025 0.025

… se denomina Hipótesis de “dos colas”

…podemos sugerir dos tipos de hipótesis alternativas:

si la diferencia es esperable en una dirección

0.05

… se llama Hipótesis de “una cola”




• De la hipótesis alternativa propuesta

En las pruebas de “una cola” la potencia es

mayor


Potencias(Hip. de 2 colas)Ho: M1=M2, H1=M1<>M2

17 %8 %

83 %17 %

39 %33 %

11 %

41 %

(Hip. de 1 cola)Ho: M1<M2, H1=M1>M2

TRUETRUETRUETRUE

TRUETRUETRUE

TRUE





• De la hipótesis alternativa que nos hallamos propuesto

• Del tipo de prueba (paramétrica vs no paramétrica)


¿Y las pruebas no paramétricas?

“Power can be calculated for non-parametric tests using Monte Carlo simulation methods.”

…o utilizando la razón potencia/eficiencia de las pruebas en relación a su contraparte paramétrica.

“Even the ‘bible’ of power analysis (Cohen, 1988) does not describe how to assess nonparametric power.”


Recomendaciones para disminuir el error de tipo II: Incrementar el tamaño de la muestra. Estimar el poder estadístico del estudio. Incrementar el tamaño del efecto a detectar. Incrementar el valor de alfa. Utilizar pruebas paramétricas (más potentes) en lugar de pruebas no paramétricas.

¡Hay que estimular el cálculo de la ¡Hay que estimular el cálculo de la potencia de las pruebas en todos los potencia de las pruebas en todos los

análisis estadísticos!análisis estadísticos!


¿Cómo se calcula la potencia?Cada prueba tiene una formulación diferente

para calcular la potencia.


¿Cómo se calcula la potencia?Por ejemplo: para la prueba t de Student la fórmula es:

…donde ٧: grados de libertad

La Potencia de las Pruebas depende de: a) el valor críticob) N (Tamaño de la muestra)

c) Variabilidad intrínseca de los datosd) Tamaño del efecto (diferencia entre las medias de la Ho y H1)

Recordemos…

,2,1 t

nS

tx


¿Cómo se calcula la potencia?Por ejemplo: para la prueba t de Student la fórmula es:

…donde ٧: grados de libertad

,2,1 t

nS

tx

¿Cuáles son los tamaños del efecto δ en estas pruebas?:

Para estos calculos necesito a δ (tamaño del efecto) que es diferente para cada tipo de prueba…


Tamaño de efecto¿Por qué, para qué y cómo?


Tamaño de efecto:magnitud de ese efecto que se está probando.

Ejemplo: - Comparación de medias: diferencia entre ellas

- Correlación: grado de relación (R2)

PERO: Como las diferencias absolutas no pueden ser comparadas entre estudios (diferentes n, varianzas, etc.) se ponderan los

valores medios por sus respectivas variabilidades, con lo que se obtiene una medida adimensional.

(Propuesto por Cohen (1977)… base del Meta-análisis)


Tamaño de efecto:magnitud de ese efecto que se está probando.

CADA tipo de análisis tiene su propia forma de calcular el tamaño del efecto

Valores “cualitativos”: EFECTOPrueba δ (Índice) pequeño medio grande

t de Student d 0.20 0.50 0.80t para correlaciones r 0.10 0.30 0.50F (ANOVAs) f 0.10 0.25 0.40X2 e 0.10 0.30 0.50

(Escala de Cohen)


Tamaño de muestraCálculo del tamaño de muestra


Tamaño de muestra:¿Cómo calculo el tamaño de muestra óptimo

para mi estudio?

Pasos generales para estimar tamaños de muestra: 1. Decidir el nivel de precisión que se quiere

2. Encontrar alguna ecuación que conecte el tamaño de muestra (n) con la precisión de la media

3. Estimar o asumir los parámetros desconocidos de la población que se necesitan en la ecuacióna) Por un muestreo previo de una población similar b) Por los resultados de un estudio piloto c) Asumiéndolos d) Por muestreos en etapas


• Depende dela variabilidad natural de los datos

la precisión que se desea


para mi estudio?

la potencia que se desea



para mi estudio?


Tamaño de muestra:

Conteos

…de una distribución Binomial Negativa

…de una distribución de Poisson

…de una distribución Binomial

Para variables contínuas

De una distribución normal

Para variables discretas


Tamaño de muestra:



Intervalos de confianza para una variable normal:

Donde:

Se escribe como:

1,96


Si voy a obtener: X ± D D: precisión

X ± 1,96*ESx

X ± 1,96*DS/√n

n = (1.96)2DS2/D2

… si:

Ej.: D= 0,1 mm D= 20 indiv. D= 10 % de la media

DS: se busca en un muestreo exploratorio

Tamaño de muestra:




Ejemplo: 1- Tamaño de muestra para medir peso de una población X de infantes.

Tamaño de muestra:



Quiero saber que n debo tener para medir, con una precisión del 5 % de la media, el peso.

La bibliografía dice que la media generalmente es de alrededor de 10,205 kg y la variabilidad de 2,023 mm.

n = (1,96)2σ2/D2

n = (1,96)2(0,023)2/(0,05*0,205)2

n = 60,39 n = 61 infantes (Mínimo)


Determinación del tamaño de muestra requerido para una comparación:Se requiere de un estimado inicial de la variabilidad de las

muestras y luego se utiliza la siguiente fórmula:

n> 2(T/d)2(tα[v]+ t2(1-p)(v))2

Donde: T= DSreal

…y:d= menor diferencia deseada a detectar

Lo importante es la razón T/d, no sus valores absolutos.

Tamaño de muestra:




Tamaño de muestra:



Quiero estudiar el peso en 4 poblaciones de niños, comparando con un ANOVA.

¿Cuantas medidas debo tener para, con una certeza del 80 %, detectar una diferencia con una magnitud del 5 %

de las medias para un 1 % de significación?

Ejemplo:


Respuesta: Datos: α = 0,01 (significación que quiero)

p = 0,8 (Probabilidad de certeza que quiero tener)

Tomando una pequeña muestra para hacer un estimado de la variabilidad real, Ej.: 20 niños y calculo que la variabilidad es del 6 % (DS).

Tamaño de muestra:



…como deseo detectar una diferencia del 5 % tengo: T/d=6/5

Aplico la fórmula: n> 2(6/5)2(t0.1(76)+t2(1-0.8)(76))2

n>35,1


Tamaño de muestra:



Estas fórmulas asumen poblaciones infinitas, pero si ésta es pequeña, se corrige la n:


Tamaño de muestra:




Tamaño de muestra:



Binomial Negativa Poisson Binomial

• Valor medio esperado (x)• Exponente de la binomial (k)• Nivel de error deseado (r, en %)• Alfa

Ejemplo: Afectaciones en hojas

X= 3,46k= 2,65r= ± 15 %Alfa= 0,05


Tamaño de muestra:



Binomial Negativa Poisson Binomial(varianza es igual a la media)

Ejemplo: Contando huevos de nidos de Tordos: • Se sabe que siguen Poisson • El tamaño de puesta medio es de 6,0• Deseo una precisión de ± 5 %


Tamaño de muestra:



Binomial Negativa Poisson Binomial(proporciones o tasas)

p ± 1,96*Sx… si:

Distribución con solo 2 parámetros:p= proporción de A en la población

q=1-p: proporción de B en la población


Programas que se emplean para Programas que se emplean para estos cálculos de la potencia y estos cálculos de la potencia y tamaño de muestratamaño de muestra


Cálculo de potencia

Cálculo del tamaño de muestra Conjunto

de pruebas

(versión 7 o sup.)



Medias

Tamaños de muestra

Nivel de significación

Desviación estándar

poblacionalTipo de

prueba (colas)

(versión 7 o sup.)



(versión 7 o sup.)

Programas que se emplean para Programas que se emplean para estos cálculos de la potencia y estos cálculos de la potencia y tamaño de muestratamaño de muestra (versión 7 o sup.)



estadísticaEstimación de

tamaño de muestra

Estimación de tamaño de

efecto y sus intervalos de

confianza

Hay que estimular el cálculo Hay que estimular el cálculo de la potencia estadísticade la potencia estadística

conf. 1. potencia estadística y tamaños de muestra

Education