duflo (j-pal) y jed friedman - world...

36
REGIONAL IMPACT EVALUATION WORKSHOP Evaluating the Impact of Development Programs: Turning Promises into Evidence Lima, Enero 2009 Planificación del tamaño de la muestra para las evaluaciones de impactos David Evans, Banco Mundial Basada en transparencias de Esther Duflo (J-PAL) y Jed Friedman (Banco Mundial)

Upload: others

Post on 26-Sep-2020

2 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Duflo (J-PAL) y Jed Friedman - World Bankpubdocs.worldbank.org/en/938301526067788218/15-Sampling... · El cálculo de la potencia Cuando planea una evaluación, con un as investigaciones

REG

ION

AL

IMPA

CT

EVA

LUA

TIO

N W

OR

KSH

OP

Eval

uatin

g th

e Im

pact

of D

evel

opm

ent P

rogr

ams:

Tu

rnin

g Pr

omis

es in

to E

vide

nce

Lim

a,En

ero

2009

Plan

ifica

ción

del

tam

año

de la

mue

stra

pa

ra la

s ev

alua

cion

es d

e im

pact

os

Dav

id E

vans

,Ban

co M

undi

alB

asad

a en

tran

spar

enci

as d

e Es

ther

Duf

lo (J

-PA

L) y

Jed

Fri

edm

an

(Ban

co M

undi

al)

Page 2: Duflo (J-PAL) y Jed Friedman - World Bankpubdocs.worldbank.org/en/938301526067788218/15-Sampling... · El cálculo de la potencia Cuando planea una evaluación, con un as investigaciones

El ta

mañ

o de

la m

uest

ra p

ara

las

eval

uaci

ones

de

impa

ctos

Preg

unta

gen

eral

¿De

qué

tam

año

tiene

que

ser

la m

uest

ra p

ara

dete

ctar

un

impa

cto

de c

iert

o ta

mañ

o?

¿Qué

quie

re d

ecir

«det

ecta

r»aq

ui?

La d

ifere

ncia

es

debi

da a

l pro

gram

a (y

no

al ru

ido)

La a

leat

oriz

ació

n qu

ita lo

s se

sgos

pero

no

quita

el

ruid

o: F

unci

ona

por l

a le

y de

los

gran

des

núm

eros

…¿Q

uéta

n gr

ande

tien

e qu

e se

r la

mue

stra

?

Page 3: Duflo (J-PAL) y Jed Friedman - World Bankpubdocs.worldbank.org/en/938301526067788218/15-Sampling... · El cálculo de la potencia Cuando planea una evaluación, con un as investigaciones

¿Qué

tan

gran

de?

¿2 p

erso

nas

sele

ccio

nada

s de

una

form

a al

eato

ria?

¿10

pers

onas

?

¡Muc

has

pers

onas

! ¿Cu

ánta

s so

n m

ucha

s?

TC

TC

CT

Page 4: Duflo (J-PAL) y Jed Friedman - World Bankpubdocs.worldbank.org/en/938301526067788218/15-Sampling... · El cálculo de la potencia Cuando planea una evaluación, con un as investigaciones

Org

aniz

ació

n bá

sica

Al f

inal

del

exp

erim

ento

, com

para

mos

el r

esul

tado

de

inte

rés

en lo

s gr

upos

de

trat

amie

nto

y de

con

trol

Nos

inte

resa

la d

ifere

ncia

:Pr

omed

io d

el g

rupo

de

trat

amie

nto

–Pr

omed

io d

el g

rupo

con

trol

_

Ta

mañ

o de

l efe

cto

Por e

jem

plo In

gres

o pr

omed

io d

e ho

gare

s qu

e re

cibe

n CC

Ts–

Ingr

eso

prom

edio

de

hoga

res

que

no re

cibe

n CC

TsTa

mañ

o de

l efe

cto

Page 5: Duflo (J-PAL) y Jed Friedman - World Bankpubdocs.worldbank.org/en/938301526067788218/15-Sampling... · El cálculo de la potencia Cuando planea una evaluación, con un as investigaciones

La e

stim

ació

n

No

tene

mos

suf

icie

nte

dine

ro c

omo

para

obs

erva

r tod

a lo

s ho

gare

s si

no u

na m

uest

ra (n

i lo

tene

mos

que

hac

er).

En c

ada

hoga

r de

la m

uest

ra, h

ay c

iert

o ni

vel d

e in

gres

o. P

uede

esta

r más

cer

ca o

más

lejo

s de

l pro

med

io d

e to

da la

po

blac

ión,

com

o fu

nció

n de

los

otro

s fa

ctor

es q

ue a

fect

an e

l in

gres

o.

Infe

rimos

el i

ngre

so p

rom

edio

en

la p

obla

ción

util

izan

do e

l pr

omed

io e

n la

mue

stra

.

Si te

nem

os m

uy p

ocos

hog

ares

, los

pro

med

ios

esta

rán

impr

ecis

os.

Si n

o ve

mos

dife

renc

ias

entr

e el

pro

med

io d

el

grup

o de

trat

amie

nto

y de

con

trol

, no

sabe

mos

si n

o ha

y ef

ecto

o s

i no

hay

pote

ncia

de

dete

ctar

el e

fect

o.

Page 6: Duflo (J-PAL) y Jed Friedman - World Bankpubdocs.worldbank.org/en/938301526067788218/15-Sampling... · El cálculo de la potencia Cuando planea una evaluación, con un as investigaciones

La v

aria

bilid

ad e

n el

resu

ltad

o qu

e m

edim

os

Si e

l res

ulta

do v

aría

muc

ho d

entr

o de

l gru

po d

e tr

atam

ient

o y

de c

ontr

ol, s

erá

difíc

il de

cir s

i fue

el t

rata

mie

nto

que

lo

cam

bió

012345678 value333741454953576165697377818589

Number

Frequency

mea

n 50

mea

n 60

Page 7: Duflo (J-PAL) y Jed Friedman - World Bankpubdocs.worldbank.org/en/938301526067788218/15-Sampling... · El cálculo de la potencia Cuando planea una evaluación, con un as investigaciones

La v

aria

bilid

ad e

n el

resu

ltad

o qu

e m

edim

os

Si e

l res

ulta

do v

aría

poc

o de

ntro

de

los

grup

os, e

s m

ás fá

cil

deci

r que

fue

el tr

atam

ient

o

0510152025

value

33

37

41

45

49

53

57

61

65

69

73

77

81

85

89

Number

Frequency

mea

n 50

mea

n 60

Page 8: Duflo (J-PAL) y Jed Friedman - World Bankpubdocs.worldbank.org/en/938301526067788218/15-Sampling... · El cálculo de la potencia Cuando planea una evaluación, con un as investigaciones

El e

rror

est

ánda

r

El e

rror

est

ánda

r de

la e

stim

ació

n en

la m

uest

ra

capt

a el

tam

año

de la

mue

stra

y la

var

iabi

lidad

del

re

sulta

do

con

una

mue

stra

peq

ueña

con

un re

sulta

do m

uy v

aria

ble

Un

inte

rval

o de

con

fianz

a de

95%

par

a un

efe

cto

nos

dice

que

, par

a 95

% d

e la

s m

uest

ras

que

podr

íam

os

saca

r de

la m

ism

a po

blac

ión,

el e

fect

o es

timad

o ca

ería

en

este

inté

rval

o.estándares

errores

efecto

confianza

deIntervalo

=

Page 9: Duflo (J-PAL) y Jed Friedman - World Bankpubdocs.worldbank.org/en/938301526067788218/15-Sampling... · El cálculo de la potencia Cuando planea una evaluación, con un as investigaciones

Doc

imas

ia d

e H

ipót

esis

A m

enud

o no

s in

tere

sa p

roba

r el h

ipót

esis

que

el

tam

año

del e

fect

o es

igua

l a c

ero

(o s

ea, ¿

mi

prog

ram

a no

tien

e ni

ngún

efe

cto?

¡esp

eram

os q

ue

no!)

Que

rem

os p

roba

r:

Cont

ra:

0

Efec

to :

=o

H

0

Efec

to :

a≠

H

Page 10: Duflo (J-PAL) y Jed Friedman - World Bankpubdocs.worldbank.org/en/938301526067788218/15-Sampling... · El cálculo de la potencia Cuando planea una evaluación, con un as investigaciones

Dos

tipo

s de

err

ores

-I

Prim

er ti

po d

e er

ror:

Conc

luim

os q

ue h

ay u

n ef

ecto

cu

ando

en

verd

ad n

o ha

y ef

ecto

.

El n

ivel

de la

pru

eba

es la

pro

babi

lidad

que

fals

amen

te

conc

luirá

que

el p

rogr

ama

tiene

un

efec

to c

uand

o en

ve

rdad

no

lo ti

ene.

Asi

que

con

un

nive

l de

5%, p

odem

os te

ner c

onfia

nza

de

95%

en

la c

oncl

usió

n qu

e el

pro

gram

a tu

vo u

n ef

ecto

Para

la p

olíti

ca, q

uere

mos

tene

r muc

ha c

onfia

nza

en e

l im

pact

o es

timad

o: a

si q

ue p

onem

os e

l niv

el b

ajo.

Niv

eles

com

unes

: 5%

, 10%

, 1%

Page 11: Duflo (J-PAL) y Jed Friedman - World Bankpubdocs.worldbank.org/en/938301526067788218/15-Sampling... · El cálculo de la potencia Cuando planea una evaluación, con un as investigaciones

La re

laci

ón c

on in

térv

alos

de

conf

ianz

a

Si c

ero

no e

stá

en e

l int

érva

lo d

e 95

% d

el ta

mañ

o de

l ef

ecto

, pod

emos

tene

r 95%

cer

teza

que

el e

fect

o no

es

cer

o (a

si q

ue h

ay u

n ef

ecto

).

Asi

que

la re

gla

gene

ral e

s qu

e si

el t

amañ

o de

l ef

ecto

es

más

del

dob

le d

el e

rror

est

anda

r, p

uede

co

nclu

ir co

n m

ás d

e 95

% c

erte

za q

ue e

l pro

gram

a tu

vo u

n ef

ecto

.

Page 12: Duflo (J-PAL) y Jed Friedman - World Bankpubdocs.worldbank.org/en/938301526067788218/15-Sampling... · El cálculo de la potencia Cuando planea una evaluación, con un as investigaciones

Dos

tipo

s de

err

ores

-II

Segu

ndo

tipo

de e

rror

:no

pien

sas

que

el p

rogr

ama

no

tuvo

nin

gún

efec

to c

uand

o en

ver

dad

tuvo

efe

cto.

La p

oten

cia

de la

pru

eba

es la

pro

babi

lidad

de

enco

ntra

r un

efec

to e

n el

exp

erim

ento

si e

n ve

rdad

ha

y un

efe

cto:

más

pot

enci

a es

mej

or p

orqu

e es

más

pr

obab

le q

ue e

ncue

ntre

un

efec

to)

La p

oten

cia

es u

na h

erra

mie

nta

de p

lani

ficac

ión.

N

os d

ice

la p

roba

bilid

ad d

e qu

e va

yam

os a

id

entif

icar

un

efec

to s

igni

fican

te c

on d

ado

tam

año

de m

uest

ra y

de

efec

to.

Page 13: Duflo (J-PAL) y Jed Friedman - World Bankpubdocs.worldbank.org/en/938301526067788218/15-Sampling... · El cálculo de la potencia Cuando planea una evaluación, con un as investigaciones

El c

álcu

lo d

e la

pot

enci

a

Cuan

do p

lane

a un

a ev

alua

ción

, con

una

s in

vest

igac

ione

s pr

elim

inar

ias,

po

dem

os c

alcu

lar l

a m

ínim

a m

uest

ra n

eces

aria

par

a:

Pone

r a p

rueb

a un

hip

ótes

is: e

l efe

cto

del p

rogr

ama

fue

cero

o n

o ce

ro

Con

un n

ivel

esp

ecifi

cado

de

ante

man

o (p

ej 5

%)

Con

un ta

mañ

o de

efe

cto

espe

cific

ado

de a

ntem

ano

(lo q

ue p

iens

as

que

el p

rogr

ama

hará

)

Para

logr

ar c

iert

a po

tenc

ia

Una

pot

enci

a de

80%

nos

dic

e qu

e,en

80%

de

los

expe

rimen

tos

de e

ste

tam

año

de m

uest

ra c

ondu

cido

s co

n es

ta p

obla

ción

, si d

e ve

rdad

hay

un

efec

to e

n la

pob

laci

ón, p

odre

mos

dec

ir qu

e ha

y un

efe

ct e

n nu

estr

a m

uest

ra c

on e

l des

eado

niv

el d

e co

nfia

nza.

Más

gra

nde

la m

uest

ra, m

ás g

rand

e la

pot

enci

a.

Niv

eles

com

unes

de

pote

ncia

:80%

, 90%

Page 14: Duflo (J-PAL) y Jed Friedman - World Bankpubdocs.worldbank.org/en/938301526067788218/15-Sampling... · El cálculo de la potencia Cuando planea una evaluación, con un as investigaciones

Ingr

edie

ntes

par

a el

cál

culo

de

pote

ncia

en

un e

stud

io s

enci

llo

Lo q

ue re

quer

imos

Don

de lo

enc

ontr

amos

Niv

el d

e si

gnifi

canc

iaEs

to a

men

udo

se p

one

a 5%

por

co

nven

ción

.M

ás b

ajo

que

sea,

más

gr

ande

tien

e qu

e es

tar l

a m

uest

ra.

El p

rom

edio

y la

var

iabi

lidad

del

re

sulta

do e

n el

gru

po c

ontr

ol-D

e en

cues

tas

ante

riore

s en

co

ntex

tos

pare

cido

s-M

ás g

rand

e qu

e se

a la

var

iabi

lidad

, m

ás g

rand

e la

mue

stra

El ta

mañ

o de

efe

cto

que

quer

emos

pe

rcib

ir¿Q

uées

el e

fect

o m

ás c

hico

que

m

otiv

aría

un

cam

bio

de p

olíti

ca?

Más

chi

co e

l tam

año

de e

fect

o qu

e qu

erem

os p

erci

bir,

más

gra

nde

la

mue

stra

que

requ

erem

os

Page 15: Duflo (J-PAL) y Jed Friedman - World Bankpubdocs.worldbank.org/en/938301526067788218/15-Sampling... · El cálculo de la potencia Cuando planea una evaluación, con un as investigaciones

Esco

ger u

n ta

mañ

o de

ef

ecto

¿Cuá

l es

el e

fect

o m

ás p

eque

ño q

ue ju

stifi

caría

la a

dopc

ión

del p

rogr

ama:

Cost

o de

est

e pr

ogra

ma

vs lo

s be

nefic

ios

que

trae

Cost

o de

est

e pr

ogra

ma

vs e

l uso

alte

rnat

ivo

del d

iner

o

Si e

l efe

cto

es m

ás c

hico

que

est

o, p

ara

noso

tros

es

lo m

ism

o qu

e se

r cer

o:no

nos

inte

resa

com

prob

ar q

ue u

n ef

ecto

muy

pe

queñ

ito e

s di

stin

to q

ue c

ero

Por o

tro

lado

, cua

lqui

er e

fect

o m

ás g

rand

e qu

e aq

uel e

fect

o ju

stifi

caría

ado

ptar

el p

rogr

ama:

que

rem

os p

oder

dis

tingu

irlo

de c

ero

Pelig

ro c

omún

: esc

oger

un

tam

año

de e

fect

o qu

e se

a de

mas

iado

opt

imís

tico

–el

tam

año

de m

uest

ra p

uede

ser

de

mas

iado

baj

o!

Page 16: Duflo (J-PAL) y Jed Friedman - World Bankpubdocs.worldbank.org/en/938301526067788218/15-Sampling... · El cálculo de la potencia Cuando planea una evaluación, con un as investigaciones

Los

tam

años

de

efec

to

esta

ndar

diza

do

El ta

mañ

o de

efe

cto

que

pued

es d

etec

tar c

on c

iert

a m

uest

ra

depe

nde

de q

ue ta

n va

riabl

es s

on lo

s re

sulta

dos.

Ejem

plo:

Si to

dos

los

niño

s tie

nen

nive

les

de a

pren

diza

je

muy

par

ecid

os s

in e

l pro

gram

a, u

n im

pact

o m

uy p

eque

ño

será

fáci

l de

dete

ctar

La d

evia

ción

est

ánda

r cap

ta la

var

iabi

lidad

del

resu

ltado

.M

ás v

aria

bilid

ad

una

devi

ació

n es

tánd

ar m

ás a

ltaEl

tam

año

de e

fect

o es

tand

ardi

zado

es

el ta

mañ

o de

l efe

cto

divi

dido

por

la d

evia

ción

est

ánda

r del

resu

ltado

d =

tam

año

del e

fect

o / d

evia

ción

est

ánda

rTa

mañ

os c

omún

es d

e ef

ecto

s:d=

0,20

(chi

co),

d =

0,40

(med

iano

), d

=0,

50 (g

rand

e)

Page 17: Duflo (J-PAL) y Jed Friedman - World Bankpubdocs.worldbank.org/en/938301526067788218/15-Sampling... · El cálculo de la potencia Cuando planea una evaluación, con un as investigaciones

Los

fact

ores

del

dis

eño

que

influ

yen

la p

oten

cia

El n

ivel

de

la a

leat

oriz

ació

n

La d

ispo

nilid

ad d

e un

a lín

ea d

e ba

se (e

ncue

sta

inic

ial)

La d

ispo

nilid

ad d

e va

riabl

es c

ontr

ol y

de

estr

atifi

caci

ón.

El ti

po d

e hi

póte

sis

que

se q

uier

e po

ner a

pru

eba

Page 18: Duflo (J-PAL) y Jed Friedman - World Bankpubdocs.worldbank.org/en/938301526067788218/15-Sampling... · El cálculo de la potencia Cuando planea una evaluación, con un as investigaciones

El n

ivel

de

alea

tori

zaci

ónEl

dis

eño

«clu

ster

»

Los

expe

rimen

tos

alea

toriz

ados

«cl

uste

r»so

n ex

perim

ento

s en

qu

e ci

erta

s un

idad

ed (o

gru

pos)

est

án a

sign

ados

a lo

s gr

upos

de

trat

amie

nto

y co

ntro

l, no

los

indi

vidu

os

Ejem

plos

:

Tran

fere

ncia

s m

onet

aria

s co

ndic

iona

les

(CCT

s)Pu

eblo

s

Dis

trib

ució

n de

m

osqu

itero

sD

ispe

nsas

de

salu

d

Trat

amie

nto

por m

alar

iaEs

cuel

as

Supl

emen

taci

ón c

on h

ierr

oFa

mili

a

Page 19: Duflo (J-PAL) y Jed Friedman - World Bankpubdocs.worldbank.org/en/938301526067788218/15-Sampling... · El cálculo de la potencia Cuando planea una evaluación, con un as investigaciones

Raz

ones

por

ado

ptar

la

alea

tori

zaci

ón «

clus

ter»

La n

eces

idad

de

min

imiz

ar o

qui

tar l

a co

ntam

inac

ión

Ejem

plo:

En

el p

rogr

am d

e qu

itar l

os p

arás

itos,

se

esco

gía

las

escu

elas

por

que

los

pará

sito

s so

n co

ntag

ioso

s

La v

iabi

lidad

Ejem

plo:

El p

rogr

ama

PRO

GRE

SAno

hub

iera

sid

o po

sibl

e po

lític

amen

te s

i una

s fa

mili

as p

obre

s pa

rtic

ipar

on y

otr

as

no e

n el

mis

mo

pueb

lo.

La ú

nica

pos

ibili

dad

razo

nabl

eEj

empl

o:Cu

alqu

ier i

nter

venc

ión

que

afec

ta u

na e

scue

la

ente

ra, c

omo

el e

ntre

nam

ient

o de

pro

feso

res.

Page 20: Duflo (J-PAL) y Jed Friedman - World Bankpubdocs.worldbank.org/en/938301526067788218/15-Sampling... · El cálculo de la potencia Cuando planea una evaluación, con un as investigaciones

El im

pact

o de

«cl

uste

ring

»

Los

resu

ltado

s pa

ra to

dos

los

indi

vidu

os d

e un

gru

po

pued

en e

star

cor

rela

cion

ados

Todo

s de

un

pueb

lo re

cibe

n la

mis

ma

lluvi

a pa

ra s

u m

aiz

Todo

s lo

s pa

cien

tes

tiene

n el

mis

mo

méd

ico

Todo

s lo

s es

tudi

ante

s tie

nen

el m

ism

o di

rect

or d

e es

cuel

aEl

pro

gram

a af

ecta

todo

s lo

s es

tudi

ante

s a

la v

ezLo

s m

iem

bos

de u

n pu

eblo

se

rela

cion

an d

e dí

a en

día

El ta

mañ

o de

la m

uest

ra ti

ene

que

ser m

odifi

cado

po

r est

a co

rrel

ació

n

May

or c

orre

laci

ón e

ntre

los

resu

ltado

s M

ás

nece

sida

d de

am

plia

r la

mue

stra

Page 21: Duflo (J-PAL) y Jed Friedman - World Bankpubdocs.worldbank.org/en/938301526067788218/15-Sampling... · El cálculo de la potencia Cuando planea una evaluación, con un as investigaciones

Ejem

plo

del e

fect

o de

«cl

uste

ring

»N

úmer

o de

pue

blos

, par

a po

tenc

ia d

e 0.

80

____

____

____

____

____

____

____

____

____

Corr

elac

ión

Hog

ares

en

cada

pue

blo

Intr

a-pu

eblo

10

50

100

200

0.

00

2

37

5

4

0.02

25

10

8

8

0.

05

30

16

15

13

0.10

40

25

23

22

____

____

____

____

____

____

____

____

____

____

_

Page 22: Duflo (J-PAL) y Jed Friedman - World Bankpubdocs.worldbank.org/en/938301526067788218/15-Sampling... · El cálculo de la potencia Cuando planea una evaluación, con un as investigaciones

Impl

icac

ione

s

Es s

umam

ente

impo

rtan

te a

leat

oriz

ar u

n nú

mer

o ad

ecua

do d

e gr

upos

El n

úmer

o de

indi

vidu

os e

n lo

s gr

upos

impo

rta

men

os q

ue e

l núm

ero

de g

rupo

s

La le

y de

los

gran

des

núm

eros

apl

ica

solo

cua

ndo

el

num

ero

de g

rupo

sal

eato

rizad

os a

umen

ta

¡No

se p

uede

ale

ator

izar

al n

ivel

del

dis

trito

con

un

dist

rito

de tr

atam

ient

o y

uno

de c

ontr

ol! [

even

with

2,

000

hh p

er d

istr

ict

or 1

0 I 1

00 v

s 10

0 | 1

0]

Page 23: Duflo (J-PAL) y Jed Friedman - World Bankpubdocs.worldbank.org/en/938301526067788218/15-Sampling... · El cálculo de la potencia Cuando planea una evaluación, con un as investigaciones

Los

fact

ores

del

dis

eño

que

influ

yen

la p

oten

cia

El n

ivel

de

la a

leat

oriz

ació

n

La d

ispo

nilid

ad d

e un

a lín

ea d

e ba

se (e

ncue

sta

inic

ial)

La d

ispo

nilid

ad d

e va

riabl

es c

ontr

ol y

de

estr

atifi

caci

ón.

El ti

po d

e hi

póte

sis

que

se q

uier

e po

ner a

pru

eba

Page 24: Duflo (J-PAL) y Jed Friedman - World Bankpubdocs.worldbank.org/en/938301526067788218/15-Sampling... · El cálculo de la potencia Cuando planea una evaluación, con un as investigaciones

Dis

poni

bilid

ad d

e un

a lín

ea

de b

ase

Una

líne

a de

bas

e:Se

pue

de v

erifi

car s

i los

gru

pos

de tr

atam

ient

o y

cont

rol

eran

par

ecid

os o

dis

tinto

s an

tes

del t

rata

mie

nto

Se p

uede

redu

cir e

l tam

año

de la

mue

stra

, per

o re

quie

re q

ue

haga

una

enc

uest

a an

tes

de c

omen

zar e

l tra

tam

ient

o: e

l co

sto

de la

eva

luac

ión

y el

del

trat

amie

nto

Se p

uede

usa

r par

a es

trat

ifica

r y fo

rmar

sub

-gru

pos

Para

com

puta

r pot

enci

a co

n un

a lín

ea d

e ba

se:

Nec

esita

s sa

ber l

a co

rrel

ació

n en

tre

dos

med

idas

su

bsig

uien

tes

del r

esul

tado

(p e

j: el

con

sum

o m

edid

o en

dos

os).

Más

gra

nde

la c

orre

laci

ón, m

ás s

e au

men

ta la

pot

enci

a.H

ay g

anan

cias

muy

gra

ndes

par

a re

sulta

dos

muy

con

tinuo

s co

mo

PMO

.

Page 25: Duflo (J-PAL) y Jed Friedman - World Bankpubdocs.worldbank.org/en/938301526067788218/15-Sampling... · El cálculo de la potencia Cuando planea una evaluación, con un as investigaciones

Los

fact

ores

del

dis

eño

que

influ

yen

la p

oten

cia

El n

ivel

de

la a

leat

oriz

ació

n

La d

ispo

nilid

ad d

e un

a lín

ea d

e ba

se (e

ncue

sta

inic

ial)

La d

ispo

nilid

ad d

e va

riabl

es c

ontr

ol y

de

estr

atifi

caci

ón

El ti

po d

e hi

póte

sis

que

se q

uier

e po

ner a

pru

eba

Page 26: Duflo (J-PAL) y Jed Friedman - World Bankpubdocs.worldbank.org/en/938301526067788218/15-Sampling... · El cálculo de la potencia Cuando planea una evaluación, con un as investigaciones

Var

iabl

es C

ontr

ol

Si te

nem

os m

ás v

aria

bles

per

tinen

tes

(p. e

j. po

blac

ión

del p

uebl

o, e

l dis

trito

del

pue

blo)

, po

dem

os c

ontr

olar

por

su

efec

to

Lo q

ue im

port

a pa

ra la

pot

enci

a es

la v

aria

ción

que

qu

eda

desp

ués

de c

ontr

olar

por

est

as v

aria

bles

Si lo

s va

riabl

es c

ontr

ol e

xplic

an m

ucha

de

la

varia

bilid

ad, l

a pr

ecis

ión

aum

enta

y la

mue

stra

re

quer

ida

baja

.

Adv

erte

ncia

: las

var

iabl

es c

ontr

ol s

olo

pued

en

incl

uir l

as v

aria

bles

no

influ

idas

por

el t

rata

men

to:

las

que

fuer

on c

olec

cion

adas

ant

es d

el tr

atam

ient

o.

Page 27: Duflo (J-PAL) y Jed Friedman - World Bankpubdocs.worldbank.org/en/938301526067788218/15-Sampling... · El cálculo de la potencia Cuando planea una evaluación, con un as investigaciones

La m

uest

ras

estr

atifi

cada

s

La e

stra

tific

ació

n: c

rea

BLO

QU

ES s

egún

los

varia

bles

co

ntro

l y a

leat

oriz

a el

trat

amie

nto

entr

e ca

da b

loqu

eLa

est

ratif

icac

ión

aseg

ura

que

los

grup

os d

e tr

atam

ient

o y

de c

ontr

ol e

stán

bal

ance

ados

con

resp

ecto

a a

quel

las

varia

bles

con

trol

.Re

duce

la v

aria

bilid

ad p

or d

os ra

zone

s:Re

duce

la v

aria

bilid

ad d

el re

sulta

do d

e in

teré

s en

cad

a es

trat

oLa

cor

rela

ción

de

indi

vidu

os d

entr

o de

gru

pos.

Ejem

plo:

si q

uier

e es

trat

ifica

r por

dis

trito

par

a un

pr

ogra

ma

de a

gric

ultu

raSe

con

trol

a po

r con

dici

ones

clim

átic

asEl

efe

cto

com

ún d

entr

o de

cad

a di

strit

o de

sapa

rece

.

Page 28: Duflo (J-PAL) y Jed Friedman - World Bankpubdocs.worldbank.org/en/938301526067788218/15-Sampling... · El cálculo de la potencia Cuando planea una evaluación, con un as investigaciones

Los

fact

ores

del

dis

eño

que

influ

yen

la p

oten

cia

El n

ivel

del

ale

ator

izac

ión

La d

ispo

nilid

ad d

e un

a lín

ea d

e ba

se

La d

ispo

nilid

ad d

e va

riabl

es c

ontr

ol y

de

estr

atifi

caci

ón

El ti

po d

e hi

póte

sis

que

se q

uier

e po

ner a

pr

ueba

Page 29: Duflo (J-PAL) y Jed Friedman - World Bankpubdocs.worldbank.org/en/938301526067788218/15-Sampling... · El cálculo de la potencia Cuando planea una evaluación, con un as investigaciones

El h

ipót

esis

que

se

pone

a

prue

ba

Le in

tere

sa la

dife

renc

ia e

ntre

dos

tr

atam

ient

os a

dem

ás d

e la

dife

renc

ia e

ntre

tr

atam

ient

o y

cont

rol?

Le in

tere

sa la

inte

racc

ión

entr

e lo

s tr

atam

ient

os?

Le in

tere

sa p

oner

a p

rueb

a si

el e

fect

o es

di

stin

to e

ntre

sub

-pob

laci

ones

dis

tinta

s?El

dis

eño

solo

incl

uye

conf

orm

idad

par

cial

co

n el

trat

amie

nto?

Page 30: Duflo (J-PAL) y Jed Friedman - World Bankpubdocs.worldbank.org/en/938301526067788218/15-Sampling... · El cálculo de la potencia Cuando planea una evaluación, con un as investigaciones

¡Par

a re

cord

ar!

El n

úmer

o de

gru

pos

impo

rta

muc

h m

ás q

ue

el n

úmer

o de

indi

vidu

osEs

cuel

as v

s es

tudi

ante

s, p

uebl

os v

s ho

gare

sD

os ti

pos

de e

rror

esTi

po I:

Pie

nsas

que

hay

efe

cto

cuan

do n

o lo

hay

ni

vel

Tipo

II: P

iens

as q

ue n

o ha

y ef

ecto

cua

ndo

lo h

ay

pote

ncia

Evita

r los

err

ores

requ

iere

una

mue

stra

su

ficie

nte

el c

álcu

lo d

e la

pot

enci

a

Page 31: Duflo (J-PAL) y Jed Friedman - World Bankpubdocs.worldbank.org/en/938301526067788218/15-Sampling... · El cálculo de la potencia Cuando planea una evaluación, con un as investigaciones

Los

cálc

ulos

de

pote

ncia

usa

ndo

el

soft

war

e gr

átis

«O

ptim

al D

esig

Esco

ge “

Pow

er v

. num

ber o

f clu

ster

s”(p

oten

cia

vs n

úmer

o de

gr

upos

) en

el m

enú

“clu

ster

ed ra

ndom

ized

tria

ls”

(pru

ebas

al

eato

rizad

as y

agr

upad

as)

http

://si

tem

aker

.um

ich.

edu/

grou

p-ba

sed/

optim

al_d

esig

n_so

ftw

are

Page 32: Duflo (J-PAL) y Jed Friedman - World Bankpubdocs.worldbank.org/en/938301526067788218/15-Sampling... · El cálculo de la potencia Cuando planea una evaluación, con un as investigaciones

Tam

año

de c

ada

grup

os

Esco

ge “c

lust

ersi

ze”(

tam

año

de g

rupo

)

Page 33: Duflo (J-PAL) y Jed Friedman - World Bankpubdocs.worldbank.org/en/938301526067788218/15-Sampling... · El cálculo de la potencia Cuando planea una evaluación, con un as investigaciones

Esco

ge e

l niv

el d

e si

gnifi

canc

ia, e

l ef

ecto

de

trat

emen

to, y

la c

orre

laci

ón

Esco

ge a

: el n

ivel

Nor

mal

men

te s

e es

coge

0,0

5Es

coge

d:

Se p

uede

exp

erim

enta

r con

0,2

0Es

coge

la c

orre

laci

ón in

tra-

clas

e (r

ho)

Se o

btie

ne e

l grá

fico

sigu

ient

e qu

e m

uest

ra la

po

tenc

ia c

omo

func

ión

del t

amañ

o de

m

uest

ra

Page 34: Duflo (J-PAL) y Jed Friedman - World Bankpubdocs.worldbank.org/en/938301526067788218/15-Sampling... · El cálculo de la potencia Cuando planea una evaluación, con un as investigaciones

La p

oten

cia

y el

tam

año

de la

m

uest

ra

Page 35: Duflo (J-PAL) y Jed Friedman - World Bankpubdocs.worldbank.org/en/938301526067788218/15-Sampling... · El cálculo de la potencia Cuando planea una evaluación, con un as investigaciones

¡Par

a re

cord

ar!

El n

úmer

o de

gru

pos

impo

rta

muc

h m

ás q

ue

el n

úmer

o de

indi

vidu

osEs

cuel

as v

s es

tudi

ante

s, p

uebl

os v

s ho

gare

sD

os ti

pos

de e

rror

esTi

po I:

Pie

nsas

que

hay

efe

cto

cuan

do n

o lo

hay

ni

vel

Tipo

II: P

iens

as q

ue n

o ha

y ef

ecto

cua

ndo

lo h

ay

pote

ncia

Evita

r los

err

ores

requ

iere

una

mue

stra

su

ficie

nte

el c

álcu

lo d

e la

pot

enci

a

Page 36: Duflo (J-PAL) y Jed Friedman - World Bankpubdocs.worldbank.org/en/938301526067788218/15-Sampling... · El cálculo de la potencia Cuando planea una evaluación, con un as investigaciones

Conc

lusi

ones

: El c

álcu

lode

po

tenc

iaen

prá

ctic

a

Los

cálc

ulos

de p

oten

cia

requ

iere

nva

rias

conj

etur

as.

A v

eces

no te

nem

osto

dala

info

rmac

ión

para

hace

rlos

perf

ecta

men

te

Mie

ntra

sta

nto,

es

impo

rtan

teha

cerl

o m

ejor

posi

ble:

Evita

rla

inic

iaci

ónde

est

udio

squ

eno

tend

rán

ning

una

pote

ncia

esta

díst

ica:

des

perd

icio

de e

sfue

rzo

y de

din

ero

Ded

ica

los

recu

rsos

apro

pria

dos

a lo

s es

tudi

osqu

ede

cide

co

nduc

ir(p

ero

no d

emas

iado

sre

curs

os).