estimadores de maxima verosimilitud.pdf

1

Tema 4 - Introduccion

Tema 3. Estimacion puntualCriterios de comparacion de estimadores:• Insesgadez.• Estimadores de mınima varianza.• Error cuadratico medio.• Consistencia.

¿Como obtenerestimadores?

Tema 4. Estimadores de maxima verosimilitudMetodos de calculo.Propiedades.

Estadıstica I Andres M. Alonso

2

Distribucion temporal del temario

1 2 3 4 5 6 7 8 9Tema 1 T T T PTema 2 T T T P T T T P PTema 3 T T T P T T T P PTema 4 T T T P T T T P PTema 5 T T T P T T T P PTema 6 T T T P T T T P PTema 7 T T T P T T T P P

7 7 7 7 6 6 6 6 6 580 0 0 7 0 0 0 6 6 19T denota una hora de clase de teorıa

P denota una hora de clase practica


3

Tema 4. Estimadores de maxima verosimilitud

Los contenidos a desarrollar en este tema son los siguientes:

Definicion y propiedades.

Tecnicas de calculo.

Propiedades de los estimadores de maxima verosimilitud en muestrasgrandes.

Lecturas recomendadas: Seccion 7.6 del libro de Pena (2005).


4

Ejemplo 1. En una urna hay 4 bolas que pueden ser blancas o negras. Laproporcion, θ, de bolas blancas en la urna es desconocida y puede tomar valoresen Θ = {0, 1/4, 1/2, 3/4, 1}. Para obtener mas informacion extraemos de laurna 2 bolas con reemplazamiento. Supongamos que la primera bola observadaes blanca (B) y la segunda es negra (N). Si calculamos la probabilidad deobtener ese resultado para cada valor posible de θ obtenemos:

Pr {B,N|θ} =

0 si θ = 0

3/16 si θ = 1/41/4 si θ = 1/23/16 si θ = 3/4

0 si θ = 1

¿Que valor de θ te resulta mas verosımil?

Verosımil:1. adj. Que tiene apariencia de verdadero.

2. adj. Creıble por no ofrecer caracter alguno de falsedad.

Real Academia Espanola c©


5

Definiciones

Definicion 1. Sea (X1, X2, . . . , Xn) una muestra aleatoria de una poblacionX con funcion de probabilidad Pθθθ (o con funcion de densidad fθθθ) dondeθθθ = (θ1, θ2, . . . , θk) es un vector de parametros. La funcion de verosimilitud,L(x1, x2, . . . , xn;θθθ), de la muestra (x1, x2, . . . , xn) es la funcion de probabilidad(o de densidad) de (X1, X2, . . . , Xn) evaluada en (x1, x2, . . . , xn).

Definicion 2. Sea (X1, X2, . . . , Xn) una muestra aleatoria simple deuna poblacion X con funcion de probabilidad Pθθθ (o con funcion dedensidad fθθθ) donde θθθ = (θ1, θ2, . . . , θk) es un vector de parametros.La funcion de verosimilitud de la muestra (x1, x2, . . . , xn) es:

L(x1, x2, . . . , xn;θθθ) = Pθθθ(x1)Pθθθ(x2) . . . Pθθθ(xn),

o L(x1, x2, . . . , xn;θθθ) = fθθθ(x1)fθθθ(x2) . . . fθθθ(xn).


6

Ejemplo 1. Por simplicidad supondremos que θ toma valores en Θ ={1/4, 1/2, 3/4}. Definimos la variable X que toma valor 1 si sale blancay 0 si sale negra.

(a) Escriba la funcion de verosimilitud en el caso de que las bolas se obtengancon reemplazamiento (m.a.s.). W Definicion 2.

L(x1, x2; θ) =(θx1(1− θ)1−x1

) (θx2(1− θ)1−x2

).

(b) Escriba la funcion de verosimilitud en el caso de que las bolas se obtengansin reemplazamiento (No es m.a.s.). W Definicion 1.

L(x1, x2; θ) =(θx1(1− θ)1−x1

) ((4θ − x1

3

)x2(

1−(

4θ − x1

3

))1−x2)


7

Definiciones

Definicion 3. Sea (X1, X2, . . . , Xn) una muestra aleatoria de una poblacionX con funcion de verosimilitud L(x1, x2, . . . , xn;θθθ) donde θθθ = (θ1, θ2, . . . , θk)es un vector de parametros. Un estimador, θθθ = θ1, θ2, . . . , θk) es el estimadorde maxima verosimilitud de θθθ si

L(x1, x2, . . . , xn; θθθ) = maxθθθ∈Θ

L(x1, x2, . . . , xn;θθθ),

para cada (x1, x2, . . . , xn) ∈ X .

Ejemplo 1. (c) Obtenga el estimador maximo verosımil (E.M.V.) de θ en elcaso de muestras con reemplazamiento.

L(x1, x2; θ) = θ(x1+x2)(1−θ)(2−x1−x2).

Tenemos que Θ = {1/4, 1/2, 3/4},ası que bastara con evaluar la funcionde verosimilitud en estos valores.

θ 0 1 20.25 0.5625 0.1875 0.06250.50 0.2500 0.2500 0.25000.75 0.0625 0.1875 0.5625

x1 + x2


8

Definiciones

I A menudo resulta mas comodo trabajar con ln fθθθ en lugar de con fθθθ, ybuscamos el EMV mediante:

lnL(x1, x2, . . . , xn; θθθ) = maxθθθ∈Θ

lnL(x1, x2, . . . , xn;θθθ).

I La funcion `(x1, x2, . . . , xn;θθθ) = lnL(x1, x2, . . . , xn;θθθ) recibe el nombre defuncion soporte.

I Si la funcion de verosimilitud es derivable respecto de θθθ entonces el sistemade ecuaciones de verosimilitud:

∂

∂θj`(x1, x2, . . . , xn;θθθ) = 0, para j = 1, 2, . . . , k,

proporcionan los maximos relativos de `(xxx,θθθ). Candidatos a EMV


9

Ejemplo 1. (d) Suponiendo que Θ = [0, 1], obtenga el estimador maximoverosımil (E.M.V.) de θ en el caso de muestras con reemplazamiento.

`(x1, x2; θ) = (x1 + x2) ln(θ) + (2− x1 − x2) ln(1− θ).

∂`(x1,x2;θ)∂θ = (x1 + x2)

1θ −(2− x1 − x2)

11−θ .

I Igualando a cero, obtenemos: θ = x1+x22 . ¿Es el EMV?

(e) Obtenga la estimacion maximo verosımil para la muestra x1 = 1 y x2 = 0.

I Bastara evaluar el estimador obtenido: θ = x1+x22 = 1

2.

Ejercicio: Apartados (c) y (e) con muestras sin reemplazamiento.


10

Ejemplo 2. Obtenga los E.M.V. de los parametros de las siguientes distribu-ciones suponiendo que dispone de una muestra aleatoria simple de tamanon:

X ∼ Bernoulli(p).

X ∼ Poisson(λ).

X ∼ Exponencial(λ).

X ∼ N (µ, σ2) con σ conocida.

X ∼ N (µ, σ2) con µ conocida.

X ∼ N (µ, σ2).

Ejemplo 3. Obtenga el E.M.V. para el parametro θ de una distribucionU(0, θ).


11

Propiedades de los EMV

Principio de maxima verosimilitud: Si θ es el estimador maximo verosımilde θ, entonces µ = h(θ) es el E.M.V. de µ = h(θ).

Consistencia y distribucion asintotica:

Bajo ciertas condiciones, se tiene que:

θ es un estimadores consistente de θ.

θ es asintoticamente normal:√

n(θ − θ) A∼ N (0, i(θ)−1),

donde i(θ) = E[(

∂∂θ ln f(X; θ)

)2]es la cantidad de informacion de

Fisher correspondiente a una observacion.


12

Ejemplo 4. (a) Obtenga el EMV del parametro θ = e−λ = Pr(X = 0) deuna distribucion Poisson(λ) si dispone de una m.a.s. de tamano n.

I En el Ejemplo 2 obtuvimos que el EMV de λ es λ = x, entonces, por el

principio de verosimilitud, el EMV de θ es: θ = e−λ = e−x.

(b) Obtenga la distribucion asintotica de λ.

Tenemos que √n(λ− λ) A∼ N (0, i(λ)−1), donde

i(λ) = E

[(∂

∂λln

λXe−λ

X!

)2]

= E

[(∂

∂λ(X lnλ− λ− lnX!)

)2]

= E

[(X

λ− 1)2]

= E[X2

λ2− 2

X

λ+ 1]

=λ + λ2

λ2− 2

λ

λ+ 1 =

1λ.

Finalmente,√

n(λ− λ) A∼ N (0, λ).


13

(c) Obtenga la distribucion asintotica de θ.

Tenemos que √n(θ − θ) A∼ N (0, i(θ)−1), donde

i(θ) = E

[(∂

∂θln

λXe−λ

X!

)2]

= E

[(∂

∂θln

(− ln(θ))Xθ

X!

)2]

= E

[(∂

∂θ(X ln(− ln(θ)) + ln(θ)− lnX!)

)2]

= E

[(X

1θ ln θ

+1θ

)2]

=λ + λ2

θ2 ln2 θ+ 2

λ

θ2 ln θ+

1θ2

=− ln θ + ln2 θ

θ2 ln2 θ− 2

ln θ

θ2 ln θ+

1θ2

= − 1θ2 ln θ

.

Finalmente,√

n(θ − θ) A∼ N (0,−θ2 ln θ).

I La informacion de Fisher tambien puede calcularse mediante:

i(θ) = −E[

∂2

∂θ2ln f(X; θ)

].


14

Propiedades de los EMV

Insesgadez asintotica:E[θ] → θ.

Eficiencia asintotica:

Var[θ] A= 1/E

[(∂

∂θln f(XXX; θ)

)2]

= I(θ)−1 = (n i(θ))−1.

Cota de Frechet–Cramer–Rao.

Var(ϑ) ≥ I(θ)−1,

donde ϑ es un estimador centrado cualesquiera e I(θ) es lainformacion de Fisher de una muestra de tamano n.


15

Ejemplo 5. Supongamos que los rendimientos de las acciones de la empresaSEGURA.SL siguen una distribucion normal de media µ euros y varianza σ2. Setoma una m.a.s. de 20 rendimientos y se tiene:

5,29 3,66 5,71 6,62 4,30 5,85 6,25 3,40 3,55 5,574,60 5,69 5,81 5,71 6,29 5,66 6,19 3,79 4,98 4,84

(a) Calcular los valores de los estimadores maximo verosımiles de µ y σ en esamuestra.

En el Ejemplo 2 obtuvimos que el EMV de (µ, σ2) es (x, s2), entonces, por elprincipio de verosimilitud, tenemos que (µ, σ) = (x, s).

x =120

(5,29 + 3,66 + · · ·+ 4,84) = 5,188,

s =

√120

((5,29− 5,188)2 + (3,66− 5,188)2 + · · ·+ (4,84− 5,188)2) ≈ 0,9712.


16

Ejemplo 5. (b) El VaR (value at risk) es una medida de la maxima perdi-da esperada en una cartera, durante perıodo de tiempo especıfico con unaprobabilidad dada, α. Una manera de calcular el VaR es suponiendo que losbeneficios diarios de un valor se distribuyen de acuerdo a la distribucion normal.

Esta simplificacion permitio un importante avance de la teorıa de carteras, y es

frecuentemente empleada en calculos estadısticos financieros.

La empresa SEGURA.SL considera como perdidas todos los rendimientos infe-riores a 5 euros por accion. Es decir, los beneficios siguen una distribucionN (µ − 5, σ2). En ese caso, las perdidas maximas esperadas para un nivel αson:

V aR = µ− 5− zασ.

Obtenga la distribucion asintotica del estimador

V aR = µ− 5− zασ.


17

I En primer lugar, obtenemos la distribucion de (µ, σ).

Tenemos,

f(x) =1√2πσ

exp(−1

2(x− µ)2

σ2

)ln f(x) = − ln

√2π − lnσ − 1

2(x− µ)2

σ2.

Obtenemos la derivadas parciales respecto de µ y σ:

∂

∂µln f(x) =

(x− µ)σ2

∂

∂σln f(x) = −1

σ− (x− µ)2

σ3

y la matriz de segundas derivadas (Jacobiano):[∂2

∂µ∂µ ln f(x) ∂2

∂µ∂σ ln f(x)∂2

∂σ∂µ ln f(x) ∂2

∂σ∂σ ln f(x)

]=

[− 1

σ2 −2(x−µ)σ3

−2(x−µ)σ3

1σ2 − 3(x−µ)2

σ4

].


18

Obtenemos la matriz de informacion:

i(θ) = i(µ, σ) = E

[1σ2 2(X−µ)

σ3

2(X−µ)σ3 − 1

σ2 + 3(X−µ)2

σ4

]=

[1σ2 00 − 1

σ2 + 3σ2

σ4

]

y la distribucion de (µ, σ)′ es:,

√n

([µσ

]−[

µσ

])A∼ N (000, i(θ)−1) = N

([00

],

[σ2 00 σ2

2

]).

I Finalmente, como V aR = µ− 5− zασ = [1,−zα][

µσ

]− 5, obtenemos:

√n(V aR− V aR

)A∼ N

(0, σ2 + z2

α

σ2

2

).


19

Recapitulacion


Definicion del estimador MV.Tecnicas de calculo.

W ¿Como obtenerestimadores?

Propiedades de los estimadores de MVen muestras grandes.• Insesgadez asintotica.• Asintoticamente de mınima varianza.• Consistentes.• Distribucion asintotica normal.

W ¿Por que elegir un EMV?


20

Tema 3. Estimacion puntual


Generalizacion

Tema 5. Intervalos de confianzaDefinicion.Intervalos de confianza para medias y varianzas enpoblaciones normales.Intervalos de confianza en muestras grandes.Determinacion del tamano muestral.


estimadores de maxima verosimilitud.pdf

Documents