inferencia automática en modelos estimados mediante …cursos.itam.mx/vaguirre/presentaciones/2004...
TRANSCRIPT
Inferencia Automática en Modelos Estimados Mediante la
Norma L1.
Víctor Aguirre y Manuel DomínguezDepartamento de Estadística, ITAM.
19 Foro Nacional de EstadísticaITESM, Monterrey, N.L.
V. Aguirre, ITAM 2
Propósito
• Mostrar que es posible hacer inferencia en modelos de regresión estimados por medio de la minimización de la norma L1 sin necesidad de recurrir a la definición de un parámetro de suavizamiento.
• Presentar lo anterior como una aplicación de una propiedad distribucional novedosa del remuestreo.
V. Aguirre, ITAM 3
Regresión L1
• Es un método de regresión robusta.• Modelo: • Donde Ui~ iid FU.•• Es un caso particular de la regresión
percentil.• Koenker y Basset (1978,1982), Bloomfield
y Steiger (1983), Oberhofer (1982).
Yi g,Xi Ui
g, Xi 1 2X1i . . .r1Xri
V. Aguirre, ITAM 4
Estimación, Regresión L1
• Estimador
• La función objetivo no es diferenciable.
arg min|Yi g,Xi|
V. Aguirre, ITAM 5
Distribución Asintótica, Regresión L1
• Si por ejemplo consideramos el caso de regresión lineal simple:
• Bajo condiciones de regularidad,
• La estimación de σ2 requiere de la definición de un parámetro de suavizamiento.
Yi 1 2Xi Ui
n 2 2 d N0,2
2 fU2 FU
11/2VX/41
V. Aguirre, ITAM 6
Estimación medular de f.
• Selección de función medular.• Selección apropiada de hn depende de f(x).• Método de sustitución, validación cruzada (mv o
mc).• Bowman (1985): sustitución decepcionante, vc-
mv ok si f no tiene colas pesadas.• Cao,González-Manteiga y Cuevas (1994): vc-mv
peor si f tiene colas no acotadas.• hn y por lo tanto f estocásticos, efecto sobre
cobertura de ics de β.
f z 1
nh ni1
n K Zizh n
V. Aguirre, ITAM 7
Remuestreo Básico, Regresión L1
• Remuestrear de los residuos:
• Para obtener
• Y calcular para b=1,2,...,B
Ui Yi g, Xi
Yi,b g
,Xi Ui,b
b
arg min Yi,b
g,Xi
V. Aguirre, ITAM 8
Distribución Asintótica, Remuestreo Regresión L1
• Bajo las mismas condiciones de regularidadHahn (1995) demostró que:
• Es decir que si
• Convergencia distribución condicional.
n 2,b2 d N0,2 en probabilidad
Tn n
2,b2
|FTnZn r Nr, 0,2| p 0
V. Aguirre, ITAM 9
Aplicación de Remuestreo en Regresión L1
• Se podrían usar los percentiles crudos de
• Con B>>100 encontrar
• Se ha demostrado teóricamente que es superior el remuestreo-t para hacer inferencia sobre β2 .
2,b
2,r
,2,s
V. Aguirre, ITAM 10
Remuestreo-t
• Requiere de la estimación del error estándar en cada replicación del remuestreo.
• Se calcula• Necesita B>100 y el empleo de suavizamiento en
cada remuestreo para estimar f y desv estd.• Se usan los percentiles de la distribución de t*
para hacer inferencia sobre β2.
t b
n 2,b2
b
2 t r ,
2 t s
V. Aguirre, ITAM 11
Notación
• Datos• Modelo• Modelo estimado• Operador de interés• Ejemplo
Zn Z1 ,Z2 , . . . ,Zn
FZ
Tn n1/2 n
F Z,n
Tn T FZ,FZ,n
V. Aguirre, ITAM 12
Problema Inferencial
• Deseamos inferir sobre:
• Ejemplos:
FTn T,FZ,n Cn CFTn
C1n IFTn FTn
C3n 12 x y2dFTn xdFTn y VTn
C2n xdFTn x ETn
V. Aguirre, ITAM 13
Estimador de Remuestreo
• Entonces como
• Si
• Encontrar analíticamente es usualmente muy difícil.
Tn T F Z,n ,FZ,n
FZ,n está relacionado con FZ
FZ,n está relacionado con FZ,n
estimo CFTn CT,FZ,nconCFTn
C T,F Z,n ,n
FTn
V. Aguirre, ITAM 14
Convergencia en Distribución del Operador de Interés.
• Bajo ciertas condiciones de regularidad usualmente se tiene que
• Es decir
• Para todo x punto de continuidad de FT.• Pero es estocástica.
Tn d T, n
FTnx FTx , n
FTn
V. Aguirre, ITAM 15
Convergencia Completa.
• una sucesión de funciones de distribución aleatorias, converge completamente en probabilidad a G una función de distribución no estocástica si y solo si
• Para todo x punto de continuidad de G.• También hay la versión casi segura.
Gn n1
|Gnx Gx | p 0
V. Aguirre, ITAM 16
Resultados de Convergencia del Remuestreo.
• Bajo condiciones de regularidad (que en varios casos no difieren demasiado de las condiciones para que Tn tienda a T) se tiene que converge completamente en probabilidad a FT.
• Bickel y Freedman (1981), caso iid.• Notación:
FTnZn
Tn d T en probabilidad
V. Aguirre, ITAM 17
Resultado de Convergencia no Condicional en Remuestreo.
• Si y para b=1,2,..., B. Entonces, para B fijo y cuando n tiende a infinito
donde es un vector aleatorio con 1+B entradas iid.
Tn d T Tn,b d T
Tn ,Tn,1 , . . . ,Tn,B
d T B
T B
V. Aguirre, ITAM 18
Aplicación a Operadores AN.
• Supongamos que T tiene distribución N(0,σ). Entonces, para B fijo y cuando n tiende a infinito
• Transformación asintótica pivotal (TAP) (tB ~ t deStudent con B grados de libertad).
• Válido aún para B=1!
tB Tn
1B b1
BTn,b 2
1/2 d tB
V. Aguirre, ITAM 19
Aplicación al Caso
• Bajo esta circunstancia:• Por lo que:
•
Tn nn
tB
n
1B b1
B n,bn
2 1/2 d tB
Tn,b n
n,bn
H0 : 0 versus H1 : 0
limn Pr|tB | tB,1/2 bajo H0
limn Pr|tB | tB,1/2 0 bajo H1
V. Aguirre, ITAM 20
Potencia Local
• Alternativas locales:• Potencia n finito
• Potencia límite, B fijo
H1n : 0 n1/2c
Bc limn B,nc
B,nc Pr c|tB | tB,1/2
V. Aguirre, ITAM 21
Potencia Local
• Con el resultado de convergencia no condicional se obtiene que
• Por ejemplo, si deseamos detectar una diferencia estandarizada de 4 veces el error estándar tenemos:
• Para B=5: • Para B=10:
54 0.89104 0.95
Bc Pr|tB, c| tB,1/2
V. Aguirre, ITAM 22
Alternativa propuesta
• Empleamos:
• Con B=5,10 y 20.• Comparamos con tabla normal y percentil
crudo.• No requiere estimación de f.
tB
22
1Bb1
B 2,b
2
2 1/2 d tB
V. Aguirre, ITAM 23
Inferencia Automática en Regresión Percentil
• Normal vs t*. (10,000)
tB
22
1Bb1
B 2,b
2
2 1/2 d tB
n 100 200 300 500 1000
-5.6 -3.9 -2.4 -2.0 -1.0
t5 -0.1 1.8 3.6 2.0 0.5
35 29.2 28.2 16.9 16.7
-7.7 -4.9 -4.8 -2.8 -2.3
t10 -8.6 -1.4 -0.2 -0.1 -0.6
20.4 23 17.8 18.8 13.8
-11.6 -6.7 -5.9 -4.4 -3.9
t20 -11.6 -4.8 -3.7 -2.6 -2.4
11.6 18.6 17.6 13.5 6.7
n 100 200 300 500 1000
19.7 22.0 24.8 25.3 26.6
5 51.7 55.1 58.3 57.9 58.0
255.8 263.3 264.8 252.4 249.7
3.5 9.2 9.2 10.6 11.2
10 16.8 24.7 25.8 28.1 25.8
116.1 126.2 128.9 128.3 121.0
-5.0 0.1 1.3 2.8 2.9
20 0.5 7.3 8.9 10.5 9.7
57.2 67.0 68.8 63.1 56.1
relative error n
V. Aguirre, ITAM 24
Inferencia Automática en Regresión Percentil
• Percentil crudo de remuestreo vs t*
tB
22
1Bb1
B 2,b
2
2 1/2 d tB
n 100 200 300 500 1000
-5.6 -3.9 -2.4 -2.0 -1.0
t5 -0.1 1.8 3.6 2.0 0.5
35 29.2 28.2 16.9 16.7
-7.7 -4.9 -4.8 -2.8 -2.3
t10 -8.6 -1.4 -0.2 -0.1 -0.6
20.4 23 17.8 18.8 13.8
-11.6 -6.7 -5.9 -4.4 -3.9
t20 -11.6 -4.8 -3.7 -2.6 -2.4
11.6 18.6 17.6 13.5 6.7
relative error n
n 100 200 300 500 1000
100.76 91.51 88.23 83.06 79.7
GTn5 301.52 283.02 276.46 266.12 259.4
1907.6 1815.1 1782.3 1730.6 1697
27.6 21.7 17.0 11.9 12.3
GTn10 155.2 143.4 134.3 123.8 146
1175.8 1117.2 1070.0 1019.0 1130.0
37.1 29.6 23.0 17.4 11.8
GTn20 69.8 55.4 46.1 36.5 22.8
749.0 676.8 630.5 582.5 514.0
V. Aguirre, ITAM 25
Comentario.
• Parece que estamos estimando del error estándar del numerador, pero no es así.
• Se podría estimar con remuestreo, pero requeriría condiciones de regularidad adicionales.
• El denominador no tiene porqué converger a σ de manera alguna.
• Se aprovecha la convergencia en distribución conjunta del operador de interés y sus contrapartes obtenidas por remuestreo.
V. Aguirre, ITAM 26
Aplicación a OperadoresMultivariados AN.
• T con distribución asintótica Np(0,Σ) • Entonces, para B fijo y n grande
• Distribución límite = T cuadrada deHotelling con parámetros B,p.
Hn,B Tn T 1B b1
B Tn,b Tn,b
T 1Tn d TB,p
2
BpBp1 Fp,B p 1
V. Aguirre, ITAM 27
Enfoque General
• Construir TAPs que combinen el operador de interés con sus pares de remuestreo
• Tal que, para cada B fijo, asintóticamenteno dependan de parámetros estorbosos.
• Otro ejemplo, si Tα Ji-cuadrada, ψ podría tener una distribución F.
Tn,1 , . . .Tn,B
,Tn
V. Aguirre, ITAM 28
Resumen
• Para n grande y procedimientos complejos, reducción drástica en aplicación del remuestreo, B(=1).
• Fácil determinación de B considerando tamaño del error y potencia. B es no estocástica (otros enfoques que si).
• No hay necesidad de imponer condiciones de regularidad adicionales al proceso generador de los datos (otros enfoques que si).