ataurima-arellano m. - implementación en matlab del método de estimación por mínimos cuadrados...

Implementacin en MATLAB del Mtodo deEstimacin por Mnimos Cuadrados Ordinarios

Miguel Ataurima Arellano

11 de Agosto de 2013

Usando la notacin matricial, la regresin estndar puede ser escrita como

y = X + (1)

donde y es un vector T dimensional conteniendo observaciones sobre la variabledependiente, X es una matriz T k de variables independientes, es un vector k decoecientes, y es un vector T de perturbaciones. T es el nmero de observacionesy k es el nmero de regresores.

1. Coecientes Resultantes

1.1. Coecientes de la Regresin

Los coecientes de la regresin por mnimos cuadrados b son calculados mediantela frmula MCO estndar

b =X 0X

1X 0y (2)

1.2. Errores Estndar

El vector de errores estndar contiene la medida de la exactitud de los coecientesestimados (el mayor ruido estadstico en la estimacin).

La matriz de covarianza de los coecientes estimados es calculada como:

var (b) = s2X 0X

1; s2 =

^0^T k ; ^ = y Xb (3)

donde ^ es el residuo. Los errores estndar de los coecientes estimados son lasraces cuadradas de los elementos de la diagonal de la matriz de covarianzas de loscoecientes.

1.3. Estadsticos t

El estadstico t, el cual es calculado como el ratio del coeciente estimado respectode su error estndar, es usado para vericar la hiptesis de que un coeciente esigual a cero. Para interpretar el estadstico t, se debe examinar la probabilidadobservando el estadstico t obtenido de que el coeciente sea igual a cero. Esteclculo de probabilidad se describe a continuacin (en los casos donde las normalidadpuede solo mantenerse asintticamente, se debe utilizar el estadstico z en vez delestadstico t).

1

UNIVERSIDAD NACIONAL DE INGENIERAFacultad de Ingeniera Econmica y Ciencias Sociales

MATLAB para EconomistasAplicacin: OLS en MATLAB

1.4. Probabilidad

Esta probabilidad es conocida como el p value o el nivel de signicancia mar-ginal. Dado un p value, se puede decir (de un solo vistazo) si se rechaza o aceptala hiptesis de que el verdadero coeciente es cero contra la alternativa de dos co-las de que es diferente de cero. Por ejemplo, si se realiza la prueba al 5% de nivelde signicancia, un p value menor que 0.05 es tomado como una evidencia pararechazar la hiptesis nula de que el coeciente es cero.

Los p values para los estadsticos t son calculados a partir de una distribucincon T k grados de libertad. El p value para los estadsticos z son calculadosusando la distribucin normal estndar.

2. Estadsticas de Resumen

2.1. R cuadrado

El estadstico R2 mide grado de satisfaccin que otorga la regresin en la predic-cin de los valores de la variable dependiente dentro de la muestra. En la cong-uracin estndar, R2 puede ser interpretado como la fraccin de la varianza de lavariabe dependiente explicada por las variables independientes. Este estadstico esigual a 1 si la regresin ajusta perfectamente, y 0 si se ajusta peor que la mediasimple de la variable dependiente. ste puede ser negativo por diversas razones. Porejemplo, si la regresin no tiene un intercepto o constante, si la regresin contienerestricciones de coecientes, o si el mtodo estimado es de mnimos cuadrados dedos etapas o ARCH.

El R2 (centrado) se calcula como

R2 = 1 ^0^

(y y)0 (y y) ; y =TXt=1

ytT

(4)

donde y es la media de la variable dependiente.

2.2. R cuadrado ajustado

Un problema con el uso de R2 como medida de bondad de ajuste es que el R2

nunca decrecer conforme se aada mas regresores. En el caso extremo, se obtendrsiempre un R2 de 1 si se incluyen tantos regresores independientes como observa-ciones de la muestra.

El R2 ajustado, comnmente denotado como R2, penaliza el R2 por cada adicinde regresores que no contribuyen al poder explicativo del modelo. El R2 ajustado escalculado como:

R2 = 1 1R2 T 1T k (5)

El R2 nunca es mayor que el R2, puede decrecer conforme se aadan regresores, ypara modelos pobremente ajustados, puede ser negativo.

2



2.3. Error Estndar de la Regresin

El error estndar de la regresin es una medida resumen basada en la varianzaestimada de los residuos. El error estndar de la regresin es calculada como:

s =

s^0^T k (6)

2.4. Suma de los residuos al cuadrado

La suma de los residuos al cuadrado puede ser usado en una variedad de clculosestadsticos, por lo que conviene presentarla separadamente

^0^ =TXt=1

yi X 0ib

2 (7)2.5. Logaritmo de Mxima Verosimilitud

El logaritmo de la funcin de verosimilitud (asumiendo errores distribuidos nor-malmente) evaluado en los valores estimados de los coecientes es calculado como

l = T2

1 + log (2) + log

^0^T

(8)

Las pruebas del ratio de verosimilitud pueden llevarse a cabo observando la difer-encia entre los valores del logaritmo de la funcin de verosimilitud de las versionesrestringidas y no restringidas de una ecuacin.

2.6. Estadstico Durbin-Watson

El estadstico Durbin-Watson mide la correlacin serial en los residuos. El es-tadstico es calculado como

DW =

PTt=2 (^t ^t1)2PT

t=1 ^2t

(9)

Johnston y Dinardo (1997) proveen una tabla de los puntos de signicancia de ladistribucin del estadstico Durbin-Watson.

Como regla general, si el DW es menor que 2, hay evidencia de una correlacinserial positiva. Si el estadsticoDW es muy cercano a 1, se est indicando la presenciade correlacin serial en los residuos.

Existen mejores pruebas para la correlacin serial tales como el estadstico Q, laprueba del estadstico LM de Breusch-Godfrey, los cuales proveen una estructura deprueba mas general que la prueba de Durbin-Watson.

2.7. Media y Desviacin Estndar de la Variabla Dependiente

La media y desviacin estndar de y son calculadas usando la formula estndar

y =

TXt=1

yiT; sy =

vuut TXt=1

(yt y)2T 1 (10)

3



2.8. Criterio de Informacin de Akaike

El criterio de informacin de Akaike (AIC) se calcula mediante

AIC = 2 lT+ 2 k

T(11)

donde l es el logaritmo de la funcin de verosimilitud. El AIC es comnmente usadoen la seleccin de modelos para alternativas no comprobadas (se previere el menorvalor del AIC).

2.9. Criterio de Schwarz

El criterio de Schwarz (SC) es una alternativa al AIC que impone una penal-izacin a los coecientes adicionales

SC = 2 lT+ log T k

T(12)

2.10. Criterio de Hannan-Quinn

El criterio de Hannan-Quinn (HQ) emplea otra funcin de penalizacin

HQ = 2 lT+ 2 log (log T ) k

T(13)

2.11. Estadstico F

El estadstico F reportado como salida de la regresin proviene de probar lahiptesis de que todos los coecientes pendiente (incluyendo la constante o intercep-to) en una regresin son cero. Para los modelos de mnimos cuadrados ordinarios, elestadstico F se calcula como

F =

R2

k 11R2T k

(14)

bajo la hiptesis nula con errores distribuidos normalmente, ste estadstico tieneuna distribucin F con numerador de k 1 grados de libertad y un denominador deT k grados de libertad.

El p value del estadstico F , es el nivel de signicancia marginal de la pruebaF . Si el p value es mejor que el nivel de signicancia que se esta probando, serechaza la hiptesis nula de que todas los coecientes pendiente son iguales a cero.Observe que la prueba F es una prueba conjunta de modo que incluso si todos losestadsticos t son insignicantes, el estadsico F pueda ser altamente signicativo.

4



3. Aplicacin MATLAB

En el archivo datos.xlsx se hallan los datos correspondientes al producto brutointerno (GDP ), la tasa de inters de corto plazo (RS) y los niveles de precio (PR)para el periodo 1993:1-2003T4.

1. Importe las series contenidas en Excel a variables MATLAB.

2. Implemente el Mtodo de Estimacin por Mnimos Cuadrados Ordinarios(MCO)

3. Aplique el Mtodo a los siguientes modelos de regresin y compruebe susresultados con los arrojados por EViews:

MODELO 1:

log (M1t) = 1 + 2 log (GDPt) + 3RSt + t

Dependent Variable: LOG(M1)Method: Least SquaresDate: 06/09/12 Time: 11:54Sample: 1 208Included observations: 208

Variable Coefficient Std. Error t-Statistic Prob.

C 1.196925 0.022414 53.40080 0.0000LOG(GDP) 0.798093 0.003910 204.1052 0.0000

RS -0.030792 0.001593 -19.33220 0.0000

R-squared 0.995691 Mean dependent var 6.000824Adjusted R-squared 0.995649 S.D. dependent var 0.851594S.E. of regression 0.056175 Akaike info criterion -2.906355Sum squared resid 0.646915 Schwarz criterion -2.858217Log likelihood 305.2609 Hannan-Quinn criter. -2.886890F-statistic 23682.98 Durbin-Watson stat 0.154173Prob(F-statistic) 0.000000

5



MODELO 2:

log (M1t) = 1 + 2 log (GDPt) + 3RSt + log (PRt) + t

Dependent Variable: LOG(M1)Method: Least SquaresDate: 06/09/12 Time: 12:05Sample (adjusted): 2 208Included observations: 207 after adjustments

Variable Coefficient Std. Error t-Statistic Prob.

C 1.215400 0.023108 52.59701 0.0000LOG(GDP) 0.794784 0.003993 199.0219 0.0000

RS -0.025585 0.002193 -11.66448 0.0000DLOG(PR) -2.911393 0.902595 -3.225581 0.0015

R-squared 0.995960 Mean dependent var 6.006429Adjusted R-squared 0.995901 S.D. dependent var 0.849803S.E. of regression 0.054409 Akaike info criterion -2.965431Sum squared resid 0.600954 Schwarz criterion -2.901031Log likelihood 310.9221 Hannan-Quinn criter. -2.939388F-statistic 16683.21 Durbin-Watson stat 0.158003Prob(F-statistic) 0.000000

4. Graque las series ^ (residuos), y (y actual), e y^ (y ajustado)

-.12-.08-.04.00.04.08.12.16 4.5

5.0

5.5

6.0

6.5

7.0

7.5

25 50 75 100 125 150 175 200

Residual Actual Fitted

-.15

-.10

-.05

.00

.05

.10

.154.5

5.0

5.5

6.0

6.5

7.0

7.5

25 50 75 100 125 150 175 200

Residual Actual Fitted

MODELO 1

MODELO 2

6

UNIVERSIDAD NACIONAL DE INGENIERAFacultad de Ingenieria Econmica, Estadstica y Ciencias Sociales

MATLAB para el Anlisis EconmicoNIVEL BSICO

Solucin para el Modelo 1

progmodelo1.m 1 clc;2 clear;34 % Lectura de datos desde libro excel5 DATA = xlsread(datos01,1,B2:E209);67 % Separacin de series8 M1 = DATA(:,1);9 GDP = DATA(:,2);

10 RS = DATA(:,3);11 PR = DATA(:,4);1213 % Numero de observaciones14 T = length(DATA);1516 % Etiquetas de regresores17 nombrevariables = {c,log(GDP), RS};1819 % Creacin de matriz de regresores20 X = [ones(T,1) log(GDP) RS];2122 % Variable explicada23 y = log(M1);2425 % Dimensiones26 [T,k] = size(X);2728 % Hiptesis Nula (H0)29 beta0 = zeros(k,1);3031 % Vector de coeficientes estimados por MCO32 b = (X*X)^-1*X*y;3334 % Vector de residuos35 y_hat = X*b;36 u_hat = y - y_hat;3738 % Suma de cuadrado de residuos39 SCR = u_hat*u_hat;4041 % Varianza residual estimada42 s2 = SCR/(T-k);4344 % Matriz de varianza-covarianza:45 var_covar_hat_b = s2*(X*X)^-1;4647 % Varianza del estimador MCO48 xi = diag((X*X)^-1);49 var_hat_b = s2*xi;5051 % Error Estndar52 seb = sqrt( var_hat_b );5354 % Estadsticos t55 tstat = (b-beta0)./seb;

EXPOSITOR: Miguel Ataurima Arellano 1 [email protected]



5657 % p-values de los Estadsticos t58 p_value_t = 2*cdf(t, -abs(tstat), T-k); %icdf(Normal,,0,1)5960 % R cuadrado61 mediay = sum(y)/T;62 R2 = 1 - SCR/(y*y - T*mediay^2);6364 % R cuadrado ajustado:65 R2a = 1 - (1-R2)*(T-1)/(T-k);6667 % Error Estndar de la Regresin:68 s = sqrt(SCR/(T-k));6970 % Logaritmo de Verosimilitud71 L = -( 1+ log(2*pi) + log(SCR/T) )*T/2;7273 % Estadstico Durbin-Watson74 DW = sum(diff(u_hat).^2)/SCR;7576 % Desviacin Estndar de la Variabla Dependiente77 sy = sqrt(sum((y-mediay).^2)/(T-1));7879 % Criterio de Informacin de Akaike (AIC)80 AIC = -2*L/T + 2*k/T;8182 % Criterio de Schwarz (SC)83 SC = -2*L/T + log(T)*k/T;8485 % Criterio de Hannan-Quinn (HQ)86 HQ = -2*L/T + 2*log(T)*k/T;8788 % Estadstico F89 Fstat = (R2/(k-1))/((1-R2)/(T-k));9091 % p-value del Estadstico F92 p_value_F = 1-cdf(F, Fstat, k-1, T-k);9394 % Impresin de resultados (estilo EViews)95 datos = [b seb tstat p_value_t];96 fprintf(Mtodo: Mnimos Cuadrados Ordinario\n);97 fprintf(Observaciones incluidas: %5d\n, T);98 fprintf(--------------------------------------------------------------------------------\n);99 fprintf(%-15s %15s %15s %15s %15s\n, Variables, Coeficiente, Error Est., ...

100 estadstico t, p-value);101 fprintf(--------------------------------------------------------------------------------\n);102 for i=1:k103 coefs(i,:) = sprintf(%-15s %15.6f %15.6f %15.6f %15.6f, nombrevariables{i}, datos(i,:));104 end105 disp(coefs);106 fprintf(--------------------------------------------------------------------------------\n);107 nombrestats01 = {R cuadrado, R cuadrado ajustado, ES de la regresin, ...108 Suma de res. cuadrados, Log verosimilitud, Estad. F, Prob(Estad. F)};109 nombrestats02 = {Media var depend., Desv. Estand. var depend., Criterio Inf. Akaike, ...110 Criterio Schwarz,Criterio Hannan-Quinn, Criterio Durwin-Watson};111 valorestats01 = [R2; R2a; s; SCR; L; Fstat; p_value_F];112 valorestats02 = [mediay; sy; AIC; SC; HQ; DW];113 for i=1:6




114 estadisticos(i,:) = sprintf(%-22s %15.6f %-25s %15.6f, ...115 nombrestats01{i}, valorestats01(i), ...116 nombrestats02{i}, valorestats02(i));117 end118 disp(estadisticos);119 fprintf(%-22s %15.6f\n, nombrestats01{7}, valorestats01(7));120121 % Grficas122 figure(1);123 periodos = (1:T);124 [AX,H1,H2] = plotyy(periodos, u_hat , periodos, [y y_hat]);125 set(AX(1),XLim, [1 T]);126 set(AX(1),YLim, [-0.5 1]);127 set(AX(2),XLim, [1 T]);128 set(AX(2),YLim, [1 max(y)+1]);129 set(H2(1), Color, [1 0 0]);130 set(H2(2), Color, [0 0.5 0]);131 legend(Residuos, Actual, Ajustado, ...132 Location, SouthOutside, Orientation, Horizontal);133 grid on;134 xlabel(Periodos);135 set(AX, FontSize, 8);




Ejecucin: Mtodo: Mnimos Cuadrados OrdinarioObservaciones incluidas: 208--------------------------------------------------------------------------------Variables Coeficiente Error Est. estadstico t p-value--------------------------------------------------------------------------------c 1.196925 0.022414 53.400796 0.000000log(GDP) 0.798093 0.003910 204.105227 0.000000RS -0.030792 0.001593 -19.332195 0.000000--------------------------------------------------------------------------------R cuadrado 0.995691 Media var depend. 6.000824R cuadrado ajustado 0.995649 Desv. Estand. var depend. 0.851594ES de la regresin 0.056175 Criterio Inf. Akaike -2.906355Suma de res. cuadrados 0.646915 Criterio Schwarz -2.858217Log verosimilitud 305.260875 Criterio Hannan-Quinn -2.781233Estad. F 23682.976068 Criterio Durwin-Watson 0.154173Prob(Estad. F) 0.000000

20 40 60 80 100 120 140 160 180 200

0.2

0.1

0

0.1

0.2

Periodos

20 40 60 80 100 120 140 160 180 200

4

5

6

7

8

Residuos Actual Ajustado




Solucin para el Modelo 2

progmodelo1.m 1 clc;2 clear;34 % Lectura de datos desde libro excel5 DATA = xlsread(datos01,1,B2:E209);67 % Separacin de series8 M1 = DATA(:,1);9 GDP = DATA(:,2);

10 RS = DATA(:,3);11 PR = DATA(:,4);1213 % Numero de observaciones14 T = length(DATA);1516 % Etiquetas de regresores17 nombrevariables = {c,log(GDP), RS, dlog(PR)};1819 % Creacin de matriz de regresores20 X = [ones(T-1,1) log(GDP(2:end)) RS(2:end) diff(log(PR)) ];2122 % Variable explicada23 y = log(M1(2:end));2425 % Dimensiones Reajustadas26 [T,k] = size(X);2728 % Hiptesis Nula (H0)29 beta0 = zeros(k,1);3031 % Vector de coeficientes estimados por MCO32 b = (X*X)^-1*X*y;3334 % Vector de residuos35 y_hat = X*b;36 u_hat = y - y_hat;3738 % Suma de cuadrado de residuos39 SCR = u_hat*u_hat;4041 % Varianza residual estimada42 s2 = SCR/(T-k);4344 % Matriz de varianza-covarianza:45 var_covar_hat_b = s2*(X*X)^-1;4647 % Varianza del estimador MCO48 xi = diag((X*X)^-1);49 var_hat_b = s2*xi;5051 % Error Estndar52 seb = sqrt( var_hat_b );5354 % Estadsticos t55 tstat = (b-beta0)./seb;




5657 % p-values de los Estadsticos t58 p_value_t = 2*cdf(t, -abs(tstat), T-k); %icdf(Normal,,0,1)5960 % R cuadrado61 mediay = sum(y)/T;62 R2 = 1 - SCR/(y*y - T*mediay^2);6364 % R cuadrado ajustado:65 R2a = 1 - (1-R2)*(T-1)/(T-k);6667 % Error Estndar de la Regresin:68 s = sqrt(SCR/(T-k));6970 % Logaritmo de Verosimilitud71 L = -( 1+ log(2*pi) + log(SCR/T) )*T/2;7273 % Estadstico Durbin-Watson74 DW = sum(diff(u_hat).^2)/SCR;7576 % Desviacin Estndar de la Variabla Dependiente77 sy = sqrt(sum((y-mediay).^2)/(T-1));7879 % Criterio de Informacin de Akaike (AIC)80 AIC = -2*L/T + 2*k/T;8182 % Criterio de Schwarz (SC)83 SC = -2*L/T + log(T)*k/T;8485 % Criterio de Hannan-Quinn (HQ)86 HQ = -2*L/T + 2*log(T)*k/T;8788 % Estadstico F89 Fstat = (R2/(k-1))/((1-R2)/(T-k));9091 % p-value del Estadstico F92 p_value_F = 1-cdf(F, Fstat, k-1, T-k);9394 % Impresin de resultados (estilo EViews)95 datos = [b seb tstat p_value_t];96 fprintf(Mtodo: Mnimos Cuadrados Ordinario\n);97 fprintf(Observaciones incluidas: %5d\n, T);98 fprintf(--------------------------------------------------------------------------------\n);99 fprintf(%-15s %15s %15s %15s %15s\n, Variables, Coeficiente, Error Est., ...

100 estadstico t, p-value);101 fprintf(--------------------------------------------------------------------------------\n);102 for i=1:k103 coefs(i,:) = sprintf(%-15s %15.6f %15.6f %15.6f %15.6f, nombrevariables{i}, datos(i,:));104 end105 disp(coefs);106 fprintf(--------------------------------------------------------------------------------\n);107 nombrestats01 = {R cuadrado, R cuadrado ajustado, ES de la regresin, ...108 Suma de res. cuadrados, Log verosimilitud, Estad. F, Prob(Estad. F)};109 nombrestats02 = {Media var depend., Desv. Estand. var depend., Criterio Inf. Akaike, ...110 Criterio Schwarz, Criterio Hannan-Quinn, Criterio Durwin-Watson, };111 valorestats01 = [R2; R2a; s; SCR; L; Fstat; p_value_F];112 valorestats02 = [mediay; sy; AIC; SC; HQ; DW];113 for i=1:6




114 estadisticos(i,:) = sprintf(%-22s %15.6f %-25s %15.6f, ...115 nombrestats01{i}, valorestats01(i), ...116 nombrestats02{i}, valorestats02(i));117 end118 disp(estadisticos);119 fprintf(%-22s %15.6f\n, nombrestats01{7}, valorestats01(7));120121 % Grficas122 figure(1);123 periodos = (1:T);124 [AX,H1,H2] = plotyy(periodos, u_hat , periodos, [y y_hat]);125 set(AX(1),XLim, [1 T]);126 set(AX(1),YLim, [-0.5 1]);127 set(AX(2),XLim, [1 T]);128 set(AX(2),YLim, [1 max(y)+1]);129 set(H2(1), Color, [1 0 0]);130 set(H2(2), Color, [0 0.5 0]);131 legend(Residuos, Actual, Ajustado, ...132 Location, SouthOutside, Orientation, Horizontal);133 grid on;134 xlabel(Periodos);135 set(AX, FontSize, 8);




Ejecucin: Mtodo: Mnimos Cuadrados OrdinarioObservaciones incluidas: 207--------------------------------------------------------------------------------Variables Coeficiente Error Est. estadstico t p-value--------------------------------------------------------------------------------c 1.215400 0.023108 52.597007 0.000000log(GDP) 0.794784 0.003993 199.021879 0.000000RS -0.025585 0.002193 -11.664476 0.000000dlog(PR) -2.911393 0.902595 -3.225581 0.001465--------------------------------------------------------------------------------R cuadrado 0.995960 Media var depend. 6.006429R cuadrado ajustado 0.995901 Desv. Estand. var depend. 0.849803ES de la regresin 0.054409 Criterio Inf. Akaike -2.965431Suma de res. cuadrados 0.600954 Criterio Schwarz -2.901031Log verosimilitud 310.922096 Criterio Hannan-Quinn -2.797983Estad. F 16683.210592 Criterio Durwin-Watson 0.158003Prob(Estad. F) 0.000000

20 40 60 80 100 120 140 160 180 200

0.2

0.1

0

0.1

0.2

Periodos

20 40 60 80 100 120 140 160 180 200

4

5

6

7

8

Residuos Actual Ajustado


ataurima-arellano m. - implementación en matlab del método de estimación por mínimos cuadrados...

Documents