1 y modelo de regresiÓn simple suponemos que una variable y es una función lineal de otra variable...
TRANSCRIPT
1
Y
MODELO DE REGRESIÓN SIMPLE
Suponemos que una variable Y es una función lineal de otra variable X, con parámetros
desconocidos 1 y 2 que queremos estimar.
XY 21
1
XX1 X2 X3 X4
Suponemos que existe una muestra de 4 observaciones con X valores como se muestra en la gráfica.
MODELO DE REGRESIÓN SIMPLE
2
XY 21
1
Y
XX1 X2 X3 X4
Si la relación fuera exacta, las observaciones deberían de hallarse sobre una línea recta y
no tendríamos problema en obtener los valores de 1 y 2.
Q1
Q2
Q3
Q4
MODELO DE REGRESIÓN SIMPLE
3
XY 21
1
Y
XX1 X2 X3 X4
P4
En la práctica , la relación entre observaciones no es exacta y el valor de Y es diferente al correspondiente a una línea recta.
P3P2
P1
Q1
Q2
Q3
Q4
MODELO DE REGRESIÓN SIMPLE
4
XY 21
1
Y
XX1 X2 X3 X4
P4
Para permitir esa divergencia, escribiremos el modelo como Y = 1 + 2X + u, donde u es el término de error.
P3P2
P1
Q1
Q2
Q3
Q4
MODELO DE REGRESIÓN SIMPLE
5
XY 21
1
Y
XX1 X2 X3 X4
P4
Por lo tanto, cada valor de Y tiene un componente no aleatorio, 1 + 2X, y un componente aleatorio, u. La primera observación fue separada en estos dos componentes.
P3P2
P1
Q1
Q2
Q3
Q4u1
MODELO DE REGRESIÓN SIMPLE
6
XY 21
1
Y
121 X
XX1 X2 X3 X4
P4
En la práctica sólo podemos observar los puntos P.
P3P2
P1
MODELO DE REGRESIÓN SIMPLE
7
Y
XX1 X2 X3 X4
P4
Obviamente, podemos utilizar los puntos P para dibujar una línea que se aproxime a la línea
Y = 1 + 2X. Si escribimos esta línea Y = b1 + b2X, b1 es una estimado de 1 and b2 es un
estimado de 2.
P3P2
P1
^
MODELO DE REGRESIÓN SIMPLE
8
XbbY 21ˆ
b1
Y
XX1 X2 X3 X4
P4
La línea es nombrada como modelo ajustado y los valores de Y predichos por él son llamados valores ajustados de Y. Estos están determinados por las alturas de los puntos R.
P3P2
P1
R1
R2
R3 R4
MODELO DE REGRESIÓN SIMPLE
9
XbbY 21ˆ
b1
Y (valor ajustado)Y (valor real)
Y
XX1 X2 X3 X4
P4
XX1 X2 X3 X4
Las diferencias entre los valores reales y los valores ajustados de Y son conocidas como residuales.
P3P2
P1
R1
R2
R3 R4
(residual)
e1
e2
e3
e4
MODELO DE REGRESIÓN SIMPLE
10
XbbY 21ˆ
b1
Y (valor ajustado)
Y (valor real)
eYY ˆY
P4
Observemos que el valor de los residuales no es el mismo que el valor de los términos de error (u). El diagrama muestra (en gris) la verdadera (pero desconocida) relación así como la línea ajustada.
P3P2
P1
R1
R2
R3 R4
b1
MODELO DE REGRESIÓN SIMPLE
11
XbbY 21ˆ
XY 21
1
Y (valor ajustado)
Y (valor real)
Y
XX1 X2 X3 X4
P4
El término de error de cada observación explica la divergencia entre el componente no-aleatorio de la relación “real” y los datos observados.
P3P2
P1
MODELO DE REGRESIÓN SIMPLE
12
Q2Q1
Q3
Q4
XbbY 21ˆ
XY 21
1
b1
Y (valor ajustado)
Y (valor real)
Y
XX1 X2 X3 X4
P4
Por otro lado, los residuales son la diferencia entre los valores observados y los valores ajustados o predichos.
P3P2
P1
R1
R2
R3 R4
MODELO DE REGRESIÓN SIMPLE
13
XbbY 21ˆ
XY 21
1
b1
Y (valor ajustado)
Y (valor real)
Y
XX1 X2 X3 X4
P4
Si el ajuste del modelo es bueno, los residuales y los términos de error serán similares, pero son conceptos distintos.
P3P2
P1
R1
R2
R3 R4
MODELO DE REGRESIÓN SIMPLE
14
XbbY 21ˆ
XY 21
1
b1
Y (valor ajustado)
Y (valor real)
Y
XX1 X2 X3 X4
P4
Ambas líneas en este diagrama serán utilizadas en nuestro análisis. Cada una permite la descomposición del valor de Y, lo cual será ilustrado al analizar la cuarta observación .
MODELO DE REGRESIÓN SIMPLE
15
Q4
u4XbbY 21
ˆ
XY 21
1
b1
Y (valor ajustado)
Y (valor real)
Y
421 X
XX1 X2 X3 X4
P4
Al utilizar la relación teórica, Y puede ser separada en su componente no estocástico 1 +
2X y su componente aleatorio u.
MODELO DE REGRESIÓN SIMPLE
16
Q4
u4XbbY 21
ˆ
XY 21
1
b1
Y (valor ajustado)
Y (valor real)
Y
421 X
XX1 X2 X3 X4
P4
Lo anterior es una separacón teórica debido a que no conocemos los valores de 1 o de 2, o los valores del término de error. Debemos utilizar este recurso en nuestro análisis de las propiedades de los coeficientes de regresión.
MODELO DE REGRESIÓN SIMPLE
17
Q4
u4XbbY 21
ˆ
XY 21
1
b1
Y (valor ajustado)
Y (valor real)
Y
421 X
XX1 X2 X3 X4
P4
La otra separación necesaria es la de la línea de ajuste. En cada obervación, el valor real es igual al valor ajustado más el residual. Esto es una separación operacional que utilizaremos por razones prácticas.
MODELO DE REGRESIÓN SIMPLE
18
e4
R4
XbbY 21ˆ
XY 21
1
b1
Y
Y (valor real)
(valor ajustado)Y
421 Xbb
XX1 X2 X3 X4
MODELO DE REGRESIÓN SIMPLE
Criterio de mínimos cuadrados:
221
1
2 ... n
n
ii eeeRSS
Minimizar RSS (la suma de los residuales al cuadrado), donde
Para empezar, trazaremos la línea de ajuste de tal forma que minimicemos la suma de los residuales al cuadrado, RSS. Esto es descrito como el criterio de mínimos cuadrados.
19
MODELO DE REGRESIÓN SIMPLE
¿Por qué el cuadrado de los residuales? ¿Por qué no sólo minimizar la suma de los residuales?
Criterio de mínimos cuadrados:
¿Por qué no minimizar
221
1
2 ... n
n
ii eeeRSS
n
n
ii eee
...11
20
Minimizar RSS (la suma de los residuales al cuadrado), donde
P4
La respuesta es que deberíamos obtener, aparentemente, un ajuste perfecto al trazar una línea horizontal a través del valor medio de Y. La suma de los residuales sería cero.
P3P2
P1
MODELO DE REGRESIÓN SIMPLE
Y
21
XX1 X2 X3 X4
Y
P4
Debemos prevenir que los residuales negativos cancelen los positivos, y una forma de lograrlo es utilizando los cuadrados de los residuales.
P3P2
P1
MODELO DE REGRESIÓN SIMPLE
22
XX1 X2 X3 X4
Y
Y
P4
Por supuesto, existen otras maneras de lidiar con este problema. El criterio de mínimos cuadrados tiene la atracción de que su estimador tiene las características que hacen que ciertas condiciones básicas se cumplan.
P3P2
P1
MODELO DE REGRESIÓN SIMPLE
23
XX1 X2 X3 X4
Y
Y
P4
La siguiente sequencia muestra cómo el criterio de mínimos cuadrados es utilizado para calcular los coeficientes de la línea de ajuste.
P3P2
P1
MODELO DE REGRESIÓN SIMPLE
24
XX1 X2 X3 X4
Y
Y
Copyright Christopher Dougherty 1999–2006. This slideshow may be freely copied for personal use.
17.06.06