10 votos

¿Por qué utiliza la cuesta siempre exactamente 1 regresión los errores en los residuos MCO?

Yo estaba experimentando con la relación entre los errores y los residuos mediante un sencillo simulaciones en R. Una cosa que he descubierto es que, independientemente del tamaño de la muestra o la varianza de error, siempre tengo exactamente $1$ para la pendiente cuando se ajuste al modelo

$$ {\rm errors} \sim \beta_0 + \beta_1 \times {\rm residuals} $$

Aquí está la simulación que estaba haciendo:

n <- 10 
s <- 2.7 

x <- rnorm(n) 
e <- rnorm(n,sd=s)
y <- 0.3 + 1.2*x + e

model <- lm(y ~ x) 
r <- model$res 

summary( lm(e ~ r) )

e y r son muy (pero no totalmente) correlacionados, incluso para muestras pequeñas, pero no puedo averiguar por qué esto pasa automáticamente. Un matemático o geométrico explicación sería apreciada.

11voto

jldugger Puntos 7490

Sin ninguna pérdida de conceptual (o práctica) de la generalidad, retire primero la constante de las variables y como se describe en Cómo se hace exactamente para "controlar por otras variables". Deje $x$ ser el regresor, $e$ el error, $Y=\beta x + e$ la respuesta, $b$ el de mínimos cuadrados estimación de $\beta$, e $r = Y - bx$ de los residuos. Todos estos vectores se encuentran en el mismo plano, lo que nos permite sacar fotos de ellos. La situación se puede representar como este, donde la $O$ designa el origen:

Figure

Esta imagen se construye a partir de $\beta x$, a continuación, agregar el error de $e$ a producir $Y$. La altitud, luego de caer hacia abajo a la base, la reunión es en el de los mínimos cuadrados estimación $bx$. Claramente la altitud es el vector residual $Y-bx$, por lo que ha sido etiquetada $r$.

La base del triángulo es paralelo al vector de regresores $x$. Las alturas de los lados $OY$ $(\beta x)Y$ son de la altura del triángulo en sí mismo. Por definición, el valor residual $r$ es perpendicular a la base: por lo tanto, las distancias lejos de la base puede ser encontrado por la proyección en $r$. Por lo tanto el triángulo de la altitud puede ser encontrado en uno de tres modos: la regresión $Y$ contra $r$ (encontrar la altura de $Y$); la regresión $e$ contra $r$ (encontrar la altura de $e$), o la regresión de $r$ contra $r$ (encontrar la altura de $r$). Los tres valores deben ser iguales (como se puede comprobar mediante la ejecución de estas regresiones). Esto último, obviamente, es $1$, QED.


Para aquellos que prefieren álgebra, podemos convertir este análisis geométrico en una elegante demostración algebraica. Simplemente observar que $r$, $e=r+(\beta-b)x$, y $Y=e+\beta x = r + (2\beta-b)x$ son todos congruentes modulo el subespacio generado por $x$. Por lo tanto, deben gozar de igualdad de proyecciones en cualquier espacio ortogonal a $x$, tales como los generados por $r$, donde la proyección de $r$ coeficiente de $1$, QED. (Estadísticamente, simplemente nos "sacan" el componente de $x$ en las tres expresiones, dejando $r$ en cada caso).

11voto

zoldsegzizi Puntos 1

whuber la respuesta es genial!!! (+1) he trabajado el problema usando la notación más familiar para mí y pensé que el (la menos interesante, más de rutina) la derivación puede ser la pena incluir aquí.

Deje $y = X \beta^* + \epsilon$ ser el modelo de regresión, para $X \in \mathbb{R}^{n \times p}$ $\epsilon$ el ruido. A continuación, la regresión de $y$ contra las columnas de a $X$ tiene normal de ecuaciones $X^T\left(y - X \hat\beta\right) = 0,$ rendimiento estimaciones $$\hat\beta = \left(X^T X \right)^{-1} X^T y.$$ Therefore the regression has residuals $$r = y - X \hat\beta = \left( I - H \right) y = \left( I - H \right) \epsilon,$$ for $H = X (X^T X)^{-1} X^T$.

La regresión $\epsilon$ $r$ resulta en un estimado de la pendiente dada por \begin{align*} (r^T r)^{-1} r^T \epsilon & = \left( \left[ \left(I - H\right) \epsilon \right]^T \left[ \left(I - H\right) \epsilon \right] \right)^{-1} \left[ \left(I - H\right) \epsilon \right]^T \epsilon \\ & = \frac{\epsilon^T \left( I - H \right)^T \epsilon}{\epsilon^T \left( I - H \right)^T \left( I - H \right) \epsilon} \\ & = \frac{\epsilon^T \left( I - H \right) \epsilon}{\epsilon^T \left( I - H \right) \epsilon} \\ & = 1, \end{align*} desde $I-H$ es simétrica e idempotente y $\epsilon \not\in \mathrm{im}(X)$ casi seguramente.

Además, este argumento también se aplica en el caso incluimos una intercepción cuando realizamos la regresión de los errores en los residuos si una intercepción fue incluido en la regresión original, ya que las covariables son ortogonales (es decir,$1^T r = 0$, a partir de las ecuaciones normales).

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by: