¿Por qué una cruz-procedimiento de validación de superar el problema de sobreajuste un modelo?
Respuestas
¿Demasiados anuncios?
No puedo pensar en una explicación suficientemente clara justo en el momento, así que voy a dejar que alguien más; sin embargo la validación cruzada no superar completamente el exceso de ajuste problema de selección de modelo, sólo la reduce. La validación cruzada de error no tiene una insignificante variación, especialmente si el tamaño del conjunto de datos es pequeño; en otras palabras, usted obtiene un valor ligeramente diferente dependiendo de la particular de la muestra de datos que se utiliza. Esto significa que si usted tiene muchos grados de libertad en la selección de modelo (por ejemplo, un montón de características entre las que seleccionar un subconjunto pequeño, muchos de hyper-parámetros a optimizar, muchos modelos entre los que elegir) usted puede sobre-ajuste de la cruz-la validación del criterio de que el modelo esté sintonizado en formas que aprovechar esta variación aleatoria en lugar de en la manera que realmente mejoran el rendimiento, y usted puede terminar con un modelo que realiza mal. Para una discusión de este, ver Cawley y Talbot "En Más de ajuste en el Modelo de Selección y Posterior Sesgo de Selección en la Evaluación de Desempeño", JMLR, vol. 11, pp 2079-2107, 2010
Lamentablemente la validación cruzada es más probable que deje abajo cuando usted tiene un pequeño conjunto de datos, que es exactamente cuando usted necesita la validación cruzada de la mayoría. Tenga en cuenta que k-fold cross-validation es generalmente más confiable que dejar-uno-fuera de validación cruzada, ya que tiene una menor variación, pero puede ser más caro que compute para algunos modelos (que es la razón por la LOOCV se utiliza a veces para la selección del modelo, aunque tiene una alta varianza).
Loren Pechtel
Puntos
2212
Mi respuesta es más intuitiva que riguroso, pero tal vez pueda ayudar...
Como yo lo entiendo, el sobreajuste es el resultado de un modelo de selección basado en el entrenamiento y en las pruebas con los mismos datos, donde usted tiene un ajuste flexible mecanismo de ajuste de la muestra de datos tan de cerca que está encajando el ruido, los valores atípicos, y todos los demás de la varianza.
La división de los datos en un entrenamiento y conjunto de pruebas le impide hacerlo. Pero una estática de división no está utilizando sus datos de manera eficiente y su división en sí podría ser un problema. La validación cruzada se mantiene la no-recompensa-un-exacto-ajuste-de-entrenamiento-datos de la ventaja de la formación-pruebas de split, mientras que también el uso de los datos que usted tiene tan eficientemente como sea posible (es decir, todos sus datos se utiliza como la formación y los datos de pruebas, sólo que no en el mismo plazo).
Si usted tiene un ajuste flexible mecanismo, usted necesita para limitar la selección del modelo, de manera que no favorece "perfecto", pero compleja encaja de alguna manera. Usted puede hacerlo con AIC, BIC, o algún otro método de penalización que penaliza el ajuste de la complejidad directamente, o se puede hacer con CV. (O puede hacerlo mediante el uso de un método de ajuste que no es muy flexible, lo cual es una razón de modelos lineales son muy buenos.)
Otra forma de verlo es que el aprendizaje es acerca de generalizar, y un ajuste que es demasiado apretado, en cierto sentido, no generalizar. Mediante la variación de lo que se aprende y lo que está probado, se generaliza mejor que si sólo aprendido las respuestas a un conjunto específico de preguntas.
patfla
Puntos
1
Desde una perspectiva Bayesiana, no estoy tan seguro de que la validación cruzada hace nada que un "buen" análisis Bayesiano no hacer para la comparación de modelos. Pero no estoy 100% seguro de que lo hace.
Esto es debido a que si se comparan los modelos en un Bayesiano de manera, entonces, básicamente está ya haciendo la validación cruzada. Esto es debido a que la probabilidad final de modelo de Una $M_A$ contra el modelo B $M_B$, con datos de $D$ y de información previa, $I$ tiene la siguiente forma:
$$\frac{P(M_A|D,I)}{P(M_B|D,I)}=\frac{P(M_A|I)}{P(M_B|I)}\times\frac{P(D|M_A,I)}{P(D|M_B,I)}$$
Y $P(D|M_A,I)$ está dada por:
$$P(D|M_A,I)=\int P(D,\theta_A|M_A,I)d\theta_A=\int P(\theta_A|M_A,I)P(D|M_A,\theta_A,I)d\theta_A$$
Que se llama antes de la distribución predictiva. Básicamente dice lo bien que el modelo predijo que los datos que realmente se ha observado, que es exactamente lo de la validación cruzada, con el "antes" de ser reemplazado por el de "capacitación" modelo equipado, y los "datos" se sustituya por el de "pruebas" de datos. Así que si el modelo B predijo los datos mejor que Un modelo, su probabilidad posterior aumenta en relación al modelo A. parece que el teorema de Bayes, en realidad va a hacer la validación cruzada usando todos los datos, en lugar de un subconjunto. Sin embargo, no estoy totalmente convencido de ello - parece que vamos a obtener algo por nada.
Otra buena característica de este método es que tiene un built "navaja de occam", dada por la relación de la normalización de las constantes de la previa de las distribuciones para cada modelo.
Sin embargo validación cruzada parece valiosa para la temida edad "algo más" o lo que a veces se denomina "modelo mispecification". Constantemente estoy desgarrado por si este "algo más" que importa o no, porque parece que debería materia - pero que te deja paralizado con ninguna solución cuando al parecer los asuntos. Sólo algo para darle un dolor de cabeza, pero se puede hacer nada, excepto para pensar en lo que ese "algo" podría ser, y probarlo en su modelo (de modo que ya no es parte de "algo más").
Y, además, la validación cruzada es una manera concreta de hacer un análisis Bayesiano cuando las integrales anteriores son ridículamente difícil. Y de la validación cruzada "tiene sentido" para apenas alrededor de cualquier persona - es "mecánica" en lugar de "matemáticas". Así que es fácil entender lo que está pasando. Y también parece tener la cabeza en su concentrarse en la parte importante de los modelos de toma de buenas predicciones.
