371 votos

¿Cuál es la diferencia entre prueba y validación?

He encontrado este confuso cuando yo uso el neural network toolbox en Matlab.
Se dividen los datos en bruto conjunto en tres partes:

  1. conjunto de entrenamiento
  2. conjunto de validación
  3. prueba de conjunto

Veo que en muchos de formación o el algoritmo de aprendizaje, los datos a menudo se divide en 2 partes, el conjunto de entrenamiento y el conjunto de prueba.

Mis preguntas son:

  1. ¿cuál es la diferencia entre el conjunto de validación y prueba de conjunto?
  2. Es el conjunto de validación específico para la red neuronal? O es opcional.
  3. Para ir más allá, hay una diferencia entre la validación y las pruebas en el contexto de aprendizaje de máquina?

54voto

innovIsmail Puntos 81

Mi hijo de 5 años de experiencia en Ciencias de la computación me enseñó que nada es mejor que el de la simplicidad.

El concepto de " Formación/Cross-Validation/la Prueba de Conjuntos de Datos es tan simple como esto. Cuando usted tiene un gran conjunto de datos, se recomienda dividirlo en 3 partes:

++Conjunto de entrenamiento (60% de la del conjunto de datos original): Este se utiliza para construir nuestro algoritmo de predicción. Nuestro algoritmo intenta sintonizar sí a las peculiaridades de los conjuntos de datos de entrenamiento. En esta fase se suelen crear múltiples algoritmos con el fin de comparar sus actuaciones durante la Validación Cruzada de Fase.

++Cruz-conjunto de Validación (20% de la del conjunto de datos original): Este conjunto de datos se utiliza para comparar las prestaciones de los algoritmos de predicción que fueron creados basándose en el conjunto de entrenamiento. Podemos elegir el algoritmo que tiene el mejor rendimiento.

++Conjunto de pruebas (20% de la del conjunto de datos original): Ahora que hemos elegido para nuestro preferido algoritmo de predicción, pero aún no sabemos cómo se va a realizar en completamente invisible datos del mundo real. Así, aplicamos nuestra elegido algoritmo de predicción en nuestro conjunto de pruebas con el fin de ver cómo se va a realizar de modo que podemos tener una idea acerca de nuestro algoritmo de funcionamiento del invisibles de datos.

Notas:

-Es muy importante tener en cuenta que saltarse la fase de prueba no se recomienda, debido a que el algoritmo que realiza bien durante la validación cruzada de fase no significa realmente que es realmente la mejor, debido a que los algoritmos de comparación basándose en la cruz-conjunto de validación y sus peculiaridades y ruidos...

-Durante la Fase de Prueba, el propósito es ver cómo nuestro modelo final se va a tratar en la naturaleza, por lo que en caso de que su rendimiento es muy pobre, debemos repetir todo el proceso desde la Fase de Entrenamiento.

30voto

smartappers Puntos 11

En cada paso que tendrá que tomar una decisión (es decir, elegir una opción entre varias opciones), debe tener un conjunto adicional/partición para medir la exactitud de su elección para que usted no simplemente la selección de la más favorable resultado de la aleatoriedad y el error de la cola de la distribución para el centro 1. El de la izquierda es el pesimista. El derecho es el optimista. El centro es el pragmático. Ser pragmático.

enter image description here

Paso 1) Formación: Cada tipo de algoritmo tiene sus propias opciones de parámetro (el número de capas en una Red Neuronal, el número de árboles en un Bosque al Azar, etc). Para cada uno de los algoritmos, usted debe escoger una opción. Es por eso que usted tiene un conjunto de entrenamiento.

Paso 2) Validación: ahora tiene una colección de algoritmos. Usted debe escoger un algoritmo. Es por eso que usted tiene un conjunto de pruebas. La mayoría de la gente elegir el algoritmo que realiza mejor en el conjunto de validación (y eso está bien). Pero, si usted no miden el rendimiento del algoritmo de tasa de error sobre el conjunto de prueba, y sólo tiene que ir con su tasa de error sobre el conjunto de validación, entonces usted tiene ciegamente equivoco, el "mejor escenario posible" para el "escenario más probable." Esa es una receta para el desastre.

Paso 3) Pruebas: supongo que si sus algoritmos no tiene ningún parámetro, entonces usted no necesita un tercer paso. En ese caso, su paso de validación sería su prueba de paso. Tal vez Matlab no pide para los parámetros o ha elegido no hacer uso de ellas y que es la fuente de su confusión.

1 a menudo es útil para ir a cada paso con la hipótesis (hipótesis nula) de que todas las opciones son las mismas (por ejemplo, todos los parámetros son los mismos o todos los algoritmos son el mismo), de ahí mi referencia a la distribución.

2 Esta imagen no es mía. He tomado desde este sitio: http://www.teamten.com/lawrence/writings/bell-curve.png

15voto

dan90266 Puntos 609

No sigue que necesita dividir los datos de cualquier manera. El bootstrap puede proporcionar estimaciones de error cuadrado medio menor de la exactitud de predicción usando la muestra entera para desarrollo y pruebas del modelo.

1voto

jrudolph Puntos 3726

Normalmente para realizar el aprendizaje supervisado se necesitan dos tipos de conjuntos de datos:

  1. En un conjunto de datos (el "estándar de oro"), se tienen los datos de entrada junto con una correcta/salida que se espera, de Este conjunto de datos es generalmente debidamente preparado por humanos o por la recogida de unos datos en semi-automática. Pero es importante que usted tenga el resultado esperado para cada fila de datos aquí, porque es necesario para el aprendizaje supervisado.

  2. Los datos que se va a aplicar el modelo. En muchos casos, esto es, los datos de los que se interesan por la salida del modelo y por lo tanto usted no tiene ninguna "espera" de salida aquí todavía.

Mientras se realiza el aprendizaje de máquina que hacer lo siguiente:

  1. Fase de entrenamiento: se presentan los datos de su "estándar de oro" y entrenar a su modelo, por la vinculación de la entrada con la salida esperada.
  2. Validación/fase de Prueba: con el fin de estimar qué tan bien el modelo ha sido entrenado (que depende del tamaño de los datos, el valor que se desea predecir, de entrada, etc) y para la estimación de propiedades del modelo (media de error numéricos predictores, errores de clasificación para clasificadores, recall y precisión para IR-modelos etc.)
  3. Fase de aplicación: ahora que usted aplica su recién desarrollado un modelo para el mundo real de los datos y obtener los resultados. Puesto que normalmente no tienen ningún valor de referencia en este tipo de datos (de lo contrario, ¿por qué tendría que ser el modelo?), sólo se puede especular acerca de la calidad de su modelo de salida de la utilización de los resultados de la fase de validación.

La fase de validación es a menudo dividida en dos partes:

  1. En la primera parte con tan sólo mirar en sus modelos y seleccionar la mejor realización de aproximación utilizando los datos de validación (=validación)
  2. A continuación, se puede estimar la precisión del enfoque elegido (=prueba).

Por lo tanto la separación de 50/25/25.

En caso de que usted no necesita para elegir un modelo adecuado de varios rival de enfoques, usted puede re-crear una partición en su conjunto que, básicamente, tienen sólo el conjunto de entrenamiento y conjunto de prueba, sin necesidad de realizar la validación de su modelo de aprendizaje. Yo personalmente partición ellos 70/30 entonces.

Ver también esta pregunta.

1voto

mohsen najafzadeh Puntos 421

Conjunto de entrenamiento: un conjunto de ejemplos que se utilizan para el aprendizaje: para ajustar los parámetros del clasificador En la MLP caso, debemos utilizar el conjunto de entrenamiento para encontrar el "óptimo" pesos con el back-prop de la regla

Conjunto de validación: un conjunto de ejemplos que se utilizan para sintonizar los parámetros de un clasificador En la MLP caso, debemos utilizar el conjunto de validación para encontrar el "óptimo" número de unidades ocultas o determinar un punto de parada para la vuelta algoritmo de propagación

Prueba de conjunto: un conjunto de ejemplos que se utilizan sólo para evaluar el rendimiento de un capacitado clasificador En la MLP caso, utilizamos la prueba de la estimación de la tasa de error después de que hemos elegido la final modelo (MLP tamaño y los pesos reales) Después de evaluar el modelo final sobre el conjunto de prueba, USTED NO DEBE ajustar el modelo más!

¿Por qué separado de la prueba y de los conjuntos de validación? La tasa de error de la estimación del modelo final en la validación de datos estará sesgada (más pequeño que el la verdadera tasa de error), ya que el conjunto de validación se utiliza para seleccionar el modelo final Después de evaluar el modelo final sobre el conjunto de prueba, USTED NO DEBE ajustar el modelo más!

fuente : Introducción al Análisis de patrones,Ricardo Gutiérrez-OsunaTexas la Universidad a&M de Texas A&M University

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by: