Inferencia y evaluación de modelos de previsión (vista previa)

Importante

Esta característica actualmente está en su versión preliminar pública. Esta versión preliminar se ofrece sin un Acuerdo de Nivel de Servicio y no se recomienda para cargas de trabajo de producción. Es posible que algunas características no sean compatibles o que tengan sus funcionalidades limitadas.

Para más información, consulte Términos de uso complementarios de las Versiones Preliminares de Microsoft Azure.

En este artículo se presentan conceptos relacionados con la inferencia de modelos y la evaluación en las tareas de previsión. Puede encontrar instrucciones y ejemplos para entrenar modelos de previsión en AutoML en nuestro artículo Configuración de AutoML para la previsión de series temporales.

Una vez que haya usado AutoML para entrenar y seleccionar un mejor modelo, el siguiente paso es generar previsiones y, si es posible, evaluar su precisión en un conjunto de pruebas mantenido a partir de los datos de entrenamiento. Para ver cómo configurar y ejecutar la evaluación del modelo de previsión en el aprendizaje automático automatizado, consulte nuestra guía sobre los componentes de inferencia y evaluación.

Escenarios de inferencia

En el aprendizaje automático, la inferencia es el proceso de generación de predicciones del modelo para los nuevos datos que no se usan en el entrenamiento. Hay varias maneras de generar predicciones en la previsión debido a la dependencia temporal de los datos. El escenario más sencillo es cuando el período de inferencia sigue inmediatamente el período de entrenamiento y generamos predicciones al horizonte de previsión. Este escenario se ilustra en el diagrama siguiente:

En el diagrama se muestran dos parámetros de inferencia importantes:

• La longitud del contexto, o la cantidad de historial que el modelo requiere para realizar una previsión,
• El horizonte de previsión, que es la antelación con la que el pronosticador está capacitado para predecir.

Los modelos de previsión suelen usar cierta información histórica, el contexto, para realizar predicciones con antelación hasta el horizonte de previsión. Cuando el contexto forma parte de los datos de entrenamiento, AutoML guarda lo que necesita para realizar previsiones, por lo que no es necesario proporcionarlo explícitamente.

Hay otros dos escenarios de inferencia que son más complicados:

• Generación de predicciones más allá del horizonte de previsión,
• Obtención de predicciones cuando hay una brecha entre los períodos de entrenamiento e inferencia.

Revisamos estos casos en las siguientes subsecciones.

Predicción más allá del horizonte de previsión: previsión recursiva

Cuando necesite previsiones más allá del horizonte, AutoML aplica el modelo de forma recursiva durante el período de inferencia. Esto significa que las predicciones del modelo se devuelven como entrada para generar predicciones para ventanas de previsión posteriores. En el diagrama siguiente se muestra un ejemplo sencillo:

En este caso, generamos previsiones sobre un periodo tres veces superior a la longitud del horizonte utilizando las predicciones de una ventana como contexto para la ventana siguiente.

Advertencia

La previsión recursiva combina errores de modelización, por lo que las predicciones son menos precisas cuanto más se alejan del horizonte de previsión original. En este caso, puede encontrar un modelo más preciso al volver a entrenar con un horizonte más largo.

Predicción con una brecha entre los períodos de entrenamiento e inferencia

Supongamos que ha entrenado un modelo en el pasado y quiere usarlo para realizar predicciones a partir de nuevas observaciones que aún no estaban disponibles durante el entrenamiento. En este caso, hay un intervalo de tiempo entre los períodos de entrenamiento e inferencia:

AutoML admite este escenario de inferencia, pero debe proporcionar los datos de contexto en el período de brecha, como se muestra en el diagrama. Los datos de predicción pasados al componente de inferencia necesitan valores para las características y los valores de destino observados en la brecha y los valores que faltan o valores "NaN" para el destino en el período de inferencia. En la tabla siguiente se muestra un ejemplo de este patrón:

Aquí, los valores conocidos del objetivo y las características se proporcionan para el periodo entre 01-05-2023 y 03-05-2023. Los valores de destino que faltan a partir del 04-05-2023 indican que el período de inferencia comienza en esa fecha.

AutoML usa los nuevos datos de contexto para actualizar el retraso y otras características de búsqueda, y también para actualizar modelos como ARIMA que mantienen un estado interno. Esta operación no actualiza ni vuelve a ajustar los parámetros del modelo.

Evaluación del modelo

La evaluación es el proceso de generar predicciones en un conjunto de pruebas mantenido a partir de los datos de entrenamiento y las métricas informáticas de estas predicciones que guían las decisiones de implementación de modelo. En consecuencia, hay un modo de inferencia específicamente adecuado para la evaluación del modelo: una previsión gradual. Lo revisamos en la siguiente subsección.

Previsión gradual

Un procedimiento óptimo para evaluar un modelo de predicción consiste en hacer avanzar en el tiempo el pronosticador entrenado sobre el conjunto de pruebas, haciendo un promedio de las métricas de error a lo largo de varias ventanas de predicción. Este procedimiento se denomina a veces backtest, dependiendo del contexto. Lo ideal es que el conjunto de pruebas para la evaluación sea largo en relación con el horizonte de previsión del modelo. De lo contrario, las estimaciones del error de previsión pueden ser estadísticamente ruidosas y, por tanto, menos confiables.

En el diagrama siguiente se muestra un ejemplo sencillo con tres ventanas de previsión:

En el diagrama se muestran tres parámetros de evaluación graduales:

• La longitud del contexto, o la cantidad de historial que el modelo requiere para realizar una previsión,
• El horizonte de previsión, que es la antelación con la que el pronosticador está capacitado para predecir.
• El tamaño del paso, que es lo que avanza con antelación la ventana gradual en cada iteración del conjunto de pruebas.

Lo importante es que el contexto avanza junto con la ventana de previsión. Esto significa que los valores reales del conjunto de pruebas se usan para realizar previsiones cuando se encuentran dentro de la ventana de contexto actual. La fecha más reciente de los valores reales usados para una ventana de previsión determinada se denomina hora de origen de la ventana. En la tabla siguiente se muestra una salida de ejemplo de la previsión gradual de tres ventanas con un horizonte de tres días y un tamaño de paso de un día:

Con una tabla como esta, podemos visualizar las previsiones frente a las métricas reales y de evaluación deseadas de proceso. Las canalizaciones de AutoML pueden generar pronósticos continuos sobre un conjunto de pruebas con un componente de inferencia.

Nota

Cuando el periodo de prueba tiene la misma duración que el horizonte de previsión, una previsión renovable ofrece una única ventana de previsiones hasta el horizonte.

Métricas de evaluación

La elección del resumen o la métrica de evaluación suele estar controlada por el escenario empresarial específico. Algunas opciones habituales son las siguientes:

• Trazados de valores de destino observados frente a valores previstos para comprobar que el modelo captura determinadas dinámicas de los datos,
• MAPE (error de porcentaje absoluto medio) entre los valores reales y previstos.
• RMSE (raíz del error cuadrático medio), posiblemente con una normalización, entre valores reales y previstos.
• MAE (error absoluto medio), posiblemente con una normalización, entre valores reales y previstos.

Hay muchas otras posibilidades, en función del escenario empresarial. Es posible que tenga que crear sus propias utilidades posteriores al procesamiento para calcular las métricas de evaluación a partir de resultados de inferencia o previsiones graduales. Para más información sobre métricas, consulte la sección de nuestro artículo Métricas de regresión y previsión.

Pasos siguientes

• Más información sobre cómo configurar AutoML para entrenar un modelo de previsión de series temporales.
• Obtenga información sobre cómo AutoML usa el aprendizaje automático para crear modelos de previsión.
• Lea las respuestas a las preguntas más frecuentes sobre la previsión en ML automatizado.