Análisis del bucle de aprendizaje con una evaluación sin conexión

Importante

A partir del 20 de septiembre de 2023, no podrá crear nuevos recursos de Personalizer. El servicio Personalizer se va a retirar el 1 de octubre de 2026.

Aprenda a crear una evaluación sin conexión e interpretar los resultados.

Las evaluaciones sin conexión permiten medir la eficacia de Personalizer en comparación con el comportamiento predeterminado de la aplicación durante un período de datos registrados (históricos) y evaluar el rendimiento de otras opciones de configuración para el modelo.

Al crear una evaluación sin conexión, la opción Detección de optimización ejecutará evaluaciones sin conexión en una variedad de valores de directiva de aprendizaje para encontrar uno que pueda mejorar el rendimiento del modelo. También puede proporcionar directivas adicionales para evaluar en la evaluación sin conexión.

Consulte Evaluaciones sin conexión para más información.

Requisitos previos

• Configuración de un recurso de Personalizer.
• El recurso de Personalizer debe tener una cantidad representativa de datos registrados: como cifra aproximada, recomendamos al menos 50 000 eventos en sus registros para obtener resultados de evaluación significativos. Opcionalmente, es posible que también haya exportado previamente los archivos de directivas de aprendizaje que desea probar y comparar en esta evaluación.

Ejecución de una evaluación sin conexión

1. En Azure Portal, busque el recurso de Personalizer.

2. En Azure Portal, vaya a la sección Evaluaciones y seleccione Crear evaluación.

3. Rellene las opciones de la ventana Crear una evaluación:

   • Un nombre de evaluación.
   • Fecha de inicio y finalización: son fechas que especifican el intervalo de datos que se va a utilizar en la evaluación. Estos datos deben estar presentes en los registros, como se especifica en el valor Retención de datos.
   • Establezca Detección de optimización en Sí, si quiere que Personalizer intente encontrar directivas de aprendizaje más óptimas.
   • Agregar configuración de aprendizaje: cargue un archivo de directiva de aprendizaje si quiere evaluar una directiva personalizada o exportada previamente.

   

4. Seleccione Iniciar evaluación para iniciar la evaluación.

Revisión de los resultados de la evaluación

Las evaluaciones pueden tardar mucho tiempo en ejecutarse, según la cantidad de datos que se vayan a procesar, el número de directivas de aprendizaje que se vayan a comparar y si se ha solicitado una optimización.

1. Una vez completada, puede seleccionar la evaluación en la lista de evaluaciones y, a continuación, seleccionar Comparar la puntuación de la aplicación con otras configuraciones de aprendizaje potenciales. Seleccione esta característica cuando desee ver cómo funciona la directiva de aprendizaje actual en comparación con una nueva directiva.

2. A continuación, revise el rendimiento de las directivas de aprendizaje.

   

Verá varias directivas de aprendizaje en el gráfico, junto con su recompensa media estimada, intervalos de confianza y opciones para descargar o aplicar una directiva específica.

• "Online": directiva actual de Personalizer.
• "Baseline1": directiva de línea de base de la aplicación.
• "BaselineRand": una directiva de adopción de medidas al azar.
• "Inter-len#" o "Hyper#": directivas creadas por la detección de optimización.

Seleccione Aplicar para aplicar la directiva que mejore más el modelo según sus datos.

Pasos siguientes

• Más información sobre cómo funcionan las evaluaciones sin conexión.