Definición de criterios de error para pruebas de carga mediante Azure Load Testing

En este artículo, aprenderá a definir criterios de error o criterios de detención automática para las pruebas de carga con Azure Load Testing. Los criterios de error permiten definir las expectativas de rendimiento y calidad de la aplicación bajo carga. Azure Load Testing admite varias métricas de cliente para definir criterios de error, como la tasa de errores o el tiempo de respuesta. Los criterios de detención automática le permiten detener automáticamente la prueba de carga cuando la tasa de errores supera un umbral determinado.

Requisitos previos

• Una cuenta de Azure con una suscripción activa. Si no tiene una suscripción a Azure, cree una cuenta gratuita antes de empezar.
• Un recurso de prueba de carga de Azure. Si necesita crear un recurso de Azure Load Testing, consulte la guía de inicio rápido Creación y ejecución de una prueba de carga.

Criterios de error de carga de prueba

Los criterios de error de la prueba de carga son condiciones para las métricas del lado cliente que la prueba debe cumplir. Los criterios de prueba se definen en el nivel de prueba de carga en Azure Load Testing. Una prueba de carga puede tener uno o varios criterios de prueba. Cuando al menos uno de los criterios de prueba se evalúa como true, la prueba de carga obtiene el estado error.

Puede definir criterios de prueba en dos niveles. Una prueba de carga puede combinar criterios en los distintos niveles.

• En el nivel de prueba de carga. Por ejemplo, para asegurarse de que el porcentaje total de errores no supere un umbral.
• En el nivel de solicitud de JMeter (muestreador de JMeter). Por ejemplo, podría especificar un umbral de tiempo de respuesta de la solicitud de getProducts, pero omitir el tiempo de respuesta del inicio de sesión solicitud.

Puede definir un máximo de 50 criterios de prueba para una prueba de carga. Si hay varios criterios para la misma métrica de cliente, se usa el criterio con el valor de umbral más bajo.

Estructura de criterios de error

El formato de los criterios de error en Azure Load Testing sigue el de una instrucción condicional para una métrica admitida. Por ejemplo, asegúrese de que el número medio de solicitudes por segundo es mayor que 500.

Los criterios de error tienen la siguiente estructura:

• Criterios de prueba en el nivel de prueba de carga: Aggregate_function (client_metric) condition threshold.
• Criterios de prueba aplicados a solicitudes de JMeter específicas: Request: Aggregate_function (client_metric) condition threshold.

En la tabla siguiente se describen los diferentes componentes:

Parámetro	Descripción
Client metric	Obligatorio. La métrica de cliente a la que se deben aplicar los criterios.
Aggregate function	Necesario. Función de agregado que se va a aplicar en la métrica de cliente.
Condition	Necesario. Operador de comparación, como greater than o less than.
Threshold	Necesario. Valor numérico que se va a comparar con la métrica de cliente.
Request	Opcional. Nombre del sampler en el script JMeter al que se aplica el criterio. Si no especifica un nombre de solicitud, el criterio se aplica al agregado de todas las solicitudes del script. No incluya ningún dato personal en el nombre del muestreador en el script de JMeter. Los nombres de los muestreadores aparecen en el panel de resultados de Azure Load Testing.

Métricas de cliente admitidas para criterios de error

Azure Load Testing admite las siguientes métricas de cliente:

Métrica	Aggregate, función	Umbral	Condición	Descripción
response_time_ms	avg (promedio) min (mínima) max (máxima) pxx (percentil), xx puede ser 50, 75, 90, 95, 96, 97, 98, 99, 999 y 9999	Valor entero que representa el número de milisegundos (ms).	> (mayor que) < (menor que)	Tiempo de respuesta o tiempo transcurrido, en milisegundos. Obtenga más información sobre el tiempo transcurrido en la documentación de Apache JMeter.
latency	avg (promedio) min (mínima) max (máxima) pxx (percentil), xx puede ser 50, 90, 95, 99	Valor entero que representa el número de milisegundos (ms).	> (mayor que) < (menor que)	Latencia, en milisegundos. Obtenga más información sobre la latencia en la documentación de Apache JMeter.
error	percentage	Valores numéricos en el intervalo de 0 a 100, que representan un porcentaje.	> (mayor que)	Porcentaje de solicitudes con error.
requests_per_sec	avg (promedio)	Valor numérico con hasta dos posiciones decimales.	> (mayor que) < (menor que)	Número de solicitudes por segundo
requests	count	Valor entero.	> (mayor que) < (menor que)	Número total de solicitudes.

Definición de criterios de error de la prueba de carga

Azure Portal

En esta sección, configurará los criterios de prueba para una prueba de carga en Azure Portal.

1. En Azure Portal, vaya al recurso de Azure Load Testing.

2. En el panel izquierdo, seleccione Pruebas para ver la lista de pruebas de carga.

3. Seleccione la prueba de carga en la lista y, a continuación, seleccione Editar.

   

4. En el panel Criterios de la prueba, rellene los valores Métrica, Función de agregado, Condición y Umbral para la prueba.

   

   Opcionalmente, escriba la información para Nombre de solicitud para agregar un criterio de prueba para una solicitud de JMeter específica. El valor debe coincidir con el nombre del muestreador de JMeter en el archivo JMX.

   

5. Seleccione Aplicar para guardar los cambios.

   Cuando ahora ejecuta la prueba de carga, Azure Load Testing usa los criterios de prueba para determinar el estado de la ejecución de la serie de pruebas.

6. Ejecute la prueba y vea el estado en el panel de pruebas de carga.

   El panel muestra cada uno de los criterios de prueba y su estado. Se produce un error en el estado general de la prueba si se ha cumplido al menos un criterio.

   

Azure Pipelines / Acciones de GitHub

En esta sección, configurará criterios de prueba para una prueba de carga, como parte de un flujo de trabajo de CI/CD. Aprenda a configurar las pruebas de rendimiento automatizadas con CI/CD.

En el caso de los flujos de trabajo de CI/CD, defina la configuración de prueba de carga en un archivo de configuración de prueba de YAML. El archivo de configuración de prueba de carga se almacena junto con el archivo de script de prueba de JMeter en el repositorio de control de código fuente.

Para especificar criterios de error en el archivo de configuración de YAML:

1. Abra el archivo de configuración de prueba de YAML para la prueba de carga en el editor que prefiera.

2. Agregue los criterios de prueba en la configuración failureCriteria.

   Use el formato de criterios de error, como se describió anteriormente. Puede agregar varios criterios de error para una prueba de carga.

   En el ejemplo siguiente se definen tres criterios de error. Los dos primeros criterios se aplican a la prueba de carga general y el último especifica una condición para la solicitud GetCustomerDetails.

   version: v0.1
   testId: SampleTestCICD
   displayName: Sample test from CI/CD
   testPlan: SampleTest.jmx
   description: Load test website home page
   engineInstances: 1
   failureCriteria:
     - avg(response_time_ms) > 300
     - percentage(error) > 50
     - GetCustomerDetails: avg(latency) >200
   

   Al definir un criterio de prueba para una solicitud de JMeter específica, el nombre de esta debe coincidir con el nombre del muestreador de JMeter en el archivo JMX.

   

3. Guarde el archivo de configuración de YAML y confirme los cambios en el repositorio de control de código fuente.

4. Una vez que se ejecute el flujo de trabajo de CI/CD, compruebe el estado de prueba en el registro de CI/CD.

   El registro muestra el estado general de la prueba y el estado de cada uno de los criterios de prueba. El estado de la ejecución del flujo de trabajo de CI/CD también refleja el estado de la serie de pruebas.

   

Configuración de detención automática

Azure Load Testing detiene automáticamente una prueba de carga si el porcentaje de error supera un umbral determinado para un período de tiempo determinado. La detención automática es una protección contra errores de pruebas, lo supone mayores costos, por ejemplo, debido a que la dirección URL de un punto de conexión no se ha configurado correctamente.

En la configuración de pruebas de carga, puede habilitar o deshabilitar la funcionalidad de detención automática y configurar el umbral de porcentaje de error y el período de tiempo. De manera predeterminada, Azure Load Testing detiene automáticamente una prueba de carga que tiene un porcentaje de error que es al menos un 90 % durante cualquier período de tiempo de 60 segundos.

Puede usar la funcionalidad de detención automática de Azure Load Testing en combinación con una cliente de escucha de AutoStop en el script de JMeter. La prueba de carga se detiene automáticamente cuando se cumple uno de los criterios de la configuración de detención automática o el cliente de escucha de JMeter AutoStop.

Precaución

Si deshabilita la detención automática de la prueba de carga, puede incurrir en costos incluso cuando la prueba de carga está configurada incorrectamente.

Azure Portal

Para configurar la detención automática de la prueba de carga en Azure Portal:

1. En Azure Portal, vaya al recurso de Azure Load Testing.

2. En el panel izquierdo, seleccione Pruebas para ver la lista de pruebas de carga.

3. Seleccione la prueba de carga en la lista y, a continuación, seleccione Editar. Como alternativa, seleccione Crear>Carga de un script de JMeter para crear una nueva prueba.

4. Vaya a la pestañaCriterios de prueba para configurar la funcionalidad de detención automática.

   • Habilite o deshabilite la detención automática de la prueba de carga mediante el controlDetención automática de pruebas.

   • Si habilita la detención automática, puede rellenar los campos Porcentaje de error y Período de tiempo. Especifique el período de tiempo en segundos.

     

5. Seleccione Aplicar, o Revisar y crear si va a crear una nueva prueba de carga para guardar los cambios.

Azure Pipelines / Acciones de GitHub

Para configurar la parada automática de su prueba de carga en un flujo de trabajo CI/CD, actualice el archivo YAML de configuración de la prueba de carga.

Para especificar la configuración de detención automática en el archivo de configuración de YAML:

1. Abra el archivo de configuración de prueba de YAML para la prueba de carga en el editor que prefiera.

   • Para habilitar la detención automática, agregue la autoStop configuración y especifique errorPercentage y timeWindow.

     En el ejemplo siguiente se detiene automáticamente la prueba de carga cuando el porcentaje de error supera el 80 % durante cualquier período de tiempo de 2 minutos:

     version: v0.1
     testId: SampleTestCICD
     displayName: Sample test from CI/CD
     testPlan: SampleTest.jmx
     description: Load test website home page
     engineInstances: 1
     autoStop:
       errorPercentage: 80
       timeWindow: 120
     

   • Para deshabilitar la detención automática, agregue autoStop: disable al archivo de configuración.

     En el ejemplo siguiente se deshabilita la detención automática de la prueba de carga:

     version: v0.1
     testId: SampleTestCICD
     displayName: Sample test from CI/CD
     testPlan: SampleTest.jmx
     description: Load test website home page
     engineInstances: 1
     autoStop: disable
     

2. Guarde el archivo de configuración de YAML y confirme los cambios en el repositorio de control de código fuente.

Aprenda a configurar las pruebas de rendimiento automatizadas con CI/CD.

Pasos siguientes

• Para aprender a parametrizar una prueba de carga mediante secretos, vea Parametrización de una prueba de carga.

• Para obtener información sobre la automatización de pruebas de rendimiento, consulte Configuración de pruebas de rendimiento automatizadas.