Definieren von Fehlerkriterien für Auslastungstests mithilfe von Azure Load Testing

In diesem Artikel erfahren Sie, wie Sie Fehlerkriterien oder Kriterien für ein automatisches Beenden für Ihre Auslastungstests mit Azure Load Testing definieren. Fehlerkriterien ermöglichen Ihnen die Definition von Leistungs- und Qualitätserwartungen an Ihre Anwendung unter Last. Azure Load Testing unterstützt verschiedene Clientmetriken zum Definieren von Fehlerkriterien, z. B. Fehlerrate oder Antwortzeit. Mit AutpStop-Kriterien können Sie Ihre Auslastungstestausführung automatisch beenden, wenn die Fehlerrate einen bestimmten Schwellenwert überschreitet.

Voraussetzungen

• Ein Azure-Konto mit einem aktiven Abonnement. Wenn Sie kein Azure-Abonnement besitzen, erstellen Sie ein kostenloses Konto, bevor Sie beginnen.
• Eine Azure Load Testing-Ressource. Wenn Sie eine Azure Load Testing-Ressource erstellen müssen, lesen Sie den Schnellstart Erstellen und Ausführen eines Auslastungstests.

Fehlerkriterien für Auslastungstests

Auslastungstest-Fehlerkriterien sind Bedingungen für clientseitige Metriken, die der Test erfüllen soll. Sie definieren Testkriterien in Azure Load Testing auf Ebene des Auslastungstests. Ein Auslastungstest kann mehrere Testkriterien aufweisen. Wenn mindestens eines der Testkriterien als TRUE ausgewertet wird, erhält der Auslastungstest den Status Fehler.

Sie können Testkriterien auf zwei Ebenen definieren. In einem Auslastungstest können Kriterien auf den unterschiedlichen Ebenen kombiniert werden.

• Auf Ebene des Auslastungstests. Hier kann beispielsweise sichergestellt werden, dass der Gesamtfehleranteil einen Schwellenwert nicht überschreitet.
• Auf Ebene der JMeter-Anforderungen (JMeter-Sampler). Sie können z. B. einen Antwortzeitschwellenwert für die Anforderung getProducts angeben, aber die Antwortzeit der Anforderung sign in ignorieren.

Sie können maximal 50 Testkriterien für einen Auslastungstest definieren. Wenn es mehrere Kriterien für dieselbe Clientmetrik gibt, wird das Kriterium mit dem niedrigsten Schwellenwert verwendet.

Struktur von Fehlerkriterien

Das Format von Fehlerkriterien in Azure Load Testing entspricht dem einer bedingten Anweisung für eine unterstützte Metrik. Stellen Sie beispielsweise sicher, dass die durchschnittliche Anzahl von Anforderungen pro Sekunde größer als 500 ist.

Fehlerkriterien weisen die folgende Struktur auf:

• Testkriterien auf Ebene des Auslastungstests: Aggregate_function (client_metric) condition threshold.
• Auf bestimmte JMeter-Anforderungen angewandte Testkriterien: Request: Aggregate_function (client_metric) condition threshold.

In der folgenden Tabelle werden die verschiedenen Komponenten beschrieben:

Parameter	BESCHREIBUNG
Client metric	Erforderlich. Die Clientmetrik, auf die die Kriterien angewandt werden sollen.
Aggregate function	Erforderlich. Die Aggregatfunktion, die auf die Clientmetrik angewendet werden soll.
Condition	Erforderlich. Der Vergleichsoperator, z. B. greater than oder less than.
Threshold	Erforderlich. Der numerische Wert, der mit der Clientmetrik verglichen werden soll.
Request	Optional. Der Name des Samplers im JMeter-Skript, auf das das Kriterium angewendet wird. Wenn Sie keinen Anforderungsnamen angeben, gilt das Kriterium für das Aggregat aller Anforderungen im Skript. Fügen Sie keine personenbezogenen Daten in den Samplernamen in Ihr JMeter-Skript ein. Die Samplernamen werden im Azure Load Testing-Ergebnisdashboard angezeigt.

Unterstützte Clientmetriken für Fehlerkriterien

Azure Load Testing unterstützt die folgenden Clientmetriken:

Metrik	Aggregate-Funktion	Schwellenwert	Condition	Beschreibung
response_time_ms	avg (Durchschnitt) min (Minimum) max (Maximum) pxx (Perzentil), xx kann 50, 75, 90, 95, 96, 97, 98, 99, 999 und 9.999 sein	Integerwert, der die Anzahl der Millisekunden (ms) darstellt.	> (größer als) < (kleiner als)	Antwortzeit oder verstrichene Zeit in Millisekunden. Erfahren Sie mehr über verstrichene Zeit in der Apache JMeter-Dokumentation.
latency	avg (Durchschnitt) min (Minimum) max (Maximum) pxx (Quantil), xx kann 50, 90, 95, 99 sein	Integerwert, der die Anzahl der Millisekunden (ms) darstellt.	> (größer als) < (kleiner als)	Wartezeit in Millisekunden. Erfahren Sie mehr über Wartezeit in der Apache JMeter-Dokumentation.
error	percentage	Numerischer Wert im Bereich von 0 bis 100, der einen Prozentsatz darstellt.	Größer als >	Prozentanteil der fehlerhaften Anforderungen.
requests_per_sec	avg (Durchschnitt)	Numerischer Wert mit bis zu zwei Dezimalstellen.	> (Größer als) < (kleiner als)	Anzahl der Anforderungen pro Sekunde.
requests	count	Wert für ganze Zahl.	> (Größer als) < (kleiner als)	Gesamtanzahl der Anforderungen.

Definieren von Fehlerkriterien für Auslastungstests

Azure portal

In diesem Abschnitt erfahren Sie, wie Sie Testkriterien für einen Auslastungstest im Azure-Portal konfigurieren.

1. Navigieren Sie im Azure-Portal zu Ihrer Azure Load Testing-Ressource.

2. Wählen Sie im linken Bereich Tests aus, um die Liste der Auslastungstests anzuzeigen.

3. Wählen Sie in der Liste Ihren Auslastungstest und dann Bearbeiten aus.

   

4. Füllen Sie im Bereich Testkriterien die Werte Metrik, Aggregatfunktion, Bedingung und Schwellenwert für Ihren Test aus.

   

   Geben Sie optional die Informationen für die Anforderungsnamen ein, um ein Testkriterium für eine bestimmte JMeter-Anforderung hinzuzufügen. Der Wert sollte dem Namen des JMeter-Samplers in der JMX-Datei entsprechen.

   

5. Wählen Sie Übernehmen aus, um die Änderungen zu speichern.

   Wenn Sie jetzt den Auslastungstest ausführen, ermittelt Azure Load Testing den Ausführungsstatus des Auslastungstests über die Testkriterien.

6. Führen Sie den Test aus, und zeigen Sie den Status im Dashboard für den Auslastungstest an.

   Auf dem Dashboard werden die einzelnen Testkriterien mit dem jeweiligen Status angezeigt. Der Gesamtteststatus ist „Fehlgeschlagen“, wenn mindestens ein Kriterium erfüllt wurde.

   

Azure Pipelines/GitHub Actions

In diesem Abschnitt konfigurieren Sie Testkriterien für einen Auslastungstest als Teil eines CI/CD-Workflows. Erfahren Sie mehr über das Einrichten automatisierter Regressionstests mit CI/CD.

Für CI/CD-Workflows konfigurieren Sie die Auslastungstesteinstellungen in einer YAML-Testkonfigurationsdatei. Sie speichern die Konfigurationsdatei für die Auslastungstests gemeinsam mit der JMeter-Testskriptdatei im Quellcodeverwaltungs-Repository.

So geben Sie Fehlerkriterien in der YAML-Konfigurationsdatei an

1. Öffnen Sie die YAML-Testkonfigurationsdatei für Ihren Auslastungstest in einem Editor Ihrer Wahl.

2. Fügen Sie die Testkriterien in der Einstellung failureCriteria hinzu.

   Verwenden Sie das Fehlerkriterienformat wie zuvor beschrieben. Sie können mehrere Fehlerkriterien für einen Auslastungstest hinzufügen.

   Im folgenden Beispiel werden drei Fehlerkriterien definiert. Die ersten beiden Kriterien gelten für den gesamten Auslastungstest, und das letzte gibt eine Bedingung für die Anforderung GetCustomerDetails an.

   version: v0.1
   testId: SampleTestCICD
   displayName: Sample test from CI/CD
   testPlan: SampleTest.jmx
   description: Load test website home page
   engineInstances: 1
   failureCriteria:
     - avg(response_time_ms) > 300
     - percentage(error) > 50
     - GetCustomerDetails: avg(latency) >200
   

   Wenn Sie ein Testkriterium für eine bestimmte JMeter-Anforderung definieren, sollte der Anforderungsname dem Namen des JMeter-Samplers in der JMX-Datei entsprechen.

   

3. Speichern Sie die YAML-Konfigurationsdatei, und committen Sie sie in Ihr Quellcodeverwaltungs-Repository.

4. Nachdem der CI/CD-Workflow ausgeführt wurde, überprüfen Sie den Teststatus im CI/CD-Protokoll.

   Im Protokoll sind der gesamte Teststatus und der Status jedes Testkriteriums angegeben. Der Status des CI/CD-Workflows spiegelt auch den Status der Testausführung wider.

   

AutoStop-Konfiguration

Azure Load Testing beendet automatisch einen Auslastungstest, wenn der Fehlerprozentsatz einen bestimmten Schwellenwert für ein bestimmtes Zeitfenster überschreitet. Das automatische Beenden schützt Sie davor, dass Tests, bei denen Fehler auftreten, weitere Kosten verursachen, z. B. aufgrund einer falsch konfigurierten Endpunkt-URL.

In der Konfigurieration des Auslastungstests können Sie die Funktion zum automatischen Beenden aktivieren oder deaktivieren und den Schwellenwert für den Fehlerprozentsatz und das Zeitfenster konfigurieren. Standardmäßig beendet Azure Load Testing automatisch einen Auslastungstest mit einem Fehlerprozentsatz von mindestens 90 % während eines 60 Sekunden-Zeitfensters.

Sie können die Funktion zum automatischen Beenden von Azure Load Testing in Kombination mit einem AutoStop-Listener in Ihrem JMeter-Skript verwenden. Der Auslastungstest wird automatisch beendet, wenn eines der Kriterien in der AutoStopp-Konfiguration oder der JMeter AutoStop-Listener erfüllt ist.

Achtung

Wenn Sie das automatische Beenden für den Auslastungstest deaktivieren, fallen möglicherweise auch dann Kosten an, wenn der Auslastungstest falsch konfiguriert ist.

Azure portal

So konfigurieren Sie das automatische Beenden für Ihren Auslastungstest im Azure-Portal:

1. Navigieren Sie im Azure-Portal zu Ihrer Azure Load Testing-Ressource.

2. Wählen Sie im linken Bereich Tests aus, um die Liste der Auslastungstests anzuzeigen.

3. Wählen Sie in der Liste Ihren Auslastungstest und dann Bearbeiten aus. Alternativ können Sie Erstellen > JMeter-Skript hochladen auswählen, wenn Sie einen neuen Test erstellen möchten.

4. Wechseln Sie zur Registerkarte Testkriterien, um die Funktion für das automatische Beenden zu konfigurieren.

   • Aktivieren oder deaktivieren Sie das automatische Beenden des Auslastungstests mithilfe des Steuerelements Test automatisch beenden.

   • Wenn Sie das automatische Beenden aktivieren, können Sie die Felder Fehlerprozentsatz und Zeitfenster ausfüllen. Geben Sie das Zeitfenster in Sekunden an.

     

5. Wählen Sie Anwenden oder Überprüfen + Erstellen aus, wenn Sie einen neuen Auslastungstest erstellen, um die Änderungen zu speichern.

Azure Pipelines/GitHub Actions

Um das automatische Beenden für den Auslastungstest in einem CI/CD-Workflow zu konfigurieren, aktualisieren Sie die YAML-Konfigurationsdatei für den Auslastungstest.

So geben Sie die Einstellungen für das automatische Beenden in der YAML-Konfigurationsdatei an:

1. Öffnen Sie die YAML-Testkonfigurationsdatei für Ihren Auslastungstest in einem Editor Ihrer Wahl.

   • Um das automatische Beenden zu aktivieren, fügen Sie die autoStop-Einstellung hinzu und geben Sie errorPercentage und timeWindow an.

     Im folgenden Beispiel wird der Auslastungstest automatisch beendet, wenn der Fehlerprozentsatz während eines beliebigen 2 Minuten-Zeitfensters 80 % überschreitet:

     version: v0.1
     testId: SampleTestCICD
     displayName: Sample test from CI/CD
     testPlan: SampleTest.jmx
     description: Load test website home page
     engineInstances: 1
     autoStop:
       errorPercentage: 80
       timeWindow: 120
     

   • Um AutoStop zu deaktivieren, fügen Sie der Konfigurationsdatei autoStop: disable hinzu.

     Im folgenden Beispiel wird AutoStop für den Auslastungstest deaktiviert:

     version: v0.1
     testId: SampleTestCICD
     displayName: Sample test from CI/CD
     testPlan: SampleTest.jmx
     description: Load test website home page
     engineInstances: 1
     autoStop: disable
     

2. Speichern Sie die YAML-Konfigurationsdatei, und committen Sie sie in Ihr Quellcodeverwaltungs-Repository.

Erfahren Sie mehr über das Einrichten automatisierter Regressionstests mit CI/CD.

Nächste Schritte

• Informationen zum Parametrisieren eines Auslastungstests mithilfe von Geheimnissen finden Sie unter Parametrisieren eines Auslastungstests.

• Informationen zur Automatisierung von Leistungstests finden Sie unter Konfigurieren von automatisierten Leistungstests.