Definieren von Fehlerkriterien für Auslastungstests mithilfe von Azure Load Testing

In diesem Artikel erfahren Sie, wie Sie Fehlerkriterien oder Kriterien für ein automatisches Beenden für Ihre Auslastungstests mit Azure Load Testing definieren. Fehlerkriterien ermöglichen Ihnen die Definition von Leistungs- und Qualitätserwartungen an Ihre Anwendung unter Last. Azure Load Testing unterstützt verschiedene Client- und Servermetriken zum Definieren von Fehlerkriterien, z. B. Fehlerrate oder CPU-Prozentsatz für eine Azure-Ressource. Mit AutpStop-Kriterien können Sie Ihre Auslastungstestausführung automatisch beenden, wenn die Fehlerrate einen bestimmten Schwellenwert überschreitet.

Voraussetzungen

• Ein Azure-Konto mit einem aktiven Abonnement. Wenn Sie kein Azure-Abonnement besitzen, erstellen Sie ein kostenloses Konto, bevor Sie beginnen.
• Eine Azure Load Testing-Ressource. Wenn Sie eine Azure Load Testing-Ressource erstellen müssen, lesen Sie den Schnellstart Erstellen und Ausführen eines Auslastungstests.

Fehlerkriterien für Auslastungstests

Auslastungstest-Fehlerkriterien sind Bedingungen für Metriken, die der Test erfüllen soll. Sie definieren Testkriterien in Azure Load Testing auf Ebene des Auslastungstests. Ein Auslastungstest kann mehrere Testkriterien aufweisen. Wenn mindestens eines der Testkriterien als TRUE ausgewertet wird, erhält der Auslastungstest den Status Fehler.

Sie können maximal 50 Testkriterien für einen Auslastungstest definieren. Wenn es mehrere Kriterien für dieselbe Metrik gibt, wird das Kriterium mit dem niedrigsten Schwellenwert verwendet.

Fehlerkriterienstruktur für Clientmetriken

Das Format von Fehlerkriterien in Azure Load Testing entspricht dem einer bedingten Anweisung für eine unterstützte Metrik. Stellen Sie beispielsweise sicher, dass die durchschnittliche Anzahl von Anforderungen pro Sekunde größer als 500 ist.

Für clientseitige Metriken können Sie Testkriterien auf zwei Ebenen definieren. In einem Auslastungstest können Kriterien auf den unterschiedlichen Ebenen kombiniert werden.

• Auf Ebene des Auslastungstests. Hier kann beispielsweise sichergestellt werden, dass der Gesamtfehleranteil einen Schwellenwert nicht überschreitet. Die Struktur für die Kriterien lautet: Aggregate_function (client_metric) condition threshold.
• Auf Ebene der JMeter-Anforderungen (JMeter-Sampler). Sie können z. B. einen Antwortzeitschwellenwert für die Anforderung getProducts angeben, aber die Antwortzeit der Anforderung sign in ignorieren. Die Struktur für die Kriterien lautet: Request: Aggregate_function (client_metric) condition threshold.

In der folgenden Tabelle werden die verschiedenen Komponenten beschrieben:

Parameter	BESCHREIBUNG
Client metric	Erforderlich. Die Clientmetrik, auf die die Kriterien angewandt werden sollen.
Aggregate function	Erforderlich. Die Aggregatfunktion, die auf die Clientmetrik angewendet werden soll.
Condition	Erforderlich. Der Vergleichsoperator, z. B. greater than oder less than.
Threshold	Erforderlich. Der numerische Wert, der mit der Clientmetrik verglichen werden soll.
Request	Optional. Der Name des Samplers im JMeter-Skript, auf das das Kriterium angewendet wird. Wenn Sie keinen Anforderungsnamen angeben, gilt das Kriterium für das Aggregat aller Anforderungen im Skript. Fügen Sie keine personenbezogenen Daten in den Samplernamen in Ihr JMeter-Skript ein. Die Samplernamen werden im Azure Load Testing-Ergebnisdashboard angezeigt.

Unterstützte Clientmetriken für Fehlerkriterien

Azure Load Testing unterstützt die folgenden Clientmetriken:

Metrik	Aggregate-Funktion	Schwellenwert	Condition	Beschreibung
response_time_ms	avg (Durchschnitt) min (Minimum) max (Maximum) pxx (Perzentil), xx kann 50, 75, 90, 95, 96, 97, 98, 99, 999 und 9.999 sein	Integerwert, der die Anzahl der Millisekunden (ms) darstellt.	> (größer als) < (kleiner als)	Antwortzeit oder verstrichene Zeit in Millisekunden. Erfahren Sie mehr über verstrichene Zeit in der Apache JMeter-Dokumentation.
latency	avg (Durchschnitt) min (Minimum) max (Maximum) pxx (Quantil), xx kann 50, 90, 95, 99 sein	Integerwert, der die Anzahl der Millisekunden (ms) darstellt.	> (größer als) < (kleiner als)	Wartezeit in Millisekunden. Erfahren Sie mehr über Wartezeit in der Apache JMeter-Dokumentation.
error	percentage	Numerischer Wert im Bereich von 0 bis 100, der einen Prozentsatz darstellt.	Größer als >	Prozentanteil der fehlerhaften Anforderungen.
requests_per_sec	avg (Durchschnitt)	Numerischer Wert mit bis zu zwei Dezimalstellen.	> (Größer als) < (kleiner als)	Anzahl der Anforderungen pro Sekunde.
requests	count	Wert für ganze Zahl.	> (Größer als) < (kleiner als)	Gesamtanzahl der Anforderungen.

Definieren von Fehlerkriterien für Auslastungstests für Clientmetriken

Azure portal

In diesem Abschnitt erfahren Sie, wie Sie Testkriterien für Clientmetrik für einen Auslastungstest im Azure-Portal konfigurieren.

1. Navigieren Sie im Azure-Portal zu Ihrer Azure Load Testing-Ressource.

2. Wählen Sie im linken Bereich Tests aus, um die Liste der Auslastungstests anzuzeigen.

3. Wählen Sie in der Liste Ihren Auslastungstest und dann Bearbeiten aus.

   

4. Füllen Sie im Bereich Testkriterien die Werte Metrik, Aggregatfunktion, Bedingung und Schwellenwert für Ihren Test aus.

   

   Geben Sie optional die Informationen für die Anforderungsnamen ein, um ein Testkriterium für eine bestimmte JMeter-Anforderung hinzuzufügen. Der Wert sollte dem Namen des JMeter-Samplers in der JMX-Datei entsprechen.

   

5. Wählen Sie Übernehmen aus, um die Änderungen zu speichern.

   Wenn Sie jetzt den Auslastungstest ausführen, ermittelt Azure Load Testing den Ausführungsstatus des Auslastungstests über die Testkriterien.

6. Führen Sie den Test aus, und zeigen Sie den Status im Dashboard für den Auslastungstest an.

   Auf dem Dashboard werden die einzelnen Testkriterien mit dem jeweiligen Status angezeigt. Der Gesamtteststatus ist „Fehlgeschlagen“, wenn mindestens ein Kriterium erfüllt wurde.

   

Azure Pipelines/GitHub Actions

In diesem Abschnitt konfigurieren Sie Testkriterien für eine Clientmetrik für einen Auslastungstest als Teil eines CI/CD-Workflows. Erfahren Sie mehr über das Einrichten automatisierter Regressionstests mit CI/CD.

Für CI/CD-Workflows konfigurieren Sie die Auslastungstesteinstellungen in einer YAML-Testkonfigurationsdatei. Sie speichern die Konfigurationsdatei für die Auslastungstests gemeinsam mit der JMeter-Testskriptdatei im Quellcodeverwaltungs-Repository.

So geben Sie Fehlerkriterien in der YAML-Konfigurationsdatei an

1. Öffnen Sie die YAML-Testkonfigurationsdatei für Ihren Auslastungstest in einem Editor Ihrer Wahl.

2. Fügen Sie die Testkriterien in der Einstellung failureCriteria hinzu.

   Verwenden Sie das Fehlerkriterienformat wie zuvor beschrieben. Sie können mehrere Fehlerkriterien für einen Auslastungstest hinzufügen.

   Im folgenden Beispiel werden drei Fehlerkriterien definiert. Die ersten beiden Kriterien gelten für den gesamten Auslastungstest, und das letzte gibt eine Bedingung für die Anforderung GetCustomerDetails an.

   version: v0.1
   testId: SampleTestCICD
   displayName: Sample test from CI/CD
   testPlan: SampleTest.jmx
   description: Load test website home page
   engineInstances: 1
   failureCriteria:
     - avg(response_time_ms) > 300
     - percentage(error) > 50
     - GetCustomerDetails: avg(latency) >200
   

   Wenn Sie ein Testkriterium für eine bestimmte JMeter-Anforderung definieren, sollte der Anforderungsname dem Namen des JMeter-Samplers in der JMX-Datei entsprechen.

   

3. Speichern Sie die YAML-Konfigurationsdatei, und committen Sie sie in Ihr Quellcodeverwaltungs-Repository.

4. Nachdem der CI/CD-Workflow ausgeführt wurde, überprüfen Sie den Teststatus im CI/CD-Protokoll.

   Im Protokoll sind der gesamte Teststatus und der Status jedes Testkriteriums angegeben. Der Status des CI/CD-Workflows spiegelt auch den Status der Testausführung wider.

   

Zugreifen auf App-Komponente für Testkriterien für Servermetriken

Wenn Sie Fehlerkriterien für eine Metrik in Ihrer App-Komponente festlegen, verwendet Ihre Auslastungstestressource eine verwaltete Identität für den Zugriff auf diese Komponente. Nachdem Sie die verwaltete Identität konfiguriert haben, müssen Sie der verwalteten Identität Ihrer Auslastungstestressource Berechtigungen erteilen, diese Werte aus der Key Vault-Instanz zu lesen.

So erteilen Sie Ihrer Azure Load Testing-Ressource Berechtigungen zum Lesen der Metriken aus Ihrer App-Komponente:

1. Navigieren Sie im Azure-Portal zu Ihrer App-Komponente.

2. Wählen Sie im linken Bereich Zugriffssteuerung (IAM) und anschließend + Hinzufügen und Rollenzuweisung hinzufügen aus.

   

3. Suchen Sie auf der Registerkarte Rolle unter Auftragsfunktionsrollen nach Benutzer mit Leseberechtigung für Überwachungsdaten oder Mitwirkender an der Überwachung.

4. Wählen Sie auf der Registerkarte Mitglieder unter Zugriff zuweisen zu die Option Verwaltete Identität aus.

5. Klicken Sie auf Mitglieder auswählen, suchen Sie nach der verwalteten Identität für die Auslastungstestressource, und wählen Sie sie aus, und wählen Sie dann Weiter aus. Wenn Sie eine systemseitig zugewiesene verwaltete Identität verwenden, entspricht der Name dem Ihrer Azure Load Testing-Ressource.

6. Wählen Sie Überprüfen und zuweisen aus, um der Identität die Berechtigung zuzuweisen.

   

Wenn Ihr Test ausgeführt wird, kann die verwaltete Identität, die Ihrer Auslastungstestressource zugeordnet ist, die Metriken für den Auslastungstest aus der App-Komponente lesen.

Definieren von Fehlerkriterien für Auslastungstests für Servermetriken

Wichtig

Azure Load Testing unterstützt das Konfigurieren von Fehlerkriterien in serverseitigen Metriken aus Azure Pipelines/GitHub Actions nicht.

In diesem Abschnitt erfahren Sie, wie Sie Testfehlerkriterien für serverseitige Metriken für einen Auslastungstest im Azure-Portal konfigurieren.

1. Navigieren Sie im Azure-Portal zu Ihrer Azure Load Testing-Ressource.

2. Wählen Sie Test erstellen aus.

3. Auf der Registerkarte Überwachung konfigurieren Sie die App-Komponenten, die Sie während des Tests überwachen möchten.

4. Konfigurieren Sie die Metrikreferenzidentität. Die Identität kann die vom System zugewiesene Identität der Auslastungstestressource oder eine der vom Benutzer zugewiesenen Identitäten sein. Stellen Sie sicher, dass Sie dieselbe Identität verwenden, der Sie zuvor Zugriff gewährt haben.

   

5. Füllen Sie im Bereich Testkriterien die Werte Ressourcen-ID, Namespace, Metrik, Aggregation, Bedingung, Schwellenwert für Ihren Test aus. Sie können Fehlerkriterien nur für die Ressourcen-/App-Komponenten festlegen, die Sie während des Tests überwachen.

   

6. Wählen Sie Übernehmen aus, um die Änderungen zu speichern. Wenn Sie jetzt den Auslastungstest ausführen, ermittelt Azure Load Testing den Ausführungsstatus des Auslastungstests über die Testkriterien.

7. Führen Sie den Test aus, und zeigen Sie den Status im Dashboard für den Auslastungstest an. Auf dem Dashboard werden die einzelnen Testkriterien mit dem jeweiligen Status angezeigt. Der Gesamtteststatus ist „Fehlgeschlagen“, wenn mindestens ein Kriterium erfüllt wurde.

   

AutoStop-Konfiguration

Azure Load Testing beendet automatisch einen Auslastungstest, wenn der Fehlerprozentsatz einen bestimmten Schwellenwert für ein bestimmtes Zeitfenster überschreitet. Das automatische Beenden schützt Sie davor, dass Tests, bei denen Fehler auftreten, weitere Kosten verursachen, z. B. aufgrund einer falsch konfigurierten Endpunkt-URL.

In der Konfigurieration des Auslastungstests können Sie die Funktion zum automatischen Beenden aktivieren oder deaktivieren und den Schwellenwert für den Fehlerprozentsatz und das Zeitfenster konfigurieren. Standardmäßig beendet Azure Load Testing automatisch einen Auslastungstest mit einem Fehlerprozentsatz von mindestens 90 % während eines 60 Sekunden-Zeitfensters.

Sie können die Funktion zum automatischen Beenden von Azure Load Testing in Kombination mit einem AutoStop-Listener in Ihrem JMeter-Skript verwenden. Der Auslastungstest wird automatisch beendet, wenn eines der Kriterien in der AutoStopp-Konfiguration oder der JMeter AutoStop-Listener erfüllt ist.

Achtung

Wenn Sie das automatische Beenden für den Auslastungstest deaktivieren, fallen möglicherweise auch dann Kosten an, wenn der Auslastungstest falsch konfiguriert ist.

Azure portal

So konfigurieren Sie das automatische Beenden für Ihren Auslastungstest im Azure-Portal:

1. Navigieren Sie im Azure-Portal zu Ihrer Azure Load Testing-Ressource.

2. Wählen Sie im linken Bereich Tests aus, um die Liste der Auslastungstests anzuzeigen.

3. Wählen Sie in der Liste Ihren Auslastungstest und dann Bearbeiten aus. Alternativ können Sie Erstellen > JMeter-Skript hochladen auswählen, wenn Sie einen neuen Test erstellen möchten.

4. Wechseln Sie zur Registerkarte Testkriterien, um die Funktion für das automatische Beenden zu konfigurieren.

   • Aktivieren oder deaktivieren Sie das automatische Beenden des Auslastungstests mithilfe des Steuerelements Test automatisch beenden.

   • Wenn Sie das automatische Beenden aktivieren, können Sie die Felder Fehlerprozentsatz und Zeitfenster ausfüllen. Geben Sie das Zeitfenster in Sekunden an.

     

5. Wählen Sie Anwenden oder Überprüfen + Erstellen aus, wenn Sie einen neuen Auslastungstest erstellen, um die Änderungen zu speichern.

Azure Pipelines/GitHub Actions

Um das automatische Beenden für den Auslastungstest in einem CI/CD-Workflow zu konfigurieren, aktualisieren Sie die YAML-Konfigurationsdatei für den Auslastungstest.

So geben Sie die Einstellungen für das automatische Beenden in der YAML-Konfigurationsdatei an:

1. Öffnen Sie die YAML-Testkonfigurationsdatei für Ihren Auslastungstest in einem Editor Ihrer Wahl.

   • Um das automatische Beenden zu aktivieren, fügen Sie die autoStop-Einstellung hinzu und geben Sie errorPercentage und timeWindow an.

     Im folgenden Beispiel wird der Auslastungstest automatisch beendet, wenn der Fehlerprozentsatz während eines beliebigen 2 Minuten-Zeitfensters 80 % überschreitet:

     version: v0.1
     testId: SampleTestCICD
     displayName: Sample test from CI/CD
     testPlan: SampleTest.jmx
     description: Load test website home page
     engineInstances: 1
     autoStop:
       errorPercentage: 80
       timeWindow: 120
     

   • Um AutoStop zu deaktivieren, fügen Sie der Konfigurationsdatei autoStop: disable hinzu.

     Im folgenden Beispiel wird AutoStop für den Auslastungstest deaktiviert:

     version: v0.1
     testId: SampleTestCICD
     displayName: Sample test from CI/CD
     testPlan: SampleTest.jmx
     description: Load test website home page
     engineInstances: 1
     autoStop: disable
     

2. Speichern Sie die YAML-Konfigurationsdatei, und committen Sie sie in Ihr Quellcodeverwaltungs-Repository.

Erfahren Sie mehr über das Einrichten automatisierter Regressionstests mit CI/CD.

Nächste Schritte

• Informationen zum Parametrisieren eines Auslastungstests mithilfe von Geheimnissen finden Sie unter Parametrisieren eines Auslastungstests.

• Informationen zur Automatisierung von Leistungstests finden Sie unter Konfigurieren von automatisierten Leistungstests.