Testen unterschiedlicher Konfigurationen

Azure DevOps Services | Azure DevOps Server 2022 | Azure DevOps Server 2019

Ihre Benutzer werden Ihre App wahrscheinlich auf einer Vielzahl von Konfigurationen installieren oder ausführen, z. B. auf verschiedenen Betriebssystemen, Webbrowsern und anderen Variationen. Sie sollten mindestens einige Ihrer Tests in Phasen ausführen, die über diese verschiedenen Konfigurationen verfügen.

Verwenden Sie Ihre Testpläne, um zu entscheiden, welche Tests sie für welche Konfigurationen ausführen möchten. Sie müssen sicherstellen, dass Sie beim Ausführen der Tests, die Sie für die benötigten Konfigurationen eingerichtet haben, Ihre Phasen eingerichtet haben.

Sie können eine schematische Matrix der Kombinationen zeichnen, die Sie testen möchten:

Danach können Sie:

• Anzeigen verfügbarer Konfigurationen und Variablen
• Erstellen von Konfigurationen und Variablen
• Zuweisen der Konfigurationen zum Testen von Plänen und Testsuiten
• Ausführen von Tests mit den einzelnen Konfigurationen
• Nachverfolgen der Testergebnisse für jede Konfiguration

Voraussetzungen

Kategorie	Anforderung
Projektzugriff	Projektmitglied.
Zugriffsebenen	Hinzufügen von Testkonfigurationen: Die Berechtigung Testkonfigurationen verwalten auf Projektebene auf Zulassen festlegen. Standardmäßig wird diese Berechtigung Mitgliedern der Gruppen "Mitwirkender" und "Projektadministrator" erteilt.

Weitere Informationen finden Sie unter "Manueller Testzugriff und Berechtigungen".

Voraussetzungen für das TCM-Befehlszeilentool

Kategorie	Anforderungen
Werkzeuge	Visual Studio 2017 Professional oder frühere Version. Greifen Sie auf TCM zu, indem Sie die Eingabeaufforderung und die folgenden Verzeichnisse verwenden: - %programfiles(x86)%\Microsoft Visual Studio\2017\Professional\Common7\IDE - %programfiles(x86)%\Microsoft Visual Studio\2017\Enterprise\Common7\IDE - %programfiles(x86)%\Microsoft Visual Studio 14.0\Common7\IDE - Um einen TCM-Befehl auszuführen, geben Sie die Parameter /collection und /teamproject an, und /login nach Bedarf. Siehe auch die folgende Tabelle mit erforderlichen und optionalen Parametern.
Zugriffsebenen	– Gültige Projektmitgliedschaft für ein oder mehrere Projekte, auf die Sie zugreifen möchten, und die erforderlichen Berechtigungen basierend auf den ausgeführten Befehlen. Weitere Informationen finden Sie unter "Manueller Testzugriff und Berechtigungen". – Gleiche Zugriffsebenen zum Hinzufügen von Testplänen und Testsammlungen zum Klonen oder Importieren von Testobjekten.

Parameter	Beschreibung
/Sammlung:CollectionURL	Erforderlich. Gibt den URI der Teamprojektsammlung an. Das Format für den URI lautet wie folgt: – Für Azure DevOps Services: http://dev.azure.com/OrganizationName - Für Azure DevOps Server: http://ServerName:Port/VirtualDirectoryName/CollectionName. Wenn kein virtuelles Verzeichnis verwendet wird, lautet das Format für den URI wie folgt:http://ServerName:Port/CollectionName
/teamproject:project	Erforderlich. Der Name des Projekts, das die Testobjekte enthält, in die Sie automatisierte Tests klonen oder importieren möchten.
/login:username,[password]	Optional. Gibt den Namen und das Kennwort eines gültigen Azure DevOps-Benutzers an, der über Berechtigungen zum Ausführen des Befehls verfügt. Verwenden Sie diese Option, wenn Ihre Windows-Anmeldeinformationen nicht über die entsprechenden Berechtigungen verfügen, oder Sie die Standardauthentifizierung verwenden oder keine Verbindung mit einer Domäne herstellen.

Anzeigen von Konfigurationen und Variablen

Häufig möchten Sie die Konfigurationen sehen, die bereits zum Ausführen ihrer Tests verfügbar sind.

Browser

Sie können eine Liste der Testkonfigurationen und Konfigurationsvariablen auf der Seite "Konfigurationen" anzeigen.

Wählen Sie im Projekt "Konfigurationen>testen" im linken Navigationsbereich aus. Hier sehen Sie alle Testkonfigurationen und -variablen, die derzeit für Ihre Testpläne verfügbar sind.

Wählen Sie eine Konfiguration oder Variable aus, um weitere Informationen darüber im Fenster rechts anzuzeigen.

TCM CLI

Hier können tcm configs /list Sie die Konfigurationen anzeigen, die für die Testpläne und Testsuiten in Ihrem Projekt verfügbar sind. Wenn keine optionalen Parameter angegeben werden, werden alle Testkonfigurationen für das Teamprojekt aufgelistet.

tcm configs /list [/querytext:query] /collection:teamprojectcollectionurl
            /teamproject:project [/login:username,[password]]

Parameter	Beschreibung
/querytext:query	Optional. Gibt die Abfrage an, die zum Auflisten einer Teilmenge von Testkonfigurationen verwendet werden soll.

Beschreibungen von /collectionund /teamproject/login Parametern finden Sie unter "Arbeiten mit dem TCM-Befehlszeilentool".

Beispiel

Der folgende Befehl listet die Testkonfigurationen auf, die im Fabrikam Fiber-Projekt verfügbar sind, das in der Fabrikamprime-Organisation gehostet wird. Die ID entspricht dem Konfigurationsnamen. Beispielsweise wird die Konfigurations-ID 9 an der Testkonfiguration von Google Chrome unter Windows 10 ausgerichtet.

tcm configs /list /collection:https://dev.azure.com/fabrikamprime /teamproject:"Fabrikam Fiber"

Id        Name
--------- ----------------------------------------------------------------
2         Windows 8
7         Windows 7
9         Google Chrome on Windows 10

Erstellen von Konfigurationen und Variablen

Eine Testkonfiguration ist eine Kombination aus Konfigurationsvariablenwerten. Ihre Konfigurationsvariablen können z. B. Betriebssystem, Browser, CPU-Typ, Datenbank sein. Eine Konfiguration kann "Windows 8 + 32-Bit-CPU" oder "Windows 10 + 64-Bit-CPU" sein.

Erstellen Sie zuerst die Konfigurationsvariablen. Kombinieren Sie dann mehrere Variablenwerte, um eine Konfiguration zu erstellen.

1. Öffnen Sie die Seite "Konfigurationen" im Webportal "Testpläne ", wählen Sie das + Symbol und dann " Neue Konfigurationsvariable" aus.

   

2. Geben Sie einen Namen für die Variable ein, z . B. Browser und eine Beschreibung. Wählen Sie "Neuen Wert hinzufügen" aus, und fügen Sie dann einen Wert hinzu. Fügen Sie der Konfigurationsvariable beliebig viele Werte hinzu, und speichern Sie sie dann.

   

3. Wiederholen Sie die Schritte zum Erstellen anderer Konfigurationsvariablen, die Sie benötigen. Erstellen Sie beispielsweise eine Konfigurationsvariable namens "Betriebssystem " mit den Namen jedes Betriebssystems, auf dem Sie testen möchten.

   

4. Wählen Sie das + Symbol und dann " Neue Testkonfiguration" aus.

   

5. Geben Sie einen Namen für die Testkonfiguration ein, und fügen Sie die von Ihnen erstellten Konfigurationsvariablen hinzu. Wählen Sie für jede Variable für diese Konfiguration einen Wert aus.

   

   Stellen Sie sicher, dass die Option "Neuen Testplänen zuweisen" aktiviert ist, um diese Konfiguration als Standard für alle neuen Testpläne festzulegen, die Sie erstellen.

6. Speichern Sie Die neue Testkonfiguration.

Zuweisen von Konfigurationen zum Testen von Plänen und Suites

Sie können einer Testsuite oder einem einzelnen Testfall Konfigurationen zuweisen. Konfigurationen, die einer Testsuite zugewiesen sind, gelten für alle Darin enthaltenen Tests oder Suites.

1. Um einer Testsuite eine Konfiguration zuzuweisen, wählen Sie auf der Seite "Testpläne " einen Plan aus. Wählen Sie im Bereich "Testsuiten" eine Testsuite aus, und wählen Sie "Weitere Optionen" aus, oder klicken Sie mit der rechten Maustaste, um das Kontextmenü zu öffnen, und wählen Sie dann "Konfiguration zuweisen" aus.

   

   Wenn Sie einer Testsuite mehrere Konfigurationen hinzufügen, werden die Testfälle bei jeder der von Ihnen zugewiesenen Konfigurationen wiederholt.

   

2. Setzen Sie bei Bedarf die Standardkonfiguration außer Kraft, die einem Testfall zugewiesen ist, und weisen Sie die benötigte Konfiguration zu. Wählen Sie einen oder mehrere Testfälle aus, öffnen Sie das Kontextmenü, und wählen Sie "Konfiguration zuweisen" aus.

   

3. Suchen Und wählen Sie die Konfigurationen aus, die den Testfällen zugewiesen werden sollen.

   

Ausführen von Tests mit jeder Konfiguration

Richten Sie eine Testplattform für eine bestimmte Konfiguration ein, z. B. das Testen der App mit Google Chrome unter Windows 10.

1. Wählen Sie einen Test aus, dem diese Konfiguration zugewiesen ist, und führen Sie sie aus.

   

   Beim Ausführen des Tests wird in der Statusleiste eine Erinnerung an die Konfiguration angezeigt.

   

Nachverfolgen von Testergebnissen für jede Konfiguration

1. Öffnen Sie die Seite "Diagramme " für Ihre Testsuite, wählen Sie "Neu" und dann " Neues Testergebnisdiagramm" aus.

   

2. Wählen Sie einen Diagrammtyp aus, z. B. ein Kreis- oder Balkendiagramm, und wählen Sie dann "Nach>Konfiguration gruppieren" und dann "OK" aus.

   

   Es wird ein Diagramm erstellt, das Ihnen dabei helfen kann, Ihre Tests basierend auf Konfigurationen nachzuverfolgen. Sie können dieses Diagramm an Ihr Dashboard anheften.

   

Wenn Sie über einen Testfall verfügen, der in mehreren Testsuiten angezeigt wird, können Sie die verschiedenen Konfigurationen für jede Suite festlegen. Derselbe Testfall kann unterschiedliche Konfigurationseinstellungen in verschiedenen Testsuiten und Testplänen aufweisen.

Verwandte Artikel

• Übersicht über manuelle und explorative Tests
• Explorative Tests und Senden von Feedback direkt aus Ihrem Browser