Testen unterschiedlicher Konfigurationen
Azure DevOps Services | Azure DevOps Server 2022 - Azure DevOps Server 2019 | TFS 2018
Die Benutzer installieren Ihre App wahrscheinlich in einer Vielzahl von Konfigurationen, dazu zählen beispielsweise unterschiedliche Betriebssysteme, Webbrowser und andere Variationen. Sie möchten mindestens einige Ihrer Tests in Phasen ausführen, die über diese unterschiedlichen Konfigurationen verfügen.
Verwenden Sie Ihre Testpläne, um zu entscheiden, welche Tests Sie auf welchen Konfigurationen ausführen möchten. Sie müssen sicherstellen, dass Sie beim Ausführen ihrer Tests, die Sie für die benötigten Konfigurationen eingerichtet haben, Ihre Phasen eingerichtet haben.
Sie können eine schematische Matrix der Kombinationen zeichnen, die Sie testen möchten:
Dann können Sie:
- Anzeigen verfügbarer Konfigurationen und Variablen
- Erstellen von Konfigurationen und Variablen
- Zuweisen der Konfigurationen zum Testen von Plänen und Testsuiten
- Ausführen von Tests mit den einzelnen Konfigurationen
- Nachverfolgen der Testergebnisse für jede Konfiguration
Voraussetzungen
- Sie müssen eine Verbindung mit einem Projekt herstellen. Wenn Sie noch kein Projekt haben, erstellen Sie ein Projekt.
- Sie müssen einem Projekt hinzugefügt werden. Um hinzugefügt zu werden, fügen Sie Benutzer zu einem Projekt oder Team hinzu.
- Um Testkonfigurationen anzuzeigen oder hinzuzufügen, müssen Sie über einfachen Zugriff oder höher verfügen.
- Um Testkonfigurationen hinzuzufügen, müssen Sie über die Berechtigung zum Verwalten von Testkonfigurationen auf Projektebene verfügen, die auf "Zulassen" festgelegt ist. Standardmäßig wird diese Berechtigung Mitgliedern der Gruppen "Mitwirkende" und "Project-Administrator" gewährt.
Weitere Informationen finden Sie unter Manuellen Testzugriff und Berechtigungen.
Arbeiten mit dem TCM-Befehlszeilentool
Um das TCM-Befehlszeilentool auszuführen, müssen Sie folgendes ausführen:
Visual Studio 2017 Professional oder frühere Version installiert. Sie greifen über die Eingabeaufforderung und die folgenden Verzeichnisse auf TCM zu:
%programfiles(x86)%\Microsoft Visual Studio\2017\Professional\Common7\IDE
%programfiles(x86)%\Microsoft Visual Studio\2017\Enterprise\Common7\IDE
%programfiles(x86)%\Microsoft Visual Studio 14.0\Common7\IDE
Um einen TCM-Befehl auszuführen, geben Sie die
/collection
Parameter/teamproject
und/login
ggf. an.Parameter BESCHREIBUNG /collection :CollectionURL
Erforderlich. Gibt den URI der Teamprojektsammlung an. Das Format für den URI lautet wie folgt:
- Für Azure DevOps Services:http://dev.azure.com/OrganizationName
- Für Azure DevOps Server:http://ServerName:Port/VirtualDirectoryName/CollectionName
. Wenn kein virtuelles Verzeichnis verwendet wird, hat der URI das folgende Format:http://ServerName:Port/CollectionName
/teamproject: project
Erforderlich. Der Name des Projekts, das die Testobjekte enthält, in die Sie automatisierte Tests klonen oder importieren möchten. /login: username,[password]
Optional. Gibt den Namen und das Kennwort eines gültigen Azure DevOps-Benutzers an, der über Berechtigungen zum Ausführen des Befehls verfügt. Verwenden Sie diese Option, wenn Ihre Windows-Anmeldeinformationen nicht über die entsprechenden Berechtigungen verfügen, oder Sie die Standardauthentifizierung verwenden, oder Sie sind nicht mit einer Domäne verbunden. Sie müssen ein gültiges Mitglied des Projekts sein, auf das Sie zugreifen möchten, und verfügen über die erforderlichen Berechtigungen basierend auf den befehlen, die Sie ausführen. Weitere Informationen finden Sie unter Manuellen Testzugriff und Berechtigungen.
Um Testobjekte zu klonen oder zu importieren, müssen Sie dieselben Zugriffsstufen erteilt haben, die zum Hinzufügen von Testplänen und Testsuiten erforderlich sind, wie in Den Voraussetzungen beschrieben.
Anzeigen von Konfigurationen und Variablen
Sie möchten häufig die Konfigurationen sehen, die bereits verfügbar sind, um Ihre Tests auszuführen.
Sie können eine Liste der Testkonfigurationen und Konfigurationsvariablen auf der Seite "Konfigurationen " anzeigen.
Wählen Sie im Projekt Test Plans>Configurations aus dem linken Navigationsbereich aus. Hier sehen Sie alle Testkonfigurationen und Variablen, die derzeit für Ihre Testpläne verfügbar sind.
Wählen Sie eine Konfiguration oder Variable aus, um weitere Informationen dazu im Fenster rechts anzuzeigen.
Erstellen von Konfigurationen und Variablen
Eine Testkonfiguration ist eine Kombination aus Konfigurationsvariablenwerten. Die Konfigurationsvariablen können beispielsweise ein Betriebssystem, Browser, CPU-Typ oder eine Datenbank sein. Eine Konfiguration kann "Windows 8 + 32-Bit-CPU" oder "Windows 10 + 64-Bit-CPU" sein.
Erstellen Sie zuerst die Konfigurationsvariablen. Kombinieren Sie dann mehrere Variablenwerte, um eine Konfiguration zu erstellen.
Öffnen Sie die Seite "Konfigurationen" im Test Plans-Webportal, wählen Sie das + Symbol aus, und wählen Sie "Neue Konfigurationsvariable" aus.
Geben Sie einen Namen für die Variable ein, z. B. Browser und eine Beschreibung. Wählen Sie "Neuen Wert hinzufügen" aus, und fügen Sie dann einen Wert hinzu. Fügen Sie der Konfigurationsvariable beliebig viele Werte hinzu, und speichern Sie sie dann.
Wiederholen Sie die Schritte zum Erstellen anderer Konfigurationsvariablen, die Sie benötigen. Erstellen Sie beispielsweise eine Konfigurationsvariable namens Betriebssystem mit den Namen jedes Betriebssystems, auf dem Sie testen möchten.
Wählen Sie das + Symbol aus, und wählen Sie "Neue Testkonfiguration" aus.
Geben Sie einen Namen für die Testkonfiguration ein, und fügen Sie die von Ihnen erstellten Konfigurationsvariablen hinzu. Wählen Sie einen Wert für jede Variable für diese Konfiguration aus.
Stellen Sie sicher, dass die Zuweisung zu neuen Testplänen aktiviert ist, um diese Konfiguration für alle von Ihnen erstellten neuen Testpläne als Standard festzulegen.
Speichern Sie Ihre neue Testkonfiguration.
Eine Testkonfiguration ist eine Kombination aus Konfigurationsvariablenwerten. Die Konfigurationsvariablen können beispielsweise ein Betriebssystem, Browser, CPU-Typ oder eine Datenbank sein. Eine Konfiguration kann "Windows 8 + 32-Bit-CPU" oder "Windows 10 + 64-Bit-CPU" sein.
Sie müssen zuerst die Konfigurationsvariablen erstellen. Kombinieren Sie dann mehrere Variablenwerte, um eine Konfiguration zu erstellen.
Öffnen Sie die Seite "Konfigurationen" im Test Plans-Webportal, wählen Sie das neue Symbol aus, und wählen Sie "Neue Konfigurationsvariable" aus.
Geben Sie einen Namen für die Variable ein, z. B. Browser, und geben Sie einen Wert ein. Fügen Sie der Konfigurationsvariable beliebig viele Werte hinzu, und speichern Sie sie dann.
Wiederholen Sie die Schritte zum Erstellen anderer Konfigurationsvariablen, die Sie benötigen. Erstellen Sie beispielsweise eine Konfigurationsvariable namens Betriebssystem mit den Namen jedes Betriebssystems, auf dem Sie testen möchten.
Wählen Sie das
Symbol aus, und wählen Sie "Neue Testkonfiguration" aus.
Geben Sie einen Namen für die Testkonfiguration ein, und fügen Sie die von Ihnen erstellten Konfigurationsvariablen hinzu. Wählen Sie einen Wert für jede Variable für diese Konfiguration aus.
Stellen Sie sicher, dass Sie neue Testpläne zuweisen , um die Standardkonfiguration für alle von Ihnen erstellten neuen Testpläne zu erstellen.
Speichern Sie Ihre neue Testkonfiguration.
Zuweisen von Konfigurationen zum Testen von Plänen und Suites
Sie können einer Testsuite oder einem einzelnen Testfall Konfigurationen zuweisen. Konfigurationen, die einer Testsuite zugewiesen sind, gelten für alle Tests oder Suites darin.
Um einer Testsuite eine Konfiguration zuzuweisen, wählen Sie auf der Seite " Testpläne " einen Plan aus. Wählen Sie im Bereich "TestSuite " eine Testsuite aus, und wählen Sie " Weitere Optionen " aus, oder klicken Sie mit der rechten Maustaste, um das Kontextmenü zu öffnen, und wählen Sie dann " Konfiguration zuweisen" aus.
Wenn Sie einer Testsuite mehrere Konfigurationen hinzufügen, werden die Testfälle mit jeder der von Ihnen zugewiesenen Konfigurationen wiederholt.
Wenn erforderlich, überschreiben Sie die Standardkonfiguration, die einem Testfall zugewiesen ist, und weisen Sie die erforderliche Konfiguration zu. Wählen Sie mindestens einen Testfall aus, öffnen Sie das Kontextmenü, und wählen Sie " Konfiguration zuweisen" aus.
Suchen Und auswählen Sie die Konfigurationen, die den Testfällen zugewiesen werden sollen.
Sie können einem Testplan, einer Testsuite oder einem einzelnen Testfall Konfigurationen zuweisen. Konfigurationen, die einem Testplan oder einer Testsuite zugewiesen sind, gelten für alle Tests oder Suites darin.
Um einem Testplan eine Konfiguration zuzuweisen, öffnen Sie auf der Seite " Testpläne" das Kontextmenü für den Plan, und wählen Sie " Konfiguration zum Testplan zuweisen" aus.
Um einer Testsuite eine Konfiguration zuzuweisen, öffnen Sie das Kontextmenü für die Suite, und wählen Sie " Konfiguration für Testsuite zuweisen" aus.
Wenn Sie einem Testplan oder einer Suite mehrere Konfigurationen hinzufügen, werden die Testfälle im Plan oder in der Suite mit jeder der von Ihnen zugewiesenen Konfigurationen wiederholt.
Wenn erforderlich, überschreiben Sie die Standardkonfiguration, die einem Testfall zugewiesen ist, und weisen Sie die erforderliche Konfiguration zu. Wählen Sie mindestens einen Testfall aus, öffnen Sie das Kontextmenü, und wählen Sie "Konfigurationen zuweisen" aus.
Suchen und auswählen Sie die Konfigurationen, die diesen Testfällen zugewiesen werden sollen.
Ausführen von Tests mit jeder Konfiguration
Richten Sie eine Testplattform für eine bestimmte Konfiguration ein, z. B. das Testen der App mit Google Chrome auf Windows 10.
Wählen Sie einen Test aus, der diese Konfiguration zugewiesen ist, und führen Sie diesen Test aus.
Während Sie den Test ausführen, wird eine Erinnerung an die Konfiguration in der Statusleiste angezeigt.
Richten Sie eine Testplattform für eine bestimmte Konfiguration ein, z. B. das Testen der App mit Google Chrome auf Windows 10.
Wählen Sie einen Test aus, der diese Konfiguration zugewiesen ist, und führen Sie diesen Test aus.
Während Sie den Test ausführen, wird eine Erinnerung an die erforderliche Konfiguration in der Statusleiste des Test-Runner-Fensters angezeigt.
Nachverfolgen von Testergebnissen für jede Konfiguration
Öffnen Sie die Seite "Diagramme " für Ihre Testsuite, wählen Sie "Neu" aus, und wählen Sie "Neues Testergebnisdiagramm" aus.
Wählen Sie einen Diagrammtyp aus, z. B. ein Kreisdiagramm oder ein Balkendiagramm, und wählen Sie dann "Nach>Konfiguration gruppieren " aus, und wählen Sie "OK" aus.
Ein Diagramm wird erstellt, das Ihnen helfen kann, Ihre Tests basierend auf Konfigurationen nachzuverfolgen. Sie können dieses Diagramm an Ihr Dashboard anheften.
Wenn Sie einen Testfall haben, der in mehreren Testsuiten angezeigt wird, können Sie die verschiedenen Konfigurationen für jede Suite festlegen. Der gleiche Testfall kann verschiedene Konfigurationseinstellungen in unterschiedlichen Testauflistungen und Testplänen aufweisen.
Öffnen Sie die Seite "Diagramme " für Ihren Testplan oder Ihre Testsuite, wählen Sie "Neu" aus, und wählen Sie "Neues Testergebnisdiagramm" aus.
Wählen Sie den gewünschten Diagrammtyp aus, wählen Sie " Konfiguration in der Gruppe nach Liste" aus, und wählen Sie "OK" aus.
Ein Diagramm wird erstellt, das Ihnen helfen kann, Ihre Tests basierend auf Konfigurationen nachzuverfolgen. Sie können dieses Diagramm an Ihr Dashboard anheften.
Wenn Sie über einen Testfall verfügen, der in mehreren Testplänen und Testsuiten angezeigt wird, können Sie die verschiedenen Konfigurationen für jede dieser Konfigurationen festlegen. Der gleiche Testfall kann verschiedene Konfigurationseinstellungen in unterschiedlichen Testauflistungen und Testplänen aufweisen.