Testen unterschiedlicher Konfigurationen

  • Artikel
  • 8 Minuten Lesedauer

Azure DevOps Services | Azure DevOps Server 2022 - Azure DevOps Server 2019 | TFS 2018

Die Benutzer installieren Ihre App wahrscheinlich in einer Vielzahl von Konfigurationen, dazu zählen beispielsweise unterschiedliche Betriebssysteme, Webbrowser und andere Variationen. Sie möchten mindestens einige Ihrer Tests in Phasen ausführen, die über diese unterschiedlichen Konfigurationen verfügen.

Verwenden Sie Ihre Testpläne, um zu entscheiden, welche Tests Sie auf welchen Konfigurationen ausführen möchten. Sie müssen sicherstellen, dass Sie beim Ausführen ihrer Tests, die Sie für die benötigten Konfigurationen eingerichtet haben, Ihre Phasen eingerichtet haben.

Sie können eine schematische Matrix der Kombinationen zeichnen, die Sie testen möchten:

Testmatrix von Browser- und Betriebssystemkonfigurationen

Dann können Sie:

Voraussetzungen

  • Sie müssen eine Verbindung mit einem Projekt herstellen. Wenn Sie noch kein Projekt haben, erstellen Sie ein Projekt.
  • Sie müssen einem Projekt hinzugefügt werden. Um hinzugefügt zu werden, fügen Sie Benutzer zu einem Projekt oder Team hinzu.
  • Um Testkonfigurationen anzuzeigen oder hinzuzufügen, müssen Sie über einfachen Zugriff oder höher verfügen.
  • Um Testkonfigurationen hinzuzufügen, müssen Sie über die Berechtigung zum Verwalten von Testkonfigurationen auf Projektebene verfügen, die auf "Zulassen" festgelegt ist. Standardmäßig wird diese Berechtigung Mitgliedern der Gruppen "Mitwirkende" und "Project-Administrator" gewährt.

Weitere Informationen finden Sie unter Manuellen Testzugriff und Berechtigungen.

Arbeiten mit dem TCM-Befehlszeilentool

Um das TCM-Befehlszeilentool auszuführen, müssen Sie folgendes ausführen:

  • Visual Studio 2017 Professional oder frühere Version installiert. Sie greifen über die Eingabeaufforderung und die folgenden Verzeichnisse auf TCM zu: %programfiles(x86)%\Microsoft Visual Studio\2017\Professional\Common7\IDE
    %programfiles(x86)%\Microsoft Visual Studio\2017\Enterprise\Common7\IDE %programfiles(x86)%\Microsoft Visual Studio 14.0\Common7\IDE

  • Um einen TCM-Befehl auszuführen, geben Sie die /collection Parameter /teamproject und /login ggf. an.

    Parameter BESCHREIBUNG
    /collection:CollectionURL Erforderlich. Gibt den URI der Teamprojektsammlung an. Das Format für den URI lautet wie folgt:
    - Für Azure DevOps Services:http://dev.azure.com/OrganizationName
    - Für Azure DevOps Server: http://ServerName:Port/VirtualDirectoryName/CollectionName. Wenn kein virtuelles Verzeichnis verwendet wird, hat der URI das folgende Format:http://ServerName:Port/CollectionName
    /teamproject:project Erforderlich. Der Name des Projekts, das die Testobjekte enthält, in die Sie automatisierte Tests klonen oder importieren möchten.
    /login:username,[password] Optional. Gibt den Namen und das Kennwort eines gültigen Azure DevOps-Benutzers an, der über Berechtigungen zum Ausführen des Befehls verfügt. Verwenden Sie diese Option, wenn Ihre Windows-Anmeldeinformationen nicht über die entsprechenden Berechtigungen verfügen, oder Sie die Standardauthentifizierung verwenden, oder Sie sind nicht mit einer Domäne verbunden.

  • Sie müssen ein gültiges Mitglied des Projekts sein, auf das Sie zugreifen möchten, und verfügen über die erforderlichen Berechtigungen basierend auf den befehlen, die Sie ausführen. Weitere Informationen finden Sie unter Manuellen Testzugriff und Berechtigungen.

  • Um Testobjekte zu klonen oder zu importieren, müssen Sie dieselben Zugriffsstufen erteilt haben, die zum Hinzufügen von Testplänen und Testsuiten erforderlich sind, wie in Den Voraussetzungen beschrieben.

Anzeigen von Konfigurationen und Variablen

Sie möchten häufig die Konfigurationen sehen, die bereits verfügbar sind, um Ihre Tests auszuführen.

Sie können eine Liste der Testkonfigurationen und Konfigurationsvariablen auf der Seite "Konfigurationen " anzeigen.

Wählen Sie im Projekt Test Plans>Configurations aus dem linken Navigationsbereich aus. Hier sehen Sie alle Testkonfigurationen und Variablen, die derzeit für Ihre Testpläne verfügbar sind.

Screenshot von Abfrage-Editor, Abfragetestplänen.

Wählen Sie eine Konfiguration oder Variable aus, um weitere Informationen dazu im Fenster rechts anzuzeigen.

Erstellen von Konfigurationen und Variablen

Eine Testkonfiguration ist eine Kombination aus Konfigurationsvariablenwerten. Die Konfigurationsvariablen können beispielsweise ein Betriebssystem, Browser, CPU-Typ oder eine Datenbank sein. Eine Konfiguration kann "Windows 8 + 32-Bit-CPU" oder "Windows 10 + 64-Bit-CPU" sein.

Erstellen Sie zuerst die Konfigurationsvariablen. Kombinieren Sie dann mehrere Variablenwerte, um eine Konfiguration zu erstellen.

  1. Öffnen Sie die Seite "Konfigurationen" im Test Plans-Webportal, wählen Sie das + Symbol aus, und wählen Sie "Neue Konfigurationsvariable" aus.

    Screenshot der Option

  2. Geben Sie einen Namen für die Variable ein, z. B. Browser und eine Beschreibung. Wählen Sie "Neuen Wert hinzufügen" aus, und fügen Sie dann einen Wert hinzu. Fügen Sie der Konfigurationsvariable beliebig viele Werte hinzu, und speichern Sie sie dann.

    Screenshot zeigt das Hinzufügen von Werten zu einer neuen Konfigurationsvariable.

  3. Wiederholen Sie die Schritte zum Erstellen anderer Konfigurationsvariablen, die Sie benötigen. Erstellen Sie beispielsweise eine Konfigurationsvariable namens Betriebssystem mit den Namen jedes Betriebssystems, auf dem Sie testen möchten.

    Screenshot zeigt das Festlegen der Werte für eine Konfigurationsvariable für Betriebssysteme.

  4. Wählen Sie das + Symbol aus, und wählen Sie "Neue Testkonfiguration" aus.

    Screenshot der Option

  5. Geben Sie einen Namen für die Testkonfiguration ein, und fügen Sie die von Ihnen erstellten Konfigurationsvariablen hinzu. Wählen Sie einen Wert für jede Variable für diese Konfiguration aus.

    Screenshot zeigt das Hinzufügen von Variablen zur neuen Testkonfiguration.

    Stellen Sie sicher, dass die Zuweisung zu neuen Testplänen aktiviert ist, um diese Konfiguration für alle von Ihnen erstellten neuen Testpläne als Standard festzulegen.

  6. Speichern Sie Ihre neue Testkonfiguration.

Eine Testkonfiguration ist eine Kombination aus Konfigurationsvariablenwerten. Die Konfigurationsvariablen können beispielsweise ein Betriebssystem, Browser, CPU-Typ oder eine Datenbank sein. Eine Konfiguration kann "Windows 8 + 32-Bit-CPU" oder "Windows 10 + 64-Bit-CPU" sein.

Sie müssen zuerst die Konfigurationsvariablen erstellen. Kombinieren Sie dann mehrere Variablenwerte, um eine Konfiguration zu erstellen.

  1. Öffnen Sie die Seite "Konfigurationen" im Test Plans-Webportal, wählen Sie das neue Symbol aus, und wählen Sie "Neue Konfigurationsvariable" aus.

    Hinzufügen einer neuen Konfigurationsvariable

  2. Geben Sie einen Namen für die Variable ein, z. B. Browser, und geben Sie einen Wert ein. Fügen Sie der Konfigurationsvariable beliebig viele Werte hinzu, und speichern Sie sie dann.

    Festlegen der Werte für eine neue Konfigurationsvariable

  3. Wiederholen Sie die Schritte zum Erstellen anderer Konfigurationsvariablen, die Sie benötigen. Erstellen Sie beispielsweise eine Konfigurationsvariable namens Betriebssystem mit den Namen jedes Betriebssystems, auf dem Sie testen möchten.

    Festlegen der Werte für eine Betriebssystemkonfigurationsvariable

  4. Wählen Sie das neue Symbol aus, und wählen Sie "Neue Testkonfiguration" aus.

    Hinzufügen einer neuen Testkonfiguration

  5. Geben Sie einen Namen für die Testkonfiguration ein, und fügen Sie die von Ihnen erstellten Konfigurationsvariablen hinzu. Wählen Sie einen Wert für jede Variable für diese Konfiguration aus.

    Hinzufügen von Variablen zur neuen Testkonfiguration

    Stellen Sie sicher, dass Sie neue Testpläne zuweisen , um die Standardkonfiguration für alle von Ihnen erstellten neuen Testpläne zu erstellen.

  6. Speichern Sie Ihre neue Testkonfiguration.

Zuweisen von Konfigurationen zum Testen von Plänen und Suites

Sie können einer Testsuite oder einem einzelnen Testfall Konfigurationen zuweisen. Konfigurationen, die einer Testsuite zugewiesen sind, gelten für alle Tests oder Suites darin.

  1. Um einer Testsuite eine Konfiguration zuzuweisen, wählen Sie auf der Seite " Testpläne " einen Plan aus. Wählen Sie im Bereich "TestSuite " eine Testsuite aus, und wählen Sie " Weitere Optionen " aus, oder klicken Sie mit der rechten Maustaste, um das Kontextmenü zu öffnen, und wählen Sie dann " Konfiguration zuweisen" aus.

    Screenshot zeigt die Option

    Wenn Sie einer Testsuite mehrere Konfigurationen hinzufügen, werden die Testfälle mit jeder der von Ihnen zugewiesenen Konfigurationen wiederholt.

    Screenshot zeigt mehrere Konfigurationszuweisungen zu einer Testsuite.

  2. Wenn erforderlich, überschreiben Sie die Standardkonfiguration, die einem Testfall zugewiesen ist, und weisen Sie die erforderliche Konfiguration zu. Wählen Sie mindestens einen Testfall aus, öffnen Sie das Kontextmenü, und wählen Sie " Konfiguration zuweisen" aus.

    Screenshot zeigt das Zuweisen einer Konfiguration, die einem Testfall zugewiesen ist.

  3. Suchen Und auswählen Sie die Konfigurationen, die den Testfällen zugewiesen werden sollen.

    Screenshot zeigt Einstellungskonfigurationen für einen Testfall.

Sie können einem Testplan, einer Testsuite oder einem einzelnen Testfall Konfigurationen zuweisen. Konfigurationen, die einem Testplan oder einer Testsuite zugewiesen sind, gelten für alle Tests oder Suites darin.

  1. Um einem Testplan eine Konfiguration zuzuweisen, öffnen Sie auf der Seite " Testpläne" das Kontextmenü für den Plan, und wählen Sie " Konfiguration zum Testplan zuweisen" aus.

    Zuweisen einer Konfiguration zu einem Testplan

  2. Um einer Testsuite eine Konfiguration zuzuweisen, öffnen Sie das Kontextmenü für die Suite, und wählen Sie " Konfiguration für Testsuite zuweisen" aus.

    Zuweisen einer Konfiguration zu einer Testsuite

    Wenn Sie einem Testplan oder einer Suite mehrere Konfigurationen hinzufügen, werden die Testfälle im Plan oder in der Suite mit jeder der von Ihnen zugewiesenen Konfigurationen wiederholt.

    Mehrere Konfigurationszuweisungen zu einer Testsuite

  3. Wenn erforderlich, überschreiben Sie die Standardkonfiguration, die einem Testfall zugewiesen ist, und weisen Sie die erforderliche Konfiguration zu. Wählen Sie mindestens einen Testfall aus, öffnen Sie das Kontextmenü, und wählen Sie "Konfigurationen zuweisen" aus.

    Außerkraftsetzen der Standardkonfiguration, die einem Testfall zugewiesen ist

  4. Suchen und auswählen Sie die Konfigurationen, die diesen Testfällen zugewiesen werden sollen.

    Festlegen der erforderlichen Konfigurationen für einen Testfall

Ausführen von Tests mit jeder Konfiguration

Richten Sie eine Testplattform für eine bestimmte Konfiguration ein, z. B. das Testen der App mit Google Chrome auf Windows 10.

  1. Wählen Sie einen Test aus, der diese Konfiguration zugewiesen ist, und führen Sie diesen Test aus.

    Screenshot zeigt einen Test mit einer bestimmten Konfiguration und ausgewählter Option

    Während Sie den Test ausführen, wird eine Erinnerung an die Konfiguration in der Statusleiste angezeigt.

    Screenshot zeigt die Konfiguration für diesen Test in der Statusleiste.

  1. Richten Sie eine Testplattform für eine bestimmte Konfiguration ein, z. B. das Testen der App mit Google Chrome auf Windows 10.

  2. Wählen Sie einen Test aus, der diese Konfiguration zugewiesen ist, und führen Sie diesen Test aus.

    Ausführen des Tests mit der zugewiesenen Konfiguration

    Während Sie den Test ausführen, wird eine Erinnerung an die erforderliche Konfiguration in der Statusleiste des Test-Runner-Fensters angezeigt.

    Die erforderliche Konfiguration wird im Fenster

Nachverfolgen von Testergebnissen für jede Konfiguration

  1. Öffnen Sie die Seite "Diagramme " für Ihre Testsuite, wählen Sie "Neu" aus, und wählen Sie "Neues Testergebnisdiagramm" aus.

    Screenshot zeigt die Menüoption

  2. Wählen Sie einen Diagrammtyp aus, z. B. ein Kreisdiagramm oder ein Balkendiagramm, und wählen Sie dann "Nach>Konfiguration gruppieren " aus, und wählen Sie "OK" aus.

    Screenshot zeigt die Auswahl einer Konfigurationsoption für die Gruppe im Dialogfeld

    Ein Diagramm wird erstellt, das Ihnen helfen kann, Ihre Tests basierend auf Konfigurationen nachzuverfolgen. Sie können dieses Diagramm an Ihr Dashboard anheften.

    Screenshot zeigt ein Balkendiagramm mit Werten für

Wenn Sie einen Testfall haben, der in mehreren Testsuiten angezeigt wird, können Sie die verschiedenen Konfigurationen für jede Suite festlegen. Der gleiche Testfall kann verschiedene Konfigurationseinstellungen in unterschiedlichen Testauflistungen und Testplänen aufweisen.

  1. Öffnen Sie die Seite "Diagramme " für Ihren Testplan oder Ihre Testsuite, wählen Sie "Neu" aus, und wählen Sie "Neues Testergebnisdiagramm" aus.

    Erstellen eines neuen Testergebnisdiagramms

  2. Wählen Sie den gewünschten Diagrammtyp aus, wählen Sie " Konfiguration in der Gruppe nach Liste" aus, und wählen Sie "OK" aus.

    Auswählen des gewünschten Diagrammtyps

    Ein Diagramm wird erstellt, das Ihnen helfen kann, Ihre Tests basierend auf Konfigurationen nachzuverfolgen. Sie können dieses Diagramm an Ihr Dashboard anheften.

    Das Konfigurationstestergebnisdiagramm

Wenn Sie über einen Testfall verfügen, der in mehreren Testplänen und Testsuiten angezeigt wird, können Sie die verschiedenen Konfigurationen für jede dieser Konfigurationen festlegen. Der gleiche Testfall kann verschiedene Konfigurationseinstellungen in unterschiedlichen Testauflistungen und Testplänen aufweisen.