Wiederholen eines Tests mit unterschiedlichen Daten

Azure DevOps Services | Azure DevOps Server 2022 - Azure DevOps Server 2019 | TFS 2018

Sie fügen Ihrem manuellen Test Parameter hinzu, um den Test mit unterschiedlichen Testdaten zu wiederholen. Sie können beispielsweise testen, wie Sie verschiedene Mengen zu einem Einkaufswagen von 1, 5, 10 oder 200 hinzufügen.

Sie fügen Parameter in Ihre Testschritte für einen manuellen Testfall ein. Anschließend stellen Sie eine Tabelle mit Parameterwerten bereit. Sie können freigegebene Parameter hinzufügen, um Testfälle zu testen oder Parameter zu konvertieren, die Sie kürzlich in freigegebene Parameter eingefügt haben. Freigegebene Schritte und freigegebene Parameter sind unterschiedliche Arbeitsaufgabentypen, die über mehrere Testfälle hinweg freigegeben werden können. Sie sind mit Testfällen über die Test- Cases-Shared Schritte und verweisen auf Linkstypen von By-References verknüpft, wie in der folgenden Abbildung dargestellt.

Diagramm zeigt freigegebene Schritte, die mit Testfall verbunden sind, die auch mit freigegebenen Parametern verbunden sind.

Mit freigegebenen Schritten und freigegebenen Parametern können Sie mehrere Testfälle mit denselben Daten ausführen.

Voraussetzungen

  • Sie müssen eine Verbindung mit einem Projekt herstellen. Wenn Sie noch kein Projekt haben, erstellen Sie ein Projekt.

  • Sie müssen einem Projekt hinzugefügt werden. Um hinzugefügt zu werden, fügen Sie Benutzer zu einem Projekt oder Team hinzu.

  • Um testbezogene Arbeitselemente anzuzeigen, müssen Sie über grundlegenden Zugriff oder höher verfügen und Berechtigungen zum Anzeigen von Arbeitselementen unter dem entsprechenden Bereichspfad haben.

  • Wenn Sie Testpläne und Testsuiten hinzufügen möchten, manuelle Testfälle, Testartefakte löschen und Testkonfigurationen definieren möchten, müssen Sie über die Zugriffsstufe "Basic + Test Plans" verfügen oder über eine der folgenden Visual Studio-Abonnements verfügen:

  • Um testbezogene Artefakte hinzuzufügen oder zu bearbeiten, müssen Sie über die folgenden Berechtigungen verfügen:

    • Um Testpläne, Testsuiten, Testfälle oder andere testbasierte Arbeitselementtypen hinzuzufügen oder zu ändern, müssen Sie arbeitsbezogene Elemente in dieser Knotenberechtigung auf "Zulassen " unter dem entsprechenden Bereichspfad festlegen.
    • Um Testplaneigenschaften wie Build- und Testeinstellungen zu ändern, müssen Sie über die Berechtigung "Testpläne verwalten" verfügen, die unter dem entsprechenden Bereichspfadzulässig ist.
    • Wenn Sie Testsuiten erstellen und löschen möchten, fügen Sie Testfälle aus Testsuiten hinzu und entfernen Sie Testfälle, ändern Sie Testkonfigurationen, die testsuiten zugeordnet sind, und ändern Sie eine Testsuitehierarchie (Verschieben einer Testsuite), müssen Sie über die Berechtigung "Testsuite verwalten" verfügen, die unter dem entsprechenden Bereichspfadzulässig ist.

Weitere Informationen finden Sie unter Manuellen Testzugriff und Berechtigungen.

Einem Testfall Parameter hinzufügen

Sie können Ihren Tests Parameter hinzufügen.

  1. Erstellen Sie einen Parameter, indem Sie einen Namen eingeben, der "@" in den Aktionen und erwarteten Ergebnissen Der Testschritte vorausgeht.

    Screenshot zeigt, wie Parameternamen und -werte eingegeben werden.

  2. Fügen Sie unterhalb der Liste von Schritten Kombinationen von Parameterwerten hinzu. Sie müssen möglicherweise einen Bildlauf nach unten durchführen, um sie anzuzeigen.

  1. Erstellen Sie einen Parameter, indem Sie einen Namen eingeben, der "@" in den Aktionen und erwarteten Ergebnissen Der Testschritte vorausgeht.

    Erstellen eines Parameters

  2. Fügen Sie unterhalb der Liste von Schritten Kombinationen von Parameterwerten hinzu. Sie müssen möglicherweise einen Bildlauf nach unten durchführen, um sie anzuzeigen.

Teilen von Parametern zwischen Testfällen

Sie können vorhandene Parameter in freigegebene Parameter konvertieren, damit Sie sie und die zugeordneten Daten in anderen Testfällen verwenden können.

  1. Wählen Sie in einem geöffneten Testfall " In freigegebene Parameter konvertieren" aus.

    Screenshot zeigt das Konvertieren vorhandener Parameter in freigegebene Parameter.

  2. Nachdem Sie einen freigegebenen Parametersatz erstellt haben, öffnen Sie einen anderen Testfall, und fügen Sie dem Testfall den freigegebenen Parameter hinzu.

    Screenshot zeigt das Hinzufügen des freigegebenen Parameters, der auf einen Testfall festgelegt ist.

    Sie können den freigegebenen Parametersatz anhand des Namens suchen.

    Der freigegebene Parametersatz wird im Abschnitt "Parameterwerte " angezeigt, nachdem Sie ihn hinzugefügt haben. Sie können diese Parameter nun in Ihren Testschritten verwenden.

  3. Wenn der Testfall unterschiedliche Parameternamen für diese freigegebenen Parameter enthält, ordnen Sie die freigegebenen Parameter den lokalen Parametern zu, um die freigegebenen Parameterdaten zu verwenden.

    Screenshot zeigt die Zuordnung eines freigegebenen Parameters zu einem lokalen Parameter.

    Wenn sie ordnungsgemäß zugeordnet sind, werden die mit dem freigegebenen Parameter verknüpften Daten angezeigt.

  4. Fügen Sie Ihre freigegebenen Parametersätze auf der Seite "Parameter " hinzu, bearbeiten und umbenennen. Zeigen Sie die Testfälle an, die im Bereich "Testfälle " darauf verweisen.

    Screenshot zeigt Optionen zum Hinzufügen, Bearbeiten, Anzeigen und Umbenennen eines freigegebenen Parameters.

  5. Jeder freigegebener Parametersatz ist ein Arbeitselement. Öffnen Sie die Seite "Eigenschaften" , um änderungen an dieser Arbeitsaufgabe anzuzeigen oder vorzunehmen. Beispielsweise können Sie Besitzer zuweisen und Änderungen nachverfolgen.

Sie können nicht mehr als einen freigegebenen Parameter hinzufügen, der auf einen einzelnen Testfall festgelegt ist. Wenn zwei Testfälle ähnliche Daten teilen, z. B. benötigt ein Testfall Kunden-ID, Name, E-Mail und Telefon sowie die zweite Kunden-ID, Name und Adresse, können Sie erwägen, einen einzelnen freigegebenen Parametersatz zu erstellen, der alle Parameter enthält - auch wenn einige der Spalten im Satz in jedem Testfall nicht verwendet werden.

Sie können Parameterwerte aus einer Excel-Kalkulationstabelle in Ihre freigegebenen Parametersätze importieren. Fügen Sie die Werte in ihr freigegebenes Parameterraster ein. Sie können die Daten auch aus Ihrem Raster wieder in Excel kopieren.

  1. Konvertieren Sie vorhandene Parameter in freigegebene Parameter, damit Sie sie und die zugeordneten Daten in anderen Testfällen verwenden können.

    Konvertieren vorhandener Parameter in freigegebene Parameter

  2. Nachdem Sie einen freigegebenen Parametersatz erstellt haben, öffnen Sie einen anderen Testfall, und fügen Sie dem Testfall den freigegebenen Parameter hinzu. Sie können den freigegebenen Parametersatz anhand des Namens suchen.

    Hinzufügen des freigegebenen Parameters zu einem Testfall

    Der freigegebene Parametersatz wird im Abschnitt "Parameterwerte " angezeigt, nachdem Sie ihn hinzugefügt haben. Sie können diese Parameter nun in Ihren Testschritten verwenden.

  3. Wenn der Testfall unterschiedliche Parameternamen für diese freigegebenen Parameter enthält, ordnen Sie die freigegebenen Parameter den lokalen Parametern zu, um die freigegebenen Parameterdaten zu verwenden.

    Zuordnen eines freigegebenen Parameters zu einem lokalen Parameter

    Wenn sie ordnungsgemäß zugeordnet sind, werden die mit dem freigegebenen Parameter verknüpften Daten angezeigt.

  4. Fügen Sie Ihre freigegebenen Parametersätze auf der Seite "Parameter " hinzu, bearbeiten und umbenennen. Zeigen Sie die Testfälle an, die im Bereich "Testfälle " darauf verweisen.

    Hinzufügen, Bearbeiten, Anzeigen und Umbenennen eines freigegebenen Parameters

  5. Jeder freigegebener Parametersatz ist ein Arbeitselement. Öffnen Sie die Seite "Eigenschaften" , um änderungen an dieser Arbeitsaufgabe anzuzeigen oder vorzunehmen. Beispielsweise können Sie Besitzer zuweisen und Änderungen nachverfolgen.

Sie können nicht mehr als einen freigegebenen Parameter hinzufügen, der auf einen einzelnen Testfall festgelegt ist. Wenn zwei Testfälle ähnliche Daten teilen, z. B. benötigt ein Testfall Kunden-ID, Name, E-Mail und Telefon sowie die zweite Kunden-ID, Name und Adresse, können Sie erwägen, einen einzelnen freigegebenen Parametersatz zu erstellen, der alle Parameter enthält - auch wenn einige der Spalten im Satz in jedem Testfall nicht verwendet werden.

Sie können Parameterwerte aus einer Excel-Kalkulationstabelle in Ihre freigegebenen Parametersätze importieren. Fügen Sie die Werte in ihr freigegebenes Parameterraster ein. Sie können die Daten auch aus Ihrem Raster wieder in Excel kopieren.

Einen Testfall mit Parametern ausführen

Sie können einen Testfall ausführen, der Parameter verwendet.

  1. Wählen Sie einen Testfall mit Parametern aus, und beginnen Sie mit der Ausführung. Der Test Runner zeigt die erste Zeile von Parameterwerten an.

    Screenshot zeigt Test Runner, der die erste Zeile von Parameterwerten anzeigt.

  2. Wenn Sie die Schritte abgeschlossen haben, markieren Sie den bestandenen oder fehlgeschlagenen Test. Wechseln Sie anschließend zur nächsten Iteration des Tests, die die nächste Zeile von Parameterwerten verwendet.

    Screenshot zeigt, wie die nächste Iteration des Tests ausgeführt wird.

  3. Verwenden Sie das Menü, um zu anderen Iterationen zu navigieren.

    Screenshot zeigt die Navigation zu anderen Iterationen.

  4. Wenn eine der Parameterwerte falsch ist, beheben Sie sie, ohne den Test abzubrechen, indem Sie im Kontextmenü des Schritts "Bearbeiten" auswählen.

  1. Wählen Sie einen Testfall mit Parametern aus, und beginnen Sie mit der Ausführung. Der Test Runner zeigt die erste Zeile von Parameterwerten an.

    Test Runner mit der ersten Zeile von Parameterwerten

  2. Wenn Sie die Schritte abgeschlossen haben, markieren Sie den bestandenen oder fehlgeschlagenen Test. Wechseln Sie anschließend zur nächsten Iteration des Tests, die die nächste Zeile von Parameterwerten verwendet.

    Weiter zur nächsten Iteration des Tests

  3. Verwenden Sie die Dropdownliste, um zu anderen Iterationen zu navigieren.

    Navigieren zu anderen Iterationen

  4. Wenn eine der Parameterwerte falsch ist, beheben Sie sie, ohne den Test abzubrechen, indem Sie im Kontextmenü des Schritts "Bearbeiten" auswählen.

Testergebnisse überprüfen

Das Ergebnis des Tests basiert auf einer Ranghierarchie aller Iterationsergebnisse. Die Hierarchiereihenfolge ist angehalten, fehlgeschlagen, blockiert, übergeben, nicht zutreffend und nicht angegeben (Aktiv). Wenn Sie z. B. eine Iteration als fehlgeschlagen markiert haben und alle rest als bestanden angezeigt werden, wird das Ergebnis des gesamten Tests als fehlgeschlagen angezeigt. Dieses Ergebnis unterscheidet sich von Testfällen, die keine Parameter haben, wobei das Ergebnis den Status der letzten Ausführung anzeigt.

Um Testergebnisse zu überprüfen, wählen Sie auf der Registerkarte "Ausführen " einen Testpunkt aus. Wählen Sie "Weitere Optionen " aus, oder klicken Sie mit der rechten Maustaste, um das Kontextmenü zu öffnen. Wählen Sie "Testergebnisse anzeigen" aus.

Screenshot zeigt die Auswahl der Option

Sie können die Ergebnisse im Dialogfeld "Testfallergebnisse " anzeigen.

Screenshot zeigt Testergebnisse für einen Testpunkt.

Das Ergebnis des Tests basiert auf einer Ranghierarchie aller Iterationsergebnisse. Die Hierarchiereihenfolge ist angehalten, fehlgeschlagen, blockiert, übergeben, nicht zutreffend und nicht angegeben (Aktiv). Wenn Sie z. B. eine Iteration als fehlgeschlagen markiert haben und alle rest als bestanden angezeigt werden, wird das Ergebnis des gesamten Tests als fehlgeschlagen angezeigt. Dies unterscheidet sich von Testfällen, die keine Parameter haben, wobei das Ergebnis den Status der letzten Ausführung anzeigt.

  1. Überprüfen Sie das Testergebnis, indem Sie den Detailbereich öffnen.

    Überprüfen des Testergebnisses im Detailbereich

  2. Doppelklicken Sie auf ein Testergebnis, um die Testausführungsdetails anzuzeigen, und die Testergebnisse für jede Iteration.

    Anzeigen der Testausführungsdetails

Beschleunigen von Test-Iterationen mithilfe von Aufzeichnungen und Wiedergabe

Das Durcharbeiten einer langen Tabelle von Parameterkombinationen kann fehleranfällig und mühsam sein. Um die Dinge zu beschleunigen, erstellen Sie eine Aktionsaufzeichnung, wenn Sie den Test mit dem ersten Satz von Parameterwerten ausführen, und wiedergeben Sie sie dann für die anderen Sätze.

  1. Verwenden Sie Azure Test Plans, um den Test auszuführen.

  2. Wählen Sie "Aktionsaufzeichnung erstellen" aus, bevor Sie " Start" auswählen.

  3. Führen Sie die erste Test-Iteration aus, und fahren Sie dann mit der nächsten Fortbewegung fort.

  4. Markieren Sie dabei jeden Schritt mit "Erfolgreich" oder "Fehler". Geben Sie Parameterwerte in die Anwendung genau wie im Testskript angezeigt ein.

  5. Wählen Sie "Wiedergeben " aus, um den Test mit dem nächsten Satz von Parameterwerten auszuführen. Ihre Aktionen werden automatisch wiedergegeben, aber Sie müssen die Ergebnisse weiterhin überprüfen.

Die Aufzeichnung und Wiedergabe funktioniert nicht mit allen Anwendungen. Ausführliche Informationen finden Sie unter Unterstützte Konfigurationen und Plattformen für codierte UI-Tests und Aktionsaufzeichnungen.