Ausführen manueller Tests

  • Artikel

Azure DevOps Services | Azure DevOps Server 2022 - Azure DevOps Server 2019 | TFS 2018

Führen Sie Ihre manuellen Tests aus, und zeichnen Sie die Testergebnisse für jeden Testschritt mit Microsoft Test Runner auf. Sie können Tests sowohl für Webanwendungen als auch für Desktop-Apps ausführen.

Mit Test Runner können Sie alle aktiven Tests als Batch oder bestimmte Testfälle ausführen. Ändern Sie Tests während der Ausführung. Sie können Tests für einen bestimmten Build ausführen.

Sammeln Sie beim Testen Informationen wie einen Screenshot oder Ihre Testaktionen. Wenn Sie beim Testen auf ein Problem stoßen, erstellen Sie mit Test Runner einen Fehler. Schließen Sie Testschritte, Screenshots und Kommentare in den Fehler ein.

Hinweis

Sie führen Testpunkte und keine Testfälle aus. Wenn Sie einer Testsuite einen Testfall hinzufügen, werden Testpunkte generiert. Ein Testpunkt stellt eine einzigartige Kombination aus Testfall, Testsuite, Konfiguration und Tester dar.

Beispielsweise generiert ein Testfall namens "Testanmeldungsfunktionalität", der zwei Konfigurationen für die Browser Edge und Chrome enthält, zwei Testpunkte. Sie können jeden dieser Testpunkte ausführen oder ausführen. Bei der Ausführung werden Testergebnisse generiert. Mithilfe der Testergebnisseansicht oder des Ausführungsverlaufs können Sie alle Ausführungen eines Testpunkts anzeigen. Die neueste Ausführung für den Testpunkt ist das, was Sie auf der Registerkarte "Ausführen" sehen.

Unterstützte Clients und Ausführen von Optionen

Zusätzlich zum Ausführen von Tests für einen bestimmten Build unterstützen Die Ausführungsoptionen verschiedene Testszenarien. Um die Optionen anzuzeigen, wählen Sie auf der Registerkarte "Ausführen" einen Test aus, und wählen Sie dann " Mit Optionen ausführen" aus.

Wählen Sie testtyp und runner bietet folgende Optionen:

  • Manuelle Tests mithilfe des webbrowserbasierten Läufers Sie können einen bestimmten Build auswählen, der getestet werden soll, wie in "Ausführen"-Tests für einen Build beschrieben. Wählen Sie " Builds suchen" aus, um das Dialogfeld " Builds suchen" zu öffnen, und suchen Sie nach einem Build, der getestet werden soll.

  • Manuelle Tests mithilfe des Test Runner-Clients Sie können manuelle Tests für Desktopanwendungen mithilfe des Test Runner-Clients ausführen. Installieren Sie bei Bedarf den Test Runner-Desktopclient.

  • Automatisierte Tests mithilfe der Versionsphase Wenn Sie Tests mit einer Versionsphase ausführen möchten, wählen Sie einen Build aus. Wählen Sie eine Releasepipeline und -phase aus, um die Artefakte des Builds zu nutzen. Weitere Informationen finden Sie unter Ausführen automatisierter Tests aus Testplänen.

  • Manuelle Tests mit dem Microsoft Test Manager 2017-Client Sammelt Daten von einem lokalen Computer. Wählen Sie einen Build aus. Wählen Sie mindestens einen Datensammler aus: Aktionsprotokoll, Ereignisprotokoll, Bildschirm- und Sprachaufzeichnung sowie Systeminformationen.

  • Manuelle Tests mit Microsoft Test Manager 2015 oder einem früheren Client

Das Test Center im Microsoft Test Manager-Client ist eine desktopbasierte manuelle Testlösung. Tester können sie für manuelle Testanforderungen verwenden. Weitere Informationen finden Sie unter Anleitungen zur Verwendung von Microsoft Test Manager. Um Microsoft Test Manager zu erhalten, installieren Sie Visual Studio Enterprise oder Visual Studio Test Professional.

Voraussetzungen

  • Sie müssen eine Verbindung mit einem Projekt herstellen. Wenn Sie noch kein Projekt haben, erstellen Sie ein Projekt.
  • Sie müssen einem Projekt hinzugefügt werden. Um hinzugefügt zu werden, fügen Sie Benutzer zu einem Projekt oder Team hinzu.
  • Um manuelle oder automatisierte Tests anzuzeigen oder auszuführen, müssen Sie über einfachen Zugriff oder höher verfügen.

Weitere Informationen finden Sie unter Manuellen Testzugriff und Berechtigungen.

Arbeiten mit dem TCM-Befehlszeilentool

Um das TCM-Befehlszeilentool auszuführen, müssen Sie folgendes ausführen:

  • Visual Studio 2017 Professional oder frühere Version installiert. Sie greifen über die Eingabeaufforderung und die folgenden Verzeichnisse auf TCM zu: %programfiles(x86)%\Microsoft Visual Studio\2017\Professional\Common7\IDE
    %programfiles(x86)%\Microsoft Visual Studio\2017\Enterprise\Common7\IDE %programfiles(x86)%\Microsoft Visual Studio 14.0\Common7\IDE

  • Um einen TCM-Befehl auszuführen, geben Sie die /collection Parameter /teamproject und /login ggf. an.

    Parameter BESCHREIBUNG
    /collection:CollectionURL Erforderlich. Gibt den URI der Teamprojektsammlung an. Das Format für den URI lautet wie folgt:
    - Für Azure DevOps Services:http://dev.azure.com/OrganizationName
    - Für Azure DevOps Server: http://ServerName:Port/VirtualDirectoryName/CollectionName. Wenn kein virtuelles Verzeichnis verwendet wird, hat der URI das folgende Format:http://ServerName:Port/CollectionName
    /teamproject:project Erforderlich. Der Name des Projekts, das die Testobjekte enthält, in die Sie automatisierte Tests klonen oder importieren möchten.
    /login:username,[password] Optional. Gibt den Namen und das Kennwort eines gültigen Azure DevOps-Benutzers an, der über Berechtigungen zum Ausführen des Befehls verfügt. Verwenden Sie diese Option, wenn Ihre Windows-Anmeldeinformationen nicht über die entsprechenden Berechtigungen verfügen, oder Sie die Standardauthentifizierung verwenden, oder Sie sind nicht mit einer Domäne verbunden.

  • Sie müssen ein gültiges Mitglied des Projekts sein, auf das Sie zugreifen möchten, und verfügen über die erforderlichen Berechtigungen basierend auf den befehlen, die Sie ausführen. Weitere Informationen finden Sie unter Manuellen Testzugriff und Berechtigungen.

  • Um Testobjekte zu klonen oder zu importieren, müssen Sie dieselben Zugriffsstufen erteilt haben, die zum Hinzufügen von Testplänen und Testsuiten erforderlich sind, wie in Den Voraussetzungen beschrieben.

Ausführen von Tests für Web-Apps

Führen Sie die folgenden Schritte aus, um Tests für Webanwendungen auszuführen.

  1. Öffnen Sie im Webportal Ihr Projekt, und wählen Sie Test Plans>Test-Pläne aus.

  2. Wenn Sie noch nicht vorhanden sind, erstellen Sie Ihre manuellen Tests.

  3. Wählen Sie "Mein" oder "Alle" aus, oder verwenden Sie "Filtern nach Titel ", um Ihren Testplan zu finden und auszuwählen. Wählen Sie die Registerkarte "Ausführen" aus.

    Screenshot einer Testsuite, die mit ausgewählter Registerkarte

  4. Wählen Sie mindestens einen Test oder alle Tests aus einer Testsuite aus. Wählen Sie dann "Für Webanwendung ausführen" aus.

    Screenshot zeigt, wie Sie einen bestimmten Test auswählen und ausführen.

    Microsoft Test Runner wird in einem neuen Browser geöffnet und ausgeführt.

  5. Starten Sie die Anwendung, die Sie testen möchten.

    Screenshot zeigt Test Runner, in dem Ihre Testergebnisse aufgezeichnet werden.

    Ihre App muss nicht auf demselben Computer wie Test Runner ausgeführt werden. Sie verwenden "Test Runner", um aufzuzeichnen, welche Testschritte bestanden oder fehlschlagen, während Sie einen Test manuell ausführen.

    Beispielsweise können Sie Test Runner auf einem Desktopcomputer ausführen und Ihre Store-App für Windows 8 ausführen, die Sie auf einem Windows 8 Tablet testen.

  6. Markieren Sie jeden Testschritt entsprechend der erwarteten Ergebnisse, ob er erfolgreich war oder fehlgeschlagen ist.

    Screenshot zeigt Test Runner, der zu einem fehlgeschlagenen Test geöffnet ist, in dem Sie einen Kommentar eingeben können.

    Wenn ein Testschritt fehlschlägt, können Sie einen Kommentar eingeben, warum er fehlgeschlagen ist oder Diagnosedaten für den Test sammelt. Sie können auch einen Fehler erstellen oder hinzufügen.

  1. Wenn Sie noch nicht vorhanden sind, erstellen Sie Ihre manuellen Tests.

  2. Wählen Sie einen Test in einer Testsammlung aus, und führen Sie ihn aus.

    Einen bestimmten Test auswählen und ausführen

    Microsoft Test Runner wird in einem neuen Browser geöffnet und ausgeführt.

  3. Starten Sie die Anwendung, die Sie testen möchten. Ihre App muss nicht auf demselben Computer wie Test Runner ausgeführt werden. Sie verwenden "Test Runner", um aufzuzeichnen, welche Testschritte bestanden oder fehlschlagen, während Sie einen Test manuell ausführen. Beispielsweise können Sie Test Runner auf einem Desktopcomputer ausführen und Ihre Windows 8 Store-App ausführen, die Sie auf einem Windows 8 Tablet testen.

    Verwenden von Microsoft Test Runner zum Aufzeichnen ihrer Testergebnisse

  4. Markieren Sie jeden Testschritt entsprechend der erwarteten Ergebnisse, ob er erfolgreich war oder fehlgeschlagen ist. Wenn ein Testschritt fehlschlägt, können Sie einen Kommentar eingeben, warum er fehlgeschlagen ist oder Diagnosedaten für den Test sammelt. Sie können auch einen Fehler erstellen oder hinzufügen.

    Testschritte markieren

Wichtig

Jeder Testschritt, der das Ergebnis erwartet hat, wird als Überprüfungstestschritt bezeichnet. Tester müssen einen Testschritt mit einem Status markieren, wenn es sich um einen Validierungstestschritt handelt. Das Gesamtergebnis für einen Testfall gibt den Status aller vom Tester markierten Testschritte wieder. Wenn der Tester einen Testfall als fehlerhaft oder gar nicht markiert hat, weist der Testfall daher den Status "Fehler" auf.

Erstellen oder Hinzufügen zu einem Fehler

Wenn ein Testschritt fehlschlägt, geben Sie einen Kommentar zu dem Verhalten ein, und sammeln Sie Diagnosedaten. Sie können einen Fehler erstellen, um das Problem zu erfassen und nachzuverfolgen. Sie können auch einen vorhandenen Fehler mit Informationen zum Fehler aktualisieren.

  1. Wenn ein Schritt fehlschlägt, geben Sie einen Kommentar ein, und wählen Sie "Fehler erstellen" aus.

    Screenshot zeigt Test Runner mit einem fehlgeschlagenen Test und hervorgehobenem Fehler erstellen.

  2. Geben Sie im Dialogfeld "Neuer Fehler " einen Namen für den Fehler ein.

    Screenshot zeigt Test Runner mit ausgewähltem Fehler erstellen und das dialogfeld

    Die Schritte und Kommentare werden dem Fehler automatisch hinzugefügt. Wenn Test Runner in einem Webbrowserfenster ausgeführt wird, können Sie einen Screenshot aus der Zwischenablage direkt in den Fehler kopieren.

  3. Sie können den Fehler zuweisen, Kommentare eingeben oder mit anderen Problemen verknüpfen. Wählen Sie " Schließen speichern & " aus, wenn Sie fertig sind. Der Testfall ist mit dem von Ihnen erstellten Fehler verknüpft.

Während Der Testsitzung werden alle fehler angezeigt, die gemeldet wurden.

Screenshot zeigt die Anzahl der Fehler, die während des Tests erstellt wurden.

Anstatt einen Fehler zu erstellen, können Sie einen vorhandenen Fehler mit Informationen zu diesem Schritt aktualisieren. Wählen Sie " Zu vorhandenem Fehler hinzufügen " aus dem Dropdownmenü " Fehler erstellen" aus.

Screenshot zeigt Test Runner mit ausgewähltem Fehler hinzufügen

  1. Wählen Sie im Fenster "Test Runner " den Eintrag "Fehler erstellen" aus.

    Senden eines Fehlers.

    Die Schritte und Kommentare werden dem Fehler automatisch hinzugefügt. Wenn Test Runner in einem Webbrowserfenster ausgeführt wird, können Sie einen Screenshot aus der Zwischenablage direkt in den Fehler kopieren.

  2. Sie können den Fehler zuweisen, Kommentare eingeben oder mit anderen Problemen verknüpfen. Wählen Sie " Schließen speichern & " aus, wenn Sie fertig sind. Der Testfall ist mit dem von Ihnen erstellten Fehler verknüpft.

Sie können alle Fehler sehen, die Sie während der Testsitzung gemeldet haben.

Protokollierte Fehler

Anstatt einen Fehler zu erstellen, können Sie einen vorhandenen Fehler mit Informationen zu diesem Schritt aktualisieren. Wählen Sie das Symbol für "+Fehler erstellen" aus, und fügen Sie dann zu einem vorhandenen Fehler hinzu. Suchen und Aktualisieren eines vorhandenen Fehlers

Speichern von Ergebnissen, Schließen der Sitzung und Überprüfen von Ergebnissen

Nachdem Sie Tests abgeschlossen haben, speichern Sie Ihre Ergebnisse, schließen Sie die Sitzung, und überprüfen Sie die Testergebnisse.

  1. Wenn Sie alle Ihre Tests ausführen, wählen Sie "Speichern" und "Schließen" aus. Alle Testergebnisse werden in Azure Test Plans gespeichert.

  2. Zeigen Sie den Teststatus für die Testsammlung an. Für jeden Test werden die neuesten Ergebnisse angezeigt.

    Screenshot zeigt das Ergebnis der Ausführung von Testfällen mit Ergebnissen von Active, Failed und Passed angezeigt.

    Screenshot zeigt Die Testergebnisse anzeigen.

    Wenn Sie noch keinen Test ausgeführt haben, lautet sein Status "Aktiv". Setzen Sie den Status eines Tests auf "aktiv" zurück, wenn Sie ihn erneut ausführen möchten.

  3. Öffnen Sie eine Testsuite, und wählen Sie den Testfall im Abschnitt "Verwandte Arbeit " aus. Verwenden Sie dann die untergeordneten Links im Abschnitt "Verwandte Arbeit" dieses Arbeitselements, um die vom Tester abgelegten Fehler anzuzeigen.

    Screenshot des Abschnitts

    Fehler anzeigen

Sie können Tests offline ausführen und dann die Ergebnisse importieren. Weitere Informationen finden Sie in der Offlinetestausführungserweiterung.

Ausführen von Tests für Desktop-Apps

Wenn Sie weitere Diagnosedaten für Ihre Desktopanwendung sammeln möchten, führen Sie Ihre Tests mithilfe des Test Runner-Clients aus.

  1. Öffnen Sie im Webportal Ihr Projekt, und wählen Sie Test Plans>Test-Pläne aus.

  2. Wählen Sie "Mein" oder "Alle" aus, oder verwenden Sie "Filtern nach Titel ", um Ihren Testplan zu finden und auszuwählen. Wählen Sie die Registerkarte "Ausführen" aus.

    Screenshot einer Testsuite, die mit ausgewählter Registerkarte

  3. Starten Sie Test Runner aus Azure Test Plans, indem Sie im Dropdownmenü "Ausführen für Desktopanwendung ausführen" auswählen.

    Screenshot zeigt das Starten des Test Runner-Clients.

  4. Laden Sie ggf. den Test Runner-Desktopclient herunter und installieren Sie sie.

    Screenshot des Dialogfelds

    Hinweis

    Überprüfen Sie, ob der Test Runner-Client für Ihre Plattform verfügbar ist. Derzeit ist der Test Runner-Client nur für x64 verfügbar.

  5. Wählen Sie "Starten" und "Testen starten" aus, wie im vorherigen Abschnitt beschrieben. Weitere Informationen zur Datensammlung finden Sie unter Sammeln von Diagnosedaten beim Testen.

Wenn Sie weitere Diagnosedaten für Ihre Desktopanwendung sammeln möchten, führen Sie Ihre Tests mithilfe des Test Runner-Clients aus:

  1. Starten Sie den Testläuferclient aus Azure Test Plans, indem Sie im Menü "Ausführen" die Option "Ausführen für Desktopanwendung" auswählen.

    Starten des Testläuferclients

  2. Laden Sie den Test Runner-Desktopclient herunter, und installieren Sie ihn, wenn Sie ihn noch nicht eingerichtet haben:

    Testläufer herunterladen und starten

    Hinweis

    Überprüfen Sie, ob der Test Runner-Client für Ihre Plattform verfügbar ist. Derzeit ist der Test Runner-Client nur für x64 verfügbar.

  3. Wählen Sie "Starten" aus, und starten Sie das Testen auf die gleiche Weise wie oben beschrieben für Web-Apps. Weitere Informationen zur Datensammlung finden Sie unter Sammeln von Diagnosedaten beim Testen.

Alle Tests ausführen

Sie können alle Tests in einer Testsuite gleichzeitig ausführen.

Wählen Sie eine Testsuite aus, und wählen Sie "Ausführen für Webanwendung" oder "Ausführen für Desktopanwendung" aus, um alle aktiven Tests auszuführen.

Screenshot zeigt, wie Sie alle aktiven Tests in einer Testsuite auswählen und ausführen.

Wählen Sie eine Testsuite aus, und wählen Sie "Ausführen" aus, um alle aktiven Tests auszuführen.

Screenshot zeigt, wie alle aktiven Tests in einer Testsuite ausgeführt werden.

Ausführen von Tests für einen Build

Wählen Sie einen Build aus, um Tests auszuführen.

  1. Wählen Sie im Dropdownmenü " Mit Optionen ausführen" aus.

    Screenshot zeigt das Ausführen eines Tests für Webanwendungen mit Optionen.

  2. Wählen Sie im Dialogfeld "Ausführen mit Optionen" den gewünschten Build aus.

    Screenshot zeigt das Dialogfeld

  1. Wählen Sie "Ausführen" und dann " Mit Optionen ausführen" aus.

    Screenshot zeigt

  2. Wählen Sie den gewünschten Build aus.

    Screenshot des Dialogfelds

Hinweis

Der ausgewählte Build muss aus dem Projekt stammen, in dem die Tests definiert sind.

Sie können einen Build für die folgenden Optionen auswählen:

  • Manuelle Tests mithilfe des webbrowserbasierten Läufers
  • Automatisierte Tests mithilfe der Versionsphase
  • Manuelle Tests mithilfe des Microsoft Test Manager 2017-Clients

Die Felder, die das Dialogfeld bietet, unterscheiden sich je nachdem, welche Option Sie auswählen. Weitere Informationen finden Sie unter "Unterstützte Clients" und "Ausführungsoptionen".

Jeder Fehler, der während der Ausführung eingereicht wurde, ist dem ausgewählten Build zugeordnet. Das Testergebnis wird für diesen Build veröffentlicht.

Ändern eines Testschritts während einer Testausführung

Beheben Sie Probleme mit Ihren Testschritten, während der Test weiterhin ausgeführt wird. Wählen Sie das Symbol " Testschritt bearbeiten" aus.

Screenshot zeigt, wie Sie das Bearbeitungssymbol auswählen, um Testschritte zu bearbeiten.

Screenshot zeigt, wie Sie das Bearbeitungssymbol auswählen, um Testschritte zu ändern.

Sie können Schritte einfügen, neu anordnen oder löschen. Sie können den Text auch selbst bearbeiten.

Screenshot zeigt das Tool zum Bearbeiten von Testschritten, wenn Sie einen Test ausführen.

Screenshot zeigt das Tool, um Testschritte zu ändern, wenn Sie einen Test ausführen.

Erfassen von umfangreichen Diagnosedaten

Beim Ausführen Ihrer Tests können Sie Screenshots hinzufügen, Aktionen als Protokoll erfassen und Video oder Stimme aufzeichnen.

Einen Screenshot hinzufügen

Fügen Sie beim Ausführen eines Tests einen Screenshot zu den Testergebnissen hinzu.

Wenn Sie Google Chrome oder Firefox verwenden, verwenden Sie den Webläufer, um Screenshots der Web-App während des Tests zu erstellen. Verwenden Sie für Microsoft Internet Explorer- oder Microsoft Edge-Browser oder für Desktop-App-Tests den Test Runner-Desktopclient.

Screenshot zeigt die Schaltfläche zum Erfassen eines Screenshots während eines Tests.

Screenshot zeigt die Schaltfläche zum Erfassen eines Screenshots.

Weitere Informationen finden Sie unter Sammeln von Diagnosedaten.

Erfassen von Aktionen aus einem Test

Erfassen Sie Ihre Aktionen auf der Anwendung als Protokoll.

Wenn Sie Google Chrome oder Firefox verwenden, verwenden Sie den Webläufer, um Ihre Aktionen in der Web-App als Bildprotokolle beim Testen zu erfassen. Verwenden Sie für Microsoft Internet Explorer- oder Microsoft Edge-Browser oder für Desktop-App-Tests den Test Runner-Desktopclient.

Screenshot zeigt die Schaltfläche zum Erfassen eines Bildaktionsprotokolls aus der App.

Screenshot zeigt die Schaltfläche zum Erfassen eines Bildaktionsprotokolls aus der App.

Weitere Informationen finden Sie unter Sammeln von Diagnosedaten.

Erfassen von Bildschirmaufzeichnungen Ihrer App, die getestet werden

Erfassen Sie Bildschirmaufzeichnungen meiner App während des Tests.

Wenn Sie Google Chrome oder Firefox verwenden, verwenden Sie den Webläufer, um Bildschirmaufzeichnungen Ihrer Web- und Desktop-Apps während des Tests zu erfassen. Verwenden Sie für Microsoft Internet Explorer- oder Microsoft Edge-Browser oder für Desktop-App-Tests den Test Runner-Desktopclient.

Screenshot der Schaltfläche zum Erfassen einer Bildschirmaufzeichnung aus der App.

Screenshot der Schaltfläche zum Erfassen einer Bildschirmaufzeichnung aus der App.

Weitere Informationen finden Sie unter Sammeln von Diagnosedaten.

Ausführen von Tests mit TCM

Sie können Tests ausführen, die Teil eines Testplans sind, indem Sie das TCM-Befehlszeilentool verwenden. Mit diesem Tool können Sie eine Testausführung erstellen und starten und dann alle vorhandenen Testausführungen verwalten. Verwenden Sie die hier dokumentierten tcm-Befehle, um diese Aufgaben auszuführen.

Listentestausführungen | Erstellen von Testausführungen | Ausführen von Testausführungen | Abbruch der Testausführungen | Testausführungen | löschen Exportieren von Testausführungen | Veröffentlichen von Testausführungen

Listentestausführungen

Verwenden Sie tcm run /list zum Auflisten der in einem Testplan verfügbaren Ausführungen und zum Anzeigen ihrer ID. Die ID entspricht der beim Erstellen der Ausführung definierten Arbeitselement-ID .

tcm run /list /collection:teamprojectcollectionurl /teamproject:project 
           [/planid:id  |  /querytext:query] [/login:username,[password]]
Parameter BESCHREIBUNG
/planid:id Optional. Gibt an, dass nur diese Tests ausgeführt werden, die dem angegebenen Testplan zugeordnet sind, in der Liste zurückgegeben werden.
/querytext:query Optional. Gibt die Abfrage an, die verwendet werden soll, um eine Teilmenge von Testausführungen auflisten zu können.

Beschreibungen von , und Parametern finden Sie unter "Arbeiten mit dem TCM-Befehlszeilentool"./login/teamproject/collection

Beispiel

Der folgende Befehl listet die testausführungen auf, die für das Fabrikam Fiber-Projekt definiert sind, das in der Fabrikamprime-Organisation gehostet wird. Die ID und der Titel entsprechen der für den Testlauf definierten Arbeitselement-ID und dem Titel. Beispiel: Testausführung 1000052 lautet"Testplan für Zyklus 1 (Manuell)".

tcm run /list /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"

Id        Title                              Owner               Date Completed
--------- ---------------------------------- ------------------- -----------
1000006   Sprint 2 (Manual)                  Thomas Margand      11/5/2021
1000032   33 : Change initial view (Manual)  Danielle Brasseur   11/11/2021
1000040   Sprint 2 (Manual)                  Thomas Margand      11/16/2021
1000042   Sprint 3 (Manual)                  Thomas Margand      11/16/2021
1000046   Special testing (Manual)           Nicoletta Guibord   11/18/2021
1000052   Test Plan for Cycle 1 (Manual)     Bukhosi Bhengu      12/1/2021
1000060   Game Shopping (Manual)             Bukhosi Bhengu      12/6/2021

Testläufe erstellen

Verwenden Sie tcm run /create zum Erstellen einer Testausführung, die dem angegebenen Testplan zugeordnet ist. Zusätzlich zum Testplan definieren Sie auch die Test suite und konfiguration, die Sie durch ihre entsprechende ID verwenden möchten. Sie können diese IDs mithilfe der tcm plans /listBefehle , tcm suites /listund tcm configs /list Befehle sammeln.

tcm run /create /title:title /planid:id /collection:CollectionURL /teamproject:project 
            (suiteid:id /configid:configid | /querytext:query) 
            [/settingsname:name] [/owner:owner] [/builddir:directory]  
            [/testenvironment:name] [/login:username,[password]] [/include]
Parameter BESCHREIBUNG
/title:title Gibt den Titel an, den Sie für die von Ihnen erstellte Testausführung verwenden möchten.
/planid:id Gibt den Testplan an, an dem Sie die Testausführung erstellen möchten.
/suiteid:id Gibt die Testsuiten an, die Sie für Ihre Testausführung verwenden möchten.
/configid:id Gibt die Testkonfiguration an, die Sie für Ihre Testsuiten ausführen möchten.
/querytext:query Optional, wenn Sie angeben suiteid und configid. Gibt die Abfrage an, die verwendet werden soll, um die Tests auszuwählen, die Sie ausführen möchten.

Tipp: Sie können den /querytest Parameter verwenden, um mehrere Test suite auszuführen. Beispiel: querytext:“SELECT * FROM TestPoint WHERE (ConfigurationId=20 OR ConfigurationId=21) AND (Suiteid=1185 OR Suiteid=1186)”.
/settingsname:name Optional. Gibt die Testeinstellungen an, die Sie für diesen Testlauf verwenden möchten. Wenn Sie keine Testeinstellungen auswählen, werden die Standardtesteinstellungen im Testplan verwendet.
/Besitzer:owner Optional. Gibt den Besitzer des Testlaufs an.
/builddir:directory Optional. Gibt das Buildverzeichnis an, das zum Suchen der Testassemblys für den Test verwendet werden soll. Wenn dies nicht angegeben ist, wird der Buildspeicherort basierend auf dem Build verwendet, der derzeit dem Testplan zugewiesen ist.
/testvironment:name Optional. Gibt die Testumgebung an, die Sie für diesen Testlauf verwenden möchten. Wenn Sie keine Testumgebung auswählen, wird die Standardtestumgebung im Testplan verwendet.
/include Optional. Gibt an, dass alle Tests, die für den Testlauf ausgewählt wurden, enthalten sind, auch wenn die Tests derzeit nicht in den aktiven Zustand gesetzt sind.

Beschreibungen von , und Parametern finden Sie unter "Arbeiten mit dem TCM-Befehlszeilentool"./login/teamproject/collection

Beispiel

Der folgende Befehl erstellt eine Testausführung namens MyTestRun im Testplan mit ID77. Die Ausführung verwendet die Test suite mit ID161 und der Testkonfiguration mit ID9. Die Ausführung wird für das Fabrikam Fiber-Projekt definiert, das in der Fabrikamprime-Organisation gehostet wird.

In diesem Beispiel wird eine Testausführung mit einer ID von 1000082 erstellt.

tcm run /create /title:MyTestRun /planid:77 /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber" /suiteid:161 /configid:9

Run created with ID: 1000082.

Ausführen von Testausführungen

Wird verwendet tcm run /execute , um eine der Ausführungen in Ihrem Testplan zu starten. Die von Ihnen angegebene ID entspricht der Arbeitselement-ID, die beim Erstellen der Ausführung definiert wurde. Sie können eine Liste aller Testausführungs-IDs mit dem Befehl "/list" anzeigen.

tcm run /execute /id:id /collection:teamprojectcollectionurl /teamproject:project [/login:username,[password]]
Parameter BESCHREIBUNG
/id:id Gibt die ID für die Testausführung an, die Sie ausführen möchten.

Beschreibungen von , und Parametern finden Sie unter "Arbeiten mit dem TCM-Befehlszeilentool"./login/teamproject/collection

Beispiel

Der folgende Befehl startet eine Testausführung für die ID1000082 für das Fabrikam Fiber-Projekt , das in der Fabrikamprime-Organisation gehostet wird. Die Ergebnisse werden in Ihrem CLI-Fenster zurückgegeben.

tcm run /execute /id:1000082 /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"

Executing run: MyTestRun

Results
------------------------
Total:                   2
Passed:                  1
Failed:                  1
Inconclusive:            0

Aborten von Testläufen

Verwenden Sie tcm run /abort zum Abbrechen einer Testausführung, die ausgeführt wird. Die von Ihnen angegebene ID entspricht der Arbeitselement-ID, die beim Erstellen der Ausführung definiert wurde.

tcm run /abort /id:id /collection:teamprojectcollectionurl /teamproject:project [/login:username,[password]]
Parameter BESCHREIBUNG
/id:id Gibt die ID für die Testausführung an, die Sie abbrechen möchten.

Beschreibungen von , und Parametern finden Sie unter "Arbeiten mit dem TCM-Befehlszeilentool"./login/teamproject/collection

Beispiel

Der folgende Befehl beendet die Testausführung mit der ID1000082 für das Fabrikam Fiber-Projekt , das in der Fabrikamprime-Organisation gehostet wird. Die Ergebnisse bestätigen die ID und den Titel der abgebrochenen Ausführung.

tcm run /abort /id:1000082 /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"

Run with ID [1000082] and title [MyTestRun] has been aborted.

Testläufe löschen

Verwenden Sie tcm run /delete zum Löschen einer Testausführung aus Ihrem Testplan. Die von Ihnen angegebene ID entspricht der Arbeitselement-ID, die beim Erstellen der Testausführung definiert wurde.

tcm run /delete /id:id [/noprompt] /collection:teamprojectcollectionurl /teamproject:project [/login:username,[password]]
Parameter BESCHREIBUNG
/id:id Gibt die ID für die Testausführung an, die Sie löschen möchten.
/noprompt Optional. Gibt an, dass der Benutzer nicht aufgefordert wird, das Löschen einer Testausführung zu bestätigen.

Beschreibungen von , und Parametern finden Sie unter "Arbeiten mit dem TCM-Befehlszeilentool"./login/teamproject/collection

Beispiel

Der folgende Befehl löscht die Testausführung mit der ID1000082 für das Fabrikam Fiber-Projekt , das in der Fabrikamprime-Organisation gehostet wird. Der Benutzer wird aufgefordert, zu bestätigen, dass er die angegebene Testausführung löschen möchte und das Ergebnis bereitgestellt wird.

tcm run /delete /id:1000082 /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"

Are you sure you want to delete run [MyTestRun]? (Yes/No) y

Run [MyTestRun] has been deleted.

Exportieren von Testläufen

Dient tcm run /export zum Exportieren einer Testausführung an einen angegebenen Speicherort. Die von Ihnen angegebene ID entspricht der Arbeitselement-ID, die beim Erstellen der Ausführung definiert wurde.

tcm run /export /id:id /resultsfile:path /collection:teamprojectcollectionurl /teamproject:project [/login:username,[password]]
Parameter BESCHREIBUNG
/id:id Gibt die Testausführungs-ID an, die Sie exportieren möchten.
/resultsfile:path Gibt einen Speicherort und Dateinamen für die Testausführung an, die Sie exportieren möchten.

Beschreibungen von , und Parametern finden Sie unter "Arbeiten mit dem TCM-Befehlszeilentool"./login/teamproject/collection

Beispiel

Der folgende Befehl gibt an, dass die Testausführung mit der ID1000082 für das in der Fabrikamprime-Organisation gehostete FabrikamFiber-Projekt in c:\temp\ResultsForDeveloper.trx exportiert wird.

tcm run /export /id:1000082 /resultsfile:"c:\temp\ResultsForDeveloper.trx" /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"

Veröffentlichen von Testläufen

Verwenden Sie tcm run /publish zum Veröffentlichen der Ergebnisse aus einer Visual Studio-Testergebnisdatei für einen angegebenen Testplan.

tcm run /publish /suiteid:id /configid:id /resultowner:owner /resultsfile:path 
            /collection:teamprojectcollectionurl /teamproject:project [/title:runtitle] 
            [/runowner:owner] [/build:buildnumber /builddefinition:builddefinition] 
            [/flavor:flavor] [/platform:platform] [/assignfailurestouser:user] 
            [/login:username,[password]] [/buildverification]
Parameter BESCHREIBUNG
/suiteid:id Gibt die Testsuite an, die beim Veröffentlichen einer Testausführung verwendet werden soll.
/configid:id Gibt an, welche Testkonfiguration Sie verwenden möchten, wenn Sie eine Testausführung veröffentlichen.
/resultowner:owner Gibt den Besitzer für die Testergebnisse an.
/resultsfile:path Gibt den Speicherort der Testausführung an, die Sie veröffentlichen möchten. Beispiel: "c:\temp\ResultsForDeveloper.trx".
/title:runtitle Optional. Gibt einen Titel an, den Sie für die testausführung verwenden möchten, die Sie veröffentlichen möchten.
/runowner:owner Optional. Gibt den Besitzer des Testlaufs an.
/build:buildnumber Optional. Gibt die Buildnummer an, mit der ein Testlauf veröffentlicht werden soll. Dieser Parameter muss mit /builddefinition.
/builddefinition:builddefinition Optional. Gibt die Builddefinition an, mit der ein Testlauf veröffentlicht werden soll. Dieser Parameter muss mit /build.
/aroma:flavor Optional. Gibt den Build-Geschmack an, z. B. Release. Dieser Parameter kann nur verwendet werden, wenn der /build Parameter verwendet wird.
/platform:platform Optional. Gibt die Buildplattform an, z. B. x86. Dieser Parameter kann nur verwendet werden, wenn der /build Parameter verwendet wird.
/assignfailurestouser:user Optional. Gibt den Benutzer an, dem alle fehlgeschlagenen Tests in der Testausführung zugewiesen sind.
/buildverification Optional. Gibt an, dass dieser Testlauf Buildüberprüfungstests enthält, die die grundlegende Funktionalität des Builds überprüfen.

Beschreibungen von , und Parametern finden Sie unter "Arbeiten mit dem TCM-Befehlszeilentool"./login/teamproject/collection

Beispiel

Der folgende Befehl veröffentlicht eine Testausführung für die Testsuite mit ID161 und Testkonfiguration mit ID9 und legt den Besitzer neu zu. Dadurch werden die vorhandenen Testpunkte für die Testfälle in der Testsuite aktualisiert, die mit dieser Konfiguration gekoppelt sind, und veröffentlicht die Ergebnisse in der angegebenen TRX-Datei . Alle fehlgeschlagenen Tests in der Testausführung werden dem angegebenen Benutzer zugewiesen.

tcm run /publish /suiteid:167 /configid:9 /resultowner:"Thomas Margand" /resultsfile:"c:\temp\ResultsForDeveloper.trx" /assignfailurestouser:"Bukhosi Bhengu" /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"

Häufig gestellte Fragen

Hier sind einige häufige Fragen.

F: Wie wiederhole ich einen Test?

Eine: Wählen Sie einfach einen beliebigen Test aus, und wählen Sie "Ausführen" aus.

F: Kann ich alle Tests in einer Testsammlung zusammen ausführen?

Eine: Ja, wählen Sie eine Testsuite aus, und wählen Sie "Ausführen" aus. Diese Option führt alle aktiven Tests in der Test suite aus. Wenn Sie noch keinen Test ausgeführt haben, lautet sein Status "Aktiv". Sie können den Status eines Tests auf "Aktiv" zurücksetzen, wenn Sie ihn erneut ausführen möchten.

Alle aktiven Tests in einer Testsammlung auswählen und ausführen

F: Kann ich einen Build auswählen, um Tests auszuführen?

Eine: Ja, Wählen Sie "Ausführen " aus, und wählen Sie dann "Ausführen" mit Optionen aus.

Starten eines Tests mit Optionen

Wählen Sie den gewünschten Build aus der Dropdownliste aus.

Auswählen des Builds, um einen Link in die Ergebnisse einzuschließen

Jeder Fehler, der während der Ausführung eingereicht wurde, wird automatisch dem ausgewählten Build zugeordnet. Das Testergebnis wird für diesen Build veröffentlicht.

Hinweis

Der ausgewählte Build muss aus dem Projekt stammen, in dem die Tests definiert sind.

F: Kann ich meine Testschritte reparieren, während ich einen Test ausführe?

Eine: Ja, wenn Sie Azure Test Plans für Azure DevOps haben. Sie können Schritte einfügen, verschieben oder löschen. Sie können auch den Text selbst bearbeiten. Verwenden Sie das Bearbeitungssymbol neben der Testschrittnummer.

Wählen Sie das Symbol

Das Tool zum Bearbeiten der Testschritte wird angezeigt.

Beim Ausführen eines Tests Testschritte korrigieren

F: Kann ich dem Testergebnis einen Screenshot hinzufügen, wenn ich einen Test ausführen?

Eine: Wenn Sie Google Chrome oder Firefox verwenden, verwenden Sie den Webläufer, um Screenshots der Web-App während des Tests zu erstellen. Für Microsoft Internet Explorer- oder Microsoft Edge-Browser oder für Desktop-App-Tests können Sie den Test Runner-Desktopclient herunterladen und verwenden.

Erfassen eines Screenshots aus der App

Weitere Informationen finden Sie unter Sammeln von Diagnosedaten.

F: Kann ich meine Aktionen in der App als Protokoll erfassen?

Eine: Wenn Sie Google Chrome oder Firefox verwenden, verwenden Sie den Webläufer, die Ihre Aktionen in der Web-App als Bildprotokolle beim Testen erfassen. Für Microsoft Internet Explorer- oder Microsoft Edge-Browser oder für Desktop-App-Tests können Sie den Test Runner-Desktopclient herunterladen und verwenden.

Erfassen eines Bildaktionsprotokolls aus der App

Weitere Informationen finden Sie unter Sammeln von Diagnosedaten.

F: Kann ich Bildschirmaufzeichnungen meiner App erfassen?

Eine: Wenn Sie Google Chrome oder Firefox verwenden, verwenden Sie den Webläufer, um Bildschirmaufzeichnungen Ihrer Web- und Desktop-Apps während des Tests zu erfassen. Laden Sie für Microsoft Internet Explorer- oder Microsoft Edge-Browser oder Desktop-App-Tests den Test Runner-Desktopclient herunter und verwenden Sie sie.

Erfassen einer Bildschirmaufzeichnung aus der App

Weitere Informationen finden Sie unter Sammeln von Diagnosedaten.

F: Gewusst wie steuern, wie lange ich meine Testdaten beibehalten?

Eine: Weitere Informationen finden Sie unter Festlegen von Testaufbewahrungsrichtlinien.

F: Wo kann ich den Test Runner-Client herunterladen?

Eine: Laden Sie den Test Runner-Desktopclient herunter.

F: Was sind die unterstützten Betriebssysteme für den Test Runner-Client?

Eine: Der Test Runner-Desktopclient wird derzeit nur unter Windows unterstützt.

F: Kann ich Telemetrie für den Test Runner-Client deaktivieren?

A: Nein. Der Test Runner-Desktopclient sammelt keine benutzeridentifizierbaren Daten. Es wird kein Opt-Out-Mechanismus bereitgestellt. Weitere Informationen finden Sie unter Microsoft-Datenschutzrichtlinien.

F: Kann ich Tests offline ausführen und dann die Ergebnisse importieren?

Eine: Ja, lesen Sie die Offlinetestausführungserweiterung.

Nächster Schritt

Anzeigen des Testfortschritts