Ausführen manueller Tests
Azure DevOps Services | Azure DevOps Server 2022 | Azure DevOps Server 2019
Führen Sie Ihre manuellen Tests aus, und notieren Sie die Testergebnisse für jeden Testschritt mithilfe von Microsoft Test Runner. Sie können Tests sowohl für Webanwendungen als auch für Desktop-Apps ausführen.
Mit Test Runner können Sie alle aktiven Tests als Batch oder bestimmte Testfälle ausführen. Ändern Sie Tests, während sie ausgeführt werden. Sie können Tests für einen bestimmten Build ausführen.
Sammeln Sie beim Testen Informationen wie einen Screenshot oder Ihre Testaktionen. Wenn Beim Testen ein Problem angezeigt wird, verwenden Sie Test Runner, um einen Fehler zu erstellen. Schließen Sie Testschritte, Screenshots und Kommentare in den Fehler ein.
Hinweis
Sie führen Testpunkte und keine Testfälle aus. Wenn Sie einer Testsammlung einen Testfall hinzufügen, werden Testpunkte generiert. Ein Testpunkt stellt eine einzigartige Kombination aus Testfall, Testsuite, Konfiguration und Tester dar.
Beispielsweise generiert ein Testfall mit dem Namen "Testanmeldungsfunktion", der zwei Konfigurationen für die Edge- und Chrome-Browser enthält, zwei Testpunkte. Sie können jeden dieser Testpunkte ausführen. Bei der Ausführung werden Testergebnisse generiert. Über die Testergebnisansicht oder den Ausführungsverlauf können Sie alle Ausführungen eines Testpunkts anzeigen. Die jüngste Ausführung für den Testpunkt wird auf der Registerkarte Ausführen angezeigt.
Unterstützte Clients und Ausführungsoptionen
Zusätzlich zum Ausführen von Tests für einen bestimmten Build unterstützen Ausführungsoptionen verschiedene Testszenarien. Um die Optionen anzuzeigen, wählen Sie auf der Registerkarte "Ausführen " einen Test und dann " Ausführen mit Optionen" aus.
Wählen Sie den Testtyp aus, und der Läufer bietet die folgenden Optionen:
Manuelle Tests mithilfe des webbrowserbasierten Runners Sie können einen bestimmten zu testden Build auswählen, wie unter "Ausführen von Tests für einen Build" beschrieben. Wählen Sie "Builds suchen" aus, um das Dialogfeld "Builds suchen" zu öffnen, und suchen Sie nach einem Build, mit dem Sie testen möchten.
Manuelle Tests mithilfe des Test Runner-Clients Sie können manuelle Tests für Desktopanwendungen mithilfe des Test Runner-Clients ausführen. Installieren Sie bei Bedarf den Test Runner-Desktopclient.
Automatisierte Tests mithilfe der Veröffentlichungsphase Zum Ausführen von Tests mithilfe einer Veröffentlichungsphase wählen Sie einen Build aus. Wählen Sie eine Releasepipeline und -phase aus, um die Artefakte des Builds zu nutzen. Weitere Informationen finden Sie unter Ausführen automatisierter Tests aus Testplänen.
Manuelle Tests mithilfe des Microsoft Test Manager 2017-Clients sammelt Daten von einem lokalen Computer. Wählen Sie einen Build aus. Wählen Sie einen oder mehrere Datensammler aus: Aktionsprotokoll, Ereignisprotokoll, Bildschirm- und Sprachrekorder und Systeminformationen.
Manuelle Tests mit Microsoft Test Manager 2015 oder einem früheren Client
Das Test Center im Microsoft Test Manager-Client ist eine desktopbasierte manuelle Testlösung. Tester können sie für manuelle Testanforderungen verwenden. Weitere Informationen finden Sie unter Anleitungen zur Verwendung von Microsoft Test Manager. Um Microsoft Test Manager zu erhalten, installieren Sie Visual Studio Enterprise oder Visual Studio Test Professional.
Voraussetzungen
- Projektzugriff: Stellen Sie sicher, dass Sie einem Projekt hinzugefügt werden.
- Zugriffsebenen: Stellen Sie sicher, dass Sie mindestens über den einfachen Zugriff oder höher verfügen.
- Weitere Informationen finden Sie unter "Manueller Testzugriff und Berechtigungen".
Arbeiten mit dem TCM-Befehlszeilentool
Um das Befehlszeilentool TCM zu verwenden, müssen die folgenden Elemente vorhanden sein:
Visual Studio 2017 Professional oder frühere Version installiert. Sie greifen über die Eingabeaufforderung und die folgenden Verzeichnisse auf TCM zu:
%programfiles(x86)%\Microsoft Visual Studio\2017\Professional\Common7\IDE
%programfiles(x86)%\Microsoft Visual Studio\2017\Enterprise\Common7\IDE
%programfiles(x86)%\Microsoft Visual Studio 14.0\Common7\IDE
Wenn Sie einen TCM-Befehl ausführen möchten, geben Sie die Parameter und
/teamproject
ggf/login
. an/collection
.Parameter Beschreibung /Sammlung :CollectionURL
Erforderlich. Gibt den URI der Teamprojektsammlung an. Das Format für den URI lautet wie folgt:
– Für Azure DevOps Services:http://dev.azure.com/OrganizationName
- Für Azure DevOps Server:http://ServerName:Port/VirtualDirectoryName/CollectionName
. Wenn kein virtuelles Verzeichnis verwendet wird, lautet das Format für den URI wie folgt:http://ServerName:Port/CollectionName
/teamproject: project
Erforderlich. Der Name des Projekts, das die Testobjekte enthält, in die Sie automatisierte Tests klonen oder importieren möchten. /login: username,[password]
Optional. Gibt den Namen und das Kennwort eines gültigen Azure DevOps-Benutzers an, der über Berechtigungen zum Ausführen des Befehls verfügt. Verwenden Sie diese Option, wenn Ihre Windows-Anmeldeinformationen nicht über die entsprechenden Berechtigungen verfügen, oder Sie die Standardauthentifizierung verwenden oder keine Verbindung mit einer Domäne herstellen. Sie müssen ein gültiges Mitglied eines oder mehrerer Projekte sein, auf die Sie zugreifen möchten, und über die erforderlichen Berechtigungen verfügen, basierend auf den ausgeführten Befehlen. Weitere Informationen finden Sie unter "Manueller Testzugriff und Berechtigungen".
Zum Hinzufügen von Testplänen und Testsammlungen zum Klonen oder Importieren von Testobjekten benötigen Sie dieselben Zugriffsstufen.
Ausführen von Tests für Web-Apps
Führen Sie die folgenden Schritte aus, um Tests für Webanwendungen auszuführen.
Öffnen Sie im Webportal Ihr Projekt, und wählen Sie Testpläne>aus.
Falls noch nicht geschehen, erstellen Sie Ihre manuellen Tests.
Wählen Sie "Mein" oder "Alle" aus, oder verwenden Sie "Filtern nach Titel", um Ihren Testplan zu finden und auszuwählen. Wählen Sie die Registerkarte "Ausführen" aus .
Wählen Sie einen oder mehrere Tests oder alle Tests aus einer Testsuite aus. Wählen Sie dann "Für Webanwendung ausführen" aus.
Microsoft Test Runner wird in einem neuen Browser geöffnet und ausgeführt.
Starten Sie die App, die Sie testen möchten.
Ihre App muss nicht auf demselben Computer wie Test Runner ausgeführt werden. Sie verwenden Einfach Test Runner, um aufzuzeichnen, welche Testschritte bestehen oder fehlschlagen, während Sie einen Test manuell ausführen.
Beispielsweise können Sie Test Runner auf einem Desktopcomputer ausführen und Ihre Store-App für Windows 8 ausführen, die Sie auf einem Windows 8-Tablet testen.
Markieren Sie jeden Testschritt als bestanden oder fehlgeschlagen, basierend auf den erwarteten Ergebnissen.
Wenn ein Testschritt fehlschlägt, können Sie einen Kommentar eingeben, warum er fehlgeschlagen ist, oder Diagnosedaten für den Test sammeln. Sie können auch einen Fehler erstellen oder hinzufügen.
Falls noch nicht geschehen, erstellen Sie Ihre manuellen Tests.
Wählen Sie einen Test aus einer Testsuite aus, und führen Sie ihn aus.
Microsoft Test Runner wird in einem neuen Browser geöffnet und ausgeführt.
Starten Sie die App, die Sie testen möchten. Ihre App muss nicht auf demselben Computer wie Test Runner ausgeführt werden. Sie verwenden Einfach Test Runner, um aufzuzeichnen, welche Testschritte bestehen oder fehlschlagen, während Sie einen Test manuell ausführen. Beispielsweise können Sie Test Runner auf einem Desktopcomputer ausführen und Ihre Windows 8 Store-App ausführen, die Sie auf einem Windows 8-Tablet testen.
Markieren Sie jeden Testschritt als bestanden oder fehlgeschlagen, basierend auf den erwarteten Ergebnissen. Wenn ein Testschritt fehlschlägt, können Sie einen Kommentar eingeben, warum er fehlgeschlagen ist, oder Diagnosedaten für den Test sammeln. Sie können auch einen Fehler erstellen oder hinzufügen.
Wichtig
Jeder Testschritt, der das Ergebnis erwartet hat, wird als Überprüfungstestschritt bezeichnet. Tester müssen einen Testschritt mit einem Status markieren, wenn es sich um einen Überprüfungstestschritt handelt. Das Gesamtergebnis für einen Testfall spiegelt den Status aller Testschritte wider, die der Tester markiert hat. Daher weist der Testfall einen Fehlerstatus auf, wenn der Tester einen Testschritt als fehlgeschlagen markiert oder nicht markiert hat.
Erstellen oder Hinzufügen zu einem Fehler
Wenn ein Testschritt fehlschlägt, geben Sie einen Kommentar zum Verhalten ein, und sammeln Sie Diagnosedaten. Sie können einen Fehler erstellen, um das Problem zu erfassen und nachzuverfolgen. Sie können auch einen vorhandenen Fehler mit Informationen zum Fehler aktualisieren.
Wenn ein Schritt fehlschlägt, geben Sie einen Kommentar ein, und wählen Sie "Fehler erstellen" aus.
Hinweis
Wenn die Schaltfläche "Fehler erstellen" keine Fehlerarbeitselemente startet, überprüfen Sie, ob die Teams-Einstellungen auf Der Ebene "Bereich" und "Iteration" wie folgt korrekt sind:
Wechseln Sie zu den Projekteinstellungen und zum Team, überprüfen Sie, ob das richtige Team als Standard festgelegt ist.
Klicken Sie in diesem Team auf den Hyperlink "Iterationen" und "Bereichspfade" in der Nähe des Teamnamens. Sie gelangen zur Teamkonfigurationsseite.
Wählen Sie auf der Seite "Teamkonfiguration" die Option "Iterationen", "Standard" und "Backlog"-Iteration mit dem Team ab, für das der Testfall ausgeführt wird.
Wählen Sie auf der Seite "Teamkonfiguration" die Option "Bereiche" aus, muss der Standardbereich mit dem Team übereinstimmen, für das der Testfall ausgeführt wird.
Geben Sie im Dialogfeld "Neuer Fehler " einen Namen für den Fehler ein.
Die Schritte und Ihre Kommentare werden dem Fehler automatisch hinzugefügt. Wenn Test Runner in einem Webbrowserfenster ausgeführt wird, können Sie einen Screenshot aus der Zwischenablage direkt in den Fehler kopieren.
Sie können den Fehler zuweisen, Kommentare eingeben oder einen Link zu anderen Problemen herstellen. Wählen Sie " Speichern" und "Schließen" aus, wenn Sie fertig sind. Der Testfall ist mit dem von Ihnen erstellten Fehler verknüpft.
Während der Testsitzung werden alle Fehler angezeigt, die gemeldet wurden.
Anstatt einen Fehler zu erstellen, können Sie einen vorhandenen Fehler mit Informationen zu diesem Schritt aktualisieren. Wählen Sie im Dropdownmenü "Fehler erstellen" die Option "Zu vorhandenem Fehler hinzufügen" aus.
Wählen Sie im Fenster "Test Runner" die Option "Fehler erstellen" aus.
Die Schritte und Ihre Kommentare werden dem Fehler automatisch hinzugefügt. Wenn Test Runner in einem Webbrowserfenster ausgeführt wird, können Sie einen Screenshot aus der Zwischenablage direkt in den Fehler kopieren.
Sie können den Fehler zuweisen, Kommentare eingeben oder einen Link zu anderen Problemen herstellen. Wählen Sie " Speichern" und "Schließen" aus, wenn Sie fertig sind. Der Testfall ist mit dem von Ihnen erstellten Fehler verknüpft.
Sie können alle Fehler sehen, die Sie während der Testsitzung gemeldet haben.
Anstatt einen Fehler zu erstellen, können Sie einen vorhandenen Fehler mit Informationen zu diesem Schritt aktualisieren. Wählen Sie das + Symbol für "Fehler erstellen" und dann "Zu vorhandenem Fehler hinzufügen" aus. Suchen und Aktualisieren eines vorhandenen Fehlers.
Speichern von Ergebnissen, Schließen der Sitzung und Überprüfen von Ergebnissen
Nachdem Sie den Test abgeschlossen haben, speichern Sie Ihre Ergebnisse, schließen Sie die Sitzung, und überprüfen Sie die Testergebnisse.
Wenn Sie alle Ihre Tests ausgeführt haben, wählen Sie " Speichern" und "Schließen" aus. Alle Testergebnisse werden in Azure Test-Plänen gespeichert.
Zeigen Sie den Teststatus für Ihre Testsuite an. Für jeden Test werden die neuesten Ergebnisse angezeigt.
Wenn Sie noch keinen Test ausgeführt haben, ist der Status aktiv. Setzen Sie den Status eines Tests auf "aktiv" zurück, wenn Sie ihn erneut ausführen möchten.
Öffnen Sie eine Testsuite, und wählen Sie den Testfall im Abschnitt "Verwandte Arbeit " aus. Verwenden Sie dann die untergeordneten Links im Abschnitt "Verwandte Arbeit " dieser Arbeitsaufgabe, um die vom Tester abgelegten Fehler anzuzeigen.
Sie können Tests offline ausführen und dann die Ergebnisse importieren. Weitere Informationen finden Sie in der Offlinetestausführungserweiterung.
Ausführen von Tests für Desktop-Apps
Wenn Sie weitere Diagnosedaten für Ihre Desktopanwendung sammeln möchten, führen Sie Ihre Tests mit dem Test Runner-Client aus.
Öffnen Sie im Webportal Ihr Projekt, und wählen Sie Testpläne>aus.
Wählen Sie "Mein" oder "Alle" aus, oder verwenden Sie "Filtern nach Titel", um Ihren Testplan zu finden und auszuwählen. Wählen Sie die Registerkarte "Ausführen" aus .
Starten Sie Test Runner aus Azure-Testplänen, indem Sie im Dropdownmenü die Option "Für Desktopanwendung ausführen" auswählen.
Laden Sie bei Bedarf den Test Runner-Desktopclient herunter, und installieren Sie sie.
Hinweis
- Überprüfen Sie, ob der Test Runner-Client für Ihre Plattform verfügbar ist. Derzeit ist der Test Runner-Client nur für x64 verfügbar.
- Azure Test Runner funktioniert möglicherweise nicht, wenn Ihre Organisation eine Richtlinie für bedingten Zugriff über Microsoft Entra verwendet. Weitere Informationen finden Sie unter Allgemeine Entscheidungen für bedingten Zugriff
Wählen Sie "Starten" aus, und starten Sie tests, wie im vorherigen Abschnitt beschrieben. Weitere Informationen zur Datensammlung finden Sie unter Sammeln von Diagnosedaten beim Testen.
Wenn Sie weitere Diagnosedaten für Ihre Desktopanwendung sammeln möchten, führen Sie Ihre Tests mit dem Test Runner-Client aus:
Starten Sie den Testausführungsclient über Azure Testpläne, indem Sie im Menü "Ausführen" die Option "Für Desktopanwendung ausführen" auswählen.
Laden Sie den Test Runner-Desktopclient herunter, und installieren Sie ihn, wenn Sie ihn noch nicht eingerichtet haben:
Hinweis
Überprüfen Sie, ob der Test Runner-Client für Ihre Plattform verfügbar ist. Derzeit ist der Test Runner-Client nur für x64 verfügbar.
Wählen Sie "Starten" aus, und starten Sie das Testen auf die gleiche Weise wie oben für Web-Apps beschrieben. Weitere Informationen zur Datensammlung finden Sie unter Sammeln von Diagnosedaten beim Testen.
Alle Tests ausführen
Sie können alle Tests in einer Testsuite gleichzeitig ausführen.
Wählen Sie eine Testsuite aus, und wählen Sie "Für Webanwendung ausführen" oder "Für Desktopanwendung ausführen" aus, um alle aktiven Tests auszuführen.
Wählen Sie eine Testsuite aus, und wählen Sie "Ausführen" aus, um alle aktiven Tests auszuführen.
Ausführen von Tests für einen Build
Wählen Sie einen Build aus, mit dem Tests ausgeführt werden sollen.
Wählen Sie in der Dropdownliste "Ausführen mit Optionen" aus.
Wählen Sie im Dialogfeld "Ausführen mit Optionen " den gewünschten Build aus.
Wählen Sie "Ausführen" und dann " Ausführen mit Optionen" aus.
Wählen Sie den gewünschten Build aus.
Hinweis
Der ausgewählte Build muss aus dem Projekt stammen, in dem die Tests definiert sind.
Sie können einen Build für die folgenden Optionen auswählen:
- Manuelle Tests mithilfe des Webbrowser-basierten Runners
- Automatisierte Tests mithilfe der Veröffentlichungsphase
- Manuelle Tests mit dem Microsoft Test Manager 2017-Client
Die Felder, die das Dialogfeld anbietet, unterscheiden sich je nach der ausgewählten Option. Weitere Informationen finden Sie unter "Unterstützte Clients" und "Ausführungsoptionen".
Alle während der Ausführung abgelegten Fehler werden dem ausgewählten Build zugeordnet. Das Testergebnis wird für diesen Build veröffentlicht.
Ändern eines Testschritts während einer Testausführung
Beheben Sie Probleme mit den Testschritten, während der Test noch ausgeführt wird. Wählen Sie das Symbol "Testschritt bearbeiten" aus .
Sie können Schritte einfügen, neu anordnen oder löschen. Sie können den Text auch selbst bearbeiten.
Erfassen von umfangreichen Diagnosedaten
Während Sie Ihre Tests ausführen, können Sie Screenshots hinzufügen, Aktionen als Protokoll erfassen und Video oder Sprache aufzeichnen.
Hinzufügen eines Screenshots
Fügen Sie während der Ausführung eines Tests einen Screenshot zu den Testergebnissen hinzu.
Wenn Sie Google Chrome oder Firefox verwenden, verwenden Sie den Web-Runner, um Screenshots der Web-App während des Tests zu erstellen. Verwenden Sie für Microsoft Internet Explorer- oder Microsoft Edge-Browser oder für Desktop-App-Tests den Test Runner-Desktopclient.
Weitere Informationen finden Sie unter Sammeln von Diagnosedaten.
Erfassen von Aktionen aus einem Test
Erfassen Sie Ihre Aktionen für die Anwendung als Protokoll.
Wenn Sie Google Chrome oder Firefox verwenden, erfassen Sie mit dem Web-Runner Ihre Aktionen in der Web-App während des Tests als Bildprotokolle. Verwenden Sie für Microsoft Internet Explorer- oder Microsoft Edge-Browser oder für Desktop-App-Tests den Test Runner-Desktopclient.
Weitere Informationen finden Sie unter Sammeln von Diagnosedaten.
Erfassen von Bildschirmaufzeichnungen ihrer getesteten App
Erfassen Sie Bildschirmaufzeichnungen meiner App während des Tests.
Wenn Sie Google Chrome oder Firefox verwenden, verwenden Sie den Web-Runner zum Erfassen von Bildschirmaufzeichnungen Ihrer Web- und Desktop-Apps beim Testen. Verwenden Sie für Microsoft Internet Explorer- oder Microsoft Edge-Browser oder für Desktop-App-Tests den Test Runner-Desktopclient.
Weitere Informationen finden Sie unter Sammeln von Diagnosedaten.
Ausführen von Tests mit TCM
Sie können Tests ausführen, die Teil eines Testplans sind, mithilfe des TCM-Befehlszeilentools. Mit diesem Tool können Sie eine Testausführung erstellen und starten und dann alle vorhandenen Testläufe verwalten. Verwenden Sie die hier dokumentierten tcm-Befehle, um diese Aufgaben auszuführen.
Auflisten von Testläufen Zum Erstellen von Testläufen | | | ausführen Ausführen ausführen Ausführen ausführen Abort Testausführungen Löschen von Testläufen | | Exportieren von Testläufen Veröffentlichen von Testläufen |
Testausführungen auflisten
Hier können tcm run /list
Sie die in einem Testplan verfügbaren Ausführungen auflisten und deren ID anzeigen. Die ID entspricht der Arbeitsaufgaben-ID, die beim Erstellen der Ausführung definiert wurde.
tcm run /list /collection:teamprojectcollectionurl /teamproject:project
[/planid:id | /querytext:query] [/login:username,[password]]
Parameter | Beschreibung |
---|---|
/planid:id |
Optional. Gibt an, dass nur die testausführungen, die dem angegebenen Testplan zugeordnet sind, in der Liste zurückgegeben werden. |
/querytext:query |
Optional. Gibt die Abfrage an, die zum Auflisten einer Teilmenge von Testläufen verwendet werden soll. |
Beschreibungen von /collection
und /teamproject
/login
Parametern finden Sie unter "Arbeiten mit dem TCM-Befehlszeilentool".
Beispiel
Der folgende Befehl listet die testausführungen auf, die für das Fabrikam Fiber-Projekt definiert sind, das in der Fabrikamprime-Organisation gehostet wird. Die ID und der Titel entsprechen der Arbeitsaufgaben-ID und dem Titel, die für die Testausführung definiert sind. Beispiel: "Testlauf 1000052 " lautet " Testplan für Zyklus 1 (Manuell)".
tcm run /list /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"
Id Title Owner Date Completed
--------- ---------------------------------- ------------------- -----------
1000006 Sprint 2 (Manual) Thomas Margand 11/5/2021
1000032 33 : Change initial view (Manual) Danielle Brasseur 11/11/2021
1000040 Sprint 2 (Manual) Thomas Margand 11/16/2021
1000042 Sprint 3 (Manual) Thomas Margand 11/16/2021
1000046 Special testing (Manual) Nicoletta Guibord 11/18/2021
1000052 Test Plan for Cycle 1 (Manual) Bukhosi Bhengu 12/1/2021
1000060 Game Shopping (Manual) Bukhosi Bhengu 12/6/2021
Testläufe erstellen
Dient tcm run /create
zum Erstellen einer Testausführung, die dem angegebenen Testplan zugeordnet ist. Zusätzlich zum Testplan definieren Sie auch die Testsuite und die Konfiguration, die Sie mit der entsprechenden ID verwenden möchten. Sie können diese IDs mithilfe der tcm plans /list
Befehle tcm suites /list
und tcm configs /list
Befehle erfassen.
tcm run /create /title:title /planid:id /collection:CollectionURL /teamproject:project
(suiteid:id /configid:configid | /querytext:query)
[/settingsname:name] [/owner:owner] [/builddir:directory]
[/testenvironment:name] [/login:username,[password]] [/include]
Parameter | Beschreibung |
---|---|
/title:title |
Gibt den Titel an, den Sie für die von Ihnen erstellte Testausführung verwenden möchten. |
/planid:id |
Gibt den Testplan an, in dem Sie die Testausführung erstellen möchten. |
/suiteid:id |
Gibt die Testsammlungen an, die Sie für die Testausführung verwenden möchten. |
/configid:id |
Gibt die Testkonfiguration an, die Sie für Ihre Testsammlungen ausführen möchten. |
/querytext:query |
Optional, wenn Sie angeben suiteid und configid . Gibt die Abfrage an, die zum Auswählen der Tests verwendet werden soll, die Sie ausführen möchten. Tipp: Sie können den /querytest Parameter verwenden, um mehrere Testsuiten auszuführen. Beispiel: querytext:“SELECT * FROM TestPoint WHERE (ConfigurationId=20 OR ConfigurationId=21) AND (Suiteid=1185 OR Suiteid=1186)” |
/settingsname:name |
Optional. Gibt die Testeinstellungen an, die Sie für diese Testausführung verwenden möchten. Wenn Sie keine Testeinstellungen auswählen, werden die Standardtesteinstellungen im Testplan verwendet. |
/owner:owner |
Optional. Gibt den Besitzer der Testausführung an. |
/builddir:directory |
Optional. Gibt das Buildverzeichnis an, das zum Suchen der Testassemblys für den Test verwendet werden soll. Wenn dies nicht angegeben ist, wird der Buildspeicherort basierend auf dem Build verwendet, der derzeit dem Testplan zugewiesen ist. |
/testenvironment:name |
Optional. Gibt die Testumgebung an, die Sie für diese Testausführung verwenden möchten. Wenn Sie keine Testumgebung auswählen, wird die Standardtestumgebung im Testplan verwendet. |
/include | Optional. Gibt an, dass alle Für die Testausführung ausgewählten Tests enthalten sind, auch wenn die Tests derzeit nicht auf den Aktiven Zustand festgelegt sind. |
Beschreibungen von /collection
und /teamproject
/login
Parametern finden Sie unter "Arbeiten mit dem TCM-Befehlszeilentool".
Beispiel
Der folgende Befehl erstellt eine Testausführung namens MyTestRun im Testplan mit ID 77. Die Ausführung verwendet die Testsuite mit ID 161 und die Testkonfiguration mit ID 9. Die Ausführung wird für das Fabrikam Fiber-Projekt definiert, das in der Fabrikamprime-Organisation gehostet wird.
In diesem Beispiel wird eine Testausführung mit einer ID von 1000082 erstellt.
tcm run /create /title:MyTestRun /planid:77 /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber" /suiteid:161 /configid:9
Run created with ID: 1000082.
Ausführen von Testläufen
Verwenden Sie diese Option tcm run /execute
, um eine der Ausführungen in Ihrem Testplan zu starten. Die angegebene ID entspricht der Arbeitselement-ID, die beim Erstellen der Ausführung definiert wurde. Sie können eine Liste aller Testausführungs-IDs mit dem Befehl "/list ausführen" anzeigen.
tcm run /execute /id:id /collection:teamprojectcollectionurl /teamproject:project [/login:username,[password]]
Parameter | Beschreibung |
---|---|
/id:id |
Gibt die ID für die Testausführung an, die Sie ausführen möchten. |
Beschreibungen von /collection
und /teamproject
/login
Parametern finden Sie unter "Arbeiten mit dem TCM-Befehlszeilentool".
Beispiel
Der folgende Befehl startet eine Testausführung für die ID 1000082 für das Fabrikam Fiber-Projekt, das in der Fabrikamprime-Organisation gehostet wird. Die Ergebnisse werden in Ihrem CLI-Fenster zurückgegeben.
tcm run /execute /id:1000082 /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"
Executing run: MyTestRun
Results
------------------------
Total: 2
Passed: 1
Failed: 1
Inconclusive: 0
Abgebrochene Testläufe
Wird verwendet tcm run /abort
, um eine laufende Testausführung abzubrechen. Die angegebene ID entspricht der Arbeitselement-ID, die beim Erstellen der Ausführung definiert wurde.
tcm run /abort /id:id /collection:teamprojectcollectionurl /teamproject:project [/login:username,[password]]
Parameter | Beschreibung |
---|---|
/id:id |
Gibt die ID für die Testausführung an, die Sie abbrechen möchten. |
Beschreibungen von /collection
und /teamproject
/login
Parametern finden Sie unter "Arbeiten mit dem TCM-Befehlszeilentool".
Beispiel
Mit dem folgenden Befehl wird die Testausführung mit der ID 1000082 für das fabrikam Fiber-Projekt beendet, das in der Fabrikamprime-Organisation gehostet wird. Die Ergebnisse bestätigen die ID und den Titel der abgebrochenen Ausführung.
tcm run /abort /id:1000082 /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"
Run with ID [1000082] and title [MyTestRun] has been aborted.
Testläufe löschen
Dient tcm run /delete
zum Löschen einer Testausführung aus Ihrem Testplan. Die angegebene ID entspricht der Arbeitselement-ID, die beim Erstellen der Testausführung definiert wurde.
tcm run /delete /id:id [/noprompt] /collection:teamprojectcollectionurl /teamproject:project [/login:username,[password]]
Parameter | Beschreibung |
---|---|
/id:id |
Gibt die ID für die Testausführung an, die Sie löschen möchten. |
/noprompt | Optional. Gibt an, dass der Benutzer nicht aufgefordert wird, das Löschen einer Testausführung zu bestätigen. |
Beschreibungen von /collection
und /teamproject
/login
Parametern finden Sie unter "Arbeiten mit dem TCM-Befehlszeilentool".
Beispiel
Mit dem folgenden Befehl wird die Testausführung mit der ID 1000082 für das fabrikam Fiber-Projekt gelöscht, das in der Fabrikamprime-Organisation gehostet wird. Der Benutzer wird aufgefordert, zu bestätigen, dass er die angegebene Testausführung löschen möchte und das Ergebnis bereitgestellt wird.
tcm run /delete /id:1000082 /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"
Are you sure you want to delete run [MyTestRun]? (Yes/No) y
Run [MyTestRun] has been deleted.
Exportieren von Testläufen
Dient tcm run /export
zum Exportieren einer Testausführung an einen angegebenen Speicherort. Die angegebene ID entspricht der Arbeitselement-ID, die beim Erstellen der Ausführung definiert wurde.
tcm run /export /id:id /resultsfile:path /collection:teamprojectcollectionurl /teamproject:project [/login:username,[password]]
Parameter | Beschreibung |
---|---|
/id:id |
Gibt die Testausführungs-ID an, die Sie exportieren möchten. |
/resultsfile:path |
Gibt einen Speicherort und Dateinamen für die Testausführung an, die Sie exportieren möchten. |
Beschreibungen von /collection
und /teamproject
/login
Parametern finden Sie unter "Arbeiten mit dem TCM-Befehlszeilentool".
Beispiel
Der folgende Befehl gibt an, dass die Testausführung mit der ID 1000082 für das fabrikam Fiber-Projekt, das in der Fabrikamprime-Organisation gehostet wird, in c:\temp\ResultsForDeveloper.trx exportiert wird.
tcm run /export /id:1000082 /resultsfile:"c:\temp\ResultsForDeveloper.trx" /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"
Veröffentlichen von Testläufen
Wird tcm run /publish
verwendet, um die Ergebnisse aus einer Visual Studio-Testausführungsergebnissedatei für einen angegebenen Testplan zu veröffentlichen.
tcm run /publish /suiteid:id /configid:id /resultowner:owner /resultsfile:path
/collection:teamprojectcollectionurl /teamproject:project [/title:runtitle]
[/runowner:owner] [/build:buildnumber /builddefinition:builddefinition]
[/flavor:flavor] [/platform:platform] [/assignfailurestouser:user]
[/login:username,[password]] [/buildverification]
Parameter | Beschreibung |
---|---|
/suiteid:id |
Gibt die Testsuite an, die beim Veröffentlichen einer Testausführung verwendet werden soll. |
/configid:id |
Gibt an, welche Testkonfiguration beim Veröffentlichen einer Testausführung verwendet werden soll. |
/resultowner:owner |
Gibt den Besitzer für die Testergebnisse an. |
/resultsfile:path |
Gibt den Speicherort der Testausführung an, die Sie veröffentlichen möchten. Beispiel: "c:\temp\ResultsForDeveloper.trx". |
/title:runtitle |
Optional. Gibt einen Titel an, den Sie für die testausführung verwenden möchten, die Sie veröffentlichen möchten. |
/runowner:owner |
Optional. Gibt den Besitzer der Testausführung an. |
/build:buildnumber |
Optional. Gibt die Buildnummer an, die zum Veröffentlichen einer Testausführung verwendet werden soll. Dieser Parameter muss mit /builddefinition . |
/builddefinition:builddefinition |
Optional. Gibt die Builddefinition an, die zum Veröffentlichen einer Testausführung verwendet werden soll. Dieser Parameter muss mit /build . |
/aroma:flavor |
Optional. Gibt den Buildgeschmack an, z . B. Release. Dieser Parameter kann nur verwendet werden, wenn der /build Parameter verwendet wird. |
/platform:platform |
Optional. Gibt die Buildplattform an, z . B. x86. Dieser Parameter kann nur verwendet werden, wenn der /build Parameter verwendet wird. |
/assignfailurestouser:user |
Optional. Gibt den Benutzer an, dem alle fehlgeschlagenen Tests in der Testausführung zugewiesen sind. |
/buildverification | Optional. Gibt an, dass dieser Testlauf Buildüberprüfungstests enthält, die die grundlegenden Funktionen Ihres Builds überprüfen. |
Beschreibungen von /collection
und /teamproject
/login
Parametern finden Sie unter "Arbeiten mit dem TCM-Befehlszeilentool".
Beispiel
Mit dem folgenden Befehl wird eine Testausführung für die Testsuite mit ID 161 veröffentlicht und die Testkonfiguration mit ID 9 neu zugewiesen. Dadurch werden die vorhandenen Testpunkte für die Testfälle in der Testsuite aktualisiert, die mit dieser Konfiguration gekoppelt sind, und veröffentlicht die Ergebnisse in der angegebenen TRX-Datei . Und alle fehlgeschlagenen Tests in der Testausführung werden dem angegebenen Benutzer zugewiesen.
tcm run /publish /suiteid:167 /configid:9 /resultowner:"Thomas Margand" /resultsfile:"c:\temp\ResultsForDeveloper.trx" /assignfailurestouser:"Bukhosi Bhengu" /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"
Häufig gestellte Fragen
Im Folgenden finden Sie einige häufig gestellte Fragen.
F: Gewusst wie einen Test erneut ausführen?
A: Wählen Sie einfach einen beliebigen Test und dann "Ausführen" aus.
F: Kann ich alle Tests in einer Testsuite zusammen ausführen?
A: Ja, wählen Sie eine Testsuite und dann "Ausführen" aus. Diese Option führt alle aktiven Tests in der Testsuite aus. Wenn Sie noch keinen Test ausgeführt haben, ist der Status aktiv. Sie können den Status eines Tests auf "aktiv" zurücksetzen, wenn Sie ihn erneut ausführen möchten.
F: Kann ich einen Build auswählen, mit dem Tests ausgeführt werden sollen?
A: Ja, Wählen Sie "Ausführen" und dann " Ausführen mit Optionen" aus.
Wählen Sie den gewünschten Build aus der Dropdownliste aus.
Alle während der Ausführung abgelegten Fehler werden automatisch dem ausgewählten Build zugeordnet. Das Testergebnis wird für diesen Build veröffentlicht.
Hinweis
Der ausgewählte Build muss aus dem Projekt stammen, in dem die Tests definiert sind.
F: Kann ich meine Testschritte beheben, während ich einen Test ausführt?
A: Ja, wenn Sie azure Testpläne für Azure DevOps haben. Sie können Schritte einfügen, verschieben oder löschen. Oder Sie können den Text selbst bearbeiten. Verwenden Sie das Bearbeitungssymbol neben der Testschrittnummer.
Das Tool zum Bearbeiten der Testschritte wird angezeigt.
F: Kann ich beim Ausführen eines Tests einen Screenshot zu den Testergebnissen hinzufügen?
A: Wenn Sie Google Chrome oder Firefox verwenden, verwenden Sie den Web-Runner, um Screenshots der Web-App während des Tests zu erstellen. Für Microsoft Internet Explorer- oder Microsoft Edge-Browser oder für Desktop-App-Tests können Sie den Test Runner-Desktopclient herunterladen und verwenden.
Weitere Informationen finden Sie unter Sammeln von Diagnosedaten.
F: Kann ich meine Aktionen in der App als Protokoll erfassen?
A: Wenn Sie Google Chrome oder Firefox verwenden, erfassen Sie mithilfe des Web-Runners Ihre Aktionen in der Web-App während des Tests als Bildprotokolle. Für Microsoft Internet Explorer- oder Microsoft Edge-Browser oder für Desktop-App-Tests können Sie den Test Runner-Desktopclient herunterladen und verwenden.
Weitere Informationen finden Sie unter Sammeln von Diagnosedaten.
F: Kann ich Bildschirmaufzeichnungen meiner App erfassen?
A: Wenn Sie Google Chrome oder Firefox verwenden, verwenden Sie den Web-Runner, um Bildschirmaufzeichnungen Ihrer Web- und Desktop-Apps während des Tests zu erfassen. Laden Sie für Microsoft Internet Explorer- oder Microsoft Edge-Browser oder für Desktop-App-Tests den Test Runner-Desktopclient herunter und verwenden Sie sie.
Weitere Informationen finden Sie unter Sammeln von Diagnosedaten.
F: Einige der Anlagen für die Testausführung zeigen nicht die Vorschauoption an?
A: Sie können nur Dateien mit TXT- und Protokollerweiterungen in der Vorschau anzeigen. Klicken Sie auf die Vorschauoption für TXT- oder Log-Erweiterungsdateien, und eine andere Benutzeroberfläche wird mit dem Dropdownfeld mit allen Anlagen für die Testausführung geöffnet. Wenn Sie eine Datei mit einem anderen Erweiterungstyp als txt oder log auswählen, wird die folgende Meldung angezeigt: "Sie können nur Dateien mit TXT- und Protokollerweiterungen in der Vorschau anzeigen, klicken Sie hier, um die Anlage herunterzuladen"
F: Gewusst wie steuern, wie lange meine Testdaten beibehalten werden?
A: Weitere Informationen finden Sie unter "Festlegen von Testaufbewahrungsrichtlinien".
F: Wo kann ich den Test Runner-Client herunterladen?
A: Laden Sie den Test Runner-Desktopclient herunter.
F: Was sind die unterstützten Betriebssysteme für den Test Runner-Client?
A: Der Test Runner-Desktopclient wird derzeit nur auf windows x64-Plattform unterstützt.
F: Ich beobachte Testausführungsfehler bei Verwendung des Azure Test Runner-Desktopclients.
A: Stellen Sie sicher, dass Sie die neueste Version des Test Runner-Desktopclients verwenden. Herunterladen des Test Runner-Desktopclients
F: Funktioniert der Azure Test Runner-Desktopclient auf Geräten mit aktiviertem bedingten Microsoft Entra-Zugriff?
A: Azure Test Runner funktioniert möglicherweise nicht, wenn Ihre Organisation eine Richtlinie für bedingten Zugriff über Microsoft Entra verwendet. Weitere Informationen finden Sie unter Allgemeine Entscheidungen für bedingten Zugriff. Dies ist eine bekannte Einschränkung, und unsere Empfehlung besteht darin, Webrunner in diesem Szenario zu verwenden.
F: Kann ich die Telemetrie für den Test Runner-Client deaktivieren?
A: Nein. Der Test Runner-Desktopclient sammelt keine benutzeridentifizierbaren Daten. Es wird kein Opt-Out-Mechanismus bereitgestellt. Weitere Informationen finden Sie in der Microsoft-Datenschutzrichtlinie.
F: Kann ich Tests offline ausführen und dann die Ergebnisse importieren?
A: Ja, siehe die Offlinetestausführungserweiterung.