Ausführen von automatisierten Tests über die Befehlszeile mit TCM
Sie können Testfälle mit zugeordneter Automatisierung in der Befehlszeile mit tcm.exe ausführen, statt die von Microsoft Test-Manager bereitgestellte Benutzeroberfläche zu verwenden. Auf diese Weise können Sie die Testläufe automatisch über eine Batchdatei starten. Sie können so beispielsweise festlegen, dass die Batchdatei immer dann ausgeführt wird, wenn ein Build abgeschlossen ist.
Um diese automatisierten Testfälle so auszuführen, dass die Testergebnisse Teil des Testplans sind, müssen Sie eine Lab-Umgebung verwenden. Wenn Sie den Testlauf in der Befehlszeile starten, verwenden Sie tcm.exe. Sie müssen sowohl die Testeinstellungen angeben, die den Satz von Rollen enthalten, den Sie zur Testausführung benötigen, als auch eine Umgebung, die diesen Satz von Rollen enthält. Weitere Informationen über Testeinstellungen und Umgebungen finden Sie unter Einrichten von Testcomputern zum Ausführen von Tests oder Sammeln von Daten.
Hinweis
Wenn Sie automatisierte Tests ausführen möchten, die mit dem Desktop interagieren, müssen Sie den Agent für die Ausführung als Prozess statt als Dienst konfigurieren.Weitere Informationen finden Sie unter How to: Set Up Your Test Agent to Run Tests that Interact with the Desktop.
Sie können die paarweise Zuordnung von Testfall und Konfiguration, benannte Testpunkte, mithilfe einer Abfrage angeben, oder Sie können die Testsammlungen und Konfigurationen angeben, die vom Testplan aus ausgeführt werden sollen. Sie müssen die IDs für den Testplan, die Testsammlungen und Konfigurationen kennen. Sie können diese bei Bedarf mithilfe von tcm.exe aufführen lassen.
Gehen Sie wie im Folgenden beschrieben vor, um die Informationen zu erfassen, die Sie zum Ausführen automatisierter Tests in der Befehlszeile haben, und führen Sie dann die Tests aus:
Aufführen aller Konfigurationen im Teamprojekt
Aufführen aller Testpläne im Teamprojekt
Aufführen aller Testumgebungen für das Teamprojekt
Aufführen aller Testsammlungen im Testplan
Erstellen eines Testlaufs mithilfe einer Testpunktabfrage
Erstellen eines Testlaufs zu einer Testsammlung und einer bestimmten Konfiguration
Anzeigen und Aktualisieren der Testergebnisse
Allgemeine Parameter für die Prozeduren
Parameter |
Beschreibung |
---|---|
/collection:CollectionURL |
Gibt den URI der Teamprojektauflistung an. Das URI-Format lautet wie folgt: http://ServerName:Port/VirtualDirectoryName/CollectionName Wenn kein virtuelles Verzeichnis verwendet wird, hat der URI das folgende Format: http://ServerName:Port/CollectionName Wenden Sie sich an den Team Foundation-Systemadministrator, wenn Sie den richtigen Pfad nicht kennen. |
/teamproject:TeamProjectName |
Das Teamprojekt, das Sie verwenden möchten. Dieses Teamprojekt muss in der vom /collection-Parameter angegebenen Projektsammlung definiert werden. |
/login:BenutzerName,Kennwort |
Dies ist optional. Gibt den Namen und das Kennwort eines Benutzers an, der am Anwendungsebenenserver für Team Foundation Server angemeldet ist und über Berechtigungen zum Ausführen des Befehls verfügt. Diese Option können Sie verwenden, wenn Ihre Windows-Anmeldeinformationen nicht über die entsprechenden Berechtigungen verfügen, wenn Sie die Standardauthentifizierung verwenden oder wenn Sie nicht mit einer Domäne verbunden sind. Für die Anmeldung bei Visual Studio Online müssen Sie auch die unten aufgelisteten /allowalternatecredentials verwenden. |
/allowalternatecredentials |
Dieses Kennzeichen muss zusätzlich zum /login-Parameter angegeben werden, wenn eine Verbindung zu Visual Studio Online hergestellt wird. (Dieses Kennzeichen ist nur verfügbar, wenn Sie über Visual Studio 2013 Update 4 oder höher verfügen.) |
/build |
Dies ist optional. Gibt die Nummer des Builds an, der dem Testlauf zugeordnet ist. Wenn die /buildDir-Option nicht angegeben wird, wird der Ablageort dieses Builds verwendet, um die Testbinärdateien einzubinden. |
/buildDefinition |
Name der Builddefinition, zu der der Build gehört. |
/flavor |
Buildkonfiguration, die verwendet werden soll, falls der Build mehr als eine Buildkonfiguration aufweist. |
/platform |
Buildplattform, die verwendet werden soll, falls der Build mehr als eine Buildplattform aufweist. |
/? oder help |
Zeigt die Hilfe zum Befehl im Eingabeaufforderungsfenster an. |
Verfahren
Aufführen aller Konfigurationen im Teamprojekt
So führen Sie alle Konfigurationen im Teamprojekt auf
Öffnen Sie eine Visual Studio-Eingabeaufforderung.
Wählen Sie dazu Start, zeigen Sie auf Alle Programme, auf Microsoft Visual Studio 2012 und auf Visual Studio Tools, und wählen Sie dann Developer-Eingabeaufforderung.
Die Eingabeaufforderung öffnet mit folgendem Ordner: "<Laufwerk>:\Program Files\Microsoft Visual Studio 11.0\VC".
Um alle Konfigurationen im Teamprojekt aufzuführen, geben Sie Folgendes an der Eingabeaufforderung ein:
tcm configs /list /collection:<CollectionURL> /teamproject:<Team Project name>
Die Ergebnisse sehen in etwa wie folgt aus:
Id Name
---------------- ------------------
1 Vista and IE 7
25 Vista and IE 8
Hinweis
Sie können Pläne für das Teamprojekt auch mit dem folgenden Befehl aufführen: Tcm plans /list /collection:<CollectionURL> /teamproject:<Team Project name>
Aufführen aller Testpläne im Teamprojekt
So führen Sie alle Testpläne im Teamprojekt auf
Öffnen Sie eine Visual Studio-Eingabeaufforderung.
Wählen Sie dazu Start, zeigen Sie auf Alle Programme, auf Microsoft Visual Studio 2012 und auf Visual Studio Tools, und wählen Sie dann Developer-Eingabeaufforderung.
Die Eingabeaufforderung öffnet mit folgendem Ordner: "<Laufwerk>:\Program Files\Microsoft Visual Studio 11.0\VC".
Um alle Pläne im Teamprojekt aufzuführen, geben Sie Folgendes an der Eingabeaufforderung ein:
tcm plans /list /collection:<CollectionURL> /teamproject:<Team Project name>
Die Ergebnisse sehen in etwa wie folgt aus:
Id Name
---------------- ------------------
1 Beta 1 Test Plan
22 RTM Test Plan
(Optional) Um alle Testsammlungen in einem Testplan zu suchen, geben Sie Folgendes an der Eingabeaufforderung ein:
tcm suites /list /planid:<your plan id> /collection:<CollectionURL> /teamproject:<Team Project name>
Die Ergebnisse sehen in etwa wie folgt aus:
Id Name
---------------- ------------------
1 Priority 1 Test Suite
15 Shopping Cart Test Suite
Aufführen aller Testumgebungen für das Teamprojekt
So führen Sie alle Testumgebungen für das Teamprojekt auf
Öffnen Sie eine Visual Studio-Eingabeaufforderung.
Wählen Sie dazu Start, zeigen Sie auf Alle Programme, auf Microsoft Visual Studio 2012 und auf Visual Studio Tools, und wählen Sie dann Developer-Eingabeaufforderung.
Die Eingabeaufforderung öffnet mit folgendem Ordner: "<Laufwerk>:\Program Files\Microsoft Visual Studio 11.0\VC".
Um alle Pläne im Teamprojekt aufzuführen, geben Sie Folgendes an der Eingabeaufforderung ein:
tcm testenvironments /list /collection:<CollectionURL> /teamproject:<Team Project name>
Die Ergebnisse sehen in etwa wie folgt aus:
Name Description
---------------- ------------------
Staging Environment Use to test staging environment
Testing Environment for Customer ABC
Aufführen aller Testsammlungen im Testplan
So führen Sie alle Testsammlungen im Testplan auf
Öffnen Sie eine Visual Studio-Eingabeaufforderung.
Wählen Sie dazu Start, zeigen Sie auf Alle Programme, auf Microsoft Visual Studio 2012 und auf Visual Studio Tools, und wählen Sie dann Developer-Eingabeaufforderung.
Die Eingabeaufforderung öffnet mit folgendem Ordner: "<Laufwerk>:\Program Files\Microsoft Visual Studio 11.0\VC".
Um alle Testsammlungen in einem Testplan zu suchen, geben Sie Folgendes an der Eingabeaufforderung ein:
tcm suites /list /planid:<your plan id> /collection:<CollectionURL> /teamproject:<Team Project name>
Die Ergebnisse sehen in etwa wie folgt aus:
Id Name
---------------- ------------------
1 Priority 1 Test Suite
15 Shopping Cart Test Suite
Erstellen eines Testlaufs mithilfe einer Testpunktabfrage
So erstellen Sie einen Testlauf mithilfe einer Testpunktabfrage
Öffnen Sie eine Visual Studio-Eingabeaufforderung.
Wählen Sie dazu Start, zeigen Sie auf Alle Programme, auf Microsoft Visual Studio 2012 und auf Visual Studio Tools, und wählen Sie dann Developer-Eingabeaufforderung.
Die Eingabeaufforderung öffnet mit folgendem Ordner: "<Laufwerk>:\Program Files\Microsoft Visual Studio 11.0\VC".
Erstellen Sie auf Grundlage der Informationen in der folgenden Tabelle einen Testlauf, der eine Testpunktabfrage für eine bestimmte Testkonfiguration verwendet.
Id
Wert
Plan-ID
1
Config-ID
13
Geben Sie Folgendes an der Eingabeaufforderung ein:
tcm run /create /title:"Nightly Run" /planid:1 /querytext:"SELECT * FROM TestPoint WHERE ConfigurationId=13" /settingsname:"<Name of your automated test settings>" /testenvironment:"<Name of a matching environment>" /collection:<CollectionURL> /teamproject:<Team Project name>
Die Ergebnisse sehen in etwa wie folgt aus:
Run created with ID: <xxx>.
Hinweis
Sie müssen Testeinstellungen und eine Umgebung bereitstellen, die dem Satz von Rollen in den Testeinstellungen für einen automatisierten Testlauf mit "tcm.exe" entspricht.Weitere Informationen über Testeinstellungen und Umgebungen finden Sie unter Einrichten von Testcomputern zum Ausführen von Tests oder Sammeln von Daten.Informationen zum Erstellen von Testeinstellungen finden Sie unter Erstellen von Testeinstellungen für automatisierte Systemtests mit Microsoft Test Manager.
Um den Status des Testlaufs anzuzeigen, führen Sie die Schritte in Anzeigen und Aktualisieren der Testergebnisse aus.
Erstellen eines Testlaufs zu einer Testsammlung und einer bestimmten Konfiguration
So erstellen Sie einen Testlauf zu einer Testsammlung und einer bestimmten Konfiguration
Öffnen Sie eine Visual Studio-Eingabeaufforderung.
Wählen Sie dazu Start, zeigen Sie auf Alle Programme, auf Microsoft Visual Studio 2012 und auf Visual Studio Tools, und wählen Sie dann Developer-Eingabeaufforderung.
Die Eingabeaufforderung öffnet mit folgendem Ordner: "<Laufwerk>:\Program Files\Microsoft Visual Studio 11.0\VC".
Erstellen Sie mit den Informationen in der folgenden Tabelle einen Testlauf für alle Tests in einer Testsammlung für eine bestimmte Konfiguration.
Id
Wert
Plan-ID
1
Suite-ID
5
Config-ID
13
Geben Sie Folgendes an der Eingabeaufforderung ein:
tcm run /create /title:"Nightly Run" /planid:1 /suiteid:5 /configid:13 /settingsname:"<Name of your automated test settings>" /testenvironment:"<Name of a matching environment>" /collection:<CollectionURL> /teamproject:<Team Project name>
Die Ergebnisse sehen in etwa wie folgt aus:
Run created with ID: <xxx>.
Hinweis
Sie müssen Testeinstellungen und eine Umgebung bereitstellen, die dem Satz von Rollen in den Testeinstellungen für einen automatisierten Testlauf mit "tcm.exe" entspricht.Weitere Informationen über Testeinstellungen und Umgebungen finden Sie unter Einrichten von Testcomputern zum Ausführen von Tests oder Sammeln von Daten.Informationen zum Erstellen von Testeinstellungen finden Sie unter Erstellen von Testeinstellungen für automatisierte Systemtests mit Microsoft Test Manager.
Um den Status des Testlaufs anzuzeigen, führen Sie die Schritte in Anzeigen und Aktualisieren der Testergebnisse aus.
Anzeigen und Aktualisieren der Testergebnisse
So zeigen Sie Testergebnisse an und aktualisieren diese
Öffnen Sie Microsoft Test-Manager.
Hinweis
Wählen Sie zur Anzeige des Microsoft Test-Manager-Fensters "Start" und dann "Alle Programme".Zeigen Sie auf "Microsoft Visual Studio 2012", und wählen Sie dann "Microsoft Test Manager".
Wählen Sie zum Anzeigen der Testergebnisse in der Centergruppenauswahl den Pfeil nach unten und anschließend Test-Center aus.
Wählen Sie auf der Centergruppen-Menüleiste die Option Test und dann Testläufe analysieren aus.
Die Aktivität Testläufe analysieren wird angezeigt, in der alle Testläufe für diesen Testplan angezeigt werden.
Öffnen Sie den Testlauf mit dem Titel, den Sie ihm in der Befehlszeile gegeben haben, um ihn zu öffnen und die Details anzuzeigen.
Die Testlaufdetails werden angezeigt.
(Optional) Um den Titel des Testlaufs zu aktualisieren, geben Sie den neuen Namen in das Feld Titel ein.
(Optional) Wenn der Test fehlgeschlagen ist, können Sie den Grund für den Fehler aktualisieren. Klicken Sie auf Lösung, und wählen dann den Grund für den Fehler aus der Liste aus.
(Optional) Um dem Testergebnis Kommentare hinzuzufügen, wählen Sie das Symbol Kommentare. Geben Sie Ihren Kommentar ein, und wählen Sie dann Kommentare speichern.
(Optional) Zum Anzeigen der Details eines einzelnen Tests öffnen Sie den jeweiligen Test.
Das Testergebnis, das angezeigt wird, zeigt die Details zum Testlauf und dem Verlauf der Testergebnisse für diesen Test. Sie können diese Ansicht schließen, um zum Testlauf zurückzukehren.
Hinweis
Wenn Sie auf der Basis der Analyse feststellen, dass ein Fehler vorhanden ist, können Sie aus dieser Ansicht heraus einen Fehler erstellen.
Um die Änderungen für diesen Testlauf zu speichern, wählen Sie auf der Symbolleiste Speichern aus.
Siehe auch
Referenz
tcm: Listing test plans, test suites, test configurations, and environments
tcm: Running Tests from a Test Plan Using the Command Line Utility
Konzepte
Ausführen von automatisierten Tests über die Befehlszeile