Erstellen von Einstellungen für automatisierte Tests als Teil eines Testplans
Für Testeinstellungen werden Diagnosedatenadapter verwendet, die verschiedene Typen von zu sammelnden Daten angeben oder angeben, welche Auswirkungen auf dem Testcomputer auftreten sollen, wenn Sie manuelle Tests, automatisierte Tests oder beide Typen von Tests ausführen. Ein Diagnosedatenadapter könnte z. B. eine Aktionsaufzeichnung, ein Aktionsprotokoll oder eine Videoaufzeichnung erstellen oder aber Systeminformationen sammeln. Darüber hinaus können Diagnosedatenadapter verwendet werden, um auf dem Testcomputer potenzielle Engpässe zu simulieren oder den verfügbaren Systemspeicher zu reduzieren. Sie können z. B. ein langsames Netzwerk emulieren, um einen Engpass im System zu erzwingen.
Testeinstellungen definieren Folgendes:
den Typ der auszuführenden Tests (manuell oder automatisiert)
den Satz von Rollen, der für die zu testende Anwendung erforderlich ist
die für die Testausführung zu verwendende Rolle
die für jede Rolle zu verwendenden Diagnosedatenadapter
Um automatisierte Tests als Teil eines Testplans auszuführen, ordnen Sie diese einem Testfall zu.
Sie können den automatisierten Test dem Testfall mit Visual Studio zuordnen. Es ist nicht möglich, diese Zuordnung mit Microsoft Test Manager vorzunehmen. Sie müssen zuerst den Testfall mit Visual Studio öffnen, wie in der folgenden Abbildung gezeigt. Weitere Informationen zum Ausführen automatisierter Tests in einem Testplan finden Sie unter Gewusst wie: Ausführen von automatisierten Tests anhand eines Testplans mit Microsoft Test-Manager.
.png "Testfall mit Microsoft Visual Studio öffnen")
Anschließend können Sie dem Testfall die Testmethode zuordnen, wie in der folgenden Abbildung gezeigt.
.png "Automatisierung zu Testfall zuordnen")
Tipp
Sie können die Informationen in Microsoft Test Manager anzeigen, diese jedoch nicht ändern.
Sie können auch ein Befehlszeilentool verwenden, um Testfälle aus einer Assembly automatisierter Tests zu erstellen. Weitere Informationen finden Sie unter How to: Create Test Cases from an Assembly of Automated Tests Using tcm.exe.
Wenn Sie automatisierte Tests als Teil eines Testplans ausführen möchten, müssen Sie einen Satz von Rollen für die Testeinstellungen auswählen und eine Umgebung verwenden, die diesen Satz von Rollen im Testplan enthält. Wenn Sie eine Umgebung hinzufügen, können Sie alle Rollen hinzufügen, die Sie benötigen. Weitere Informationen zu Rollen und Umgebungen finden Sie unter Einrichten von Testcomputern zum Ausführen von Tests oder Sammeln von Daten.
Verwenden Sie die folgende Prozedur, um Testeinstellungen für im Testplan enthaltene automatisierte Tests zu definieren und eine entsprechende Umgebung auszuwählen.
Erstellen von Einstellungen für automatisierte Tests als Teil eines Testplans
So erstellen Sie Einstellungen für automatisierte Tests als Teil eines Testplans
Öffnen Sie Microsoft Test Manager.
Tipp
Klicken Sie zum Öffnen des Microsoft Test Manager-Fensters auf "Start" und anschließend auf "Alle Programme". Zeigen Sie auf "Microsoft Visual Studio 2010", und klicken Sie dann auf "Microsoft Test Manager 2010".
Klicken Sie auf der Centergruppenauswahl auf den Pfeil nach unten und dann auf Testcenter.
Klicken Sie auf der Centergruppen-Menüleiste auf Plan und dann auf Eigenschaften.
Die Eigenschaften für den ausgewählten Testplan werden angezeigt.
Klicken Sie auf den Dropdownpfeil neben Testeinstellungen unter Automatisierte Läufe, und klicken Sie dann auf Neu.
Die Seite Neue Testeinstellungen wird geöffnet, auf der die Seite Allgemein ausgewählt ist.
Tipp
Sie können Testeinstellungen auch im Laborcenter erstellen, indem Sie auf der Centergruppen-Menüleiste auf Testeinstellungen und anschließend auf Neu klicken.
Geben Sie unter Name den Namen für die Testeinstellungen ein.
(Optional) Geben Sie unter Beschreibung eine Beschreibung für die Testeinstellung ein, damit andere Teammitglieder ihren Zweck erkennen können.
Wählen Sie unter Welchen Testtyp möchten Sie ausführen? den Typ Automatisiert aus, und klicken Sie dann auf Weiter.
Die Seite Neue Testeinstellungen wird geöffnet, auf der die Seite Rollen ausgewählt ist.
Tipp
Wenn Sie automatisierte Tests ausführen, können Sie den Rollensatz Lokal zur lokalen Testausführung nicht auswählen, da die automatisierten Tests mit einer Umgebung ausgeführt werden müssen.
Weitere Informationen zum Ausführen eines manuellen Tests finden Sie unter Erstellen von Testeinstellungen für manuelle Tests.
.png "Seite \"Rollen\" in der Testeinstellung")
Wählen Sie einen Satz von Rollen aus der Liste aus, die Sätze von Rollen und Übereinstimmende Umgebungen anzeigt. Stellen Sie sicher, dass mindestens eine übereinstimmende Umgebung für den Satz von Rollen vorhanden ist. Wenn keine übereinstimmende Umgebung vorhanden ist, können Sie eine Umgebung erstellen oder eine vorhandene Umgebung ändern. Weitere Informationen finden Sie unter Einrichten von Testcomputern zum Ausführen von Tests oder Sammeln von Daten.
Warnung
Eine Rolle kann nicht aus dem Testeinstellungs-Manager hinzugefügt werden. Wenn keine Rollen vorhanden sind, die mit den Anforderungen für Ihre Anwendung übereinstimmen, müssen Sie eine Umgebung erstellen, die diese Rollen umfasst. Beim Erstellen einer Umgebung können Sie Rollen hinzufügen.
Wählen Sie in der Dropdownliste unter Wählen Sie die Rolle für die Ausführung der automatisierten Tests aus die Rolle aus, mit der Sie die Tests ausführen möchten. Klicken Sie anschließend auf Weiter.
Die Seite Neue Testeinstellungen wird geöffnet, auf der die Seite Daten und Diagnose angezeigt ist.
.png "Seite \"Daten und Diagnose\" in der Testeinstellung")
Zur Auswahl der Daten und der Diagnose, die Sie für jede Rolle sammeln möchten, wählen Sie die Rolle aus. Wählen Sie für jede Rolle die Diagnosedatenadapter gemäß den Anforderungen der Tests im Testplan aus. Zur Konfiguration der einzelnen Diagnosedatenadapter, die Sie für jede Rolle ausgewählt haben, klicken Sie auf Konfigurieren.
Ausführliche Informationen zu den einzelnen Diagnosedatenadaptern und deren Konfiguration finden Sie im entsprechenden Thema in der folgenden Tabelle.
Tipp
In der Tabelle werden nur die Adapter aufgeführt, die für automatisierte Tests verwendet werden können. Weitere Informationen zu Diagnosedatenadaptern finden Sie unter Einrichten von Computern und Sammeln von Diagnoseinformationen mithilfe von Testeinstellungen.
Diagnosedatenadapter für automatisierte Tests
Diagnosedatenadapter
Entsprechendes Thema
ASP.NET-Clientproxy für "IntelliTrace" und "Testauswirkung": Mit diesem Proxy können Sie Informationen über die HTTP-Aufrufe von einem Client an einen Webserver für die Adapter für diagnostische Daten "IntelliTrace" und "Testauswirkung" erfassen.
Zur Erfassung dieser Informationen ist keine Konfiguration erforderlich.
Ereignisprotokoll: Sie können eine Testeinstellung konfigurieren, um das Ereignisprotokoll zu erfassen und in die Testergebnisse aufzunehmen.
Gewusst wie: Konfigurieren der Ereignisprotokollauflistung mithilfe von Testeinstellungen
IntelliTrace: Sie können den Diagnosedatenadapter für IntelliTrace konfigurieren, um bestimmte Diagnoseablaufverfolgungs-Informationen zu erfassen, die das Isolieren von schwierig zu reproduzierenden Fehlern erleichtern. Hierdurch wird eine IntelliTrace-Datei mit der Erweiterung ".iTrace" erstellt, in der diese Informationen enthalten sind. Bei Fehlschlagen eines Tests kann ein Fehler erstellt werden. Die IntelliTrace-Datei, die mit den Testergebnissen gespeichert wird, wird automatisch mit diesem Fehler verknüpft. Die in der IntelliTrace-Datei gesammelten Daten steigern die Debuggingproduktivität, da sie die Zeit für das Reproduzieren und Diagnostizieren eines Fehlers im Code verkürzen. Auf Basis dieser IntelliTrace-Datei kann die lokale Sitzung auf einem anderen Computer simuliert werden. Dies erhöht die Wahrscheinlichkeit, dass der Fehler reproduziert werden kann.
Weitere Informationen finden Sie unter Debuggen mit IntelliTrace.
Gewusst wie: Sammeln von IntelliTrace-Daten zum Beheben schwieriger Probleme
Netzwerkemulation: Sie können mit einer Testeinstellung angeben, dass Sie eine künstliche Netzwerklast auf den Test anwenden möchten. Die Netzwerkemulation wirkt sich auf die Kommunikation vom und zum Computer aus, indem eine bestimmte Netzwerkverbindungsgeschwindigkeit, z. B. DFÜ, emuliert wird.
Hinweis Die Netzwerkemulation kann nicht verwendet werden, um die Netzwerkverbindungsgeschwindigkeit zu erhöhen.
Gewusst wie: Konfigurieren von Netzwerkemulation mithilfe von Testeinstellungen
Systeminformationen: Sie können eine Testeinstellung einrichten, um die Systeminformationen zum Computer einzuschließen, auf dem der Test ausgeführt wird. Die Systeminformationen werden in den Testergebnissen mit einer Testeinstellung angegeben.
Zur Erfassung dieser Informationen ist keine Konfiguration erforderlich.
Testauswirkungen: Sie können Informationen zu den Methoden des Anwendungscodes erfassen, die beim Ausführen eines Testfalls verwendet wurden. Diese können zusammen mit von Entwicklern am Anwendungscode vorgenommenen Änderungen verwendet werden, um zu ermitteln, auf welche Tests sich diese Entwicklungsänderungen ausgewirkt haben.
Videorekorder: Sie können beim Ausführen eines automatisierten Tests eine Videoaufzeichnung der Desktopsitzung erstellen. Dies kann nützlich sein, um die Benutzeraktionen für einen Test der codierten UI zu sehen. Das Video kann anderen Teammitgliedern helfen, Anwendungsprobleme zu isolieren, die schwer reproduzierbar sind.
Klicken Sie auf Weiter.
Die Seite Neue Testeinstellungen wird geöffnet, auf der die Seite Erweitert ausgewählt ist. Sie können erweiterte Einstellungen für die automatisierten Tests konfigurieren, wenn Sie sie benötigen.
Um zu konfigurieren, welches Verzeichnis zum Ausführen der Tests verwendet werden soll, und um zusätzliche Dateien oder Verzeichnisse hinzuzufügen, die zum Ausführen der Tests verwendet werden sollen, klicken Sie auf Bereitstellung.
Um dem Verzeichnis, das Sie zum Ausführen der Tests verwenden, eine für die Tests benötigte Datei hinzuzufügen, klicken Sie auf Datei hinzufügen, und wählen Sie dann die Datei aus, die Sie hinzufügen möchten.
Um dem Verzeichnis, das Sie zum Ausführen der Tests verwenden, ein für die Tests benötigtes Verzeichnis hinzuzufügen, klicken Sie auf Verzeichnis hinzufügen, und wählen Sie dann das Verzeichnis aus, das Sie hinzufügen möchten.
Tipp
Weitere Informationen zum Bereitstellen von Dateien und Verzeichnissen für einzelne Tests mit Eigenschaften und dem DeploymentItem-Attribut finden Sie unter Gewusst wie: Konfigurieren der Testbereitstellung.
Um vor und nach dem Ausführen von Tests Skripts auszuführen, klicken Sie auf Skripts.
Geben Sie den Speicherort der Skriptdatei in Vor dem Start des Testlaufs auszuführendes Setupskript an, oder klicken Sie auf Durchsuchen, um das Setupskript zu suchen.
Geben Sie in Nach dem Testlauf auszuführendes Bereinigungsskript den Speicherort der Skriptdatei an, oder klicken Sie auf Durchsuchen, um das Setupskript zu suchen.
Um die Tests mithilfe eines anderen Hosts auszuführen, klicken Sie auf Hosts.
Wählen Sie ASP.NET unter Hosttyp aus, wenn die Komponententests im gleichen Prozess ausgeführt werden sollen wie eine ASP.NET-Website. Klicken Sie anschließend auf Konfigurieren. Weitere Informationen über das Konfigurieren des Hosts finden Sie unter Komponententests für ASP.NET-Webdienste.
Wählen Sie mithilfe der Option Tests als 32-Bit- oder 64-Bit-Prozess ausführen aus, ob Sie den Test als 32-Bit- oder 64-Bit-Prozess ausführen möchten.
Tipp
Maximale Flexibilität erhalten Sie, wenn Sie die Testprojekte mit der Konfiguration Any CPU kompilieren. Die Ausführung ist dann auf 32- und auf 64-Bit-Agents möglich. Das Kompilieren von Testprojekten mit der 64-Bit-Konfiguration bietet keinen Vorteil.
Wählen Sie unter Für Tests, die nicht auf dem angegebenen Host ausgeführt werden können die Option Auf Standardhost ausführen oder Nicht ausführen aus.
(Optional) Zur Begrenzung des Zeitraums für jeden Testlauf und einzelne Tests klicken Sie auf Timeouts.
Um einen Testlauf bei Überschreitung eines Zeitlimits abzubrechen, wählen Sie Testlauf abbrechen, wenn die gesamte Zeitdauer folgenden Wert überschreitet aus und geben einen Wert für die Zeitdauer ein.
Wenn ein bestimmter Test bei Überschreitung eines Zeitlimits fehlschlagen soll, wählen Sie Einzelnen Test als gescheitert markieren, wenn die Ausführungszeit folgenden Wert überschreitet aus und geben einen Wert für diese Zeitdauer ein.
(Optional) Klicken Sie auf Add-Ins, um Add-In-Optionen für Komponententests und Webleistungstests anzuwenden.
(Optional) Wenn Sie von den Komponententests zu ladende Assemblyspeicherorte angeben müssen, klicken Sie für die Option Komponententest auf Konfigurieren.
Das Dialogfeld Add-In konfigurieren - Komponententest wird angezeigt.
Klicken Sie für Stammordner für die zu ladenden Assemblys auf Durchsuchen, um den Ordner zu suchen und das Textfeld aufzufüllen.
Der angegebene Stammordner kann Umgebungsvariablen enthalten und stellt das Verzeichnis dar, das als ApplicationBase von der AppDomain verwendet wird, in der die Tests ausgeführt werden. Alle Assemblys in diesem Verzeichnis können von den Komponententests geladen werden. In einer Produktionsumgebung empfiehlt es sich, das Verzeichnis festzulegen, in dem der Code bei Testassemblys installiert ist. In einer Entwicklungsumgebung empfiehlt es sich, das Verzeichnis festzulegen, in dem der Code bei Testassemblys erstellt wird. Dadurch wird sichergestellt, dass alle Verweise auf die Produktbinärdateien geladen und während der Ermittlung und Ausführung der Tests aufgelöst werden können, ohne die Produktbinärdateien mit den Tests kopieren zu müssen.
Wenn hier kein Wert festgelegt wird, wird für die ApplicationBase der AppDomain, in der die Tests ausgeführt werden, das Verzeichnis festgelegt, das die Tests enthält.
Aktivieren oder deaktivieren Sie das Kontrollkästchen für Verwenden Sie im Testverzeichnis den Load-Kontext für Assemblys.
Standardmäßig werden die meisten Assemblys in den richtigen Load-Kontext geladen. Normalerweise sollte Verwenden Sie im Testverzeichnis den Load-Kontext für Assemblys aktiviert sein. Unter bestimmten Bedingungen kann diese Option jedoch ggf. deaktiviert werden. Falls sich viele Assemblys im Testverzeichnis befinden, Sie einen Speicherort unter Stammordner für die zu ladenden Assemblys angegeben haben und die Tests nicht in den Load-Kontext geladen werden müssen, stellen Sie möglicherweise eine Leistungszunahme fest, falls Sie zum Laden dieser Testassemblys nicht den Load-Kontext verwenden. Falls die Tests in einen anderen Kontext als den Ladekontext geladen werden müssen (untypisch).
Weitere Informationen finden Sie unter Best Practices für das Laden von Assemblys.
Klicken Sie unter Bei der Ausführung von Tests zu verwendende Ordner auf Ordner hinzufügen.
Das Dialogfeld "Ordner suchen" wird angezeigt.
Suchen Sie den zu verwendenden Ordner, und klicken Sie auf OK.
Bei der Einstellung Bei der Ausführung von Tests zu verwendende Ordner handelt es sich um die wahrscheinlich am häufigsten verwendete Einstellung. Sie können mehrere Pfade zu Ordnern angeben, aus denen Assemblys während der Ermittlung und Ausführung der Tests aufgelöst werden sollten. Alle in diesem Abschnitt angegebenen Pfade können Umgebungsvariablen enthalten. Zusammen mit den hier angegebenen Pfaden stehen zwei damit zusammenhängende Optionen zur Verfügung:
Erste Option Aktivieren Sie das Kontrollkästchen Load-Kontext verwenden, um anzugeben, dass vom Verzeichnis beim Auflösen von Assemblys aus dem Verzeichnis der Load-Kontext verwendet werden soll. Ist der Load-Kontext für die ordnungsgemäße Ausführung der Tests nicht erforderlich, können Sie die Leistung durch Deaktivieren dieses Kontrollkästchens möglicherweise steigern.
Zweite Option Aktivieren Sie das Kontrollkästchen Unterordner einbeziehen, um anzugeben, dass beim Auflösen von Assemblys aus dem Verzeichnis Unterordner einbezogen werden sollen.
Klicken Sie unter Zusätzliche Ordner für das Erkennen von Tests auf Ordner hinzufügen.
Das Dialogfeld "Ordner suchen" wird angezeigt.
Suchen Sie den zu verwendenden Ordner, und klicken Sie auf OK.
Die Option Zusätzliche Ordner für das Erkennen von Tests ist bei der Remoteausführung der Tests unter Team Build oder bei der automatischen Ausführung mit Microsoft Test Manager nützlich. Die hier bereitgestellten Pfade werden für die Assemblyauflösung verwendet, allerdings nur während der Testsuche. Diese Pfade können Umgebungsvariablen enthalten. Wenn Tests für die Remoteausführung aus einer Buildablage geplant sind und sich nicht alle Abhängigkeiten der Testassembly im selben Verzeichnis befinden, kann mit diesen Pfaden sichergestellt werden, dass MSTest oder der Testcontroller ausreichend abhängige Assemblys findet, um die Tests zu ermitteln und sie zur Ausführung für die Remotecomputer einzuplanen.
Für von Microsoft Test Manager geplante Ausführungen steht das zusätzliche Token "%BuildDrop%" zur Verfügung, das für den allgemeinen Verweis auf den Ablagespeicherort des Builds verwendet werden kann. Dadurch müssen nicht bei jedem Testen eines neuen Builds Testeinstellungen erstellt oder aktualisiert werden. Leider wird dieses Token nicht direkt durch Team Build unterstützt. Wenn der Ablagespeicherort des Builds in der Umgebungsvariable "BuildDrop" von der Builddefinition festgelegt wird, hat dies das gleiche Ergebnis.
Weitere Informationen finden Sie unter Überprüfen von Code mithilfe von Komponententests.
Klicken Sie auf Speichern.
Klicken Sie auf Schließen.
(Optional) Klicken Sie auf die Option Konfigurieren, die mit der Option Webtest verknüpft ist, um Eigenschaften zu konfigurieren, die bestimmen, wie Webleistungstests in der Testeinstellung ausgeführt werden.
Das Dialogfeld Add-In konfigurieren - Webtest wird angezeigt.
Wählen Sie entweder Feste Testlaufanzahl oder Ein Testlauf pro Datenquellenzeile aus.
Wählen Sie aus der Dropdownliste Browsertyp den Webbrowser aus, der mit dem Webleistungstest verwendet werden soll. Wählen Sie beispielsweise Internet Explorer 8.0.
Weitere Informationen zu Webleistungstests finden Sie unter Testen von Anwendungsverhalten und -belastung.
Tipp
Für Webleistungstest ist Visual Studio 2010 Ultimate erforderlich.
Klicken Sie auf Speichern.
Klicken Sie auf Schließen.
Um die Zusammenfassung für die Testeinstellungen anzuzeigen, klicken Sie auf Weiter.
Zum Speichern der Testeinstellungen klicken Sie auf Speichern und schließen.
Eine passende Testumgebung wird automatisch unter Testumgebung ausgewählt. Wenn mehrere passende Testumgebungen für den Satz von Rollen in den Testeinstellungen vorhanden sind, können Sie eine andere passende Umgebung auswählen.
Sie können die Änderungen für den Testplan übernehmen, indem Sie auf der Symbolleiste auf Speichern klicken.
Tipp
Wenn Sie Änderungen an den Testeinstellungen vornehmen müssen, klicken Sie neben dem Dropdownpfeil für die Testeinstellungen auf Öffnen, oder öffnen Sie das Laborcenter, klicken Sie auf der Centergruppen-Menüleiste auf Testeinstellungen und anschließend auf Öffnen. Weitere Informationen finden Sie unter Gewusst wie: Bearbeiten einer vorhandenen Testeinstellung für einen Testplan.
Siehe auch
Konzepte
Einrichten von Computern und Sammeln von Diagnoseinformationen mithilfe von Testeinstellungen
Einrichten von Testcomputern zum Ausführen von Tests oder Sammeln von Daten
Weitere Ressourcen
Erstellen von Testeinstellungen für manuelle Tests
Erstellen von Testeinstellungen zum Ausführen von automatisierten Tests in Visual Studio