Nachverfolgen von Testergebnissen

Beim Erstellen und Ausführen von Tests möchten Sie in der Lage sein, den Status zu verfolgen. Sie möchten zum Beispiel wissen, wie viele der Tests bereit zur Ausführung sind, wie hoch die Erfolgs- bzw. Fehlerquote der Tests ist oder wie viele Tests bereits ausgeführt wurden.

Welche Berichtsoptionen stehen zur Verfügung?

• Einfache Diagramme (Visual Studio Online oder Team Web Access)

• Arbeitsaufgabenabfragen (Visual Studio Online oder Team Web Access)

• Bereits vorhandene Berichte zu Data Warehouse-Daten (nur lokaler TFS)

• Erstellen eigener Berichte aus Data Warehouse-Daten (nur lokaler TFS)

Mit einfachen Diagrammen erhalten Sie eine schnelle Antwort auf Ihre Fragen zum Teststatus. Sie können diese Diagramm an Ihre Startseite anheften, so kann das gesamte Team den Status auf einen Blick sehen. (Um einfache Diagramme mit Team Web Access verwenden zu können, müssen Sie über TFS 2013 Update 4 oder höher verfügen.)

Erstellen Sie Arbeitsaufgabenabfragen, und führen Sie sie aus, um Berichte aus dem Arbeitshub zu erstellen. Aus einer flachen Liste einer Arbeitsaufgabenabfrage können Sie ebenfalls ein Diagramm für diese Abfrage generieren. Sie können zum Beispiel eine Abfrage erstellen, um die aktiven Fehler und deren Priorität anzuzeigen. Anschließend können Sie ein Diagramm generieren, um die aktiven Fehler schnell nach Priorität zu gruppieren.

Wenn Ihnen einfache Diagramme jedoch nicht die Berichte liefern, die Sie benötigen, können Sie mit einer lokalen Version von TFS die Daten noch eingehender analysieren. Sie erhalten Zugriff auf vorhandene Berichte zu Data Warehouse-Daten, oder Sie können mit Excel eigene Berichte erstellen.

Teststatus mit einfachen Diagrammen

Sie können diese Diagramme aus dem Testhub für Team Web Access oder für Visual Studio Online erstellen.

Nachverfolgen des Teststatus

Verwenden Sie Testergebnisdiagramme, um nachzuverfolgen, wie Ihr Test abläuft. Wählen Sie aus einem festen Satz von vorab aufgefüllten Feldern aus, die mit den Ergebnissen in Zusammenhang stehen. Standardmäßig wird für jeden Testplan ein Kreisdiagramm erstellt. Dieses Diagramm wird nach dem Ergebnisfeld gruppiert, um die neuesten Ergebnisse für alle Tests im Testplan anzuzeigen.

Zeigen Sie das standardmäßige Diagramm über die Registerkarte "Diagramme" an.

Fügen Sie Ihre eigenen Diagramme für Testergebnisse hinzu, um das zu visualisieren, was für Ihr Team wichtig ist. Wenn Sie bereits wissen, wie Sie ein Diagramm hinzufügen, wechseln Sie zu den Beispielen unter den Diagrammen, die Sie erstellen können.

1. Wählen Sie den Testplan oder die Testauflistung für Ihr Diagramm auf der Registerkarte "Testplan" aus. Erstellen Sie anschließend ein neues Diagramm.

   

2. Wählen Sie den Diagrammtyp aus. Konfigurieren Sie die Felder anhand des Diagramms, die Sie für die Gruppierung nach oder für Zeilen und Spalten verwenden möchten.

   

   Alle Diagramme schlüsseln die Informationen für beliebig viele untergeordnete Testauflistungen des Testplans oder von Ihnen ausgewählte Testauflistungen auf.

3. Speichern Sie das Diagramm. Nun wird es auf der Registerkarte "Diagramme" für den Testplan oder die von Ihnen ausgewählte Testauflistung angezeigt.

Beispiele für Testergebnisse

Wie sieht der Teststatus für eine bestimmte Testauflistung aus?

Wählen Sie die Testauflistung auf der Registerkarte "Testplan" aus, und fügen Sie ein Kreisdiagramm für die Testergebnisse hinzu. Nehmen Sie eine Gruppierung nach Ergebnis vor.

Wie lautet der Teststatus für User Storys, die mein Team in diesem Sprint testet?

Wenn Sie anforderungsbasierte Testauflistungen in Ihrem Testplan für Ihre User Storys erstellt haben, können Sie dafür ein Diagramm erstellen.

1. Gruppieren Sie diese anforderungsbasierten Testauflistungen zusammen in einer statischen Testauflistung.

2. Wählen Sie diese statische Testauflistung auf der Registerkarte "Testplan" aus.

3. Fügen Sie ein gestapeltes Balkendiagramm mit den Testergebnissen hinzu. Wählen Sie "Auflistung" als Zeilenpivot und "Ergebnis" als Spaltenpivot aus.

   

Wie viele Tests muss jeder Tester noch ausführen?

Wählen Sie Ihren Testplan auf der Registerkarte "Testplan" aus, und fügen Sie ein Pivottabellendiagramm mit den Testergebnissen hinzu. Wählen Sie "Tester" als Zeilenpivot und "Ergebnis" als Spaltenpivot aus.

Wie kann ich die Qualität auf Grundlage der Konfiguration prüfen?

Verwenden Sie entweder ein gestapeltes Balkendiagramm oder ein Pivottabellendiagramm. Wählen Sie "Konfiguration" als Zeilenpivot und "Ergebnis" als Spaltenpivot aus.

Wie kann ich nachverfolgen, weshalb Tests für mein Team durchfallen?

Verwenden Sie zur Fehleranalyse entweder ein gestapeltes Balkendiagramm oder ein Pivottabellendiagramm. Verwenden Sie "Tester" für die Zeilen und "Fehlertyp" für die Spalten. ("Fehlertyp" für Testergebnisse kann nur mit Microsoft Test Manager festgelegt werden.)

Wie kann ich die Auflösung für fehlerhafte Tests für mein Team nachverfolgen?

Verwenden Sie zur Auflösungsanalyse entweder ein gestapeltes Balkendiagramm oder ein Pivottabellendiagramm. Verwenden Sie "Tester" für die Zeilen und "Auflösung" für die Spalten. ("Auflösungstyp" für Testergebnisse kann nur mit Microsoft Test Manager festgelegt werden.)

Nachverfolgen des Testfallstatus

Mit Testfalldiagrammen können Sie den Fortschritt bei der Erstellung von Testfällen ermitteln. Mit den Diagrammen für Testfälle haben Sie die Möglichkeit, Berichte für Spalten zu erstellen, die Sie der Registerkarte "Tests" hinzugefügt haben Testfallfelder werden standardmäßig nicht zur Ansicht auf der Registerkarte "Tests" hinzugefügt.

Wenn Sie bereits wissen, wie Sie ein Diagramm hinzufügen, wechseln Sie zu den Beispielen unter den Diagrammen, die Sie für Testfälle erstellen können.

1. Fügen Sie die Felder, die Sie für Ihre Testfalldiagramme hinzufügen möchten, von der Registerkarte "Tests" mit Spaltenoptionen hinzu. Anschließend werden die Felder als Auswahlmöglichkeiten in den Dropdownlisten für die Gruppierung Ihrer Testfalldiagramme angezeigt.

2. Wählen Sie den Testplan oder die Testauflistung für Ihr Diagramm auf der Registerkarte "Testplan" aus. Fügen Sie dann ein Testfalldiagramm hinzu.

   

   Alle Diagramme schlüsseln die Informationen für beliebig viele untergeordnete Testauflistungen des Testplans oder von Ihnen ausgewählte Testauflistungen auf.

3. Wählen Sie den Diagrammtyp aus. Konfigurieren Sie die Felder anhand des Diagramms, die Sie für die Gruppierung nach oder für Zeilen und Spalten oder den Bereich (nur Trenddiagramme) verwenden möchten.

   

   Sie können für Testfalldiagramme keine Gruppierung nach Testauflistung vornehmen.

4. Speichern Sie das Diagramm. Nun wird es auf der Registerkarte "Diagramme" für den Testplan oder die von Ihnen ausgewählte Testauflistung angezeigt.

Testfallbeispiele

Wie kann ich den Burndown für die Testfallerstellung nachverfolgen?

Verwenden Sie ein gestapeltes Flächentrenddiagramm, um den Burndown dahingehend anzuzeigen, wie viele Testfälle ausgeführt werden können. Wählen Sie "Zustand" für das Feld "Stapeln nach" und "Aufsteigend" für das Feld "Sortieren" aus.

Wie kann ich den Burndown für den Automatisierungsstatus nachverfolgen?

Verwenden Sie ein gestapeltes Flächentrenddiagramm, um den Burndown dahingehend anzuzeigen, wie viele Testfälle automatisiert wurden. Wählen Sie "Automationsstatus" für das Feld "Stapeln nach" und "Aufsteigend" für das Feld "Sortieren" aus.

Wenn mehrere Teams Testfälle in meinem Testplan besitzen, kann ich dann sehen, wie viel jedes Team besitzt und wie um die Prioritäten der Tests steht?

Wenn Ihre Teams nach Bereichspfad organisiert sind, können Sie ein Testfall-Kreisdiagramm verwenden. Wählen Sie "Bereichspfad" für das Feld "Gruppieren nach" aus.

Wenn Sie die Prioritäten für diese Tests erfahren möchten, erstellen Sie ein gestapeltes Balkendiagramm. Verwenden Sie "Bereichspfad" für die Zeilen und "Priorität" für die Spalten.

Wie kann ich den Testerstellungsstatus nach Teammitgliedern nachverfolgen?

Testfallbesitzer werden mit dem Feld "Zugewiesen zu" nachverfolgt. Verwenden Sie ein gestapeltes Balkendiagramm oder ein Pivottabellendiagramm. Verwenden Sie "Zugewiesen zu" für die Zeilen und "Status" für die Spalten.

Fragen und Antworten

F: Kann ich die neuesten Testergebnisse für einen einzelnen Testfall anzeigen?

A: Ja. Wählen Sie den Testfall in einer Testauflistung aus, und zeigen Sie dann den Testdetailbereich an.

Zeigen Sie die neuesten Testergebnisse für diesen Testfall an.

F: Wie werden Daten in Diagrammen für Testfälle angezeigt, die sich in mehreren Testauflistungen befinden?

A: Bei Testfalldiagrammen wird ein Testfall, der zu mehreren Testauflistungen hinzugefügt wurde, in einem Plan nur einmal gezählt. Bei Testergebnisdiagrammen wird jede Instanz eines Tests, die ausgeführt wird, für alle Testauflistungen separat gezählt.

F: Wer kann Diagramme erstellen?

A: Sie benötigen mindestens eine Basic-Lizenz zum Erstellen von Diagrammen.

F. Wie kann ich den Teststatus meines Teams für alle meine Projektbeteiligten freigeben?

A: Heften Sie ein Diagramm an die Startseite Ihres Teams an, damit Ihr gesamtes Team dieses anzeigen kann. Verwenden Sie das Kontextmenü des Diagramms.

Um diese Schritte ausführen zu können, müssen Sie ein Teamadministrator sein. Sogar Teammitglieder mit Projektbeteiligtenlizenzen können die Testdiagramme auf der Startseite anzeigen. Hier erfahren Sie mehr über die Startseite. Erhalten Sie alternativ weitere Informationen über die Teamverwaltung.

F: Wie kann ich ein Diagramm bearbeiten oder löschen?

A: Wählen Sie die gewünschte Option aus dem Kontextmenü des Diagramms aus.

Verfolgen von Fehlern mit einfachen Diagrammen

Um die Qualität Ihrer App bewerten zu können, ist es außerdem wichtig zu wissen, welche Fehler gefunden und behoben wurden. Welche Priorität haben die aktiven Fehler? Wie sehen die Fehlertrends aus? Sie können für jede Abfrage einer flachen Liste, die Sie im Arbeitshub oder auf der Seite "Abfragen" erstellen, einfache Diagramme generieren. Erfahren Sie hier, wie Sie dies mit Team Web Access oder Visual Studio Online durchführen können.

Fragen und Antworten

F: Können die Fehler nachverfolgt werden, die speziell aus den Testfällen erstellt wurden?

A: Wenn Sie einen Fehler aus Test Runner heraus erstellen, wird er automatisch mit dem ausgeführten Testfall verknüpft. Um alle Fehler anzuzeigen, die von den Testfällen erstellt wurden, öffnen Sie Microsoft Test Manager und wählen Test, Fehler überprüfen. Um den Test eines behobenen Fehlers erneut auszuführen, wählen Sie Überprüfen aus.

Verfolgen der Ergebnisse automatisierter Tests mit Microsoft Test Manager

Diagramme der letzten Testläufe zeigen Sie in Microsoft Test Manager an. Sie können es auf jedem Computer öffnen, auf dem Visual Studio Test Professional oder Visual Studio Ultimate installiert ist. Verbinden Sie es mit Ihrem Teamprojekt und Testplan, und wählen Sie Test-Center aus.

Um eine Liste der letzten Testläufe abzurufen, wählen Sie Test, Testläufe analysieren aus. Jedes Element in der Liste ist ein Testlauf:

Microsoft Test Manager unterstützt einen Prozess, in dessen Rahmen Sie die Testergebnisse nach Abschluss der Tests überprüfen können. Jeder Testlauf, der fehlgeschlagene Tests enthält, ist mit Untersuchung erforderlichgekennzeichnet. Wenn Sie die Details zu den Testläufen öffnen, können Sie Hinweise hinzufügen, den Grund für einen Fehler zuweisen, Fehler oder anderen Arbeitsaufgaben erstellen und das Kennzeichen in Abgeschlossen ändern:

Sie können den Grund für Fehlertypen ändern, wenn dies für Ihre Testzwecke erforderlich ist.

Verfolgen der Buildqualität

Wenn Sie über einen lokalen TFS verfügen, können Sie mit diesem Bericht die Erfolgsquoten bzw. Fehlerraten der automatisierten Tests, die als Teil des Buildprozesses ausgeführt werden, anzeigen. Dieser Bericht kann die Erfolgsquoten dieser Tests für die einzelnen Builds anzeigen. Sie können dann ermitteln, ob sich die Erfolgsquoten verbessern.

Um diesen Bericht verwenden zu können, muss außerdem SQL Services Reporting Services für TFS installiert sein.

Verfolgen der Bereitschaft zur Versionsfreigabe

Wenn Sie über einen lokalen TFS verfügen, können Sie auch den Verlauf der erfolgreichen Test und der Tests mit Fehlern anzeigen. Mit diesem Bericht können Sie den Erfolgsquotentrend anzeigen und so ermitteln, wann die Version freigegeben werden kann. Während Sie die Tests durchführen, können Sie feststellen, ob sich die Qualität Ihrer App verbessert.

Um diesen Bericht verwenden zu können, muss außerdem SQL Services Reporting Services für TFS installiert sein.

Benutzerdefinierte Bericht exklusiv für einen lokalen TFS

Um benutzerdefinierte Berichte verwenden zu können, muss SQL Services Reporting Services für TFS installiert sein.

Wenn Sie über einen lokalen TFS verfügen, sind Testpläne und Testsammlungen in TFS 2013 Update 3 oder höher Arbeitsaufgaben. Sie können mit einer Abfrage, die auf Ihren Bedürfnissen in Bezug auf Testpläne, Testsammlungen, Testfälle, User Storys, Anforderungen und Fehlern basiert, eigene Berichte im Excel-Format erstellen. Erfahren Sie hier, wie Sie einen Excel-Bericht für eine Abfrage einer flachen Liste erstellen.

Wenn Ihr Teamprojektportal mit SharePoint Server Enterprise Edition konfiguriert ist, können Sie weitere Anpassungen vornehmen. In diesem Fall können Sie mit Excel-Berichten ein Dashboard erstellen.

Wenn Sie immer noch nicht den Bericht erhalten haben, den Sie benötigen, sind noch weitere Optionen zum direkten Anzeigen der Daten verfügbar. Erfahren Sie mehr über die weiteren Möglichkeiten zum Erstellen von Berichten mithilfe des OLAP-Datencubes (Online Analytical Processing, analytische Onlineverarbeitung) (TFS_Analysis), der für die Berichterstellung optimiert ist. Alternativ können Sie auch die relationale Warehouse-Datenbank (TFS_Warehouse) zum Erstellen von Berichten verwenden. Erfahren Sie hier, wie dies funktioniert.

Fragen und Antworten

F: Gibt es Berichte, die ich verwenden kann, wenn ich nicht über TFS 2013 Update 4 für die einfachen Diagramme verfüge?

A: Wenn Ihre lokale TFS-Installation Report Services umfasst, können Sie das Testplanstatus-Diagramm anzeigen. In diesem Diagramm wird dargestellt, wie viele Tests dieses Sprints erfolgreich oder mit Fehlern durchgeführt wurden. Öffnen Sie "http://<Ihr Team Foundation Server>/Reports", und wechseln Sie zu TfsReports > DefaultCollection > Ihrem Projekt > Tests. Öffnen Sie alternativ in Visual Studio im Team Explorer Berichte.

F: Kann ich eine Zusammenfassung der aktuellen Testergebnisse aus MTM anzeigen?

A: Ja. Wählen Sie in MTM auf der Registerkarte Plan die Option Ergebnisse. Wenn Sie die Ergebnisse nach Sammlung anzeigen, können Sie sehen, ob jede User Story die Tests bestanden hat: