Überprüfen der Testergebnisse

  • Artikel

Azure DevOps Services | Azure DevOps Server 2022 – Azure DevOps Server 2019 | TFS 2018

Automatisierte Tests können so konfiguriert werden, dass sie als Teil eines Builds oder release für verschiedene Sprachen ausgeführt werden. Testberichte bieten eine effektive und konsistente Möglichkeit zum Anzeigen der Testergebnisse, die mit verschiedenen Testframeworks ausgeführt werden, um die Pipelinequalität zu messen, die Rückverfolgbarkeit zu überprüfen, Fehler zu beheben und den Besitz von Fehlern zu steuern. Darüber hinaus bietet es viele erweiterte Berichterstellungsfunktionen, die in den folgenden Abschnitten erläutert werden.

Sie können auch ausführlichere Analysen von Testergebnissen durchführen, indem Sie den Analysedienst verwenden. Ein Beispiel für die Verwendung mit Ihren Build- und Bereitstellungspipelines finden Sie unter Analysieren von Testergebnissen.

Lesen Sie das Glossar , um die Terminologie des Testberichts zu verstehen.

Hinweis

Der Testbericht ist in TFS 2015 und höher verfügbar, die in diesem Thema beschriebene neue Benutzeroberfläche ist jedoch derzeit nur in Azure Pipelines verfügbar.

Hinweis

In Microsoft Team Foundation Server (TFS) 2018 und früheren Versionen werden Build- und Release-Pipelines als Definitionen bezeichnet, Ausführungen werden als Builds bezeichnet, Dienstverbindungen werden als Dienstendpunkte bezeichnet, Stages werden als Umgebungen bezeichnet und Aufträge werden als Phasen bezeichnet.

Veröffentlichte Testergebnisse können auf der Registerkarte Tests in einer Build- oder Releasezusammenfassung angezeigt werden.

Surface-Testergebnisse auf der Registerkarte "Tests"

Testergebnisse können auf der Registerkarte Tests mit einer der folgenden Optionen angezeigt werden:

  • Automatisch abgeleitete Testergebnisse. Standardmäßig kann Ihre Pipeline die Testausgabe für einige beliebte Testrunner automatisch ableiten. Dies erfolgt, indem die während des Buildvorgangs generierten Fehlerprotokolle analysiert und dann auf Signaturen von Testfehlern überprüft werden. Derzeit unterstützt Azure DevOps die folgenden Sprachen und Testrunner, um die Testergebnisse automatisch ableiten zu können:

  • Testausführungstasks. Integrierte Testausführungsaufgaben wie Visual Studio Test , die Testergebnisse automatisch in der Pipeline veröffentlichen, oder andere Aufgaben wie Ant, Maven, Gulp, Grunt und Xcode , die diese Funktion als Option innerhalb der Aufgabe bereitstellen.

  • Aufgabe "Testergebnisse veröffentlichen". Aufgabe, die Testergebnisse in Azure Pipelines oder TFS veröffentlicht, wenn Tests mit dem von Ihnen gewählten Runner ausgeführt werden, und die Ergebnisse in jedem der unterstützten Testergebnisformate verfügbar sind.

  • API(s). Testergebnisse, die direkt mithilfe der Testverwaltungs-API(n) veröffentlicht wurden.

Surface-Testinformationen über die Registerkarte "Tests" hinaus

Die Registerkarte Tests enthält eine detaillierte Zusammenfassung der Testausführung. Dies ist hilfreich bei der Nachverfolgung der Qualität der Pipeline sowie bei der Problembehandlung von Fehlern. Azure DevOps bietet auch andere Möglichkeiten zum Anzeigen der Testinformationen:

  • Das Dashboard bietet Einblick in den Fortschritt Ihres Teams. Fügen Sie mindestens ein Widget hinzu, das Testinformationen enthält:

  • Die Testanalyse bietet umfassende Einblicke in testergebnisse, die über einen bestimmten Zeitraum gemessen werden. Es kann ihnen helfen, problematische Bereiche in Ihrem Test zu identifizieren, indem Daten wie die am häufigsten fehlgeschlagenen Tests und mehr bereitgestellt werden.

Anzeigen von Testergebnissen im Build

Die Buildzusammenfassung bietet eine Zeitachsenansicht der wichtigsten Schritte, die im Build ausgeführt werden. Wenn Tests als Teil des Builds ausgeführt und gemeldet wurden, wird in der Zeitachsenansicht ein Testmeilenstein angezeigt. Der Testmeilenstein bietet eine Zusammenfassung der Testergebnisse als Maß für den Bestandensprozentsatz sowie Indikatoren für Fehler und Abbrüche , falls vorhanden.

Anzeigen des Tests in der Buildzeitachsenansicht

Anzeigen der Testergebnisse im Release

In der Pipelineansicht werden alle Phasen und zugehörigen Tests angezeigt. Die Ansicht bietet eine Zusammenfassung der Testergebnisse als Maß für den Bestandensprozentsatz zusammen mit Indikatoren für Fehler und Abbrüche , falls vorhanden. Diese Indikatoren sind identisch mit denen in der Buildzeitachsenansicht und bieten eine konsistente Erfahrung für Build und Release.

Anzeigen des Tests in der Ansicht

Registerkarte "Tests"

Sowohl die Build- als auch die Releasezusammenfassung enthalten Details zur Testausführung. Wählen Sie Testzusammenfassung aus, um die Details auf der Registerkarte Tests anzuzeigen. Diese Seite enthält die folgenden Abschnitte:

  • Zusammenfassung: Stellt wichtige quantitative Metriken für die Testausführung bereit, z. B. die Gesamtanzahl der Tests, fehlgeschlagene Tests, den Prozentsatz des Bestehens und vieles mehr. Außerdem werden differenzielle Änderungsindikatoren im Vergleich zur vorherigen Ausführung bereitgestellt.

  • Ergebnisse: Listet alle Tests auf, die als Teil des aktuellen Builds oder Release ausgeführt und gemeldet wurden. In der Standardansicht werden nur die fehlgeschlagenen und abgebrochenen Tests angezeigt, um sich auf Tests zu konzentrieren, die Aufmerksamkeit erfordern. Sie können jedoch andere Ergebnisse mithilfe der bereitgestellten Filter auswählen.

  • Details: Eine Liste von Tests, die Sie sortieren, gruppieren, durchsuchen und filtern können, um die benötigten Testergebnisse zu finden.

Registerkarte

Wählen Sie eine beliebige Testausführung oder ein Ergebnis aus, um den Detailbereich anzuzeigen, in dem zusätzliche Informationen angezeigt werden, die für die Problembehandlung erforderlich sind, z. B. die Fehlermeldung, die Stapelüberwachung, Anlagen, Arbeitselemente, Verlaufstrend und vieles mehr.

Registerkarte

Tipp

Wenn Sie den Visual Studio-Testtask zum Ausführen von Tests verwenden, wird die diagnoseausgabe, die von Tests protokolliert wurde (mit einer der Methoden Console.WriteLine, Trace.WriteLine oder TestContext.WriteLine), als Anlage für einen fehlgeschlagenen Test angezeigt.

Die folgenden Funktionen der Registerkarte Tests helfen, die Produktivität und Problembehandlung zu verbessern.

Filtern von großen Testergebnissen

Im Laufe der Zeit fallen Tests an und können für große Anwendungen leicht auf Zehntausende von Tests anwachsen. Für diese Anwendungen mit sehr vielen Tests kann es schwierig sein, durch die Ergebnisse zu navigieren, um Testfehler zu identifizieren, Grundursachen zuzuordnen oder den Besitz von Problemen zu erhalten. Filter erleichtern die schnelle Navigation zu den Testergebnissen, die Sie interessieren. Sie können nach Testname, Ergebnis (fehlgeschlagen, bestanden usw.), Testdateien (Dateien mit Tests) und Besitzer (für Testdateien) filtern. Alle Filterkriterien sind kumulativ.

Filtern großer Testresultsets

Darüber hinaus können Sie mit mehreren Gruppierungsoptionen wie Testlauf, Testdatei, Priorität, Anforderung usw. die Ergebnisansicht genau nach Bedarf organisieren.

Testen der Schuldenverwaltung mit Fehlern

Um Ihre Testschulden für fehlerhafte oder lang andauernde Tests zu verwalten, können Sie einen Fehler erstellen oder Daten zu einem vorhandenen Fehler hinzufügen und alle zugeordneten Arbeitselemente auf der Arbeitselementregisterkarte anzeigen.

Immersive Problembehandlung

Fehlermeldungen und Stapelüberwachungen sind langwierig und benötigen genügend Immobilien, um die Details während der Problembehandlung anzuzeigen. Um eine immersive Problembehandlung zu ermöglichen, kann die Detailansicht zur vollständigen Seitenansicht erweitert werden, während gleichzeitig die erforderlichen Vorgänge im Kontext ausgeführt werden können, z. B. Fehlererstellung oder Anforderungszuordnung für das ausgewählte Testergebnis.

Ansicht des Gesamten Seitenbereichs

Problembehandlung für Daten bei Testfehlern

Für die Testfehler stehen die Fehlermeldungen und Stapelüberwachungen zur Problembehandlung zur Verfügung. Sie können auch alle Anlagen anzeigen, die dem Testfehler zugeordnet sind, auf der Registerkarte Anlagen .

Testen des Schuldenmanagements

Sie können einen vorhandenen Fehler erstellen oder hinzufügen, um Testschulden für Fehler oder tests mit langer Ausführungsdauer zu verwalten. Auf der Registerkarte Arbeitselemente werden alle Fehler und Anforderungen im Zusammenhang mit einem Test aufgeführt, damit Sie die Auswirkungen auf die Anforderung sowie den Status und die Personen, die an dem Fehler arbeiten, analysieren können.

Der Verlauf der Testausführung kann aussagekräftige Einblicke in die Zuverlässigkeit oder Leistung von Tests liefern. Bei der Problembehandlung eines Fehlers ist es hilfreich zu wissen, wie ein Test in der Vergangenheit abgeschnitten hat. Die Registerkarte Tests stellt den Testverlauf im Kontext mit den Testergebnissen bereit. Die Testverlaufsinformationen werden schrittweise verfügbar gemacht, beginnend mit der aktuellen Buildpipeline für andere Branches oder die aktuelle Phase bis hin zu anderen Phasen für Build und Release.

Anzeigen historischer Trends

Anzeigen der Ausführung von laufenden Tests

Tests, z. B. Integrations- und Funktionstests, können über einen langen Zeitraum ausgeführt werden. Daher ist es wichtig, den aktuellen oder nahezu echtzeitbasierten Status der Testausführung zu einem bestimmten Zeitpunkt zu sehen. Selbst in Fällen, in denen Tests schnell ausgeführt werden, ist es hilfreich, den Status der relevanten Testergebnisse so früh wie möglich zu kennen. insbesondere dann, wenn Fehler auftreten. In der Statusansicht ist es nicht mehr erforderlich, auf den Abschluss der Testausführung zu warten. Die Ergebnisse sind nahezu in Echtzeit verfügbar, wenn die Ausführung voranschreitet, sodass Sie schneller Aktionen ausführen können. Sie können einen Fehler debuggen, einen Fehler melden oder die Pipeline abbrechen.

Releaseansicht

Hinweis

Das Feature ist derzeit sowohl für build als auch für release verfügbar, indem der Visual Studio-Testtask in einem Multi-Agent-Auftrag verwendet wird. Es wird für Einzel-Agent-Aufträge in einer zukünftigen Version verfügbar sein.

Die folgende Ansicht zeigt die Zusammenfassung des laufenden Tests in einem Release, die die Gesamtanzahl der Tests und die Anzahl der Testfehler zu einem bestimmten Zeitpunkt angibt. Die Testfehler sind für die Problembehandlung, das Erstellen von Fehlern oder für andere geeignete Maßnahmen verfügbar.

Zusammenfassungsansicht

Anzeigen zusammengefasster Testergebnisse

Während der Testausführung kann ein Test mehrere Instanzen oder Tests erzeugen, die zum Gesamtergebnis beitragen. Einige Beispiele sind Tests, die erneut ausgeführt werden, Tests, die aus einer geordneten Kombination anderer Tests bestehen (geordnete Tests) oder Tests mit unterschiedlichen Instanzen, die auf einem Eingabeparameter basieren (datengesteuerte Tests).

Da diese Tests in Beziehung stehen, müssen sie zusammen mit dem Gesamtergebnis gemeldet werden, das aus den einzelnen Instanzen oder Tests abgeleitet wird. Diese Testergebnisse werden als zusammengefasstes Testergebnis auf der Registerkarte Tests gemeldet:

  • Erneutes Ausführen fehlgeschlagener Tests: Die Möglichkeit, fehlgeschlagene Tests erneut durchzuführen, ist in der neuesten Version des Visual Studio-Testtasks verfügbar. Während einer erneuten Ausführung können mehrere Versuche für einen fehlgeschlagenen Test durchgeführt werden, und jeder Fehler kann aufgrund des nicht deterministischen Verhaltens des Tests eine andere Grundursache haben. Testberichte bieten eine kombinierte Ansicht für alle Versuche einer erneuten Ausführung sowie das Gesamtergebnis des Tests als zusammengefasste Einheit. Darüber hinaus unterstützen die Testverwaltungs-API(s) jetzt die Möglichkeit, zusammengefasste Testergebnisse zu veröffentlichen und abzufragen.

    Erneutes Ausführen fehlgeschlagener Tests

  • Datengesteuerte Tests: Ähnlich wie bei der erneuten Ausführung fehlgeschlagener Tests werden alle Iterationen von datengesteuerten Tests unter diesem Test in einer zusammengefassten Ansicht gemeldet. Die zusammengefasste Ansicht ist auch für geordnete Tests (.orderedtest in Visual Studio) verfügbar.

    Datengesteuerter Test

Hinweis

Metriken im Abschnitt "Testzusammenfassung", z. B. die Gesamtzahl der bestandenen, fehlgeschlagenen oder anderen Tests, werden mithilfe der Stammebene des zusammengefassten Testergebnisses berechnet.

Anzeigen abgebrochener Tests

Die Testausführung kann aus verschiedenen Gründen abgebrochen werden, z. B. aus fehlerhaftem Testcode, Fehlern in der zu testden Quelle oder Umgebungsproblemen. Unabhängig vom Grund für den Abbruch ist es wichtig, das Verhalten diagnostizieren und die Grundursache identifizieren zu können. Die abgebrochenen Tests und Testläufe können zusammen mit den abgeschlossenen Ausführungen auf der Registerkarte Tests angezeigt werden.

Zeigen Sie beendete Tests an.

Hinweis

Das Feature ist derzeit sowohl für build als auch für release verfügbar, indem sie den Visual Studio-Testtask in einem Multi-Agent-Auftrag verwenden oder Testergebnisse mithilfe der Testverwaltungs-API(n) veröffentlichen. Es wird für Einzel-Agent-Aufträge in einer zukünftigen Version verfügbar sein.

Automatisch abgeleitete Testergebnisse

Azure DevOps kann automatisch die Ausgabe von Tests ableiten, die in Ihren Pipelines für einige unterstützte Testframeworks ausgeführt werden. Diese automatisch abgeleiteten Testberichte erfordern keine spezifische Konfiguration Ihrer Pipelines und stellen eine Null-Aufwand-Methode für die ersten Schritte mit der Testberichterstattung dar.

Beispiel für einen automatisch abgeleiteten Testbericht

Sehen Sie sich die Liste der Runner an, für die Testergebnisse automatisch abgeleitet werden.

Da in solchen abgeleiteten Berichten nur begrenzte Testmetadaten vorhanden sind, sind sie in Den Features und Funktionen eingeschränkt. Die folgenden Features sind für abgeleitete Testberichte nicht verfügbar:

  • Gruppierung der Testergebnisse nach Testdatei, Besitzer, Priorität und anderen Feldern
  • Durchsuchen und Filtern der Testergebnisse
  • Überprüfen der Details bestandener Tests
  • Anzeigen einer Vorschau aller Anlagen, die während der Tests auf der Web-Benutzeroberfläche selbst generiert wurden
  • Ordnen Sie einen Testfehler einem neuen Fehler zu, oder sehen Sie sich die Liste der zugeordneten Arbeitselemente für diesen Fehler an.
  • Weitere Informationen finden Sie unter Build-on-Build-Analysen für Tests in Pipelines.

Hinweis

Einige Runner wie Mocha verfügen über mehrere integrierte Konsolenreporter, z. B. Punktmatrix und Fortschrittsleiste. Wenn Sie eine nicht standardmäßige Konsolenausgabe für Ihren Testrunner konfiguriert haben oder einen benutzerdefinierten Reporter verwenden, kann Azure DevOps die Testergebnisse nicht ableiten. Es kann nur die Ergebnisse aus dem Standardreporter ableiten.

Hilfe und Support