Testanalysen

Azure DevOps Services | Azure DevOps Server 2022 | Azure DevOps Server 2019

Die Überwachung der Testqualität im Lauf der Zeit und die Verbesserung der Testsicherheit ist der Schlüssel für die Aufrechterhaltung einer fehlerfreien DevOps-Pipeline. Die Testanalyse bietet nahezu in Echtzeit Einblick in Ihre Testdaten für Builds und Releases. Dies trägt dazu bei, die Effizienz Ihrer Pipeline zu verbessern, indem wiederkehrende Qualitätsprobleme mit hohen Auswirkungen erkannt werden.

Hinweis

Testanalysen sind derzeit nur mit Azure Pipelines verfügbar.

Lesen Sie das Glossar , um die Terminologie von Testberichten zu verstehen.

Installieren Sie bei Bedarf die Analytics-Erweiterung.

Weitere Informationen finden Sie unter Die Analytics Marketplace-Erweiterung.

Anzeigen von Testanalysen für Builds

Verwenden Sie den Bericht mit den am häufigsten fehlerhaften Tests , um Teams beim Suchen und Beheben von Tests zu unterstützen, die häufig oder zeitweise fehlschlagen. Die Buildzusammenfassung enthält die Analytics-Seite , die diesen Bericht hostet. Die Ansicht der obersten Ebene enthält eine Zusammenfassung der Testdurchlaufrate und der Ergebnisse für die ausgewählte Buildpipeline für den angegebenen Zeitraum. Der Standardbereich beträgt 14 Tage.

Anzeigen von Trends im Build

Anzeigen von Testanalysen für Releases

Für Tests, die als Teil der Version ausgeführt werden, greifen Sie über den Link Analytics in der oberen rechten Ecke auf Testanalysen zu. Wie beim Build bietet die Zusammenfassung eine aggregierte Ansicht der Testdurchlaufrate und der Ergebnisse für den angegebenen Zeitraum.

Anzeigen von Trends im Release

Testfehler

Öffnen Sie eine Build- oder Releasezusammenfassung, um den Bericht mit den am häufigsten fehlerhaften Tests anzuzeigen. Dieser Bericht bietet eine detaillierte Übersicht über die am häufigsten fehlerhaften Tests in der Pipeline sowie die Fehlerdetails.

Detailansicht der Testanalyse

Die Detailansicht enthält zwei Abschnitte:

  • Zusammenfassung: Stellt wichtige quantitative Metriken für die Tests bereit, die im angegebenen Zeitraum im Build oder Release ausgeführt wurden. Die Standardansicht zeigt Daten für 14 Tage an.

    • Bestandensrate und Ergebnisse: Zeigt den Prozentsatz des Bestandens zusammen mit der Verteilung der Tests auf verschiedene Ergebnisse an.

      Ansicht der Erfolgsquote

    • Fehlerhafte Tests: Stellt eine eindeutige Anzahl von Tests bereit, die während des angegebenen Zeitraums fehlgeschlagen sind. Im obigen Beispiel sind 986 Testfehler auf 124 Tests zurückzuführen.

      Anzeigen fehlerhafter Tests

    • Diagrammansicht: Ein Trend der Gesamtanzahl von Testfehlern und der durchschnittlichen Bestandensrate an jedem Tag des angegebenen Zeitraums.

      Diagramm anzeigen

  • Ergebnisse: Liste der am häufigsten fehlgeschlagenen Tests basierend auf der Gesamtzahl der Fehler. Hilft beim Identifizieren problematischer Tests und ermöglicht Ihnen einen Drilldown in eine detaillierte Zusammenfassung der Ergebnisse.

    Anzeigen der Ergebnisse.

Gruppentestfehler

Die Berichtsansicht kann mithilfe der Option group by auf verschiedene Arten organisiert werden. Das Gruppieren von Testergebnissen kann tiefe Einblicke in verschiedene Aspekte der am häufigsten fehlerhaften Tests bieten. Im folgenden Beispiel werden die Testergebnisse basierend auf den Testdateien gruppiert, zu denen sie gehören. Es zeigt die Testdateien und ihren jeweiligen Beitrag zur Gesamtzahl der Testfehler während des angegebenen Zeitraums an, damit Sie Ihre nächsten Schritte leicht identifizieren und priorisieren können. Darüber hinaus werden für jede Testdatei die Tests angezeigt, die zu diesen Fehlern beitragen.

Gruppierung nach Testdateien

Drilldown zu einzelnen Tests

Nachdem Sie einen oder mehrere Tests im Abschnitt Details identifiziert haben, wählen Sie den einzelnen Test aus, den Sie analysieren möchten. Dies bietet eine Drilldownansicht des ausgewählten Tests mit einem gestapelten Diagramm mit verschiedenen Ergebnissen wie bestandenen oder fehlgeschlagenen Instanzen des Tests für jeden Tag im angegebenen Zeitraum. Mit dieser Ansicht können Sie ausgeblendete Muster ableiten und entsprechende Maßnahmen ergreifen.

Drilldown für Test

Die entsprechende Rasteransicht listet alle Instanzen der Ausführung des ausgewählten Tests in diesem Zeitraum auf.

Anzeigen aller Testinstanzen

Fehleranalyse

Wählen Sie eine oder mehrere Instanzen der Testausführung in der Drilldownansicht aus, um Fehlerdetails im Kontext anzuzeigen, um eine Fehleranalyse für Die Grundursachen durchzuführen.

Anzeigen von Fehlerdetails

Ableiten ausgeblendeter Muster

Wenn Sie die Testfehler für eine einzelne instance der Ausführung betrachten, ist es oft schwierig, ein Muster abzuleiten. Im folgenden Beispiel sind die Testfehler während eines bestimmten Zeitraums aufgetreten, und dies zu wissen, kann dazu beitragen, den Untersuchungsbereich einzugrenzen.

Beispiel für testfehlermuster.

Ein weiteres Beispiel sind Tests, die nicht deterministisches Verhalten aufweisen (häufig als flockige Tests bezeichnet). Die Betrachtung eines einzelnen instance der Testausführung liefert möglicherweise keine aussagekräftigen Erkenntnisse über das Verhalten. Die Beobachtung von Testausführungstrends für einen bestimmten Zeitraum kann jedoch dazu beitragen, ausgeblendete Muster abzuleiten und die Fehler zu beheben.

Berichtsinformationsquelle

Die Informationsquelle für die Testanalyse ist der Satz veröffentlichter Testergebnisse für die Build- oder Releasepipeline. Diese Ergebnisse werden über einen bestimmten Zeitraum gesammelt und bilden die Grundlage für die umfassenden Erkenntnisse, die die Testanalysen bieten.

Hilfe und Support