Beispielbericht zu fehlgeschlagenen Tests
Azure DevOps Services | Azure DevOps Server 2022 | Azure DevOps Server 2020
Sie können einen Bericht erstellen, der fehlgeschlagene Tests auflistet, ähnlich wie die folgende Abbildung, für Pipelineausführungen, die Testaufgaben enthalten. Informationen zum Hinzufügen von Tests zu einer Pipeline finden Sie im Abschnitt "Ressourcen für Testaufgaben" weiter unten in diesem Artikel.
Verwenden Sie die in diesem Artikel bereitgestellten Abfragen, um die folgenden Berichte zu generieren:
- Fehlgeschlagene Tests für Buildworkflow
- Fehlgeschlagene Tests für den Freigabeworkflow
- Fehlgeschlagene Tests für eine bestimmte Verzweigung
- Fehlgeschlagene Tests für eine bestimmte Testdatei
- Fehlgeschlagene Tests für einen bestimmten Testbesitzer
Wichtig
Power BI-Integration und Zugriff auf den OData-Feed des Analytics-Diensts sind in der Regel für Azure DevOps Services und Azure DevOps Server 2020 und höhere Versionen verfügbar. Die in diesem Artikel bereitgestellten Beispielabfragen gelten nur für Azure DevOps Server 2020 und höhere Versionen und hängen von version 3.0-preview oder höher ab. Wir empfehlen Ihnen, diese Abfragen zu verwenden und uns Feedback zu geben.
Voraussetzungen
- Um Analytics-Daten anzuzeigen und den Dienst abzufragen, müssen Sie Mitglied eines Projekts mit oder höherer Basiszugriff sein. Standardmäßig erhalten alle Projektmitglieder Berechtigungen zum Abfragen von Analytics und zum Definieren von Analytics-Ansichten.
- Weitere Informationen zu weiteren Voraussetzungen für die Dienst- und Featureaktivierung sowie allgemeine Datennachverfolgungsaktivitäten finden Sie unter Berechtigungen und Voraussetzungen für den Zugriff auf Analytics.
Hinweis
In diesem Artikel wird davon ausgegangen, dass Sie die Übersicht über Beispielberichte mit OData-Abfragen gelesen haben und über ein grundlegendes Verständnis von Power BI verfügen.
Beispielabfragen
Sie können die folgenden Abfragen des TestResultsDaily Entitätssatzes verwenden, um unterschiedliche, aber ähnliche Pipeline fehlgeschlagene Testberichte zu erstellen. Der TestResultsDaily Entitätssatz stellt ein tägliches Momentaufnahme Aggregat von TestResult Ausführungen bereit, gruppiert nach Test.
Hinweis
Informationen zum Ermitteln der verfügbaren Eigenschaften für Filter- oder Berichtszwecke finden Sie in der Metadatenreferenz für test Plans Analytics and Metadata reference for Azure Pipelines. Sie können Ihre Abfragen filtern oder Eigenschaften zurückgeben, indem Sie einen der Werte unter oder NavigationPropertyBinding PathEntityType verwenden, die Property mit einem EntitySetverfügbar sind. Jede EntitySet entspricht einem EntityType. Weitere Informationen zum Datentyp der einzelnen Werte finden Sie in den Metadaten, die für den entsprechenden EntityTypebereitgestellt werden.
Fehlgeschlagene Tests für einen Buildworkflow
Verwenden Sie die folgenden Abfragen, um die fehlgeschlagenen Tests für eine Buildworkflowpipeline anzuzeigen.
Sie können die unten aufgeführte Power BI-Abfrage direkt in das Fenster Get Data-Blank> Query einfügen. Weitere Informationen finden Sie unter Übersicht über Beispielberichte mit OData-Abfragen.
let
Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
&"Pipeline/PipelineName eq '{pipelineName}' "
&"And Date/Date ge {startdate} "
&"And Workflow eq 'Build' "
&") "
&"/groupby( "
&"(TestSK, Test/TestName), "
&"aggregate( "
&"ResultCount with sum as TotalCount, "
&"ResultPassCount with sum as PassedCount, "
&"ResultFailCount with sum as FailedCount, "
&"ResultNotExecutedCount with sum as NotExecutedCount, "
&"ResultNotImpactedCount with sum as NotImpactedCount, "
&"ResultFlakyCount with sum as FlakyCount)) "
&"/filter(FailedCount gt 0) "
&"/compute( "
&"iif(TotalCount gt NotExecutedCount, ((PassedCount add NotImpactedCount) div cast(TotalCount sub NotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate) "
,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4])
in
Source
Fehlgeschlagene Tests für release-Workflow
Verwenden Sie die folgenden Abfragen, um die fehlgeschlagenen Tests für eine Release-Workflowpipeline anzuzeigen.
Sie können die unten aufgeführte Power BI-Abfrage direkt in das Fenster Get Data-Blank> Query einfügen. Weitere Informationen finden Sie unter Übersicht über Beispielberichte mit OData-Abfragen.
let
Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
&"Pipeline/PipelineName eq '{pipelineName}' "
&"And Date/Date ge {startdate}) "
&"/groupby((TestSK, Test/TestName, Workflow), "
&"aggregate( "
&"ResultCount with sum as TotalCount, "
&"ResultPassCount with sum as PassedCount, "
&"ResultFailCount with sum as FailedCount, "
&"ResultNotExecutedCount with sum as NotExecutedCount, "
&"ResultNotImpactedCount with sum as NotImpactedCount, "
&"ResultFlakyCount with sum as FlakyCount)) "
&"/filter(FailedCount gt 0) "
&"/compute( "
&"iif(TotalCount gt NotExecutedCount, ((PassedCount add NotImpactedCount) div cast(TotalCount sub NotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate) "
,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4])
in
Source
Fehlgeschlagene Tests, gefiltert nach Branch
Verwenden Sie die folgenden Abfragen, um die fehlgeschlagenen Tests einer Pipeline für eine bestimmte Verzweigung anzuzeigen. Führen Sie zum Erstellen des Berichts die folgenden zusätzlichen Schritte zusammen mit den weiter unten in diesem Artikel angegebenen Schritten aus.
- Erweitern
BranchinBranch.BranchName - Wählen Sie power BI Visualization Slicer aus, und fügen Sie das Feld
Branch.BranchNamezum Feld des Datenschnitts hinzu. - Wählen Sie den Verzweigungsnamen aus dem Datenschnitt aus, für den Sie die Ergebniszusammenfassung anzeigen müssen.
Weitere Informationen zur Verwendung von Datenschnitten finden Sie unter Datenschnitte in Power BI.
Sie können die unten aufgeführte Power BI-Abfrage direkt in das Fenster Get Data-Blank> Query einfügen. Weitere Informationen finden Sie unter Übersicht über Beispielberichte mit OData-Abfragen.
let
Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
&"Pipeline/PipelineName eq '{pipelineName}' "
&"And Date/Date ge {startdate} "
&"And Workflow eq 'Build') "
&"/groupby((TestSK, Test/TestName, Branch/BranchName), "
&"aggregate( "
&"ResultCount with sum as TotalCount, "
&"ResultPassCount with sum as PassedCount, "
&"ResultFailCount with sum as FailedCount, "
&"ResultNotExecutedCount with sum as NotExecutedCount, "
&"ResultNotImpactedCount with sum as NotImpactedCount, "
&"ResultFlakyCount with sum as FlakyCount)) "
&"/filter(FailedCount gt 0) "
&"/compute( "
&"iif(TotalCount gt NotExecutedCount, ((PassedCount add NotImpactedCount) div cast(TotalCount sub NotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate) "
,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4])
in
Source
Fehlgeschlagene Tests, gefiltert nach Testdatei
Verwenden Sie die folgenden Abfragen, um die fehlgeschlagenen Tests für eine Pipeline und eine bestimmte Testdatei anzuzeigen. Führen Sie zum Erstellen des Berichts die folgenden zusätzlichen Schritte zusammen mit den weiter unten in diesem Artikel definierten Schritten aus.
- Erweitern
TestinTest.ContainerName - Wählen Sie power BI Visualization Slicer aus, und fügen Sie das Feld
Test.ContainerNamezum Feld des Datenschnitts hinzu. - Wählen Sie den Containernamen aus dem Datenschnitt aus, für den Sie die Ergebniszusammenfassung anzeigen müssen.
Sie können die unten aufgeführte Power BI-Abfrage direkt in das Fenster Get Data-Blank> Query einfügen. Weitere Informationen finden Sie unter Übersicht über Beispielberichte mit OData-Abfragen.
let
Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
&"Pipeline/PipelineName eq '{pipelineName}' "
&"And Date/Date ge {startdate}) "
&"/groupby((TestSK, Test/TestName, Test/ContainerName), "
&"aggregate( "
&"ResultCount with sum as TotalCount, "
&"ResultPassCount with sum as PassedCount, "
&"ResultFailCount with sum as FailedCount, "
&"ResultNotExecutedCount with sum as NotExecutedCount, "
&"ResultNotImpactedCount with sum as NotImpactedCount, "
&"ResultFlakyCount with sum as FlakyCount)) "
&"/filter(FailedCount gt 0) "
&"/compute( "
&"iif(TotalCount gt NotExecutedCount, ((PassedCount add NotImpactedCount) div cast(TotalCount sub NotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate) "
,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4])
in
Source
Fehlgeschlagene Tests, die vom Testbesitzer gefiltert wurden
Verwenden Sie die folgenden Abfragen, um den Fehlgeschlagenen Test für eine Pipeline für Tests anzuzeigen, die einem bestimmten Testbesitzer gehören. Führen Sie zum Erstellen des Berichts die folgenden zusätzlichen Schritte zusammen mit den weiter unten in diesem Artikel definierten Schritten aus.
- Erweitern
TestinTest.TestOwner - Wählen Sie power BI Visualization Slicer aus, und fügen Sie das Feld
Test.TestOwnerzum Feld des Datenschnitts hinzu. - Wählen Sie den Testbesitzer aus dem Datenschnitt aus, für den Sie die Ergebniszusammenfassung anzeigen müssen.
Sie können die unten aufgeführte Power BI-Abfrage direkt in das Fenster Get Data-Blank> Query einfügen. Weitere Informationen finden Sie unter Übersicht über Beispielberichte mit OData-Abfragen.
let
Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
&"Pipeline/PipelineName eq '{pipelineName}' "
&"And Date/Date ge {startdate}) "
&"/groupby((TestSK, Test/TestName, Test/TestOwner), "
&"aggregate( "
&"ResultCount with sum as TotalCount, "
&"ResultPassCount with sum as PassedCount, "
&"ResultFailCount with sum as FailedCount, "
&"ResultNotExecutedCount with sum as NotExecutedCount, "
&"ResultNotImpactedCount with sum as NotImpactedCount, "
&"ResultFlakyCount with sum as FlakyCount)) "
&"/filter(FailedCount gt 0) "
&"/compute( "
&"iif(TotalCount gt NotExecutedCount, ((PassedCount add NotImpactedCount) div cast(TotalCount sub NotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate) "
,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4])
in
Source
Ersetzungszeichenfolgen und Abfrageaufschlüsselung
Ersetzen Sie die folgenden Zeichenfolgen durch Ihre Werte. Schließen Sie keine Klammern {} in Ihre Ersetzung ein. Wenn Ihr Organisationsname beispielsweise "Fabrikam" lautet, ersetzen Sie {organization} durch Fabrikam, nicht {Fabrikam}.
{organization}- Name Ihrer Organisation{project}- Name Ihres Teamprojekts{pipelinename}- Ihr Pipelinename. Beispiel:Fabrikam hourly build pipeline{startdate}- Das Datum, an dem Der Bericht beginnt. Format: JJJJ-MM-DDZ. Beispiel:2021-09-01Zsteht für den 1. September 2021. Schließen Sie keine Anführungszeichen oder eckigen Klammern ein, und verwenden Sie zwei Ziffern sowohl für Monat als auch für Datum.
Abfrageaufschlüsselung
In der folgenden Tabelle werden die einzelnen Teile der Abfrage beschrieben.
Abfrageteil
Beschreibung
$apply=filter(
Startklausel filter() .
Pipeline/PipelineName eq '{pipelineName}'
Rückgabetestläufe für die angegebene Pipeline.
and CompletedOn/Date ge {startdate}
Rückgabetest wird am oder nach dem angegebenen Datum ausgeführt.
and Workflow eq 'Build'
Rückgabetestausführungen für Build die Workflowpipeline.
)
Close-Klausel filter() .
/groupby(
Startklausel groupby() .
(TestSK, Test/TestName),
Nach Testname gruppieren
aggregate(
Startklausel aggregate zum Addieren der Testläufe, die den Filterkriterien entsprechen.
ResultCount with sum as TotalCount,
Zählen Sie die Gesamtanzahl der Testläufe als TotalCount.
ResultPassCount with sum as PassedCount,
Zählen Sie die Gesamtzahl der bestandenen Testläufe als PassedCount.
ResultFailCount with sum as FailedCount,
Zählen Sie die Gesamtzahl der fehlgeschlagenen Testausführungen als FailedCount.
ResultNotExecutedCount with sum as NotExecutedCount
Zählen Sie die Gesamtzahl der nicht ausgeführten Testläufe als NotExecutedCount.
ResultNotImpactedCount with sum as NotImpactedCount,
Zählen Sie die Gesamtzahl der nicht betroffenen Testläufe als NotImpactedCount.
ResultFlakyCount with sum as FlakyCount
Zählen Sie die Gesamtzahl der flackerigen Testläufe als FlakyCount.
))
Schließen aggregate() und groupby() Klauseln.
/compute(
Startklausel compute() .
iif(TotalCount gt NotExecutedCount, ((PassedCount add NotImpactedCount) div cast(TotalCount sub NotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate
Berechnen Sie PassRatefür alle Tests .
)
Close-Klausel compute() .
(Optional) Abfrage umbenennen
Sie können die Standardabfragebezeichnung Query1 in aussagekräftiger umbenennen. Geben Sie einfach im Bereich Abfrageeinstellungen einen neuen Namen ein.
Erweitern der Spalte "Test" in Power BI
Erweitern Sie die Test Spalte, um die erweiterte Entität Test.TestNameanzuzeigen. Durch das Erweitern der Spalte wird der Datensatz in bestimmte Felder vereinfacht. Informationen dazu finden Sie unter Transform Analytics-Daten zum Generieren von Power BI-Berichten, Erweitern von Spalten.
Ändern des Spaltendatentyps
Wählen Sie im Power Query-Editor die
TotalCountSpalten , ,PassedCount,NotExecutedCountFailedCount,NotImpactedCountundFlakyCountwählen Sie den Datentyp aus dem Menü "Transformieren" aus, und wählen Sie dann Wer le Zahl aus.Wählen Sie die
PassRateSpalte aus, wählen Sie "Datentyp " im Menü "Transformieren " und dann " Dezimalzahl" aus.
Weitere Informationen zum Ändern des Datentyps finden Sie unter Transform Analytics-Daten zum Generieren von Power BI-Berichten, Transformieren eines Spaltendatentyps.
Schließen Sie die Abfrage, und wenden Sie Ihre Änderungen an.
Nachdem Sie alle Datentransformationen abgeschlossen haben, wählen Sie "Schließen" und "Übernehmen " im Menü "Start " aus, um die Abfrage zu speichern und zur Registerkarte "Bericht " in Power BI zurückzukehren.
Erstellen des Tabellenberichts
Wählen Sie in Power BI unter "Visualisierungen" die Option "Tabelle " aus, und ziehen Sie die Felder in den Spaltenbereich .
Fügen Sie dem Abschnitt "Spalten" die folgenden Felder in der aufgeführten Reihenfolge hinzu.
Test.TestNameTotalCountPassedCountFailedCountNotImpactedCountNotExecutedCountFlakyCountPassRate
Ihr Bericht sollte ähnlich wie in der folgenden Abbildung aussehen.
Testen von Vorgangsressourcen
- Paralleles Ausführen von Tests mithilfe der Visual Studio Test-Aufgabe
- Parallele Ausführung von Tests für jeden Testläufer
- Beschleunigen von Tests mithilfe der Testauswirkungsanalyse (Test Impact Analysis, TIA)
- Verwalten von schläfigen Tests
- Überlegungen UI-Tests
- Azure-Auslastungstest
- Azure Pipelines-Aufgabenreferenz, Testaufgaben
Verwandte Artikel
Feedback
Bald verfügbar: Im Laufe des Jahres 2024 werden wir GitHub-Issues stufenweise als Feedbackmechanismus für Inhalte abbauen und durch ein neues Feedbacksystem ersetzen. Weitere Informationen finden Sie unter https://aka.ms/ContentUserFeedback.
Feedback senden und anzeigen für