Beispielbericht zum Manuellen Testausführungstrend

  • Artikel

Azure DevOps Services | Azure DevOps Server 2022 | Azure DevOps Server 2020

In diesem Artikel erfahren Sie, wie Sie den Ausführungsstatus eines oder mehrerer Testpläne in Power BI abrufen. Der generierte Bericht ähnelt der folgenden Abbildung und dem Ergebnistrenddiagramm des Statusberichts.

Screenshot des Trendberichts

Der Bericht zeigt ein Trenddiagramm an, das die Anzahl und die Ergebniszustände von Testplänen zusammenfasst, die über einen bestimmten Zeitraum ausgeführt werden.

  • Bestanden: Anzahl der bestandenen Testfälle.
  • Fehler: Anzahl der fehlgeschlagenen Testfälle.
  • NotApplicable: Anzahl der Testfälle
  • Blockiert: Anzahl der Testfälle, die nicht ausgeführt werden.
  • NotExecuted: Anzahl der definierten, aber nicht ausgeführten Testfälle.

Fragen der Antworten auf den Bericht

Dieser Bericht hilft Ihnen, den Fortschritt des Teams im Hinblick auf geplante Tests Ihres Produkts oder Ihrer Dienstleistung nachzuverfolgen, indem Sie die folgenden Fragen beantworten:

  • Wie viele Tests sind abgeschlossen?
  • Was ist der aktuelle Status von Tests, die bestanden, fehlgeschlagen oder blockiert werden?
  • Wie viele Tests bestehen und was bedeutet der Trend über die Softwarequalität?
  • Wie viele Tests sind fehlgeschlagen?
  • Wie viele Tests werden blockiert und was bedeutet der Trend?

Ein Trendbericht zur fehlerfreien Testausführung zeigt einen stetigen Fortschritt bei testplänen, die ausgeführt und bestanden werden. Im Idealfall zeigt der Bericht eine relativ flache Anzahl von Testfällen für einen bestimmten Plan an. Während der Entwicklungszyklus fortschreitet, sollte die Anzahl der bestandenen Testfälle steigen, und die Anzahl der Testfälle in anderen Zuständen sollte nach unten gehen.

Wichtig

Power BI-Integration und Zugriff auf den OData-Feed des Analytics-Diensts sind in der Regel für Azure DevOps Services und Azure DevOps Server 2020 und höhere Versionen verfügbar. Die in diesem Artikel bereitgestellten Beispielabfragen gelten nur für Azure DevOps Server 2020 und höhere Versionen und hängen von version 3.0-preview oder höher ab. Wir empfehlen Ihnen, diese Abfragen zu verwenden und uns Feedback zu geben.

Voraussetzungen

  • Um Analytics-Daten anzuzeigen und den Dienst abzufragen, müssen Sie Mitglied eines Projekts mit oder höherer Basiszugriff sein. Standardmäßig erhalten alle Projektmitglieder Berechtigungen zum Abfragen von Analytics und zum Definieren von Analytics-Ansichten.
  • Weitere Informationen zu weiteren Voraussetzungen für die Dienst- und Featureaktivierung sowie allgemeine Datennachverfolgungsaktivitäten finden Sie unter Berechtigungen und Voraussetzungen für den Zugriff auf Analytics.

Hinweis

In diesem Artikel wird davon ausgegangen, dass Sie die Übersicht über Beispielberichte mit OData-Abfragen gelesen haben und über ein grundlegendes Verständnis von Power BI verfügen.

Damit der Bericht nützliche Daten generiert, muss das Team die folgenden Aktivitäten ausführen, um Testpläne zu verwalten:

  • Definieren Sie Testpläne, Testsuiten und Testfälle. Geben Sie ihren Status an. Damit eine Test Suite ausgeführt werden kann, muss sie sich im Status "In Bearbeitung" befinden. Damit ein Testfall ausgeführt werden kann, muss er sich im Zustand "Bereit" befinden. Ausführliche Informationen finden Sie unter Erstellen von Testplänen und Testsuiten und Erstellen manueller Testfälle.

  • Führen Sie manuelle Tests aus, und überprüfen Sie die Ergebnisse. Markieren Sie die Ergebnisse der einzelnen Überprüfungsschritte im Testfall als bestanden oder fehlgeschlagen. Ausführliche Informationen finden Sie unter Ausführen manueller Tests.

    Hinweis

    Tester müssen einen Testschritt mit einem Status markieren, wenn es sich um einen Überprüfungstestschritt handelt. Das Gesamtergebnis für einen Test spiegelt den Status aller markierten Testschritte wider. Daher weist der Test einen Fehlerstatus auf, wenn ein Testschritt als fehlgeschlagen gekennzeichnet oder nicht markiert ist.

Beispielabfragen

Sie können die folgenden Abfragen des TestPointHistorySnapshot Entitätssatzes verwenden, um andere, aber ähnliche Testplanausführungstrendberichte zu erstellen.

Hinweis

Informationen zum Ermitteln verfügbarer Eigenschaften für Filter- oder Berichtszwecke finden Sie in der Metadatenreferenz für Testpläne Analytics. Sie können Ihre Abfragen filtern oder Eigenschaften zurückgeben, indem Sie einen der Werte unter oder NavigationPropertyBinding PathEntityType verwenden, die Property mit einem EntitySetverfügbar sind. Jede EntitySet entspricht einem EntityType. Weitere Informationen zum Datentyp der einzelnen Werte finden Sie in den Metadaten, die für den entsprechenden EntityTypebereitgestellt werden.

Sie können die unten aufgeführte Power BI-Abfrage direkt in das Fenster Get Data-Blank> Query einfügen. Weitere Informationen finden Sie unter Übersicht über Beispielberichte mit OData-Abfragen.

let 
    Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v3.0-preview/TestPointHistorySnapshot?" 
        &"$apply=filter((TestSuite/TestPlanTitle eq '{testPlanTitle}') and (DateSK ge {startDate} and DateSK le {endDate}))" 
        &"/groupby(" 
            &"(DateSK)," 
            &"aggregate(" 
                &"$count as TotalCount," 
                &"cast(ResultOutcome  eq 'Passed', Edm.Int32) with sum as Passed," 
                &"cast(ResultOutcome  eq 'Failed', Edm.Int32) with sum as Failed," 
                &"cast(ResultOutcome eq 'Blocked', Edm.Int32) with sum as Blocked," 
                &"cast(ResultOutcome eq 'NotApplicable', Edm.Int32) with sum as NotApplicable," 
                &"cast(ResultOutcome eq 'None', Edm.Int32) with sum as NotExecuted," 
                &"cast(ResultOutcome ne 'None', Edm.Int32) with sum as Executed 
            ) 
        )", null, [Implementation="2.0"]) 
in 
    Source

Ersetzungszeichenfolgen und Abfrageaufschlüsselung

Ersetzen Sie die folgenden Zeichenfolgen durch Ihre Werte. Schließen Sie keine Klammern {} in Ihre Ersetzung ein. Wenn Ihr Organisationsname beispielsweise "Fabrikam" lautet, ersetzen Sie {organization} durch Fabrikam, nicht {Fabrikam}.

  • {organization} - Name Ihrer Organisation
  • {project} - Der Name Ihres Teamprojekts oder das vollständige Auslassen von "/{project}" für eine projektübergreifende Abfrage
  • {testPlanTitle} - Titel Ihres Testplans. Beispiel: Fabrikam test plan.
  • {startDate} und {endDate} - Datumsbereich von Interesse. Sie können die Datumsangaben im JJJJMMDD-Format eingeben. Beispiel: 20220815 für den 15. August 2022.

Abfrageaufschlüsselung

In der folgenden Tabelle werden die einzelnen Teile der Abfrage beschrieben.

Abfrageteil

Beschreibung

filter((TestSuite/TestPlanTitle eq '{testPlanTitle}'))

Gibt Daten nur für den ausgewählten Testplan zurück. Sie können mehrere Pläne mit einer Klausel wie filter((TestSuite/TestPlanTitle eq '{testPlanTitle1}' oder TestSuite/TestPlanTitle eq '{testPlanTitle2}')). Sie können auch alle anderen Filter im Zusammenhang mit Testsuiten und Testkonfigurationen hier anwenden.

and (DateSK ge {startDate} and DateSK le {endDate})

Datumsbereich von Interesse. Sie können die Datumsangaben im YYYYMMDD Format eingeben.

/groupby((DateSK)

Gruppieren Sie die Daten in Container desselben Datums. Es erzeugt eine Gruppe von Werten pro Tag in einem bestimmten Datumsbereich.

/aggregate($count as TotalCount,

Aggregiert Daten über die gefilterten Testpunkte mit der Anzahl als TotalCount.

cast(LastResultOutcome eq 'Passed', Edm.Int32) with sum as Passed,

Beim Aggregieren werden Typ-Cast-Testpunkte mit dem aktuellen Ausführungsergebnis "Passed" auf 1 und summieren sie als Passed Metrik.

(Optional) Abfrage umbenennen

Sie können die Standardabfragebezeichnung Query1 in aussagekräftiger umbenennen. Geben Sie einfach im Bereich Abfrageeinstellungen einen neuen Namen ein.

Screenshot: Menüoptionen für Power BI-Abfragen, Abfrage umbenennen.

Ändern des Spaltendatentyps

Wählen Sie in der Power Query-Editor die TotalCount Spalte und alle anderen Spalten aus, und wählen Sie dann im Menü "Transformieren" den Datentyp aus, und wählen Sie Wer le Zahl aus. Weitere Informationen zum Ändern des Datentyps finden Sie unter Transform Analytics-Daten zum Generieren von Power BI-Berichten, Transformieren eines Spaltendatentyps.

(Optional) Umbenennen von Spaltenfeldern

Sie können Spaltenfelder umbenennen. Sie können z. B. die Spalte NotApplicableNot Applicablein oder TotalCount in Total Count. Informationen dazu finden Sie unter Umbenennen von Spaltenfeldern.

Schließen Sie die Abfrage, und wenden Sie Ihre Änderungen an.

Nachdem Sie alle Datentransformationen abgeschlossen haben, wählen Sie "Schließen" und "Übernehmen " im Menü "Start " aus, um die Abfrage zu speichern und zur Registerkarte "Bericht " in Power BI zurückzukehren.

Screenshot der Option

Erstellen des Diagrammberichts "Gestapeltes Flächendiagramm"

  1. Wählen Sie in Power BI unter "Visualisierungen" den Bericht "Gestapelte Flächendiagramme" aus. Screenshot der Auswahl von Visualisierungsfeldern für testplanausführungs-Trendlaufbericht.

  2. Ziehen Und ablegen Sie DateSK auf die X-Achse.

  3. Ziehen Und ablegen Sie passed, Failed, Blocked, NotApplicable und NotExecuted auf der Y-Achse.

Ihr Bericht sollte ähnlich wie in der folgenden Abbildung aussehen.

Screenshot des Trendberichts