Sikertelen tesztek mintajelentése

Azure DevOps Services | Azure DevOps Server 2022 | Azure DevOps Server 2020

Létrehozhat egy jelentést, amely az alábbi ábrához hasonlóan felsorolja a sikertelen teszteket a tesztelési feladatokat tartalmazó folyamatfuttatásokhoz. A tesztek folyamathoz való hozzáadásáról a cikk későbbi részében, a Feladaterőforrások tesztelése című szakaszban talál további információt.

A cikkben megadott lekérdezésekkel hozza létre a következő jelentéseket:

• A buildelési munkafolyamat sikertelen tesztjei
• A kiadási munkafolyamat sikertelen tesztjei
• Egy adott ág sikertelen tesztjei
• Egy adott tesztfájl sikertelen tesztjei
• Egy adott teszttulajdonos sikertelen tesztjei

Fontos

Az Elemzési szolgáltatás OData-hírcsatornájának Power BI-integrációja és hozzáférése általánosan elérhető az Azure DevOps Serviceshez, valamint az Azure DevOps Server 2020- és újabb verzióihoz. A cikkben szereplő minta lekérdezések csak az Azure DevOps Server 2020 és újabb verzióira érvényesek, és a 3.0-s vagy újabb verziótól függnek. Javasoljuk, hogy használja ezeket a lekérdezéseket, és küldjön nekünk visszajelzést.

Előfeltételek

• Hozzáférés: Legyen legalább alapszintű hozzáféréssel rendelkező projekt tagja.
• Engedélyek: Alapértelmezés szerint a projekttagok jogosultak az Analytics lekérdezésére és nézetek létrehozására.
• A szolgáltatás- és szolgáltatás-engedélyezéssel, valamint az általános adatkövetési tevékenységekkel kapcsolatos egyéb előfeltételekről további információt az Analytics eléréséhez szükséges engedélyek és előfeltételek című témakörben talál.

Feljegyzés

Ez a cikk feltételezi, hogy OData-lekérdezések használatával olvassa el a mintajelentések áttekintését, és alapszintű ismeretekkel rendelkezik a Power BI-ról.

Minta lekérdezések

Az entitáskészlet alábbi lekérdezéseivel TestResultsDaily különböző, de hasonló folyamat meghiúsult tesztjelentéseit hozhatja létre. Az TestResultsDaily entitáskészlet napi pillanatkép-aggregátumot biztosít a TestResult végrehajtásokról, tesztelés szerint csoportosítva.

Feljegyzés

A szűrési vagy jelentéskészítési célokra elérhető tulajdonságok meghatározásához tekintse meg a Test Plans Analytics metaadat-referenciáit és az Azure Pipelines metaadat-referenciáit. Szűrheti a lekérdezéseket, vagy visszaadhatja a tulajdonságokat egy Property adott vagy egy adott értékkel elérhető értékek EntityType NavigationPropertyBinding Path bármelyikével EntitySet. Mindegyik EntitySet egy EntityType. Az egyes értékek adattípusával kapcsolatos további információkért tekintse át a megfelelő EntityTypemetaadatokat.

Buildelési munkafolyamat sikertelen tesztjei

A buildelési munkafolyamat sikertelen tesztjeinek megtekintéséhez használja az alábbi lekérdezéseket.

Power BI-lekérdezés

Másolja és illessze be közvetlenül az alábbi Power BI-lekérdezést az Üres adat>lekérdezés lekérése ablakba. További információ: OData-lekérdezéseket használó mintajelentések áttekintése.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"And Date/Date ge {startdate} "
        &"And Workflow eq 'Build' "
        &") "
            &"/groupby( "
                &"(TestSK, Test/TestName), "
                &"aggregate( "
            &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
            &"ResultFailCount with sum as FailedCount, "
        &"ResultNotExecutedCount with sum as NotExecutedCount, "
    &"ResultNotImpactedCount with sum as NotImpactedCount, "
    &"ResultFlakyCount with sum as FlakyCount)) "
    &"/filter(FailedCount gt 0) "
    &"/compute( "
    &"iif(TotalCount gt NotExecutedCount, ((PassedCount add NotImpactedCount) div cast(TotalCount sub NotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

OData-lekérdezés

A következő OData-lekérdezési kóddal módosíthatja vagy tesztelheti a lekérdezést, mielőtt a Power BI-ban használaná. További információ: Csatlakozás Power BI- és OData-lekérdezésekkel.

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	And Date/Date ge {startdate}
	And Workflow eq 'Build'
	)
/groupby(
	(TestSK, Test/TestName), 
	aggregate(
	ResultCount with sum as TotalCount,
	ResultPassCount with sum as PassedCount,
	ResultFailCount with sum as FailedCount,
	ResultNotExecutedCount with sum as NotExecutedCount,
	ResultNotImpactedCount with sum as NotImpactedCount,
	ResultFlakyCount with sum as FlakyCount))
/filter(FailedCount gt 0)
/compute(
iif(TotalCount gt NotExecutedCount, ((PassedCount add NotImpactedCount) div cast(TotalCount sub NotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate)

Sikertelen tesztek a kiadási munkafolyamathoz

A következő lekérdezésekkel megtekintheti a kiadási munkafolyamat sikertelen tesztjeit.

Power BI-lekérdezés

Másolja és illessze be közvetlenül az alábbi Power BI-lekérdezést az Üres adat>lekérdezés lekérése ablakba. További információ: OData-lekérdezéseket használó mintajelentések áttekintése.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"And Date/Date ge {startdate}) "
        &"/groupby((TestSK, Test/TestName, Workflow), "
        &"aggregate( "
            &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
            &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
            &"ResultFlakyCount with sum as FlakyCount)) "
        &"/filter(FailedCount gt 0) "
    &"/compute( "
    &"iif(TotalCount gt NotExecutedCount, ((PassedCount add NotImpactedCount) div cast(TotalCount sub NotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

OData-lekérdezés

A következő OData-lekérdezési kóddal módosíthatja vagy tesztelheti a lekérdezést, mielőtt a Power BI-ban használaná. További információ: Csatlakozás Power BI- és OData-lekérdezésekkel.

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	And Date/Date ge {startdate})
/groupby((TestSK, Test/TestName, Workflow), 
	aggregate(
	ResultCount with sum as TotalCount,
	ResultPassCount with sum as PassedCount,
	ResultFailCount with sum as FailedCount,
	ResultNotExecutedCount with sum as NotExecutedCount,
	ResultNotImpactedCount with sum as NotImpactedCount,
	ResultFlakyCount with sum as FlakyCount))
/filter(FailedCount gt 0)
/compute(
iif(TotalCount gt NotExecutedCount, ((PassedCount add NotImpactedCount) div cast(TotalCount sub NotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate)

Elágazás szerint szűrt sikertelen tesztek

Egy adott ághoz tartozó folyamat sikertelen tesztjeinek megtekintéséhez használja az alábbi lekérdezéseket. A jelentés létrehozásához hajtsa végre a következő további lépéseket a cikk későbbi részében megadottakkal együtt.

• Bontsa ki Branch a Branch.BranchName
• Válassza a Power BI-vizualizáció szeletelőjét, és adja hozzá a mezőt Branch.BranchName a szeletelő mezőihez
• Válassza ki azt az ágnevet a szeletelőből, amelynek az eredmény összegzését meg kell jelenítenie.

További információ a szeletelők használatáról: Szeletelők a Power BI-ban.

Power BI-lekérdezés

Másolja és illessze be közvetlenül az alábbi Power BI-lekérdezést az Üres adat>lekérdezés lekérése ablakba. További információ: OData-lekérdezéseket használó mintajelentések áttekintése.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"And Date/Date ge {startdate} "
        &"And Workflow eq 'Build') "
        &"/groupby((TestSK, Test/TestName, Branch/BranchName), "
            &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
            &"ResultFailCount with sum as FailedCount, "
                &"ResultNotExecutedCount with sum as NotExecutedCount, "
            &"ResultNotImpactedCount with sum as NotImpactedCount, "
        &"ResultFlakyCount with sum as FlakyCount)) "
    &"/filter(FailedCount gt 0) "
    &"/compute( "
    &"iif(TotalCount gt NotExecutedCount, ((PassedCount add NotImpactedCount) div cast(TotalCount sub NotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

OData-lekérdezés

A következő OData-lekérdezési kóddal módosíthatja vagy tesztelheti a lekérdezést, mielőtt a Power BI-ban használaná. További információ: Csatlakozás Power BI- és OData-lekérdezésekkel.

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	And Date/Date ge {startdate}
	And Workflow eq 'Build')
/groupby((TestSK, Test/TestName, Branch/BranchName), 
	aggregate(
	ResultCount with sum as TotalCount,
	ResultPassCount with sum as PassedCount,
	ResultFailCount with sum as FailedCount,
	ResultNotExecutedCount with sum as NotExecutedCount,
	ResultNotImpactedCount with sum as NotImpactedCount,
	ResultFlakyCount with sum as FlakyCount))
/filter(FailedCount gt 0)
/compute(
iif(TotalCount gt NotExecutedCount, ((PassedCount add NotImpactedCount) div cast(TotalCount sub NotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate)

Tesztfájl alapján szűrt sikertelen tesztek

Egy folyamat és egy adott tesztfájl sikertelen tesztjeinek megtekintéséhez használja az alábbi lekérdezéseket. A jelentés létrehozásához hajtsa végre a következő további lépéseket a cikk későbbi részében meghatározottakkal együtt.

• Bontsa ki Test a Test.ContainerName
• Válassza a Power BI-vizualizáció szeletelőjét, és adja hozzá a mezőt Test.ContainerName a szeletelő mezőihez
• Válassza ki annak a szeletelőnek a tárolónevét, amelynek az eredmény összegzését meg kell jelenítenie.

Power BI-lekérdezés

Másolja és illessze be közvetlenül az alábbi Power BI-lekérdezést az Üres adat>lekérdezés lekérése ablakba. További információ: OData-lekérdezéseket használó mintajelentések áttekintése.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"And Date/Date ge {startdate}) "
        &"/groupby((TestSK, Test/TestName, Test/ContainerName), "
        &"aggregate( "
            &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
            &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
            &"ResultFlakyCount with sum as FlakyCount)) "
        &"/filter(FailedCount gt 0) "
    &"/compute( "
    &"iif(TotalCount gt NotExecutedCount, ((PassedCount add NotImpactedCount) div cast(TotalCount sub NotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

OData-lekérdezés

A következő OData-lekérdezési kóddal módosíthatja vagy tesztelheti a lekérdezést, mielőtt a Power BI-ban használaná. További információ: Csatlakozás Power BI- és OData-lekérdezésekkel.

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	And Date/Date ge {startdate})
/groupby((TestSK, Test/TestName, Test/ContainerName), 
	aggregate(
	ResultCount with sum as TotalCount,
	ResultPassCount with sum as PassedCount,
	ResultFailCount with sum as FailedCount,
	ResultNotExecutedCount with sum as NotExecutedCount,
	ResultNotImpactedCount with sum as NotImpactedCount,
	ResultFlakyCount with sum as FlakyCount))
/filter(FailedCount gt 0)
/compute(
iif(TotalCount gt NotExecutedCount, ((PassedCount add NotImpactedCount) div cast(TotalCount sub NotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate)

A teszt tulajdonosa által szűrt sikertelen tesztek

Ha meg szeretné tekinteni egy adott teszttulajdonos által birtokolt tesztek folyamatának sikertelen tesztjeit, használja az alábbi lekérdezéseket. A jelentés létrehozásához hajtsa végre a következő további lépéseket a cikk későbbi részében meghatározottakkal együtt.

• Bontsa ki Test a Test.TestOwner
• Válassza a Power BI-vizualizáció szeletelőjét, és adja hozzá a mezőt Test.TestOwner a szeletelő mezőihez
• Válassza ki a teszt tulajdonosát abból a szeletelőből, amelyhez meg kell tekintenie az eredmények összegzését.

Power BI-lekérdezés

Másolja és illessze be közvetlenül az alábbi Power BI-lekérdezést az Üres adat>lekérdezés lekérése ablakba. További információ: OData-lekérdezéseket használó mintajelentések áttekintése.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"And Date/Date ge {startdate}) "
        &"/groupby((TestSK, Test/TestName, Test/TestOwner), "
        &"aggregate( "
            &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
            &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
            &"ResultFlakyCount with sum as FlakyCount)) "
        &"/filter(FailedCount gt 0) "
    &"/compute( "
    &"iif(TotalCount gt NotExecutedCount, ((PassedCount add NotImpactedCount) div cast(TotalCount sub NotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

OData-lekérdezés

A következő OData-lekérdezési kóddal módosíthatja vagy tesztelheti a lekérdezést, mielőtt a Power BI-ban használaná. További információ: Csatlakozás Power BI- és OData-lekérdezésekkel.

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	And Date/Date ge {startdate})
/groupby((TestSK, Test/TestName, Test/TestOwner), 
	aggregate(
	ResultCount with sum as TotalCount,
	ResultPassCount with sum as PassedCount,
	ResultFailCount with sum as FailedCount,
	ResultNotExecutedCount with sum as NotExecutedCount,
	ResultNotImpactedCount with sum as NotImpactedCount,
	ResultFlakyCount with sum as FlakyCount))
/filter(FailedCount gt 0)
/compute(
iif(TotalCount gt NotExecutedCount, ((PassedCount add NotImpactedCount) div cast(TotalCount sub NotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate)

Helyettesítési sztringek és lekérdezések lebontása

Cserélje le a következő sztringeket az értékekkel. Ne tartalmazzon szögletes zárójeleket {} a helyettesítéssel. Ha például a szervezet neve "Fabrikam", cserélje le a Fabrikamhelyére {organization} a nem {Fabrikam}.

• {organization} - A szervezet neve
• {project} – A csapat projektneve
• {pipelinename} - A folyamat neve. Példa: Fabrikam hourly build pipeline
• {startdate} - A jelentés indításának dátuma. Formátum: YYYYY-MM-DDZ. Példa: 2021-09-01Z 2021. szeptember 1. Ne foglaljon össze idézőjeleket vagy szögletes zárójeleket, és használjon két számjegyet mind a hónap, mind a dátum esetében.

Lekérdezések lebontása

Az alábbi táblázat a lekérdezés egyes részeit ismerteti.

Lekérdezési rész

Leírás

---

$apply=filter(

Start filter() záradék.

Pipeline/PipelineName eq '{pipelineName}'

A megadott folyamat tesztfuttatásainak visszaadása.

and CompletedOn/Date ge {startdate}

A visszaadott teszt a megadott dátumon vagy után fut.

and Workflow eq 'Build'

A munkafolyamat-folyamat tesztfuttatásainak visszaküldése Build .

)

Zárja be filter() a záradékot.

/groupby(

Start groupby() záradék.

(TestSK, Test/TestName),

Csoportosítás a teszt neve szerint

aggregate(

Start aggregate záradék a szűrési feltételeknek megfelelő tesztfuttatások összegzéséhez.

ResultCount with sum as TotalCount,

A tesztfuttatások teljes számának megszámlálása a következőképpen TotalCount: .

ResultPassCount with sum as PassedCount,

Az átadott tesztfuttatások teljes számának megszámlálása a következőként PassedCount: .

ResultFailCount with sum as FailedCount,

A sikertelen tesztfuttatások teljes számának megszámlálása a következőként FailedCount: .

ResultNotExecutedCount with sum as NotExecutedCount

A nem végrehajtott tesztfuttatások teljes számának megszámlálása a következőként NotExecutedCount: .

ResultNotImpactedCount with sum as NotImpactedCount,

A nem érintett tesztfuttatások teljes számának megszámlálása a következőképpen NotImpactedCount: .

ResultFlakyCount with sum as FlakyCount

A pelyhes tesztfuttatások teljes számának megszámlálása a következőképpen FlakyCount: .

))

Bezárás aggregate() és groupby() záradékok.

/compute(

Start compute() záradék.

iif(TotalCount gt NotExecutedCount, ((PassedCount add NotImpactedCount) div cast(TotalCount sub NotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate

Az összes teszthez számítsa ki PassRatea .

)

Zárja be compute() a záradékot.

(Nem kötelező) Lekérdezés átnevezése

Az alapértelmezett lekérdezéscímkét (Query1) átnevezheti valami értelmesebbre. Egyszerűen adjon meg egy új nevet a Lekérdezés beállításai panelen.

A Tesztelés oszlop kibontása a Power BI-ban

Bontsa ki az Test oszlopot a kibontott entitás Test.TestNamemegjelenítéséhez. Ha kibontja az oszlopot, a rekordot adott mezőkké alakítja. Ha szeretné megtudni, hogyan hozhat létre Power BI-jelentéseket, bontsa ki az oszlopokat, olvassa el a Transform Analytics-adatokat.

Oszlop adattípusának módosítása

1. A Power Query-szerkesztő válassza ki a TotalCount, , PassedCountFailedCount, NotExecutedCount, , NotImpactedCountés FlakyCount oszlopokat; válassza az Adattípus lehetőséget az Átalakítás menüből, majd válassza a Teljes szám lehetőséget.

2. Jelölje ki az PassRate oszlopot; válassza az Adattípus lehetőséget az Átalakítás menüben, majd válassza a Tizedes tört elemet.

Az adattípus módosításáról további információt a Power BI-jelentések létrehozásához használt Transform Analytics-adatok, oszlop adattípus átalakítása című témakörben talál.

Zárja be a lekérdezést, és alkalmazza a módosításokat

Miután elvégezte az összes adatátalakítást, válassza a Kezdőlap menü Bezárás &alkalmaz elemét a lekérdezés mentéséhez és a Power BI Jelentés lapjára való visszatéréshez.

A Tábla jelentés létrehozása

1. A Power BI Vizualizációk területén válassza a Táblázat lehetőséget, és húzza a mezőket az Oszlopok területre.

   

2. Adja hozzá a következő mezőket az Oszlopok szakaszhoz a felsorolt sorrendben.

   • Test.TestName
   • TotalCount
   • PassedCount
   • FailedCount
   • NotImpactedCount
   • NotExecutedCount
   • FlakyCount
   • PassRate

A jelentésnek az alábbi képhez hasonlóan kell kinéznie.

Tevékenységerőforrások tesztelése

• Tesztek párhuzamos futtatása a Visual Studio tesztelési feladatával
• Tesztek párhuzamos futtatása bármely tesztfuttatóhoz
• A tesztelés felgyorsítja a tesztelést a Test Impact Analysis (TIA) használatával
• Pelyhes tesztek kezelése
• Felhasználói felület tesztelési szempontjai
• Azure Load Testing
• Az Azure Pipelines tevékenységreferenciája, feladatok tesztelése

Kapcsolódó cikkek

• OData-lekérdezések létrehozása az Analyticshez
• Az Azure Pipelines metaadat-referenciája
• Mintajelentések és gyorshivatkozási index