Pelyhes tesztek kezelése

  • Cikk

Azure DevOps Services

A fejlesztők termelékenysége a tesztek azon képességére támaszkodik, hogy időben és megbízható módon valós problémákat találjon a fejlesztés vagy frissítés alatt álló kóddal kapcsolatban. A pelyhes tesztek akadályt jelentenek a valós problémák megtalálásában, mivel a hibák gyakran nem kapcsolódnak a tesztelt változásokhoz. A pelyhes teszt olyan teszt, amely különböző eredményeket biztosít, például sikeres vagy sikertelen, még akkor is, ha nincs változás a forráskódban vagy a végrehajtási környezetben. A pelyhes tesztek a szállított kód minőségét is befolyásolják.

Megjegyzés

Ez a funkció csak az Azure DevOps Servicesben érhető el. Az új funkciókat általában először a felhőszolgáltatásban vezetik be, majd a helyszínen elérhetővé teszik a Azure DevOps Server következő főverziójában vagy frissítésében. További információ: Azure DevOps szolgáltatás idővonala.

A terméken belüli pelyhes tesztkezelés célja, hogy csökkentse a pelyhes tesztek által okozott fejlesztői fájdalmat, és kiszolgálja a teljes munkafolyamatot. A pelyhes tesztkezelés a következő előnyöket nyújtja.

  • Észlelés – A pelyhes teszt automatikus észlelése újrafuttatással vagy bővíthetőséggel a saját egyéni észlelési módszer csatlakoztatásához

  • A pelyhesség kezelése – Ha egy teszt pelyhesként van megjelölve, az adatok az adott ág összes folyamatához elérhetők

  • Jelentés a pelyhes tesztekről – Kiválaszthatja, hogy meg szeretné-e akadályozni a pelyhes tesztek által okozott buildelési hibákat, vagy csak a pelyhes címkét használja a hibaelhárításhoz

  • Megoldás – Manuális hibalétrehozási vagy manuális jelölési és jelölési teszt pelyhesként az elemzés alapján

  • Zárja be a hurkot – A hibafeloldás/manuális bemenet eredményeként a pelyhes teszt alaphelyzetbe állítása

Pelyhes életciklus

Pelyhes tesztkezelés engedélyezése

A pelyhes tesztkezelés konfigurálásához válassza a Projektbeállítások lehetőséget, majd a Folyamatok szakaszban válassza a Tesztkezelés lehetőséget.

Húzza a Be/Ki gombot a Be gombra.

Képernyőkép a Test Managementről, a Flaky-tesztészlelés engedélyezéséről, a rendszerészlelésről.

Az összes projekt alapértelmezett beállítása a pelyhes tesztek használata a hibaelhárításhoz.

Pelyhes tesztészlelés

A pelyhes tesztkezelés támogatja a rendszer- és egyéni észlelést.

  • Rendszerészlelés: A terméken belüli pelyhes detektálás teszt-újrafuttatási adatokat használ. Az észlelés a VSTest-feladat sikertelen tesztképességének újrafuttatásával vagy a folyamat fázisának újrapróbálkozásával történik. A projektben kiválaszthatja azokat a folyamatokat, amelyek esetében pelyhes teszteket szeretne észlelni.

    Megjegyzés

    Ha egy teszt pelyhesként van megjelölve, az adatok az adott ághoz tartozó összes folyamat számára elérhetők, hogy segítsenek a hibaelhárításban minden folyamatban.

  • Egyéni észlelés: Integrálhatja a saját pelyhes észlelési mechanizmusát az Azure Pipelinessal, és használhatja a jelentéskészítési képességet. Egyéni észlelés esetén frissítenie kell a teszteredmények metaadatait a pelyhes tesztekhez. További részletekért lásd: Teszteredmények, eredmény metaadatok – REST API frissítése.

Képernyőkép a Test Managementről, a pelyhes tesztészlelés engedélyezéséről, az egyéni észlelésről.

Pelyhes tesztelési lehetőségek

A Pelyhes teszt beállításai határozzák meg, hogyan érhetők el a pelyhes tesztek a tesztjelentésekben, valamint a feloldási képességeket az alábbi szakaszokban leírtak szerint.

Pelyhes tesztkezelés és jelentéskészítés

A Tesztkezelés lap Pelyhes teszt beállításai területén megadhatja, hogy a tesztösszesítési jelentés hogyan tartalmazza a pelyhes teszteket. Az átadott és a sikertelen teszt pelyhes tesztadatai a Teszteredmények között érhetők el. A Flaky címke segít azonosítani a pelyhes teszteket. Alapértelmezés szerint a pikkelyes tesztek szerepelnek a tesztösszesítésben. Ha azonban meg szeretné győződni arról, hogy a pelyhes teszthibák nem hiúsulnak meg a folyamaton, dönthet úgy is, hogy nem adja meg őket a teszt összegzéséhez, és letiltja a teszthibát. Ez a beállítás biztosítja, hogy a pelyhes tesztek (mind az átadott, mind a sikertelen) el legyenek távolítva az átadási százalékból, és megjelenjenek a Nem jelentett tesztek területen, ahogy az az alábbi képernyőképen is látható.

Pelyhes jelentéskészítés

Megjegyzés

A Tesztösszesítő jelentés csak a Visual Studio Tesztfeladat és a Teszteredmények közzététele tevékenységhez frissül. Előfordulhat, hogy egy egyéni szkriptet kell hozzáadnia, hogy elnyomja a pelyhes teszthibákat más forgatókönyvek esetén.

Pelyhesként megjelölt tesztek

A teszteket az elemzés vagy a környezet alapján pelyhesként jelölheti meg vagy törölheti, ha a Pelyhes (vagy a Nem pelyhes) lehetőséget választja attól függően, hogy a teszt már pelyhesként van-e megjelölve.)

Pelyhes teszt megjelölése

Ha egy teszt pelyhes vagy nem felfújt állapotúként van megjelölve egy folyamatban, a rendszer nem végez módosításokat az aktuális folyamatban. Csak a teszt későbbi végrehajtásakor értékeli ki a módosított pelyhes beállítást. A pelyhesként megjelölt tesztekhez a felhasználói felületen a Megjelölt pelyhes címke található.

Pelyhes teszt megerősítése

Súgó és támogatás