Megjegyzés
Az oldalhoz való hozzáféréshez engedély szükséges. Megpróbálhat bejelentkezni vagy módosítani a címtárat.
Az oldalhoz való hozzáféréshez engedély szükséges. Megpróbálhatja módosítani a címtárat.
Azure DevOps Services
A fejlesztők termelékenysége arra támaszkodik, hogy a tesztek valós problémákat találjanak a fejlesztés alatt álló kóddal vagy frissítéssel kapcsolatban, időben és megbízható módon. A pelyhes tesztek akadályt jelentenek a valós problémák megtalálásában, mivel a hibák gyakran nem kapcsolódnak a tesztelt változásokhoz. A megbízhatatlan teszt olyan teszt, amely különböző eredményeket ad, például sikert vagy sikertelenséget, még akkor is, ha a forráskódban vagy a végrehajtási környezetben nincs változás. A pelyhes tesztek a szállított kód minőségét is befolyásolják.
Feljegyzés
Ez a funkció csak az Azure DevOps Servicesben érhető el. Az új funkciók általában először a felhőszolgáltatásban jelennek meg, majd a helyszínen elérhetővé válnak az Azure DevOps Server következő főverziójában vagy frissítésében. További információkért tekintse meg az Azure DevOps szolgáltatás ütemtervét.
A terméken belüli megbízhatatlan tesztkezelés célja, hogy csökkentse a fejlesztők problémáit, amelyeket a megbízhatatlan tesztek okoznak, és a teljes munkafolyamatot támogassa. A pelyhes tesztkezelés a következő előnyöket nyújtja.
Észlelés – A pelyhes teszt automatikus észlelése újrafuttatható vagy bővíthető a saját egyéni észlelési módszer csatlakoztatásához
A pelyhesség kezelése – Ha egy teszt pelyhesként van megjelölve, az adatok az adott ág összes folyamatához elérhetők
Jelentés a pelyhes tesztekről – Lehetőség annak kiválasztására, hogy meg szeretné-e akadályozni a pelyhes tesztek által okozott buildelési hibákat, vagy csak a pelyhes címkét használja a hibaelhárításhoz
Megoldás – Hibák manuális létrehozása vagy teszt manuális jelölése és levétele instabil címkével az elemzés alapján
Zárja be a hurkot – Megbízhatatlan teszt alaphelyzetbe állítása hibajavítás vagy manuális bemenet eredményeként
Pelyhes tesztkezelés engedélyezése
A pelyhes tesztkezelés konfigurálásához válassza a Projektbeállítások lehetőséget, majd a Folyamatok szakaszban válassza a Tesztkezelés lehetőséget.
Csúsztassa a Be/Ki gombot Be állásba.
Az összes projekt alapértelmezett beállítása a pelyhes tesztek használata a hibaelhárításhoz.
Feljegyzés
A rendszerek közötti váltás eleve zavaró, mivel az Azure DevOpsban tárolt összes instabilitási előzmény törlődik az átállás során.
Pelyhes tesztészlelés
A pelyhes tesztkezelés támogatja a rendszer és az egyéni észlelést.
Rendszerészlelés: Az Azure DevOps beépített mechanizmussal rendelkezik a pelyhes tesztek észlelésére. Ez magában foglalja a sikertelen tesztek újrafuttatását ugyanazon a folyamatvégrehajtáson belül. Ha egy teszteset kezdetben sikertelen, de újrafuttatáskor sikeres, akkor ingatagként jelölik meg. Ez az észlelés szorosan kapcsolódik a VSTest-tevékenységhez , amely ugyanazon feladat végrehajtásán belül újrafuttatja a sikertelen teszteket. Egy másik módszer a sikertelen feladatok újrafuttatása a folyamaton belül (manuálisan a "sikertelen feladatok újrafuttatása" elemre kattintva bármely folyamatfuttatásban). Ha egy teszt átmegy az újrafuttatáson, akkor megbízhatatlanként van megjelölve.
Feljegyzés
Ha egy teszt pelyhesként van megjelölve, az adatok az adott ág összes folyamatához elérhetők, hogy segítsenek a hibaelhárításban minden folyamatban.
Egyéni észlelés: Ez a megközelítés lehetővé teszi, hogy a külső rendszerek integrálják a saját logikájukat a pelyhes tesztek észleléséhez, és az Azure DevOpsra támaszkodva konzisztens nyomon követést és felügyeletet végeznek. Az Azure DevOpsszal való kommunikáció a Result Meta Data – Update API használatával engedélyezve van. Az API-nak szüksége van egy teszteset-referenciaazonosítóra, egy jelzőre, amely jelzi, hogy a teszt pelyhesnek minősül-e, és az adattár ágát, ahol a pelyhességet megfigyelték. A felhasználónak képesnek kell lennie lekérni a teszteset referencia-azonosítóját a Teszteredmények lekérése azonosító alapján API-ból . Miután ezeket az információkat elküldte az Azure DevOpsnak, a rendszer tárolja és propagálja az adott teszteset pelyhességi állapotát a későbbi folyamatfuttatásokban. Ha egy teszt megbízhatatlanként van megjelölve, az Azure DevOps továbbra is így kezeli, amíg manuálisan el nem távolítják ezt a jelölést.
Pelyhes tesztbeállítások
A pelyhes tesztelési lehetőségek határozzák meg, hogy a pelyhes tesztek hogyan érhetők el a tesztjelentésekben, valamint a megoldási képességekben, az alábbi szakaszokban leírtak szerint.
Pelyhes tesztkezelés és jelentéskészítés
A Tesztkezelési oldalon, az Ingadozó teszt beállítások alatt megadhatja, hogy a tesztösszefoglaló jelentés hogyan tartalmazza az ingadozó teszteket. Az sikeresen és sikertelenül teljesített tesztek megbízhatatlan tesztadatai elérhetők a teszteredményekben. A pelyhes címke segít azonosítani a pelyhes teszteket. Alapértelmezés szerint a pelyhes tesztek szerepelnek a tesztösszegzésben. Azonban, ha szeretné biztosítani, hogy a pelyhes teszthibák ne akadályozzák a folyamatot, dönthet úgy, hogy nem veszi fel őket a teszt összegzésébe, és elnyomja a teszthibát. Ez a beállítás biztosítja, hogy a megbízhatatlan tesztek (mind a sikeres, mind a sikertelen) el legyenek távolítva az átadási százalékból, és a nem jelentett tesztek között jelenjenek meg, ahogyan az alábbi képernyőképen látható.
Feljegyzés
A tesztösszegző jelentés csak a Visual Studio Tesztfeladat és a Teszteredmények közzététele tevékenységhez frissül. Előfordulhat, hogy egy egyéni szkriptet kell hozzáadnia, hogy elkerülje a megbízhatatlan teszthibákat más forgatókönyvek esetében.
Pelyhesként megjelölt tesztek
A teszteket elemzés vagy környezet alapján pelyhesként jelölheti meg vagy törölheti, ha a Flaky (vagy UnFlaky) lehetőséget választja attól függően, hogy a teszt már pelyhesként van-e megjelölve.)
Amikor egy tesztet ingadozónak vagy nem ingadozónak jelölnek egy folyamatvonalban, az aktuális folyamatvonalban nem történnek változások. Csak a teszt jövőbeli végrehajtásainak alkalmával kerül kiértékelésre a módosított hibás beállítás. A pelyhesként megjelölt tesztek a felhasználói felületen a Megjelölt pelyhes címkével rendelkeznek.
Súgó és támogatás
- Tekintse meg a hibaelhárítási oldalt
- Kérjen tanácsot a Stack Overflow-ról, és kérjen támogatást a fejlesztői közösségen keresztül