Teszteredmények áttekintése
Azure DevOps Services | Azure DevOps Server 2022 – Azure DevOps Server 2019
Az automatizált tesztek konfigurálhatók úgy, hogy különböző nyelvek buildjének vagy kiadásának részeként fussanak. A tesztjelentések hatékony és konzisztens módot biztosítanak a különböző tesztelési keretrendszerekkel végrehajtott tesztek eredményeinek megtekintésére a folyamat minőségének méréséhez, a nyomon követhetőség áttekintéséhez, a hibák elhárításához és a hibák tulajdonjogának meghajtásához. Emellett számos speciális jelentéskészítési funkciót is kínál, a következő szakaszokban.
A teszteredmények mélyebb elemzését az Analytics Service használatával is elvégezheti. Példa a buildelési és üzembehelyezési folyamatok használatára: Teszteredmények elemzése.
Olvassa el a szószedetet a tesztjelentés terminológiájának megértéséhez.
A közzétett teszteredmények a Tesztek lapon tekinthetők meg egy összeállítási vagy kiadási összegzésben.
Surface-teszteredmények a Tesztek lapon
A teszteredmények az alábbi lehetőségek egyikével jeleníthetők meg a Tesztek lapon:
Automatikusan kikövetkező teszteredmények. Alapértelmezés szerint a folyamat automatikusan ki tudja következtetni néhány népszerű tesztfuttató tesztkimenetét. Elemezje a buildelési művelet során létrehozott hibanaplókat, majd ellenőrizze a tesztelési hibák aláírását. Az Azure DevOps jelenleg a következő nyelveket és tesztfuttatókat támogatja a teszteredmények automatikus következtetéséhez:
JavaScript – Mocha, Jest és Jasmine
Python – Unittest
Feljegyzés
Ez a kikövetkező tesztjelentés korlátozott felhasználói élmény. A teljesen formázott tesztjelentésekben elérhető funkciók némelyike nem található meg itt (további részletek). Javasoljuk, hogy tegyen közzé egy teljesen formázott tesztjelentést a folyamatok teljes tesztelési és elemzési élményének eléréséhez. Lásd még:
Teljesen formázott tesztjelentések közzététele JavaScript-tesztfuttatók számára
Teljesen formázott tesztjelentések közzététele Python-tesztfuttatók számára
Végrehajtási feladatok tesztelése. Beépített tesztvégrehajtási feladatok, például a Visual Studio Test, amely automatikusan közzéteszi a teszteredményeket a folyamaton, vagy más, például az Ant, a Maven, a Gulp, a Grunt és az Xcode, amelyek ezt a lehetőséget biztosítják a feladaton belül.
Teszteredmények közzététele feladat. A teszteredményeket az Azure Pipelinesban vagy a TFS-ben közzétevő feladat, amikor a teszteket az Ön által választott futó használatával hajtják végre, és az eredmények a támogatott teszteredmény-formátumok bármelyikében elérhetők.
API(k). Közvetlenül a Test Management API(k) használatával közzétett teszteredmények.
A Surface tesztinformációi a Tesztek lapon kívül
A Tesztek lap részletes összefoglalást nyújt a teszt végrehajtásáról. Ez hasznos a folyamat minőségének nyomon követésében és a hibák elhárításában. Az Azure DevOps más módszereket is kínál a tesztinformációk felszínre hozásához:
Az irányítópulton látható a csapat előrehaladása. Adjon hozzá egy vagy több widgetet, amelyek a teszteléssel kapcsolatos információkat felszínre helyezik:
A test analytics részletes betekintést nyújt az adott időszakban mért teszteredményekbe. Segíthet azonosítani a teszt problémás területeit olyan adatok megadásával, mint a leggyakoribb sikertelen tesztek stb.
Teszteredmények megtekintése buildben
A build összefoglalása idősoros nézetet biztosít a buildben végrehajtott fő lépésekről. Ha a teszteket a build részeként hajtották végre és jelentették, egy teszt mérföldkő jelenik meg az ütemterv nézetben. A tesztelési mérföldkő a teszteredmények összegzését adja meg a sikerességi százalék mértékeként, valamint a hibákra és a megszakításokra vonatkozó mutatókat, ha ezek léteznek.
Teszteredmények megtekintése a kiadásban
A folyamatnézetben láthatja az összes fázist és a kapcsolódó teszteket. A nézet a teszteredmények összegzését tartalmazza a sikerességi százalék mértékeként, valamint a hibák és megszakítások mutatóit, ha ezek léteznek. Ezek a mutatók megegyeznek a build idővonalának nézetével, így egységes felhasználói élményt nyújt a buildelés és a kiadás során.
Tesztek lap
A buildelési és a kiadási összefoglalók a tesztvégrehajtás részleteit is ismertetik. A Tesztek lap részleteinek megtekintéséhez válassza a Teszt összegzése lehetőséget. Ezen a lapon a következő szakaszok találhatók:
Összegzés: a tesztelés végrehajtásához szükséges főbb mennyiségi metrikákat tartalmazza, például a teljes tesztszámot, a sikertelen teszteket, a sikerességi arányt és egyebeket. Emellett különbségmutatókat is biztosít a változásról az előző végrehajtáshoz képest.
Eredmények: felsorolja az aktuális build vagy kiadás részeként végrehajtott és jelentett összes tesztet. Az alapértelmezett nézet csak a sikertelen és megszakított teszteket jeleníti meg, hogy a figyelmet igénylő tesztekre összpontosíthasson. A megadott szűrőkkel azonban más eredményeket is választhat.
Részletek: A szükséges teszteredmények kereséséhez rendezhető, csoportosítható, kereshető és szűrhető tesztek listája.
A tesztfuttatások vagy eredmények kiválasztásával megtekintheti a hibaelhárításhoz szükséges további információkat megjelenítő részletek panelt, például a hibaüzenetet, a veremkövetést, a mellékleteket, a munkaelemeket, az előzmény trendet stb.
Tipp.
Ha a Visual Studio Tesztelési feladatával futtat teszteket, a tesztekből naplózott diagnosztikai kimenet (a Console.WriteLine, a Trace.WriteLine vagy a TestContext.WriteLine metódusok bármelyikével) mellékletként jelenik meg egy sikertelen teszthez.
A Tesztek lap alábbi képességei segítenek a hatékonyság növelésében és a hibaelhárításban.
Nagy teszteredmények szűrése
Idővel a tesztek felhalmozódnak, és a nagy alkalmazások esetében könnyen több tízezer tesztre nőhetnek. A sok teszttel rendelkező alkalmazások esetében nehéz lehet az eredmények között navigálni a tesztelési hibák azonosításához, a kiváltó okok társításához vagy a problémák tulajdonjogának megállapításához. A szűrők megkönnyítik a kívánt teszteredmények gyors navigálását. Szűrhet a tesztnévre, az eredményre (sikertelen, átadott stb.), a tesztfájlokra (tesztfájlokat tartalmazó fájlokra) és a tulajdonosra (tesztfájlok esetében). Az összes szűrőfeltétel kumulatív jellegű.
Emellett több csoportosítási lehetőséggel, például tesztfuttatással, tesztfájllal, prioritással, követelménysel és egyebekkel is pontosan a kívánt módon rendszerezheti az Eredmények nézetet.
Adósságkezelés tesztelése hibákkal
Ha szeretné kezelni a sikertelen vagy hosszú ideig futó tesztekre vonatkozó teszttartozását, létrehozhat egy hibát, vagy adatokat adhat hozzá a meglévő hibához, és minden kapcsolódó munkaelemet megtekinthet a munkaelem lapon.
Modern hibaelhárítási élmény
A hibaüzenetek és a veremnyomok hosszadalmasak, és a hibaelhárítás során elegendő ingatlanra van szükségük a részletek megtekintéséhez. A modern hibaelhárítási élmény érdekében a Részletek nézet teljes oldalnézetre bővíthető, miközben a szükséges műveleteket a környezetben is végrehajthatja, például hibalétrehozást vagy követelménytársítást a kiválasztott teszteredményhez.
A tesztelési hiba adatainak hibaelhárítása
A tesztelési hibák esetén a hibaüzenetek és a veremkövetések elérhetők a hibaelhárításhoz. A tesztelési hibához társított összes mellékletet a Mellékletek lapon is megtekintheti.
Adósságkezelés tesztelése
Létrehozhat vagy hozzáadhat egy meglévő hibát a hibák vagy a hosszú ideig futó tesztek tesztelési adósságának kezeléséhez. A Munkaelemek lap részletesen ismerteti a teszthez társított hibákat és követelményeket, hogy segítsen elemezni a követelmény hatását, valamint az állapotot és azt, hogy ki dolgozik a hibán.
Trendek tesztelése előzményadatokkal
A tesztvégrehajtás előzményei értelmes betekintést nyújtanak a tesztek megbízhatóságába vagy teljesítményébe. A hibák elhárítása során érdemes tudni, hogy egy teszt hogyan történt a múltban. A Tesztek lap a teszteredményekkel kontextusban tartalmazza a tesztelőzményeket. A tesztelőzmények adatai progresszív módon lesznek közzétéve, kezdve az aktuális buildelési folyamattal más ágakhoz, vagy az aktuális szakaszt más szakaszokhoz a buildeléshez és a kiadáshoz.
Folyamatban lévő tesztek végrehajtásának megtekintése
A tesztek, például az integrációs és funkcionális tesztek hosszú ideig futtathatók. Ezért fontos, hogy a tesztvégrehajtás aktuális vagy közel valós idejű állapotát bármikor láthassa. Még azokban az esetekben is hasznos, ha a tesztek gyorsan futnak, érdemes a lehető leghamarabb megismerni a vonatkozó teszteredmények állapotát; különösen akkor, ha hibák lépnek fel. A folyamatban lévő nézet szükségtelenné teszi a tesztelés végrehajtásának befejezését. Az eredmények közel valós időben érhetők el a végrehajtás előrehaladtával, így gyorsabban végezhet műveleteket. Hibakeresést, hibakeresést vagy a folyamat megszakítását végezheti el.
Feljegyzés
A funkció jelenleg a buildeléshez és a kiadáshoz is elérhető, a Visual Studio Test feladattal egy Multi Agent-feladatban. Az együgynök-feladatokhoz egy későbbi kiadásban lesz elérhető.
Az alábbi példa egy kiadás folyamatban lévő tesztjének összegzését mutatja be, amely egy adott időpontban jelenti a teljes tesztszámot és a tesztelési hibák számát. A teszthibák hibaelhárításra, hibák létrehozására vagy bármilyen más megfelelő művelet végrehajtására használhatók.
Összesített teszteredmények megtekintése
A teszt végrehajtása során a teszt több példányt vagy tesztet is eredményezhet, amelyek hozzájárulnak az általános eredményhez. Ilyenek például az újrafuttatott tesztek, az egyéb tesztek (rendezett tesztek) rendezett kombinációjából álló tesztek vagy a bemeneti paraméteren (adatvezérelt teszteken) alapuló különböző példányokkal rendelkező tesztek.
Mivel ezek a tesztek kapcsolódnak egymáshoz, az egyes példányokból vagy tesztekből származó általános eredményekkel együtt kell őket jelenteni. Ezek a teszteredmények összesített teszteredményként jelennek meg a Tesztek lapon:
Sikertelen tesztek újrafuttatása: A sikertelen tesztek újrafuttatásának lehetősége a Visual Studio tesztfeladat legújabb verziójában érhető el. Az újrafuttatás során több kísérlet is végezhető egy sikertelen tesztre, és minden egyes hiba oka más lehet a teszt nemdeterminista viselkedése miatt. A tesztjelentések kombinált nézetet biztosítanak az újrafuttatási kísérletekhez, valamint az összesített teszteredményt összegzett egységként. A Test Management API-k mostantól támogatják az összesített teszteredmények közzétételét és lekérdezését.
Adatvezérelt tesztek: A sikertelen tesztek újrafuttatásához hasonlóan az adatvezérelt tesztek összes iterációja az adott teszt alatt összesített nézetben lesz jelentve. Az összegzett nézet rendezett tesztekhez is elérhető (
.orderedtest
a Visual Studióban).
Feljegyzés
A tesztösszegző szakaszban szereplő metrikákat, például a tesztek teljes számát, az átadott, a sikertelen vagy egyéb metrikát az összegzett teszteredmény gyökérszintje alapján számítjuk ki.
Megszakított tesztek megtekintése
A tesztelés végrehajtása több okból is megszakadhat, például hibás tesztkód, a tesztelés alatt álló forrás hibái vagy környezeti problémák miatt. A megszakítás okától függetlenül fontos, hogy képes legyen diagnosztizálni a viselkedést, és azonosítani a kiváltó okot. A megszakított tesztek és tesztfuttatások a Befejezett futtatások mellett a Tesztek lapon tekinthetők meg.
Feljegyzés
A funkció jelenleg a buildeléshez és a kiadáshoz is elérhető, a Visual Studio Teszt feladatának használatával egy Multi Agent-feladatban, vagy teszteredményeket tehet közzé a Test Management API(k) használatával. Az együgynök-feladatokhoz egy későbbi kiadásban lesz elérhető.
Automatikusan kikövetkező teszteredmények
Az Azure DevOps képes automatikusan kikövetkeztetni a folyamatokban futó tesztek kimenetét néhány támogatott tesztelési keretrendszer esetében. Ezek az automatikusan kikövetkeztetett tesztjelentések nem igényelnek konkrét konfigurációt a folyamatokhoz, és zéró erőfeszítést igényelnek a Tesztjelentés használatának megkezdéséhez.
Tekintse meg azoknak a futóknak a listáját, amelyekre a teszteredmények automatikusan következtetnek.
Mivel az ilyen következtetést levont jelentésekben csak korlátozott tesztelési metaadatok szerepelnek, a funkciók és képességek korlátozottak. A következő funkciók nem érhetők el a késleltetett tesztjelentésekhez:
- A teszteredmények csoportosítása tesztfájl, tulajdonos, prioritás és egyéb mezők szerint
- A teszteredmények keresése és szűrése
- Az átadott tesztek részleteinek ellenőrzése
- A webes felhasználói felületen végzett tesztek során létrehozott mellékletek előnézete
- Teszthiba társítása új hibával, vagy a hibához társított munkaelemek listája
- Build-alapú elemzések a folyamatokban való teszteléshez
Feljegyzés
Egyes futók, például a Mocha több beépített konzol-riporter, például pont-mátrix és progress-bar. Ha nem alapértelmezett konzolkimenetet konfigurált a tesztfuttatóhoz, vagy egyéni riportert használ, az Azure DevOps nem fogja tudni kikövetkeztetni a teszteredményeket. Csak az alapértelmezett riporter eredményeiből következtethet.
Kapcsolódó cikkek
- A teszteredmények elemzése
- Nyomkövetési teszt követelményei
- A kód lefedettségi eredményeinek áttekintése
Súgó és támogatás
- Tekintse meg a hibaelhárítási oldalt
- Kérjen tanácsot a Stack Overflow-ról, és kérjen támogatást a fejlesztői közösségen keresztül