Kontrola výsledků testu

  • Článek

Azure DevOps Services | Azure DevOps Server 2022 – Azure DevOps Server 2019

Automatizované testy je možné nakonfigurovat tak, aby běžely jako součást sestavení nebo vydané verze pro různé jazyky. Sestavy testů poskytují efektivní a konzistentní způsob zobrazení výsledků testů provedených pomocí různých testovacích architektur, aby bylo možné měřit kvalitu kanálu, kontrolovat sledovatelnost, řešit chyby a řídit vlastnictví selhání. Kromě toho poskytuje mnoho pokročilých možností vytváření sestav, které jsou prozkoumány v následujících částech.

Pomocí analytické služby můžete také provádět hlubší analýzu výsledků testů. Příklad použití s kanály sestavení a nasazení najdete v tématu Analýza výsledků testu.

Přečtěte si glosář a seznamte se s terminologií testovací sestavy.

Výsledky publikovaných testů lze zobrazit na kartě Testy v souhrnu sestavení nebo vydané verze.

Výsledky testů surface na kartě Testy

Výsledky testů se dají zobrazit na kartě Testy pomocí jedné z následujících možností:

  • Automaticky odvozené výsledky testu. Ve výchozím nastavení může kanál automaticky odvodit výstup testu pro několik oblíbených spouštěčů testů. To se provádí parsováním protokolů chyb vygenerovaných během operace sestavení a následnou kontrolou podpisů neúspěšných testů. Azure DevOps v současné době podporuje následující jazyky a spouštěče testů pro automatické odvozování výsledků testu:

  • Otestujte úlohy provádění. Předdefinované úlohy provádění testů, jako je Visual Studio Test , které automaticky publikují výsledky testů do kanálu nebo jiné, jako jsou Ant, Maven, Gulp, Grunt a Xcode , které poskytují tuto funkci jako možnost v rámci úkolu.

  • Publikujte úlohu výsledky testu. Úloha, která publikuje výsledky testů ve službě Azure Pipelines nebo TFS při provádění testů s použitím zvoleného spouštěče a výsledky jsou k dispozici v libovolném podporovaném formátu výsledků testu.

  • Rozhraní API. Výsledky testů publikované přímo pomocí rozhraní API pro správu testů

Informace o testu zařízení Surface nad kartou Testy

Karta Testy obsahuje podrobný souhrn provádění testů. To je užitečné při sledování kvality kanálu a také při řešení potíží se selháními. Azure DevOps také nabízí další způsoby, jak se připojit k testovacím informacím:

  • Řídicí panel poskytuje přehled o průběhu vašeho týmu. Přidejte jeden nebo více widgetů, které surface testují související informace:

  • Analýza testů poskytuje bohaté přehledy o výsledcích testů měřených v určitém časovém období. Může vám pomoct identifikovat problematické oblasti testu tím, že poskytne data, jako jsou nejčastější neúspěšné testy a další.

Zobrazení výsledků testů v sestavení

Souhrn sestavení poskytuje zobrazení časové osy klíčových kroků provedených v sestavení. Pokud byly testy provedeny a hlášeny jako součást sestavení, zobrazí se v zobrazení časové osy milník testu. Milník testu poskytuje souhrn výsledků testu jako míru úspěšnosti procent spolu s indikátory selhání a přerušením, pokud existují.

Zobrazení testu v zobrazení časové osy sestavení

Zobrazení výsledků testů ve vydané verzi

V zobrazení kanálu můžete zobrazit všechny fáze a přidružené testy. Zobrazení poskytuje souhrn výsledků testů jako míru procenta průchodu spolu s indikátory selhání a přerušením, pokud existují. Tyto indikátory jsou stejné jako v zobrazení časové osy sestavení a poskytují konzistentní prostředí pro sestavení a vydání.

Zobrazení testu v zobrazení plátna vydané verze

Karta Testy

Souhrny sestavení i verze poskytují podrobnosti o provedení testu. Výběrem možnosti Souhrn testů zobrazíte podrobnosti na kartě Testy . Tato stránka obsahuje následující části.

  • Shrnutí: Poskytuje klíčové kvantitativní metriky pro provádění testu, jako je celkový počet testů, neúspěšné testy, procento úspěšného průchodu a další. Poskytuje také rozdílové indikátory změn v porovnání s předchozím provedením.

  • Výsledky: Zobrazí seznam všech spuštěných a hlášených testů jako součást aktuálního sestavení nebo vydané verze. Ve výchozím zobrazení se zobrazují pouze neúspěšné a přerušené testy, aby se mohly zaměřit na testy, které vyžadují pozornost. Pomocí zadaných filtrů ale můžete zvolit jiné výsledky.

  • Podrobnosti: Seznam testů, které můžete seřadit, seskupit, vyhledat a filtrovat a najít potřebné výsledky testu.

Karta Zobrazit testy

Výběrem libovolného testovacího spuštění nebo výsledku zobrazíte podokno podrobností, které zobrazuje další informace potřebné pro řešení potíží, jako je chybová zpráva, trasování zásobníku, přílohy, pracovní položky, historický trend a další.

Karta Zobrazit podrobnosti

Tip

Pokud ke spuštění testů použijete úlohu Test sady Visual Studio, výstup diagnostiky protokolovaný z testů (pomocí některé metody Console.WriteLine, Trace.WriteLine nebo TestContext.WriteLine), zobrazí se jako příloha neúspěšného testu.

Následující možnosti karty Testy pomáhají zlepšit produktivitu a prostředí pro řešení potíží.

Filtrování rozsáhlých výsledků testů

V průběhu času můžou testy nabíhání a u velkých aplikací snadno narůstat až na desítky tisíc testů. U těchto aplikací s velkým počtem testů může být obtížné procházet výsledky a identifikovat selhání testů, přidružit původní příčiny nebo získat vlastnictví problémů. Filtry usnadňují rychlý přechod na výsledky testů, které vás zajímají. Můžete filtrovat podle názvu testu, výsledku (neúspěšného, úspěšného a dalšího), testovacích souborů (souborů s testy) a vlastníka (pro testovací soubory). Všechna kritéria filtru jsou souhrnná v přírodě.

Filtrování velké sady výsledků testu

Kromě toho můžete s několika možnostmi seskupení , jako je testovací běh, testovací soubor, priorita, požadavek a další, uspořádat zobrazení výsledků přesně tak, jak potřebujete.

Testování správy dluhu s využitím chyb

Pokud chcete spravovat svůj test dluh pro neúspěšné nebo dlouhotrvající testy, můžete vytvořit chybu nebo přidat data do existující chyby a všechny přidružené pracovní položky na kartě pracovní položky.

Prostředí pro řešení potíží s asistivním prostředím

Chybové zprávy a trasování zásobníku jsou zdlouhavé a potřebují dostatek nemovitostí k zobrazení podrobností během řešení potíží. Chcete-li poskytnout imerzivní prostředí pro řešení potíží, můžete zobrazení Podrobností rozšířit na zobrazení celé stránky a zároveň zajistit, aby bylo možné provádět požadované operace v kontextu, jako je vytvoření chyby nebo přidružení požadavků pro vybraný výsledek testu.

Zobrazení panelu celé stránky

Řešení potíží s daty při selhání testu

V případě selhání testu jsou k dispozici chybové zprávy a trasování zásobníku pro řešení potíží. Všechny přílohy přidružené k chybě testu můžete zobrazit také na kartě Přílohy .

Testování správy dluhu

Můžete vytvořit nebo přidat k existující chybě, abyste mohli spravovat testovací dluh za selhání nebo dlouhotrvající testy. Karta Pracovní položky obsahuje podrobnosti o všech chybách a požadavcích spojených s testem, které vám pomůžou analyzovat dopad požadavků a zjistit stav a kdo na chybě pracuje.

Historie provádění testů může poskytovat smysluplné přehledy o spolehlivosti nebo výkonu testů. Při řešení potíží se selháním je důležité vědět, jak se test v minulosti provedl. Karta Testy poskytuje historii testů v kontextu s výsledky testu. Informace o historii testů se zveřejňují progresivním způsobem, který začíná aktuálním kanálem buildu pro jiné větve nebo aktuální fázi v jiných fázích sestavení a vydávání.

Zobrazení historických trendů

Zobrazení provádění probíhajících testů

Testy, jako jsou integrace a funkční testy, můžou běžet dlouhou dobu. Proto je důležité kdykoli zobrazit aktuální nebo téměř aktuální stav spuštění testu v reálném čase. I v případech, kdy testy běží rychle, je užitečné co nejdříve zjistit stav relevantních výsledků testů; zejména v případě selhání. Probíhající zobrazení eliminuje potřebu čekat na dokončení provádění testů. Výsledky jsou k dispozici téměř v reálném čase jako průběh provádění a pomáhají vám rychleji provádět akce. Můžete ladit selhání, zařaďte chybu nebo přerušte kanál.

Zobrazení probíhající verze

Poznámka:

Tato funkce je aktuálně dostupná pro sestavení i vydání pomocí úlohy Visual Studio Test v úloze s více agenty. Bude k dispozici pro úlohy s jedním agentem v budoucí verzi.

Následující zobrazení zobrazuje probíhající souhrn testů ve vydané verzi, hlásí celkový počet testů a počet selhání testů v daném časovém okamžiku. Chyby testů jsou k dispozici pro řešení potíží, vytváření chyb nebo provedení jakékoli jiné vhodné akce.

Probíhající souhrnné zobrazení

Zobrazení souhrnných výsledků testů

Během provádění testu může test vytvořit více instancí nebo testů, které přispívají k celkovému výsledku. Mezi příklady patří testy, které se znovu spustí, testy složené z seřazené kombinace jiných testů (seřazených testů) nebo testů, které mají různé instance založené na vstupním parametru (testy řízené daty).

Vzhledem k tomu, že tyto testy souvisejí, musí být hlášeny společně s celkovým výsledkem odvozeným z jednotlivých instancí nebo testů. Tyto výsledky testů jsou hlášeny jako souhrnný výsledek testu na kartě Testy :

  • Opětovné spuštění neúspěšných testů: Možnost opětovného spuštění neúspěšných testů je k dispozici v nejnovější verzi úlohy Visual Studio Test . Během opětovného spuštění může být provedeno více pokusů o neúspěšný test a každé selhání může mít jinou původní příčinu kvůli ne deterministickému chování testu. Sestavy testů poskytují kombinované zobrazení pro všechny pokusy o opětovné spuštění a celkový výsledek testu jako souhrnnou jednotku. Kromě toho teď rozhraní API pro správu testů podporují možnost publikovat a dotazovat souhrnné výsledky testů.

    Opětovné spuštění neúspěšných testů

  • Testy řízené daty: Podobně jako při opětovném spuštění neúspěšných testů jsou všechny iterace testů řízených daty hlášeny v souhrnném zobrazení. Souhrnné zobrazení je také k dispozici pro seřazené testy (.orderedtest v sadě Visual Studio).

    Test řízený daty

Poznámka:

Metriky v části souhrnu testu, jako je celkový počet testů, úspěšné, neúspěšné nebo jiné, se počítají pomocí kořenové úrovně souhrnného výsledku testu.

Zobrazení přerušených testů

Spuštění testu může být přerušeno z několika důvodů, jako je chybný testovací kód, chyby ve zdroji v rámci testu nebo problémy s prostředím. Bez ohledu na důvod přerušení je důležité, abyste mohli diagnostikovat chování a identifikovat původní příčinu. Přerušené testy a testovací běhy lze zobrazit společně s dokončenými spuštěními na kartě Testy .

Zobrazení zastavených testů

Poznámka:

Tato funkce je aktuálně dostupná pro sestavení i vydání pomocí úlohy Visual Studio Test v úloze s více agenty nebo publikování výsledků testů pomocí rozhraní API pro správu testů. Bude k dispozici pro úlohy s jedním agentem v budoucí verzi.

Automaticky odvozené výsledky testu

Azure DevOps může automaticky odvodit výstup testů spuštěných v kanálech pro několik podporovaných testovacích architektur. Tyto automaticky odvozené sestavy testů nevyžadují žádnou konkrétní konfiguraci kanálů a představují nulový způsob, jak začít používat vytváření sestav testů.

Příklad sestavy automaticky odvozeného testu

Podívejte se na seznam spouštěčů, u kterých se výsledky testů automaticky odvozují.

Vzhledem k tomu, že v těchto odvozených sestavách jsou přítomna pouze omezená metadata testů, jsou omezená ve funkcích a možnostech. Pro sestavy odvozených testů nejsou k dispozici následující funkce:

  • Seskupte výsledky testu podle testovacího souboru, vlastníka, priority a dalších polí.
  • Hledání a filtrování výsledků testu
  • Kontrola podrobností o úspěšných testech
  • Zobrazení náhledu všech příloh vygenerovaných během testů v samotném webovém uživatelském rozhraní
  • Přidružení selhání testu k nové chybě nebo zobrazení seznamu přidružených pracovních položek pro toto selhání
  • Zobrazení analýzy sestavení pro testování v Pipelines

Poznámka:

Někteří běžci, jako je Mocha, mají několik předdefinovaných konzolových reportérů, jako jsou tečky a indikátor průběhu. Pokud jste pro spouštěč testů nakonfigurovali jiný než výchozí výstup konzoly nebo používáte vlastního reportéru, Azure DevOps nebude moct výsledky testu odvodit. Výsledky může odvodit pouze z výchozího zpravodaje.

Nápověda a podpora