Granska testresultat

  • Artikel

Azure DevOps Services | Azure DevOps Server 2022 – Azure DevOps Server 2019

Automatiserade tester kan konfigureras att köras som en del av en version eller version för olika språk. Testrapporter ger ett effektivt och konsekvent sätt att visa testresultat som körs med hjälp av olika testramverk för att mäta pipelinekvalitet, granska spårningsbarhet, felsöka fel och ägarskap för enhetsfel. Dessutom finns det många avancerade rapporteringsfunktioner som utforskas i följande avsnitt.

Du kan också utföra djupare analys av testresultat med hjälp av Analytics Service. Ett exempel på hur du använder detta med bygg- och distributionspipelines finns i Analysera testresultat.

Läs ordlistan för att förstå testrapportens terminologi.

Publicerade testresultat kan visas på fliken Tester i en versions- eller versionssammanfattning.

Yttestresultat på fliken Tester

Testresultat kan visas på fliken Tester med något av följande alternativ:

  • Automatiskt härledda testresultat. Som standard kan din pipeline automatiskt härleda testutdata för några populära testlöpare. Detta görs genom att parsa felloggarna som genererades under byggåtgärden och sedan söka efter signaturer för testfel. För närvarande stöder Azure DevOps följande språk och testlöpare för att automatiskt härleda testresultaten:

  • Testkörningsuppgifter. Inbyggda testkörningsuppgifter som Visual Studio Test som automatiskt publicerar testresultat till pipelinen, eller andra som Ant, Maven, Gulp, Grunt och Xcode som tillhandahåller den här funktionen som ett alternativ i aktiviteten.

  • Publicera testresultataktivitet. Uppgift som publicerar testresultat till Azure Pipelines eller TFS när tester körs med ditt val av löpare, och resultaten är tillgängliga i något av de testresultatformat som stöds.

  • API:er. Testa resultat som publicerats direkt med hjälp av Test Management-API:erna.

Yttestinformation utanför fliken Tester

Fliken Tester innehåller en detaljerad sammanfattning av testkörningen. Detta är användbart för att spåra kvaliteten på pipelinen samt för felsökningsfel. Azure DevOps innehåller också andra sätt att visa testinformationen:

  • Instrumentpanelen ger insyn i teamets framsteg. Lägg till en eller flera widgetar som yttestar relaterad information:

  • Testanalys ger omfattande insikter om testresultat som mäts under en viss tidsperiod. Det kan hjälpa dig att identifiera problematiska områden i testet genom att tillhandahålla data, till exempel de mest misslyckade testerna med mera.

Visa testresultat i build

Byggsammanfattningen innehåller en tidslinjevy över de nyckelsteg som körs i bygget. Om tester kördes och rapporterades som en del av bygget visas en testmilstolpe i tidslinjevyn. Testmilstolpen innehåller en sammanfattning av testresultaten som ett mått på procent för genomströmning tillsammans med indikatorer för fel och avbrutna om dessa finns.

Visa test i vyn byggtidslinje

Visa testresultat i versionen

I pipelinevyn kan du se alla faser och associerade tester. Vyn innehåller en sammanfattning av testresultaten som ett mått på genomströmningsprocent tillsammans med indikatorer för fel och avbrutna om dessa finns. De här indikatorerna är desamma som i vyn för byggtidslinjen, vilket ger en konsekvent upplevelse i bygg- och lanseringsmiljön.

Visa test i vyn Versionsarbetsyta

Fliken Tester

Både versions- och versionssammanfattningarna innehåller information om testkörningen. Välj Testsammanfattning för att visa informationen på fliken Tester . Den här sidan innehåller följande avsnitt

  • Sammanfattning: innehåller viktiga kvantitativa mått för testkörningen, till exempel totalt antal test, misslyckade tester, procent för pass och mycket mer. Den innehåller också differentiella indikatorer för förändring jämfört med föregående körning.

  • Resultat: visar alla tester som körs och rapporteras som en del av den aktuella versionen eller versionen. Standardvyn visar endast de misslyckade och avbrutna testerna för att fokusera på tester som kräver uppmärksamhet. Du kan dock välja andra resultat med hjälp av de filter som tillhandahålls.

  • Information: En lista över tester som du kan sortera, gruppera, söka efter och filtrera för att hitta de testresultat du behöver.

Fliken Visa tester

Välj en testkörning eller ett resultat för att visa informationsfönstret som visar ytterligare information som krävs för felsökning, till exempel felmeddelande, stackspårning, bifogade filer, arbetsobjekt, historisk trend med mera.

Fliken Visa information

Dricks

Om du använder Visual Studio-testaktiviteten för att köra tester visas diagnostiska utdata som loggats från tester (med någon av metoderna Console.WriteLine, Trace.WriteLine eller TestContext.WriteLine) som en bifogad fil för ett misslyckat test.

Följande funktioner på fliken Tester hjälper dig att förbättra produktiviteten och felsökningen.

Filtrera stora testresultat

Med tiden ackumuleras tester och för stora program kan de enkelt växa till tiotusentals tester. För dessa program med många tester kan det vara svårt att navigera i resultaten för att identifiera testfel, associera rotorsaker eller få ägarskap för problem. Filter gör det enkelt att snabbt navigera till testresultaten av ditt intresse. Du kan filtrera efter testnamn, resultat (misslyckades, godkändes med mera), Testfiler (filer som innehåller tester) och Ägare (för testfiler). Alla filterkriterier är kumulativa till sin natur.

Filtrera stora testresultatuppsättningar

Med flera grupperingsalternativ , till exempel Testkörning, Testfil, Prioritet, Krav med mera, kan du dessutom ordna resultatvyn precis som du behöver.

Testa skuldhantering med buggar

Om du vill hantera din testskuld för misslyckade eller långvariga tester kan du skapa en bugg eller lägga till data i en befintlig bugg och alla visa alla associerade arbetsobjekt på arbetsobjektfliken.

Avancerad felsökningsupplevelse

Felmeddelanden och stackspårningar är långa och behöver tillräckligt med fastigheter för att visa informationen under felsökningen. För att ge en avancerad felsökningsupplevelse kan informationsvyn expanderas till helsidesvyn samtidigt som den fortfarande kan utföra nödvändiga åtgärder i kontexten, till exempel felskapande eller kravassociation för det valda testresultatet.

Helsidespanelsvy

Felsöka data för testfel

För testfelen är felmeddelandena och stackspårningarna tillgängliga för felsökning. Du kan också visa alla bifogade filer som är associerade med testfelet på fliken Bifogade filer .

Testa skuldhantering

Du kan skapa eller lägga till en befintlig bugg för att hantera testskulder för fel eller långvariga tester. Fliken Arbetsobjekt beskriver alla buggar och krav som är associerade med ett test för att hjälpa dig att analysera kravpåverkan samt känna till status och vem som arbetar med felet.

Testkörningens historik kan ge meningsfulla insikter om testernas tillförlitlighet eller prestanda. När du felsöker ett fel är det värdefullt att veta hur ett test har utförts tidigare. Fliken Tester innehåller testhistorik i kontexten med testresultaten. Testhistorikinformationen exponeras på ett progressivt sätt och börjar med den aktuella bygg-pipelinen för andra grenar, eller den aktuella fasen till andra faser, för version respektive lansering.

Visa historiska trender

Visa körning av pågående tester

Tester, till exempel integrerings- och funktionstester, kan köras under lång tid. Därför är det viktigt att se aktuell eller nära realtidsstatus för testkörning vid en viss tidpunkt. Även om testerna körs snabbt är det användbart att känna till statusen för de relevanta testresultaten så tidigt som möjligt. särskilt när fel inträffar. Den pågående vyn eliminerar behovet av att vänta tills testkörningen har slutförts. Resultaten är tillgängliga nästan i realtid när körningen fortskrider, vilket hjälper dig att vidta åtgärder snabbare. Du kan felsöka ett fel, skapa en bugg eller avbryta pipelinen.

Versionsvyn pågår

Kommentar

Funktionen är för närvarande tillgänglig för både build och release, med hjälp av Visual Studio Test-uppgift i ett Multi Agent-jobb. Den kommer att vara tillgänglig för single agent-jobb i en framtida version.

Vyn nedan visar den pågående testsammanfattningen i en version som rapporterar det totala antalet test och antalet testfel vid en viss tidpunkt. Testfelen är tillgängliga för felsökning, skapande av buggar eller för att vidta andra lämpliga åtgärder.

Sammanfattningsvy pågår

Visa sammanfattade testresultat

Under testkörningen kan ett test skapa flera instanser eller tester som bidrar till det övergripande resultatet. Några exempel är tester som körs igen, tester som består av en ordnad kombination av andra tester (ordnade tester) eller tester som har olika instanser baserat på en indataparameter (datadrivna tester).

Eftersom dessa tester är relaterade måste de rapporteras tillsammans med det övergripande resultatet som härleds från de enskilda instanserna eller testerna. Dessa testresultat rapporteras som ett sammanfattat testresultat på fliken Tester :

  • Kör om misslyckade tester: Möjligheten att köra misslyckade tester på nytt är tillgänglig i den senaste versionen av Visual Studio-testuppgiften. Under en omkörning kan flera försök göras för ett misslyckat test, och varje fel kan ha en annan rotorsak på grund av testets icke-deterministiska beteende. Testrapporter ger en kombinerad vy för alla försök till en omkörning, tillsammans med det övergripande testresultatet som en sammanfattad enhet. Dessutom stöder testhanterings-API:erna nu möjligheten att publicera och köra frågor mot sammanfattade testresultat.

    Kör om misslyckade tester

  • Datadrivna tester: Precis som vid omkörning av misslyckade tester rapporteras alla iterationer av datadrivna tester under testet i en sammanfattad vy. Den sammanfattade vyn är också tillgänglig för beställda tester (.orderedtest i Visual Studio).

    Datadrivet test

Kommentar

Mått i avsnittet testsammanfattning, till exempel det totala antalet tester, godkänt, misslyckat eller annat beräknas med hjälp av rotnivån för det sammanfattade testresultatet.

Visa avbrutna tester

Testkörningen kan avbrytas på grund av flera orsaker, till exempel felaktig testkod, fel i källan som testas eller miljöproblem. Oavsett orsaken till avbrottet är det viktigt att kunna diagnostisera beteendet och identifiera rotorsaken. De avbrutna testerna och testkörningarna kan visas tillsammans med slutförda körningar på fliken Tester .

Visa stoppade tester.

Kommentar

Funktionen är för närvarande tillgänglig för både build och release, med hjälp av Visual Studio-testaktiviteten i ett Multi Agent-jobb eller publicering av testresultat med hjälp av Test Management-API:erna. Den kommer att vara tillgänglig för single agent-jobb i en framtida version.

Automatiskt härledda testresultat

Azure DevOps kan automatiskt härleda utdata från tester som körs i dina pipelines för några testramverk som stöds. Dessa automatiskt härledda testrapporter kräver ingen specifik konfiguration av dina pipelines och är ett sätt att komma igång med testrapportering.

Exempel på en automatiskt uppskjuten testrapport

Se listan över löpare för vilka testresultat automatiskt härleds.

Eftersom endast begränsade testmetadata finns i sådana härledda rapporter är de begränsade i funktioner. Följande funktioner är inte tillgängliga för uppskjutna testrapporter:

  • Gruppera testresultaten efter testfil, ägare, prioritet och andra fält
  • Söka efter och filtrera testresultaten
  • Kontrollera information om godkända tester
  • Förhandsgranska eventuella bifogade filer som genereras under testerna i själva webbgränssnittet
  • Associera ett testfel med en ny bugg eller se en lista över associerade arbetsobjekt för det här felet
  • Se build-on-build-analys för testning i Pipelines

Kommentar

Vissa löpare som Mocha har flera inbyggda konsolreportrar som dot-matrix och progress-bar. Om du har konfigurerat en icke-standardkonsolutdata för testkören, eller om du använder en anpassad reporter, kommer Azure DevOps inte att kunna härleda testresultaten. Den kan bara härleda resultatet från standardreportern.

Hjälp och support