Testresultaten evalueren

  • Artikel

Azure DevOps Services | Azure DevOps Server 2022 - Azure DevOps Server 2019

Geautomatiseerde tests kunnen worden geconfigureerd om te worden uitgevoerd als onderdeel van een build of release voor verschillende talen. Testrapporten bieden een effectieve en consistente manier om de testresultaten weer te geven die worden uitgevoerd met behulp van verschillende testframeworks om de kwaliteit van de pijplijn te meten, traceerbaarheid te controleren, fouten op te lossen en eigendom van stationsfouten op te lossen. Daarnaast biedt het veel geavanceerde rapportagemogelijkheden die in de volgende secties worden verkend.

U kunt ook een diepere analyse van testresultaten uitvoeren met behulp van de Analytics-service. Zie Testresultaten analyseren voor een voorbeeld van het gebruik hiervan met uw build- en implementatiepijplijnen.

Lees de woordenlijst om inzicht te hebben in de terminologie van het testrapport.

Gepubliceerde testresultaten kunnen worden weergegeven op het tabblad Tests in een build- of releaseoverzicht.

Surface-testresultaten op het tabblad Tests

Testresultaten kunnen worden weergegeven op het tabblad Tests met een van de volgende opties:

  • Automatisch uitgestelde testresultaten. Standaard kan uw pijplijn de testuitvoer automatisch afleiden voor een paar populaire testlopers. Dit wordt gedaan door de foutenlogboeken die zijn gegenereerd tijdens de buildbewerking te parseren en vervolgens te controleren op handtekeningen van testfouten. Momenteel ondersteunt Azure DevOps de volgende talen en testlopers voor het automatisch uitstellen van de testresultaten:

  • Test uitvoeringstaken. Ingebouwde testuitvoeringstaken zoals Visual Studio Test waarmee testresultaten automatisch naar de pijplijn worden gepubliceerd, of andere, zoals Ant, Maven, Gulp, Grunt en Xcode die deze mogelijkheid bieden als een optie binnen de taak.

  • Testresultaten publiceren. Taak die testresultaten publiceert naar Azure Pipelines of TFS wanneer tests worden uitgevoerd met behulp van uw keuze voor runner, en resultaten zijn beschikbaar in een van de ondersteunde indelingen voor testresultaten.

  • API('s). Testresultaten die rechtstreeks worden gepubliceerd met behulp van de Test Management-API('s).

Informatie over Surface-tests buiten het tabblad Tests

Het tabblad Tests bevat een gedetailleerd overzicht van de testuitvoering. Dit is handig bij het bijhouden van de kwaliteit van de pijplijn en voor het oplossen van fouten. Azure DevOps biedt ook andere manieren om de testinformatie weer te geven:

  • Het dashboard biedt inzicht in de voortgang van uw team. Voeg een of meer widgets toe waarmee gerelateerde informatie over de test wordt weergegeven:

  • Testanalyse biedt uitgebreide inzichten in testresultaten die gedurende een bepaalde periode worden gemeten. Het kan helpen bij het identificeren van problematische gebieden in uw test door gegevens op te geven, zoals de belangrijkste mislukte tests en meer.

Testresultaten weergeven in build

De samenvatting van de build biedt een tijdlijnweergave van de belangrijkste stappen die in de build worden uitgevoerd. Als tests zijn uitgevoerd en gerapporteerd als onderdeel van de build, wordt er een testmijlpal weergegeven in de tijdlijnweergave. De testmijlpal geeft een samenvatting van de testresultaten als een meting van het passpercentage , samen met indicatoren voor fouten en afgebroken indien deze bestaan.

Test weergeven in de tijdlijnweergave van de build

Testresultaten weergeven in release

In de pijplijnweergave ziet u alle fasen en bijbehorende tests. In de weergave ziet u een samenvatting van de testresultaten als een meting van het passpercentage , samen met indicatoren voor fouten en afgebroken indien deze bestaan. Deze indicatoren zijn hetzelfde als in de weergave voor de buildtijdlijn, wat een consistente ervaring biedt voor de build en release.

Test weergeven in de releasecanvasweergave

Tabblad Tests

Zowel de build- als releaseoverzichten bieden details van de testuitvoering. Kies Testoverzicht om de details op het tabblad Tests weer te geven. Deze pagina bevat de volgende secties

  • Samenvatting: biedt belangrijke kwantitatieve metrische gegevens voor de testuitvoering, zoals het totale aantal tests, mislukte tests, het geslaagde percentage en meer. Het biedt ook differentiële indicatoren van wijzigingen vergeleken met de vorige uitvoering.

  • Resultaten: geeft een lijst weer van alle tests die zijn uitgevoerd en gerapporteerd als onderdeel van de huidige build of release. In de standaardweergave worden alleen de mislukte en afgebroken tests weergegeven om te focussen op tests waarvoor aandacht is vereist. U kunt echter andere resultaten kiezen met behulp van de opgegeven filters.

  • Details: Een lijst met tests die u kunt sorteren, groeperen, zoeken en filteren om de gewenste testresultaten te vinden.

Tabblad Tests weergeven

Selecteer een testuitvoering of resultaat om het detailvenster weer te geven met aanvullende informatie die nodig is voor het oplossen van problemen, zoals het foutbericht, stacktracering, bijlagen, werkitems, historische trend en meer.

Tabblad Details weergeven

Tip

Als u de Visual Studio Test-taak gebruikt om tests uit te voeren, wordt de diagnostische uitvoer die is geregistreerd bij tests (met behulp van console.WriteLine, Trace.WriteLine of TestContext.WriteLine) weergegeven als bijlage voor een mislukte test.

De volgende mogelijkheden van het tabblad Tests helpen de productiviteit en probleemoplossing te verbeteren.

Grote testresultaten filteren

In de loop van de tijd worden tests opgebouwd en kunnen voor grote toepassingen eenvoudig worden uitgebreid tot tienduizenden tests. Voor deze toepassingen met zeer veel tests kan het lastig zijn om door de resultaten te navigeren om testfouten te identificeren, hoofdoorzaken te koppelen of eigenaar te worden van problemen. Met filters kunt u snel naar de testresultaten van uw interesse navigeren. U kunt filteren op testnaam, resultaat (mislukt, geslaagd en meer), testbestanden (bestanden met tests) en eigenaar (voor testbestanden). Alle filtercriteria zijn cumulatief van aard.

Grote testresultatenset filteren

Daarnaast kunt u met meerdere groeperingsopties , zoals Testuitvoering, Testbestand, Prioriteit, Vereiste en meer, de weergave Resultaten precies ordenen zoals u dat nodig hebt.

Schuldbeheer testen met bugs

Als u uw testschuld wilt beheren voor mislukte of langdurige tests, kunt u een bug maken of gegevens toevoegen aan bestaande bug en alle gekoppelde werkitems weergeven op het tabblad Werkitem.

Insluitende probleemoplossingservaring

Foutberichten en stacktraceringen zijn lang van aard en hebben voldoende onroerend goed nodig om de details te bekijken tijdens het oplossen van problemen. Om een meeslepende probleemoplossingservaring te bieden, kan de detailweergave worden uitgebreid naar de volledige paginaweergave, terwijl de vereiste bewerkingen nog steeds kunnen worden uitgevoerd in context, zoals het maken van fouten of het koppelen van vereisten voor het geselecteerde testresultaat.

Deelvensterweergave volledige pagina

Problemen met gegevens voor testfouten oplossen

Voor de testfouten zijn de foutberichten en stacktraceringen beschikbaar voor probleemoplossing. U kunt ook alle bijlagen weergeven die zijn gekoppeld aan de testfout op het tabblad Bijlagen .

Schuldbeheer testen

U kunt een bestaande fout maken of toevoegen om de testschuld te beheren voor fouten of langdurige tests. Op het tabblad Werkitems worden alle bugs en vereisten beschreven die zijn gekoppeld aan een test om u te helpen de impact van de vereisten te analyseren, evenals de status van de vereiste en wie aan de fout werkt.

De geschiedenis van de testuitvoering kan zinvolle inzichten bieden in de betrouwbaarheid of prestaties van tests. Bij het oplossen van een fout is het waardevol om te weten hoe een test in het verleden is uitgevoerd. Het tabblad Tests biedt testgeschiedenis in context met de testresultaten. De informatie over de testgeschiedenis wordt geleidelijk weergegeven vanaf de huidige build-pijplijn naar andere vertakkingen, of de huidige fase naar andere fasen, voor respectievelijk build en release.

Historische trends weergeven

Uitvoering van actieve tests weergeven

Tests, zoals integratie en functionele tests, kunnen lange tijd worden uitgevoerd. Daarom is het belangrijk om op elk gewenst moment de huidige of bijna realtime status van de testuitvoering te zien. Zelfs voor gevallen waarin tests snel worden uitgevoerd, is het handig om de status van de relevante testresultaten zo vroeg mogelijk te kennen; met name wanneer er fouten optreden. In de weergave Wordt uitgevoerd hoeft u niet te wachten tot de testuitvoering is voltooid. Resultaten zijn bijna in realtime beschikbaar wanneer de uitvoering vordert, zodat u sneller acties kunt ondernemen. U kunt fouten opsporen in een fout, een fout indienen of de pijplijn afbreken.

De releaseweergave wordt uitgevoerd

Notitie

De functie is momenteel beschikbaar voor zowel build als release, met behulp van visual Studio Test-taak in een taak met meerdere agents. Deze is beschikbaar voor single agent-taken in een toekomstige release.

In de onderstaande weergave ziet u het overzicht van de test in uitvoering in een release, waarin het totale aantal tests en het aantal testfouten op een bepaald tijdstip wordt gerapporteerd. De testfouten zijn beschikbaar voor het oplossen van problemen, het maken van fouten of het uitvoeren van andere geschikte acties.

Overzichtsweergave wordt uitgevoerd

Samengevatte testresultaten weergeven

Tijdens de testuitvoering kan een test meerdere exemplaren of tests opleveren die bijdragen aan het algehele resultaat. Enkele voorbeelden zijn tests die opnieuw worden uitgevoerd, tests die bestaan uit een geordende combinatie van andere tests (geordende tests) of tests met verschillende exemplaren op basis van een invoerparameter (gegevensgestuurde tests).

Omdat deze tests gerelateerd zijn, moeten ze worden gerapporteerd samen met het algehele resultaat dat is afgeleid van de afzonderlijke exemplaren of tests. Deze testresultaten worden gerapporteerd als een samengevat testresultaat op het tabblad Tests :

  • Mislukte tests opnieuw uitvoeren: de mogelijkheid om mislukte tests opnieuw uit te voeren, is beschikbaar in de nieuwste versie van de Visual Studio-testtaak . Tijdens een opnieuw uitvoeren kunnen meerdere pogingen worden uitgevoerd voor een mislukte test en kan elke fout een andere hoofdoorzaak hebben vanwege het niet-deterministische gedrag van de test. Testrapporten bieden een gecombineerde weergave voor alle pogingen van opnieuw uitvoeren, samen met het algehele testresultaat als een samengevatte eenheid. Daarnaast bieden de Test Management-API('s) nu ondersteuning voor de mogelijkheid om samengevatte testresultaten te publiceren en er query's op uit te voeren.

    Mislukte tests opnieuw uitvoeren

  • Gegevensgestuurde tests: net als bij het opnieuw uitvoeren van mislukte tests worden alle iteraties van gegevensgestuurde tests gerapporteerd onder die test in een samengevatte weergave. De samengevatte weergave is ook beschikbaar voor geordende tests (.ordertest in Visual Studio).

    Gegevensgestuurde test

Notitie

Metrische gegevens in de sectie testoverzicht, zoals het totale aantal tests, geslaagd, mislukt of andere, worden berekend met behulp van het hoofdniveau van het samengevatte testresultaat.

Afgebroken tests weergeven

Testuitvoering kan worden afgebroken vanwege verschillende redenen, zoals ongeldige testcode, fouten in de bron onder test of omgevingsproblemen. Ongeacht de reden waarom het afgebroken is, is het belangrijk om het gedrag te kunnen diagnosticeren en de hoofdoorzaak te identificeren. De afgebroken tests en testuitvoeringen kunnen naast de voltooide uitvoeringen worden weergegeven op het tabblad Tests .

Bekijk gestopte tests.

Notitie

De functie is momenteel beschikbaar voor zowel build als release, met behulp van de Visual Studio Test-taak in een taak met meerdere agents of het publiceren van testresultaten met behulp van de Test Management-API('s). Deze is beschikbaar voor single agent-taken in een toekomstige release.

Automatisch uitgestelde testresultaten

Azure DevOps kan automatisch de uitvoer afleiden van tests die in uw pijplijnen worden uitgevoerd voor enkele ondersteunde testframeworks. Deze automatisch uitgestelde testrapporten vereisen geen specifieke configuratie van uw pijplijnen en zijn een zero-effort manier om aan de slag te gaan met testrapportage.

Voorbeeld van een automatisch afgeleid testrapport

Bekijk de lijst met hardlopers waarvoor testresultaten automatisch worden afgeleid.

Aangezien er slechts beperkte testmetagegevens aanwezig zijn in dergelijke uitgestelde rapporten, zijn ze beperkt in functies en mogelijkheden. De volgende functies zijn niet beschikbaar voor uitgestelde testrapporten:

  • De testresultaten groeperen op testbestand, eigenaar, prioriteit en andere velden
  • De testresultaten zoeken en filteren
  • Details van geslaagde tests controleren
  • Bekijk een voorbeeld van bijlagen die zijn gegenereerd tijdens de tests in de webgebruikersinterface zelf
  • Koppel een testfout aan een nieuwe fout of bekijk een lijst met gekoppelde werkitems voor deze fout
  • Zie build-on-build-analyse voor testen in pijplijnen

Notitie

Sommige hardlopers, zoals Mocha, hebben meerdere ingebouwde consolereporters, zoals dot-matrix en voortgangsbalk. Als u een niet-standaardconsole-uitvoer hebt geconfigureerd voor uw testrunner of als u een aangepaste rapporter gebruikt, kan Azure DevOps de testresultaten niet afleiden. De resultaten kunnen alleen worden afgeleid van de standaardrapporteur .

Help en ondersteuning