Vlokige tests beheren

Azure DevOps Services

De productiviteit voor ontwikkelaars is afhankelijk van de mogelijkheid van tests om op een tijdige en betrouwbare manier echte problemen te vinden met de code die wordt ontwikkeld of bijgewerkt. Flaky tests vormen een belemmering voor het vinden van echte problemen, omdat de fouten vaak geen verband houden met de wijzigingen die worden getest. Een flaky test is een test die verschillende resultaten biedt, zoals slagen of mislukken, zelfs wanneer er geen wijzigingen zijn in de broncode of uitvoeringsomgeving. Flaky tests hebben ook invloed op de kwaliteit van verzonden code.

Notitie

Deze functie is alleen beschikbaar in Azure DevOps Services. Normaal gesproken worden nieuwe functies eerst geïntroduceerd in de cloudservice en vervolgens on-premises beschikbaar gesteld in de volgende primaire versie of update van Azure DevOps Server. Zie Azure DevOps Feature Timeline (Tijdlijn van Azure DevOps-functie) voor meer informatie.

Het doel van vlokig testbeheer in het product is het verminderen van de pijnoorzaak van ontwikkelaars door flaky tests en tegemoet te komen aan de hele werkstroom. Flaky testbeheer biedt de volgende voordelen.

• Detectie : automatische detectie van flaky test met opnieuw uitvoeren of uitbreidbaarheid om uw eigen aangepaste detectiemethode aan te sluiten

• Beheer van flakiness : zodra een test als flaky is gemarkeerd, zijn de gegevens beschikbaar voor alle pijplijnen voor die vertakking

• Rapporteren over vlokige tests : de mogelijkheid om te kiezen of u buildfouten wilt voorkomen die worden veroorzaakt door flaky tests, of de flaky-tag alleen gebruiken voor probleemoplossing

• Oplossing : handmatig fouten maken of handmatig markeren en markeringen verwijderen als flaky op basis van uw analyse

• De lus sluiten - Stel de test opnieuw in als gevolg van foutoplossing/handmatige invoer

Flaky testbeheer inschakelen

Als u flaky testbeheer wilt configureren, kiest u Projectinstellingen en selecteert u Testbeheer in de sectie Pijplijnen .

Schuif de knop Aan/Uit naar Aan.

De standaardinstelling voor alle projecten is het gebruik van flaky tests voor probleemoplossing.

Vlokige testdetectie

Flaky testbeheer ondersteunt systeem- en aangepaste detectie.

• Systeemdetectie: de flaky-detectie in het product maakt gebruik van opnieuw uitgevoerde testgegevens. De detectie vindt plaats via het opnieuw uitvoeren van de vsTest-taak van mislukte tests of het opnieuw proberen van fase in de pijplijn. U kunt specifieke pijplijnen selecteren in het project waarvoor u flaky tests wilt detecteren.

  Notitie

  Zodra een test is gemarkeerd als flaky, zijn de gegevens beschikbaar voor alle pijplijnen voor die vertakking om te helpen bij het oplossen van problemen in elke pijplijn.

• Aangepaste detectie: u kunt uw eigen flaky detectiemechanisme integreren met Azure Pipelines en de rapportagefunctie gebruiken. Met aangepaste detectie moet u de metagegevens van de testresultaten bijwerken voor flaky tests. Zie Test results, Result Meta Data - Update REST API (Testresultaten, resultaat metagegevens - REST API bijwerken) voor meer informatie.

Flaky testopties

De Flaky-testopties geven aan hoe flaky tests beschikbaar zijn in testrapportage en oplossingsmogelijkheden, zoals beschreven in de volgende secties.

Flaky testbeheer en -rapportage

Op de pagina Testbeheer onder Flaky-testopties kunt u opties instellen voor hoe flaky tests worden opgenomen in het testoverzichtsrapport. Flaky testgegevens voor zowel geslaagde als mislukte tests zijn beschikbaar in Testresultaten. Met de tag Flaky kunt u flaky tests identificeren. Standaard worden vlokige tests opgenomen in de testsamenvatting. Als u er echter voor wilt zorgen dat zwakke testfouten niet mislukken in uw pijplijn, kunt u ervoor kiezen deze niet op te nemen in uw testoverzicht en de testfout te onderdrukken. Deze optie zorgt ervoor dat flaky tests (zowel geslaagd als mislukt) worden verwijderd uit het geslaagde percentage en worden weergegeven in Tests niet gerapporteerd, zoals wordt weergegeven in de volgende schermopname.

Notitie

Het testoverzichtsrapport wordt alleen bijgewerkt voor de Visual Studio-testtaak en de taak Testresultaten publiceren. Mogelijk moet u een aangepast script toevoegen om zwakke testfouten voor andere scenario's te onderdrukken.

Tests gemarkeerd als vlok

U kunt een test markeren of de markering ervan opheffen als flaky op basis van analyse of context door Flaky (of UnFlaky, afhankelijk van of de test al is gemarkeerd als vlokig te kiezen.)

Wanneer een test is gemarkeerd als flaky of unflaky in een pijplijn, worden er geen wijzigingen aangebracht in de huidige pijplijn. Alleen bij toekomstige uitvoeringen van die test wordt de gewijzigde flaky-instelling geëvalueerd. Tests die als vlok zijn gemarkeerd, hebben de tag Gemarkeerd vlok in de gebruikersinterface.

Help en ondersteuning

• Zie onze pagina voor probleemoplossing
• Krijg advies over Stack Overflow en krijg ondersteuning via de Ontwikkelaarscommunity

Verwante artikelen:

• Testresultaten evalueren
• Visual Studio Test task (Visual Studio-testtaak)
• Taak Testresultaten publiceren
• Testresultaten, resultatenmetagegevens - REST API bijwerken