Köra automatiserade tester från testplaner
Azure DevOps Services | Azure DevOps Server 2022 – Azure DevOps Server 2019
Automatisera testfall i dina testplaner och kör dem direkt från Azure Test Plans. Automatiserade tester ger dig följande fördelar:
- En användarvänlig process för testare som kanske inte är väl bevandrade med att köra tester i bygg- eller versionsarbetsflöden.
- Flexibiliteten att köra valda tester på begäran i stället för schemalagd testning i build- eller versionsarbetsflöden där alla tester som uppfyller filtervillkoren körs.
- Möjligheten att köra om några tester som misslyckades på grund av problem med testinfrastrukturen, eller så har du en ny version som innehåller korrigeringar för misslyckade tester.
Förutsättningar
- Projektåtkomst: Se till att du läggs till i ett projekt.
- Åtkomstnivåer: Se till att du har minst grundläggande åtkomst eller högre.
- Mer information finns i Manuell teståtkomst och behörigheter.
- Du måste också ha följande objekt.
- En testplan som innehåller dina automatiserade tester som är associerade med automatiserade testmetoder med hjälp av Visual Studio 2017 eller Visual Studio 2015 eller tidigare.
- En byggpipeline som genererar byggen som innehåller binärfilerna för test.
- En app som ska testas. Du kan distribuera appen som en del av bygg- och versionsarbetsflödet och även använda den för testning på begäran.
- Behörigheter för att skapa och hantera versioner, redigera en versionsmiljö och hantera distribution. Mer information finns i Versionsbehörigheter.
Konfigurera din miljö
På sidan Testplaner väljer du testplanen, öppnar snabbmenyn och väljer sedan Testplansinställningar.
I dialogrutan Inställningar för testplan väljer du den byggpipeline som genererar versioner som innehåller binärfilerna för test. Du kan sedan välja ett specifikt versionsnummer som ska testas eller låta systemet automatiskt använda den senaste versionen när tester körs.
Du behöver en versionspipeline som har skapats från mallen Kör automatiserade tester från Test Manager för att köra tester från testplaner i Azure-testplaner. Om du har skapat en befintlig versionspipeline med den här mallen väljer du den och väljer sedan den befintliga fasen i versionspipelinen för testkörningen. Annars väljer du Skapa ny i dialogrutan för att skapa en ny versionspipeline som innehåller en enda fas med visual studiotestaktiviteten redan har lagts till.
Hur gör jag för att skicka parametrar till min testkod från en bygg- eller versionspipeline?
Tilldela meningsfulla namn till versionspipelinen och fasen efter behov.
Om Visual Studio redan är installerat på agentdatorn hoppar du över det här steget. Om inte lägger du till uppgiften Visual Studio Test Platform Installer i pipelinedefinitionen.
Lägg till Visual Studio-testaktiviteten i versionspipelinen och konfigurera den på följande sätt:
Kontrollera att version 2 av Visual Studio Test-uppgiften är markerad. Versionsnumret visas i listrutan på panelen för aktivitetsinställningar.
Kontrollera att Välj tester som använder är inställt på Testkörning. Vad betyder den här inställningen?
För inställningen Testplattformsversion väljer du Installerad av verktyg Installer.
Om du har användargränssnittstester som körs på fysiska webbläsare eller tjocka klienter kontrollerar du att agenten är inställd på att köras som en interaktiv process med automatisk loggning aktiverat. Du måste konfigurera en agent så att den körs interaktivt innan du köar bygget eller versionen. Kryssrutan Testmix innehåller användargränssnittstester konfigurerar inte agenten i interaktivt läge automatiskt – används endast som en påminnelse för att konfigurera agenten på rätt sätt för att undvika fel.
Om du kör användargränssnittstester i en huvudlös webbläsare krävs inte den interaktiva processkonfigurationen.
Välj hur testplattformen etableras och vilken version av Visual Studio eller platsen för testplattformen som är installerad på testdatorerna.
Om dina tester behöver indataparametrar som app-URL:er eller databas anslutningssträng väljer du relevant inställningsfil från byggartefakterna. Du kan använda uppgifterna Publicera byggartefakter i bygg-pipelinen för att publicera inställningsfilen på en släppplats om den här filen inte ingår i artefakterna. I följande exempel exponeras program-URL:en i körningsinställningsfilen och åsidosätts för att ange den till en mellanlagrings-URL med inställningen Åsidosätt parametrar för testkörning.
Information om alternativinställningarna för Visual Studio-testaktiviteten finns i Visual Studio Test-uppgift.
Välj agentjobbobjektet och kontrollera att distributionskön är inställd på den som innehåller de datorer där du vill köra testerna. Om dina tester kräver särskilda datorer från agentpoolen kan du lägga till krav som väljs vid körning.
Du kanske kan minimera testtiderna genom att distribuera tester mellan flera agenter genom att ange parallellitet till Flera körningar och ange antalet agenter.
Kommentar
Om du kör användargränssnittstester som CodeUI eller Selenium i fysiska webbläsare som IE, Firefox eller Chrome måste agenten på datorerna köras i interaktivt läge och inte som en tjänst. Mer information.
På sidan Pipeline i versionspipelinen kontrollerar du att bygg-pipelinen som innehåller binärfilerna för test länkar till den här versionspipelinen som en artefaktkälla.
Spara versionspipelinen.
Om du väljer Skapa ny i dialogrutan Testplaninställningar i steg 2 i det här exemplet går du tillbaka till webbläsarsidan som innehåller dina testplansinställningar. I dialogrutan Testplaninställningar väljer du den versionspipeline och fas som du sparade.
Kör de automatiserade testerna
I webbportalen Testplaner öppnar du testplanen och väljer en testsvit som innehåller de automatiserade testerna.
Välj de test(er) som du vill köra, öppna menyn Kör och välj sedan Kör test.
Binärfilerna för testerna måste vara tillgängliga i byggartefakterna som genereras av bygg-pipelinen.
Välj OK för att starta testprocessen. Systemet kontrollerar att endast automatiserade tester väljs (manuella tester ignoreras), validerar fasen för att säkerställa att Visual Studio-testaktiviteten finns och har giltiga inställningar, kontrollerar användarens behörighet att skapa en version för den valda versionspipelinen, skapar en testkörning och utlöser sedan skapandet av en version till den valda fasen.
Välj Visa testkörning för att visa test förloppet och analysera de misslyckade testerna. Testresultat har relevant information för felsökning av misslyckade tester, till exempel felmeddelande, stackspårning, konsolloggar och bifogade filer.
När testkörningen är klar visar sidan Körningar i Azure-testplaner testresultaten. Sidan Kör sammanfattning visar en översikt över körningen.
Det finns en länk till versionen som används för att köra testerna, vilket gör det enkelt att hitta den version som körde testerna om du behöver komma tillbaka senare och analysera resultaten. Använd även den här länken om du vill öppna versionen för att visa versionsloggarna.
Kommentar
Manuellt bifogad fil stöds inte för automatiserade testresultat.
Vilka är de vanliga felscenarier eller problem som jag bör se upp för om mina tester inte körs?
På sidan Testresultat visas resultaten för varje test i testkörningen. Välj ett test för att se felsökningsinformation för misslyckade tester, till exempel felmeddelande, stackspårning, konsolloggar och bifogade filer.
Öppna sidan Testplaner och välj testplanen för att se status för dina tester om testerna uppdateras när testkörningen har slutförts. Välj ett test för att se de senaste testresultaten.
Vanliga frågor
Se följande vanliga frågor och svar om Azure-testplaner.
F: Vilka behörigheter behöver jag för att köra automatiserade tester från Azure-testplaner?
S: Du måste vara projektdeltagare eller ha följande behörigheter:
- Skapa versioner
- Hantera versioner
- Redigera versionssteg
- Hantera distribution
Mer information finns i Versionsbehörigheter.
F: Kan jag åsidosätta bygget eller fasen som angetts på testplansnivå för en specifik instans av testkörningen?
S: Ja, du kan göra detta med hjälp av kommandot Kör med alternativ . Öppna snabbmenyn för testpaketet i den vänstra kolumnen och välj Kör med alternativ.
Ange följande värden i dialogrutan Kör med alternativ och välj sedan OK:
- Testtyp och löpare: Välj Automatiserade tester med hjälp av versionssteget.
- Build: Välj den version som har binärfilerna för test. Testresultaten är associerade med den här versionen.
- Versionspipeline: Välj en pipeline i listan över versionspipelines som kan använda den valda kompileringsartefakten.
- Versionssteg: Välj namnet på fasen som konfigurerats i versionspipelinen.
F: Varför ska du använda versionssteg för att köra tester?
S: Azure Pipelines erbjuder ett övertygande orkestreringsarbetsflöde för att hämta binärfiler för test som artefakter och köra tester. Det här arbetsflödet delar samma begrepp som används i arbetsflödet för schemalagd testning, vilket innebär att användare som kör tester i schemalagt arbetsflöde tycker att det är enkelt att anpassa. till exempel genom att klona en befintlig schemalagd testversionspipeline.
En annan viktig fördel är tillgängligheten för en omfattande uppsättning uppgifter i aktivitetskatalogen som gör att en rad aktiviteter kan utföras före och efter att testerna har körts. Exempel är att förbereda och rensa testdata, skapa och rensa konfigurationsfiler med mera.
F: Hur fungerar valet av "Testkörning" i Visual Studio Test-uppgift version 2?
S: Testhanteringsundersystemet använder testkörningsobjektet för att klara listan över tester som valts för körning. Testuppgiften söker efter testkörningsidentifieraren, extraherar testkörningsinformationen, till exempel container- och testmetodnamnen, kör testerna, uppdaterar testkörningsresultaten och anger de testpunkter som är associerade med testresultaten i testkörningen. Ur ett granskningsperspektiv tillhandahåller Visual Studio-uppgiften en spårning från de historiska versionerna och testkörningsidentifierarna till de tester som skickades för testkörning på begäran.
F: Ska agenten köras i interaktivt läge eller som en tjänst?
S: Om du kör användargränssnittstester som kodat användargränssnitt eller Selenium-tester måste agenten på testdatorerna köras i interaktivt läge med autologon aktiverat, inte som en tjänst, för att agenten ska kunna starta en webbläsare. Om du använder en huvudlös webbläsare som PhantomJS kan agenten köras som en tjänst eller i interaktivt läge. Mer information finns i Skapa och släppa agenter, Distribuera en agent i Windows och Agentpooler.
F: Var hittar jag detaljerad dokumentation om hur man kör Selenium-tester?
S: Se Kom igång med Selenium-testning.
F: Vad händer om jag väljer flera konfigurationer för samma test?
S: Arbetsflödet på begäran är för närvarande inte konfigurationsmedveten.
F: Vad händer om jag behöver ladda ned produktbinärfiler och testa binärfiler från olika versioner? Eller om jag behöver hämta artefakter från en källa som Jenkins?
S: Den aktuella funktionen är optimerad för att en enda teamversion ska testas på begäran med hjälp av ett Azure Pipelines-arbetsflöde. Vi utvärderar stöd för versioner av flera artefakter, inklusive artefakter som inte är Azure Pipelines, till exempel Jenkins, baserat på användarfeedback.
F: Jag har redan en schemalagd testversionspipeline. Kan jag återanvända samma pipeline för att köra test på begäran, eller ska jag skapa en ny pipeline?
S: Vi rekommenderar att du använder en separat versionspipeline och fas för automatiserad testning på begäran från Azure Test Plans eftersom:
Du kanske inte vill distribuera appen varje gång du vill köra några tester på begäran. Schemalagda teststeg konfigureras vanligtvis för att distribuera produkten och sedan köra tester.
Nya versioner utlöses för varje körning på begäran. Om du har många testare som kör några testkörningar på begäran varje dag kan pipelinen för den schemalagda testversionen överbelastas med versioner för dessa körningar, vilket gör det svårt att hitta versioner som utlöser pipelinen som innehåller schemalagd testning och distribution till produktion.
Du kanske vill konfigurera Visual Studio-testuppgiften med en testkörningsidentifierare som indata så att du kan spåra vad som utlöste versionen. Mer information finns i How does selecting "Test run (for on-demand runs)" in the Visual Studio Test task work?.
F: Kan jag utlösa dessa körningar och visa resultaten i Microsoft Test Manager?
S: Nej. Microsoft Test Manager stöder inte körning av automatiserade tester mot Team Foundation-versioner. Det fungerar bara i det webbaserade gränssnittet för Azure Pipelines. Alla nya manuella och automatiserade investeringar i produktutveckling finns i det webbaserade gränssnittet. Ingen ytterligare utveckling planeras för Microsoft Test Manager. Se Vägledning om Användning av Microsoft Test Manager.
F: Jag har flera testare i mitt team. Kan de köra tester från olika testpaket eller testplaner parallellt med samma versionspipeline?
S: De kan använda samma versionspipeline för att utlösa flera testkörningar parallellt om:
Agentpoolen som är associerad med fasen har tillräckligt med agenter för att hantera parallella begäranden. Om tillräckligt många agenter inte är tillgängliga kan körningar fortfarande utlösas men släpper kön för bearbetning tills agenter blir tillgängliga.
Du har tillräckligt med jobb för att aktivera parallella jobb. Mer information finns i Parallella jobb i Azure Pipelines eller Parallella jobb i TFS.
Testarna kör inte samma tester parallellt. Om du gör det kan resultatet skrivas över beroende på körningsordningen.
Om du vill att flera olika testkörningar ska köras parallellt anger du utlösaralternativet för Azure Pipelines-fasen för beteende när flera versioner väntar på att distribueras på följande sätt:
Om programmet stöder tester som körs parallellt från olika källor anger du det här alternativet till Tillåt att flera versioner distribueras samtidigt.
Om programmet inte stöder tester som körs parallellt från olika källor anger du det här alternativet till Tillåt endast en aktiv distribution i taget.
F: Hur gör jag för att skicka parametrar till min testkod från en bygg- eller versionspipeline?
S: Använd en runsettings-fil för att skicka värden som parametrar till testkoden. I en version som till exempel innehåller flera steg kan du skicka lämplig app-URL till var och en av testuppgifterna i var och en. Filen runsettings och matchande parametrar måste anges i Visual Studio-testaktiviteten.
F: Vilka är de typiska felscenarier eller problem som jag bör se upp för om mina tester inte körs?
S: Kontrollera och lösa problem på följande sätt:
Versionspipelinen och fasen där jag vill köra tester visas inte när jag har valt versionen.
- Kontrollera att bygg-pipelinen som genererar bygget är länkad som den primära artefakten på fliken Artefakter i versionspipelinen.
Jag får ett felmeddelande om att jag inte har tillräcklig behörighet för att utlösa en version.
- Konfigurera behörigheterna Skapa versioner och Hantera distributioner för användaren på menyn Säkerhet i versionspipelinen. Se Versionsbehörigheter.
Jag får ett felmeddelande om att inga automatiserade tester hittades.
Mina tester har inte körs och jag misstänker att versionspipelinen är felaktig.
- Använd länken på sidan Kör sammanfattning för att komma åt versionsinstansen som används för att köra testerna och visa versionsloggarna.
Mina tester går in i feltillståndet eller förblir "pågående" även efter att lanseringen till fasen har utlösts.
- Kontrollera om den versionsfas som du har valt har rätt uppgift och version markerad. Du måste använda version 2 eller senare av Visual Studio-testuppgiften. Version 1 av uppgiften och aktiviteten Kör funktionella tester stöds inte.