Megosztás a következőn keresztül:


VSTest@2 – Visual Studio Test v2 feladat

Ezzel a feladattal egység- és funkcionális teszteket (Selenium, Appium, Coded UI-teszt stb.) futtathat a Visual Studio Test (VSTest) futójával. Futtathat Visual Studio tesztadapterrel rendelkező tesztelési keretrendszereket. Ilyen keretrendszerek például az MSTest, az xUnit, az NUnit, a Chutzpah (a QUnit, a Mocha és a Jasmine használatával végzett JavaScript-tesztekhez) stb. A teszteket több ügynökön is el lehet osztani ezzel a feladattal.

Megjegyzés

A feladatnak van egy újabb verziója. VSTest@3 feladat legújabb verziója, és a folyamatokban kell használni.

Megjegyzés

A VSTest Azure-feladat a VSTest-platformra jellemző. Nem támogatja az újabb Microsoft.Testing.Platform (MTP) verziót.

Szinopszis

# Visual Studio Test v2
# Build, test, package, or publish a .NET application, or run a custom .NET CLI command.
- task: VSTest@2
  inputs:
  # Test selection
    testSelector: 'testAssemblies' # 'testAssemblies' | 'testPlan' | 'testRun'. Required. Select tests using. Default: testAssemblies.
    testAssemblyVer2: # string. Required when testSelector = testAssemblies. Test files. 
    #testPlan: # string. Required when testSelector = testPlan. Test plan. 
    #testSuite: # string. Required when testSelector = testPlan. Test suite. 
    #testConfiguration: # string. Required when testSelector = testPlan. Test configuration. 
    #tcmTestRun: '$(test.RunId)' # string. Optional. Use when testSelector = testRun. Test Run. Default: $(test.RunId).
    searchFolder: '$(System.DefaultWorkingDirectory)' # string. Required. Search folder. Default: $(System.DefaultWorkingDirectory).
    #resultsFolder: '$(Agent.TempDirectory)\TestResults' # string. Test results folder. Default: $(Agent.TempDirectory)\TestResults.
    #testFiltercriteria: # string. Optional. Use when testSelector = testAssemblies. Test filter criteria. 
    #runOnlyImpactedTests: False # boolean. Optional. Use when testSelector = testAssemblies. Run only impacted tests. Default: False.
    #runAllTestsAfterXBuilds: '50' # string. Optional. Use when testSelector = testAssemblies && runOnlyImpactedTests = true. Number of builds after which all tests should be run. Default: 50.
    #uiTests: false # boolean. Test mix contains UI tests. Default: false.
  # Execution options
    #vstestLocationMethod: 'version' # 'version' | 'location'. Select test platform using. Default: version.
    #vsTestVersion: 'latest' # 'latest' | '17.0' | '16.0' | '15.0' | '14.0' | 'toolsInstaller'. Optional. Use when vstestLocationMethod = version. Test platform version. Default: latest.
    #vstestLocation: # string. Optional. Use when vstestLocationMethod = location. Path to vstest.console.exe. 
    #runSettingsFile: # string. Settings file. 
    #overrideTestrunParameters: # string. Override test run parameters. 
    #pathtoCustomTestAdapters: # string. Path to custom test adapters. 
    #runInParallel: False # boolean. Run tests in parallel on multi-core machines. Default: False.
    #runTestsInIsolation: False # boolean. Run tests in isolation. Default: False.
    #codeCoverageEnabled: False # boolean. Code coverage enabled. Default: False.
    #otherConsoleOptions: # string. Other console options. 
    #diagnosticsEnabled: false # boolean. Collect advanced diagnostics in case of catastrophic failures. Default: false.
    #collectDumpOn: 'onAbortOnly' # 'onAbortOnly' | 'always' | 'never'. Optional. Use when diagnosticsEnabled = true. Collect process dump and attach to test run report. Default: onAbortOnly.
    #rerunFailedTests: False # boolean. Rerun failed tests. Default: False.
    #rerunType: 'basedOnTestFailurePercentage' # 'basedOnTestFailurePercentage' | 'basedOnTestFailureCount'. Optional. Use when rerunFailedTests = true. Do not rerun if test failures exceed specified threshold. Default: basedOnTestFailurePercentage.
    #rerunFailedThreshold: '30' # string. Optional. Use when rerunFailedTests = true && rerunType = basedOnTestFailurePercentage. % failure. Default: 30.
    #rerunFailedTestCasesMaxLimit: '5' # string. Optional. Use when rerunFailedTests = true && rerunType = basedOnTestFailureCount. # of failed tests. Default: 5.
    #rerunMaxAttempts: '3' # string. Optional. Use when rerunFailedTests = true. Maximum # of attempts. Default: 3.
  # Advanced execution options
    #distributionBatchType: 'basedOnTestCases' # 'basedOnTestCases' | 'basedOnExecutionTime' | 'basedOnAssembly'. Batch tests. Default: basedOnTestCases.
    #batchingBasedOnAgentsOption: 'autoBatchSize' # 'autoBatchSize' | 'customBatchSize'. Optional. Use when distributionBatchType = basedOnTestCases. Batch options. Default: autoBatchSize.
    #customBatchSizeValue: '10' # string. Required when distributionBatchType = basedOnTestCases && batchingBasedOnAgentsOption = customBatchSize. Number of tests per batch. Default: 10.
    #batchingBasedOnExecutionTimeOption: 'autoBatchSize' # 'autoBatchSize' | 'customTimeBatchSize'. Optional. Use when distributionBatchType = basedOnExecutionTime. Batch options. Default: autoBatchSize.
    #customRunTimePerBatchValue: '60' # string. Required when distributionBatchType = basedOnExecutionTime && batchingBasedOnExecutionTimeOption = customTimeBatchSize. Running time (sec) per batch. Default: 60.
    #dontDistribute: False # boolean. Replicate tests instead of distributing when multiple agents are used in the job. Default: False.
  # Reporting options
    #testRunTitle: # string. Test run title. 
    #platform: # string. Build platform. 
    #configuration: # string. Build configuration. 
    #publishRunAttachments: true # boolean. Upload test attachments. Default: true.
    #failOnMinTestsNotRun: False # boolean. Fail the task if a minimum number of tests are not run. Default: False.
    #minimumExpectedTests: '1' # string. Optional. Use when failOnMinTestsNotRun = true. Minimum # of tests. Default: 1.
# Visual Studio Test v2
# Build, test, package, or publish a .NET application, or run a custom .NET CLI command.
- task: VSTest@2
  inputs:
  # Test selection
    testSelector: 'testAssemblies' # 'testAssemblies' | 'testPlan' | 'testRun'. Required. Select tests using. Default: testAssemblies.
    testAssemblyVer2: # string. Required when testSelector = testAssemblies. Test files. 
    #testPlan: # string. Required when testSelector = testPlan. Test plan. 
    #testSuite: # string. Required when testSelector = testPlan. Test suite. 
    #testConfiguration: # string. Required when testSelector = testPlan. Test configuration. 
    #tcmTestRun: '$(test.RunId)' # string. Optional. Use when testSelector = testRun. Test Run. Default: $(test.RunId).
    searchFolder: '$(System.DefaultWorkingDirectory)' # string. Required. Search folder. Default: $(System.DefaultWorkingDirectory).
    #resultsFolder: '$(Agent.TempDirectory)\TestResults' # string. Test results folder. Default: $(Agent.TempDirectory)\TestResults.
    #testFiltercriteria: # string. Optional. Use when testSelector = testAssemblies. Test filter criteria. 
    #runOnlyImpactedTests: False # boolean. Optional. Use when testSelector = testAssemblies. Run only impacted tests. Default: False.
    #runAllTestsAfterXBuilds: '50' # string. Optional. Use when testSelector = testAssemblies && runOnlyImpactedTests = true. Number of builds after which all tests should be run. Default: 50.
    #uiTests: false # boolean. Test mix contains UI tests. Default: false.
  # Execution options
    #vstestLocationMethod: 'version' # 'version' | 'location'. Select test platform using. Default: version.
    #vsTestVersion: 'latest' # 'latest' | '16.0' | '15.0' | '14.0' | 'toolsInstaller'. Optional. Use when vstestLocationMethod = version. Test platform version. Default: latest.
    #vstestLocation: # string. Optional. Use when vstestLocationMethod = location. Path to vstest.console.exe. 
    #runSettingsFile: # string. Settings file. 
    #overrideTestrunParameters: # string. Override test run parameters. 
    #pathtoCustomTestAdapters: # string. Path to custom test adapters. 
    #runInParallel: False # boolean. Run tests in parallel on multi-core machines. Default: False.
    #runTestsInIsolation: False # boolean. Run tests in isolation. Default: False.
    #codeCoverageEnabled: False # boolean. Code coverage enabled. Default: False.
    #otherConsoleOptions: # string. Other console options. 
    #diagnosticsEnabled: false # boolean. Collect advanced diagnostics in case of catastrophic failures. Default: false.
    #collectDumpOn: 'onAbortOnly' # 'onAbortOnly' | 'always' | 'never'. Optional. Use when diagnosticsEnabled = true. Collect process dump and attach to test run report. Default: onAbortOnly.
    #rerunFailedTests: False # boolean. Rerun failed tests. Default: False.
    #rerunType: 'basedOnTestFailurePercentage' # 'basedOnTestFailurePercentage' | 'basedOnTestFailureCount'. Optional. Use when rerunFailedTests = true. Do not rerun if test failures exceed specified threshold. Default: basedOnTestFailurePercentage.
    #rerunFailedThreshold: '30' # string. Optional. Use when rerunFailedTests = true && rerunType = basedOnTestFailurePercentage. % failure. Default: 30.
    #rerunFailedTestCasesMaxLimit: '5' # string. Optional. Use when rerunFailedTests = true && rerunType = basedOnTestFailureCount. # of failed tests. Default: 5.
    #rerunMaxAttempts: '3' # string. Optional. Use when rerunFailedTests = true. Maximum # of attempts. Default: 3.
  # Advanced execution options
    #distributionBatchType: 'basedOnTestCases' # 'basedOnTestCases' | 'basedOnExecutionTime' | 'basedOnAssembly'. Batch tests. Default: basedOnTestCases.
    #batchingBasedOnAgentsOption: 'autoBatchSize' # 'autoBatchSize' | 'customBatchSize'. Optional. Use when distributionBatchType = basedOnTestCases. Batch options. Default: autoBatchSize.
    #customBatchSizeValue: '10' # string. Required when distributionBatchType = basedOnTestCases && batchingBasedOnAgentsOption = customBatchSize. Number of tests per batch. Default: 10.
    #batchingBasedOnExecutionTimeOption: 'autoBatchSize' # 'autoBatchSize' | 'customTimeBatchSize'. Optional. Use when distributionBatchType = basedOnExecutionTime. Batch options. Default: autoBatchSize.
    #customRunTimePerBatchValue: '60' # string. Required when distributionBatchType = basedOnExecutionTime && batchingBasedOnExecutionTimeOption = customTimeBatchSize. Running time (sec) per batch. Default: 60.
    #dontDistribute: False # boolean. Replicate tests instead of distributing when multiple agents are used in the job. Default: False.
  # Reporting options
    #testRunTitle: # string. Test run title. 
    #platform: # string. Build platform. 
    #configuration: # string. Build configuration. 
    #publishRunAttachments: true # boolean. Upload test attachments. Default: true.
    #failOnMinTestsNotRun: False # boolean. Fail the task if a minimum number of tests are not run. Default: False.
    #minimumExpectedTests: '1' # string. Optional. Use when failOnMinTestsNotRun = true. Minimum # of tests. Default: 1.

Bemenetek

testSelector - Tesztek kiválasztása a használatával
string. Szükséges. Engedélyezett értékek: testAssemblies (Tesztszerelvények), testPlan (Tesztterv), testRun (Tesztfuttatás). Alapértelmezett érték: testAssemblies.

  • tesztszerelvény: Egy vagy több tesztszerelvényt határoz meg, amelyek tartalmazzák a teszteket. Megadhat egy szűrőfeltételeket, amelyek csak adott teszteket jelölnek ki.
  • tesztcsomag: Olyan teszteket futtat a teszttervből, amelyekhez egy automatizált tesztelési módszer van társítva. Ha többet szeretne megtudni arról, hogyan társíthat teszteket egy teszteset munkaeleméhez, olvassa el Automatizált tesztek társítása tesztesetekkel.
  • Tesztfuttatás: Akkor használja ezt a beállítást, ha olyan környezetet állít be, amely tesztcsomagokból futtat teszteket. Ez a beállítás nem használható tesztek folyamatos integrációs/folyamatos üzembe helyezési (CI/CD) folyamatban való futtatásakor.

testAssemblyVer2 - fájlok tesztelése
string. testSelector = testAssembliesesetén kötelező. Alapértelmezett érték: **\bin\**\*test.dll\n**\bin\**\*tests.dll.

Teszteket futtat a megadott fájlokból. A rendezett tesztek és webtesztek a .orderedtest és .webtest fájlok megadásával futtathatók. A .webtestfuttatásához a Visual Studio 2017 4- vagy újabb frissítésére van szükség. A fájl elérési útjai a keresési mappához képest vannak. Ez a bemenet több sornyi minimatch mintát támogat.

# Example
- task: VSTest@2
  inputs:
    testSelector: 'testAssemblies'
    testAssemblyVer2: |
      **\*test*.dll
      !**\*TestAdapter.dll
      !**\obj\**

testAssemblyVer2 - fájlok tesztelése
string. testSelector = testAssembliesesetén kötelező. Alapértelmezett érték: **\*test*.dll\n!**\*TestAdapter.dll\n!**\obj\**.

Teszteket futtat a megadott fájlokból. A rendezett tesztek és webtesztek a .orderedtest és .webtest fájlok megadásával futtathatók. A .webtestfuttatásához a Visual Studio 2017 4- vagy újabb frissítésére van szükség. A fájl elérési útjai a keresési mappához képest vannak. Ez a bemenet több sornyi minimatch mintát támogat.

# Example
- task: VSTest@2
  inputs:
    testSelector: 'testAssemblies'
    testAssemblyVer2: |
      **\*test*.dll
      !**\*TestAdapter.dll
      !**\obj\**

testPlan - tesztelési terv
string. testSelector = testPlanesetén kötelező.

Olyan tesztcsomagot határoz meg, amely automatizált tesztesetekkel rendelkező tesztcsomagokat tartalmaz.


testSuite - Tesztcsomag
string. testSelector = testPlanesetén kötelező.

Egy vagy több, automatizált teszteseteket tartalmazó tesztcsomagot határoz meg. A teszteset munkaelemeit egy automatizált vizsgálati módszerhez kell társítani.


testConfiguration - konfigurációs tesztelése
string. testSelector = testPlanesetén kötelező.

Megadja a tesztkonfigurációt.


tcmTestRun - tesztfuttatási
string. Opcionális. Használja a testSelector = testRun. Alapértelmezett érték: $(test.RunId).

A tesztfuttatáson alapuló kiválasztást adja meg, amelyet az automatikus tesztfuttatások tesztcsomagokaktiválásakor használ. Ez a beállítás nem használható a CI/CD-folyamat tesztjeinek futtatásához.


searchFolder - Keresési mappa
string. Szükséges. Alapértelmezett érték: $(System.DefaultWorkingDirectory).

Megadja a tesztszerelvények kereséséhez szükséges mappát.


resultsFolder - Teszteredmények mappa
string. Alapértelmezett érték: $(Agent.TempDirectory)\TestResults.

Megadja a teszteredmények tárolására használt mappát. Az alapértelmezett könyvtár használatakor a rendszer a folyamatfuttatás végén megtisztítja azt. Az eredmények könyvtára mindig a vstest feladat elején lesz eltávolítva a tesztek futtatása előtt. Ha meg van adva a relatív mappa elérési útja, akkor a rendszer a $(Agent.TempDirectory).


testFiltercriteria - szűrőfeltételek tesztelése
string. Opcionális. Használja a testSelector = testAssemblies.

A tesztszerelvények tesztjeinek szűrésére vonatkozó további feltételeket határoz meg. Például: Priority=1|Name=MyTestMethod. További információ parancssori beállításokról.


runOnlyImpactedTests - Csak az érintett tesztek futtatása
boolean. Opcionális. Használja a testSelector = testAssemblies. Alapértelmezett érték: False.

Automatikusan megadja és futtatja a kódmódosítás ellenőrzéséhez szükséges teszteket. További információ a teszthatás-elemzésihasználatáról.


runAllTestsAfterXBuilds - Buildek száma, amelyek után az összes tesztet futtatni kell
string. Opcionális. Használja a testSelector = testAssemblies && runOnlyImpactedTests = true. Alapértelmezett érték: 50.

Megadja az összes teszt automatikus futtatása előtt végrehajtandó buildek számát. A Test Impact Analysis tárolja a tesztelési esetek és a forráskód közötti leképezést. Javasoljuk, hogy az összes teszt rendszeres futtatásával újragenerálja a leképezést.


uiTests - Teszt mix felhasználói felületi teszteket tartalmaz
boolean. Alapértelmezett érték: false.

Felhasználói felületi tesztek futtatásához győződjön meg arról, hogy az ügynök interaktív módban fut,autologon engedélyezve van. Az ügynök interaktív futtatásának beállítását a build/kiadás várólistára helyezése előtt kell elvégezni. A jelölőnégyzet bejelölése nem konfigurálja automatikusan az ügynököt interaktív módban. Ez a beállítás emlékeztetőként szolgál az ügynök megfelelő konfigurálására a hibák elkerülése érdekében. A VS 2015- és 2017-készletekben tárolt Windows-ügynökök felhasználói felületi tesztek futtatására használhatók.


vstestLocationMethod - Tesztplatform kiválasztása
string. Engedélyezett értékek: version, location (Adott hely). Alapértelmezett érték: version.

Meghatározza a használni kívánt tesztplatformot.


vsTestVersion - platformverzió tesztelése
string. Opcionális. Használja a vstestLocationMethod = version. Engedélyezett értékek: latest, 17.0 (Visual Studio 2022), 16.0 (Visual Studio 2019), 15.0 (Visual Studio 2017), 14.0 (Visual Studio 2015), toolsInstaller (a Tools Installer telepítette). Alapértelmezett érték: latest.

A Használni kívánt Visual Studio-teszt verzióját adja meg. Ha legújabb van megadva, ez a bemenet a telepített legújabb verziót (az engedélyezett értékek listájából) választja ki. Ha anélkül szeretne teszteket futtatni, hogy a Visual Studio szükséges az ügynökön, használja a Az eszközök telepítője lehetőséget. Ügyeljen arra, hogy a Visual Studio Test Platform Installer feladatot is belefoglalja a tesztplatform NuGetből való beszerzéséhez.


vsTestVersion - platformverzió tesztelése
string. Opcionális. Használja a vstestLocationMethod = version. Engedélyezett értékek: latest, 16.0 (Visual Studio 2019), 15.0 (Visual Studio 2017), 14.0 (Visual Studio 2015), toolsInstaller (a Tools Installer telepítése). Alapértelmezett érték: latest.

A Használni kívánt Visual Studio-teszt verzióját adja meg. Ha legújabb van megadva, ez a bemenet a telepített legújabb verziót (az engedélyezett értékek listájából) választja ki. Ha anélkül szeretne teszteket futtatni, hogy a Visual Studio szükséges az ügynökön, használja a Az eszközök telepítője lehetőséget. Ügyeljen arra, hogy a Visual Studio Test Platform Installer feladatot is belefoglalja a tesztplatform NuGetből való beszerzéséhez.


vstestLocation - elérési út a vstest.console.exe
string. Opcionális. Használja a vstestLocationMethod = location.

Megadja a VSTest elérési útját.


runSettingsFile - Beállítások fájl
string.

Megadja a tesztekkel használni kívánt runsettings vagy testsettings fájl elérési útját. A Visual Studio 15.7-ben és újabb verzióiban használja a runsettings minden teszttípushoz. További információ .testsettings fájlok .runsettings fájllá alakításáról.


overrideTestrunParameters - tesztfuttatási paraméterek felülbírálása
string.

Felülbírálja egy TestRunParameters fájl runsettings szakaszában vagy egy Properties fájl testsettings szakaszában definiált paramétereket. Például: -key1 value1 -key2 value2. Megjegyzés:testsettings fájlban megadott tulajdonságok a TestContext keresztül érhetők el a Visual Studio 2017 használatával (4. vagy újabb frissítés).


pathtoCustomTestAdapters - egyéni tesztadapter elérési útja
string.

Megadja az egyéni tesztadapterekhez vezető könyvtár elérési útját. A rendszer automatikusan felderíti azokat az adaptereket, amelyek ugyanabban a mappában találhatók, mint a tesztszerelvények.


runInParallel - Tesztek párhuzamos futtatása többmagos gépeken
boolean. Alapértelmezett érték: False.

Ha trueértékre van állítva, a tesztek párhuzamosan futnak, és kihasználják a gép rendelkezésre álló magjait. Ez felülbírálja a MaxCpuCount, ha a runsettings fájlban van megadva. További információ a tesztek párhuzamos futtatásáról.


runTestsInIsolation - Tesztek futtatása elkülönítve
boolean. Alapértelmezett érték: False.

A teszteket izolált folyamatban futtatja. Ez valószínűleg kevesebb hibát okoz a vstest.console.exe tesztfolyamatban, de a tesztek lassabban futnak. Ez a beállítás jelenleg nem használható a többügynök-feladat beállításával való futtatáskor.


codeCoverageEnabled - kódlefedettség engedélyezett
boolean. Alapértelmezett érték: False.

A tesztfuttatás kódlefedettségi adatait gyűjti össze.


otherConsoleOptions - Egyéb konzolbeállítások
string.

Egyéb konzolbeállítások, amelyek átadhatók vstest.console.exe.

Ezek a beállítások nem támogatottak, és figyelmen kívül lesznek hagyva, amikor egy ügynökfeladat többügynök párhuzamos beállításával futtat teszteket, amikor teszteket futtat a Tesztcsomag vagy Tesztfuttatási beállítással, vagy ha egyéni kötegelési beállítás van kiválasztva. A beállításokat ehelyett egy beállításfájllal adhatja meg.


distributionBatchType - Batch-tesztek
string. Megengedett értékek: basedOnTestCases (a tesztek és ügynökök száma alapján), basedOnExecutionTime (A tesztek korábbi futási ideje alapján), basedOnAssembly (tesztszerelvények alapján). Alapértelmezett érték: basedOnTestCases.

A köteg tesztek csoportja. Egy tesztköteg egyszerre futtatja a teszteket, és az eredmények közzé lesznek téve a köteghez. Ha a feladat, amelyben a feladat fut, több ügynök használatára van beállítva, minden ügynök felveszi az elérhető tesztkötegeket, hogy párhuzamosan fussanak. A köteg futtatható:

a tesztek és ügynökök száma alapján. Egyszerű kötegelés a tesztfuttatásban részt vevő tesztek és ügynökök száma alapján.

a tesztek korábbi futási ideje alapján. Ez a kötegelés figyelembe veszi az elmúlt futási időt olyan tesztkötegek létrehozásához, ahol az egyes kötegek futási ideje körülbelül egyenlő.

a tesztszerelvények alapján. Egy szerelvény tesztjei össze vannak kötegelve.


batchingBasedOnAgentsOption - Batch-beállítások
string. Opcionális. Használja a distributionBatchType = basedOnTestCases. Engedélyezett értékek: autoBatchSize (a köteg méretének automatikus meghatározása), customBatchSize (Kötegméret megadása). Alapértelmezett érték: autoBatchSize.

Egyszerű kötegelést határoz meg a tesztfuttatásban részt vevő tesztek és ügynökök száma alapján. A kötegméret automatikus meghatározásakor minden köteg (total number of tests / number of agents) teszteket tartalmaz. Ha a kötegméret meg van adva, minden köteg a megadott számú tesztet tartalmazza.


customBatchSizeValue - Tesztek száma kötegenként
string. distributionBatchType = basedOnTestCases && batchingBasedOnAgentsOption = customBatchSizeesetén kötelező. Alapértelmezett érték: 10.

Megadja a köteg méretét.


batchingBasedOnExecutionTimeOption - Batch-beállítások
string. Opcionális. Használja a distributionBatchType = basedOnExecutionTime. Engedélyezett értékek: autoBatchSize (a köteg idő automatikus meghatározása), customTimeBatchSize (A kötegenkénti futási idő megadása). Alapértelmezett érték: autoBatchSize.

Ez a kötegelés a korábbi futási időket tekinti át olyan tesztkötegek létrehozásához, ahol az egyes kötegek futási ideje körülbelül egyenlő. A gyorstesztek kötegelve lesznek, míg a hosszabb ideig futó tesztek külön köteghez tartozhatnak. Ha ezt a beállítást használja a többügynök-feladat beállításával, a teljes tesztelési idő minimálisra csökken.


customRunTimePerBatchValue - futási idő (mp) kötegenként
string. distributionBatchType = basedOnExecutionTime && batchingBasedOnExecutionTimeOption = customTimeBatchSizeesetén kötelező. Alapértelmezett érték: 60.

A kötegenkénti futási időt (másodpercben) adja meg.


dontDistribute - Tesztek replikálása ahelyett, hogy több ügynököt használnak a feladatban
boolean. Alapértelmezett érték: False.

Ha ezt a lehetőséget választja, nem osztja el a teszteket az ügynökök között, ha a feladat többügynök-feladatban fut. A kiválasztott teszt(ek) minden ügynökön meg lesznek ismételve. Ez a beállítás nem alkalmazható, ha az ügynökfeladat úgy van konfigurálva, hogy párhuzamosság nélkül vagy a többkonfigurációs beállítással fusson.


testRunTitle - tesztelési cím
string.

Megadja a tesztfuttatás nevét.


platform - Platform létrehozása
string.

Meghatározza azt a buildplatformot, amelyen a teszteket jelenteni kell. Ha definiált egy változót a platformhoz a buildelési feladatban, használja ezt a bemenetet.


configuration - Buildkonfigurációs
string.

Megadja azt a buildkonfigurációt, amely alapján a teszteket jelenteni kell. Ha definiált egy konfigurációs változót a buildelési feladatban, használja ezt a bemenetet.


publishRunAttachments - Tesztmellékletek feltöltése
boolean. Alapértelmezett érték: true.

A futtatási szintű mellékletek közzétételének engedélyezése vagy letiltása.


failOnMinTestsNotRun - Sikertelen a feladat, ha nem fut minimális számú teszt.
boolean. Alapértelmezett érték: False.

A feladat meghiúsul, ha a tesztek minimális száma nem fut. Ez akkor lehet hasznos, ha a tevékenységbemenetek vagy az alapul szolgáló tesztadapter-függőségek módosítása csak a kívánt tesztek egy részhalmazához vezet.


minimumExpectedTests - tesztek minimális száma
string. Opcionális. Használja a failOnMinTestsNotRun = true. Alapértelmezett érték: 1.

Megadja a feladat sikeres végrehajtásához futtatandó tesztek minimális számát. A végrehajtott tesztek teljes összegét az átadott, sikertelen és megszakított tesztek összegeként számítja ki a rendszer.


diagnosticsEnabled - Speciális diagnosztikák gyűjtése katasztrofális hibák esetén
boolean. Alapértelmezett érték: false.

Diagnosztikai adatokat gyűjt a katasztrofális hibák, például a teszt összeomlásának elhárításához. Ha ez a beállítás be van jelölve, a rendszer létrehoz egy sorozat xml-fájlt, és csatolja a tesztfuttatáshoz. A szekvenciafájl információkat tartalmaz arról a sorozatról, amelyben a tesztek futottak, így lehetséges bűnösségi teszt azonosítható.


collectDumpOn - Folyamatkép összegyűjtése és csatolás a tesztfuttatási jelentéshez
string. Opcionális. Használja a diagnosticsEnabled = true. Engedélyezett értékek: onAbortOnly (csak megszakítással), always, never. Alapértelmezett érték: onAbortOnly.

Gyűjt egy mini memóriaképet, amely további elemzésekhez használható.

  • onAbortOnly – a rendszer csak akkor gyűjt mini memóriaképet, ha a tesztfuttatás megszakad.
  • Always – a rendszer mindig gyűjt egy mini memóriaképet, függetlenül attól, hogy a tesztfuttatás befejeződik-e.
  • Soha – a rendszer nem gyűjt mini memóriaképet, függetlenül attól, hogy a tesztfuttatás befejeződik-e.

rerunFailedTests - sikertelen tesztek újrafuttatása
boolean. Alapértelmezett érték: False.

A sikertelen tesztek újrafuttatása mindaddig, amíg el nem érik a kísérletek maximális számát.


rerunType - Ne futtassa újra, ha a tesztelési hibák túllépik a megadott küszöbértéket
string. Opcionális. Használja a rerunFailedTests = true. Engedélyezett értékek: basedOnTestFailurePercentage (% hiba), basedOnTestFailureCount (a sikertelen tesztek száma). Alapértelmezett érték: basedOnTestFailurePercentage.

Elkerüli a tesztek újrafuttatását, ha a hibaarány átlépi a megadott küszöbértéket. Ez akkor alkalmazható, ha a környezeti problémák súlyos hibákhoz vezetnek. Küszöbértékként megadhatja a hibák százalékos arányát vagy a sikertelen tesztek számát.


rerunFailedThreshold - % hiba
string. Opcionális. Használja a rerunFailedTests = true && rerunType = basedOnTestFailurePercentage. Alapértelmezett érték: 30.

Elkerüli a tesztek újrafuttatását, ha a sikertelen tesztelési esetek százalékos aránya átlépi a megadott küszöbértéket. Ez akkor alkalmazható, ha a környezeti problémák súlyos hibákhoz vezetnek.


rerunFailedTestCasesMaxLimit - sikertelen tesztek száma
string. Opcionális. Használja a rerunFailedTests = true && rerunType = basedOnTestFailureCount. Alapértelmezett érték: 5.

Elkerüli a tesztek újrafuttatását, ha a sikertelen tesztelési esetek száma túllépi a megadott korlátot. Ez akkor alkalmazható, ha a környezeti problémák súlyos hibákhoz vezetnek.


rerunMaxAttempts - kísérletek maximális száma
string. Opcionális. Használja a rerunFailedTests = true. Alapértelmezett érték: 3.

Meghatározza, hogy a sikertelen teszteket legfeljebb hány alkalommal kell megismételni. Ha egy teszt a kísérletek maximális számának elérése előtt megy át, a rendszer nem futtatja újra.


Feladatvezérlési lehetőségek

Minden feladathoz tartoznak vezérlési lehetőségek is a feladat bemenetei mellett. További információ: Vezérlők és gyakori feladattulajdonságok.

Kimeneti változók

Nincs.

Megjegyzések

Megjegyzés

A feladatnak van egy újabb verziója. VSTest@3 feladat legújabb verziója, és a folyamatokban kell használni.

Ezzel a feladattal egység- és funkcionális teszteket (Selenium, Appium, Coded UI-teszt stb.) futtathat a Visual Studio Tesztfuttatóval. Az MSTest-alapú tesztek mellett a Visual Studio tesztadapterrel rendelkező tesztkörnyezetek is végrehajthatók, például xUnit, NUnit vagy Chutzpah.

Teszteli, hogy a cél .NET Core-keretrendszer végrehajtható-e a .runsettings fájl .runsettings fájl.

A tesztek több ügynökön is terjeszthetők a feladat 2. verziójával. További információ: Tesztek futtatása párhuzamosan a Visual Studio Teszt feladattal.

Előfeltételek ellenőrzése

Ha windowsos, saját üzemeltetésű ügynököt használ, ezt az előfeltételt telepíteni kell:

Igények

Az ügynöknek a következő képességgel kell rendelkeznie:

VSTEST

A vstest-kereslet kétféleképpen lehet kielégíteni:

  1. A Visual Studio telepítve van az ügynökgépen.
  2. A Visual Studio Test Platform Installer feladatának használatával a folyamatdefinícióban.

Hogyan futtathatok olyan teszteket, amelyek a TestCaset adatforrásként használják?

A TestCaset adatforrásként használó automatizált tesztek futtatásához a következőkre van szükség:

  1. Az ügynökgépen a Visual Studio 2017.6-os vagy újabb verziójának kell lennie. A Visual Studio Test Platform Installer-feladat nem használható a TestCaset adatforrásként használó tesztek futtatására.
  2. Hozzon létre egy PAT, amely jogosult a "Munkaelemek (teljes)" hatókörre.
  3. Adjon hozzá egy Test.TestCaseAccessToken nevű biztonságos build- vagy kiadásváltozót az előző lépésben létrehozott PAT értékével.

Problémákba ütközöm az adatvezérelt xUnit- és NUnit-tesztek futtatásakor néhány feladatbeállítással. Vannak ismert korlátozások?

Az xUnit- és NUnit-tesztelési keretrendszereket használó adatvezérelt tesztek ismert korlátozásokkal rendelkeznek, és nem használhatók a következő feladatbeállításokkal:

  1. Sikertelen tesztek újrafuttatása.
  2. Tesztek elosztása több ügynökön és kötegelési lehetőségeken.
  3. Hatáselemzés tesztelése.

A fenti korlátozások annak köszönhetők, hogy ezeknek a tesztelési keretrendszereknek az adapterei hogyan derítik fel és jelentik az adatvezérelt teszteket.

Támogatja a VSTest-feladat olyan tesztek futtatását, amelyek egyszerre több cél-keretrendszert céloznak meg?

Igen, a 17.3 VSTest verziótól kezdve támogatja az olyan tesztek futtatását, amelyek egyszerre több cél-keretrendszert céloznak meg. Korábban ez nem volt lehetséges, mert a VSTest platform oldalának korlátozása miatt nem volt lehetséges.

Ha több cél-keretrendszerhez tartozó teszteket szeretne futtatni, telepítenie kell a VSTest kompatibilis verzióját Visual Studio Test Platform Installer használatával, és a vsTestVersiontoolsInstaller kell beállítania a használatához.

A teszt eredményének közzétételekor a következő hibaüzenet jelenik meg: Nem sikerült közzétenni a teszteredményeket: Érvénytelen prioritás van megadva?

Ez a hiba akkor fordul elő, ha bármelyik vizsgálati módszer prioritása 255 felett van, javítsa ki a tesztmetódus prioritását a kódban, és hajtsa végre újra a teszteket. A létrehozott TRX-fájl áttekintésével megtekintheti a 255-nél nagyobb prioritású teszteket.

Követelmények

Követelmény Leírás
Folyamattípusok YAML, klasszikus build, klasszikus kiadás
Futtatás bekapcsolva Ügynök, DeploymentGroup
Követelmények A saját üzemeltetésű ügynököknek olyan képességekkel kell rendelkezniük, amelyek megfelelnek az alábbi követelményeknek, a feladatot használó feladatok futtatásához: vstest
képességek Ez a tevékenység nem felel meg a feladat későbbi tevékenységeire vonatkozó követelményeknek.
parancskorlátozások Bármely
Változók beállítása Bármely
Ügynök verziója 2.103.0 vagy újabb
Tevékenységkategória Teszt