Megosztás a következőn keresztül:

VSTest@2 – Visual Studio Test v2 feladat

  • Cikk

Ezzel a feladattal egység- és funkcionális teszteket (Selenium, Appium, Coded UI-teszt stb.) futtathat a Visual Studio Test (VSTest) futójának használatával. Futtathat Visual Studio-tesztadapterrel rendelkező tesztelési keretrendszereket. Ilyen keretrendszer például az MSTest, az xUnit, az NUnit, a Chutzpah (a QUnit, a Mocha és a Jasmine használatával végzett JavaScript-tesztekhez) stb. Ezzel a feladattal a tesztek több ügynökön is eloszthatók.

Megjegyzés

VSTest@2 a feladat legújabb verziója, amelyet érdemes használni a folyamatokban.

Syntax

# Visual Studio Test v2
# Run unit and functional tests (Selenium, Appium, Coded UI test, etc.) using the Visual Studio Test (VsTest) runner. Test frameworks that have a Visual Studio test adapter such as MsTest, xUnit, NUnit, Chutzpah (for JavaScript tests using QUnit, Mocha and Jasmine), etc. can be run. Tests can be distributed on multiple agents using this task (version 2).
- task: VSTest@2
  inputs:
  # Test selection
    testSelector: 'testAssemblies' # 'testAssemblies' | 'testPlan' | 'testRun'. Required. Select tests using. Default: testAssemblies.
    testAssemblyVer2: # string. Required when testSelector = testAssemblies. Test files. 
    #testPlan: # string. Required when testSelector = testPlan. Test plan. 
    #testSuite: # string. Required when testSelector = testPlan. Test suite. 
    #testConfiguration: # string. Required when testSelector = testPlan. Test configuration. 
    #tcmTestRun: '$(test.RunId)' # string. Optional. Use when testSelector = testRun. Test Run. Default: $(test.RunId).
    searchFolder: '$(System.DefaultWorkingDirectory)' # string. Required. Search folder. Default: $(System.DefaultWorkingDirectory).
    #resultsFolder: '$(Agent.TempDirectory)\TestResults' # string. Test results folder. Default: $(Agent.TempDirectory)\TestResults.
    #testFiltercriteria: # string. Optional. Use when testSelector = testAssemblies. Test filter criteria. 
    #runOnlyImpactedTests: False # boolean. Optional. Use when testSelector = testAssemblies. Run only impacted tests. Default: False.
    #runAllTestsAfterXBuilds: '50' # string. Optional. Use when testSelector = testAssemblies && runOnlyImpactedTests = true. Number of builds after which all tests should be run. Default: 50.
    #uiTests: false # boolean. Test mix contains UI tests. Default: false.
  # Execution options
    #vstestLocationMethod: 'version' # 'version' | 'location'. Select test platform using. Default: version.
    #vsTestVersion: 'latest' # 'latest' | '17.0' | '16.0' | '15.0' | '14.0' | 'toolsInstaller'. Optional. Use when vstestLocationMethod = version. Test platform version. Default: latest.
    #vstestLocation: # string. Optional. Use when vstestLocationMethod = location. Path to vstest.console.exe. 
    #runSettingsFile: # string. Settings file. 
    #overrideTestrunParameters: # string. Override test run parameters. 
    #pathtoCustomTestAdapters: # string. Path to custom test adapters. 
    #runInParallel: False # boolean. Run tests in parallel on multi-core machines. Default: False.
    #runTestsInIsolation: False # boolean. Run tests in isolation. Default: False.
    #codeCoverageEnabled: False # boolean. Code coverage enabled. Default: False.
    #otherConsoleOptions: # string. Other console options. 
    #diagnosticsEnabled: false # boolean. Collect advanced diagnostics in case of catastrophic failures. Default: false.
    #collectDumpOn: 'onAbortOnly' # 'onAbortOnly' | 'always' | 'never'. Optional. Use when diagnosticsEnabled = true. Collect process dump and attach to test run report. Default: onAbortOnly.
    #rerunFailedTests: False # boolean. Rerun failed tests. Default: False.
    #rerunType: 'basedOnTestFailurePercentage' # 'basedOnTestFailurePercentage' | 'basedOnTestFailureCount'. Optional. Use when rerunFailedTests = true. Do not rerun if test failures exceed specified threshold. Default: basedOnTestFailurePercentage.
    #rerunFailedThreshold: '30' # string. Optional. Use when rerunFailedTests = true && rerunType = basedOnTestFailurePercentage. % failure. Default: 30.
    #rerunFailedTestCasesMaxLimit: '5' # string. Optional. Use when rerunFailedTests = true && rerunType = basedOnTestFailureCount. # of failed tests. Default: 5.
    #rerunMaxAttempts: '3' # string. Optional. Use when rerunFailedTests = true. Maximum # of attempts. Default: 3.
  # Advanced execution options
    #distributionBatchType: 'basedOnTestCases' # 'basedOnTestCases' | 'basedOnExecutionTime' | 'basedOnAssembly'. Batch tests. Default: basedOnTestCases.
    #batchingBasedOnAgentsOption: 'autoBatchSize' # 'autoBatchSize' | 'customBatchSize'. Optional. Use when distributionBatchType = basedOnTestCases. Batch options. Default: autoBatchSize.
    #customBatchSizeValue: '10' # string. Required when distributionBatchType = basedOnTestCases && batchingBasedOnAgentsOption = customBatchSize. Number of tests per batch. Default: 10.
    #batchingBasedOnExecutionTimeOption: 'autoBatchSize' # 'autoBatchSize' | 'customTimeBatchSize'. Optional. Use when distributionBatchType = basedOnExecutionTime. Batch options. Default: autoBatchSize.
    #customRunTimePerBatchValue: '60' # string. Required when distributionBatchType = basedOnExecutionTime && batchingBasedOnExecutionTimeOption = customTimeBatchSize. Running time (sec) per batch. Default: 60.
    #dontDistribute: False # boolean. Replicate tests instead of distributing when multiple agents are used in the job. Default: False.
  # Reporting options
    #testRunTitle: # string. Test run title. 
    #platform: # string. Build platform. 
    #configuration: # string. Build configuration. 
    #publishRunAttachments: true # boolean. Upload test attachments. Default: true.
    #failOnMinTestsNotRun: False # boolean. Fail the task if a minimum number of tests are not run. Default: False.
    #minimumExpectedTests: '1' # string. Optional. Use when failOnMinTestsNotRun = true. Minimum # of tests. Default: 1.

# Visual Studio Test v2
# Run unit and functional tests (Selenium, Appium, Coded UI test, etc.) using the Visual Studio Test (VsTest) runner. Test frameworks that have a Visual Studio test adapter such as MsTest, xUnit, NUnit, Chutzpah (for JavaScript tests using QUnit, Mocha and Jasmine), etc. can be run. Tests can be distributed on multiple agents using this task (version 2).
- task: VSTest@2
  inputs:
  # Test selection
    testSelector: 'testAssemblies' # 'testAssemblies' | 'testPlan' | 'testRun'. Required. Select tests using. Default: testAssemblies.
    testAssemblyVer2: # string. Required when testSelector = testAssemblies. Test files. 
    #testPlan: # string. Required when testSelector = testPlan. Test plan. 
    #testSuite: # string. Required when testSelector = testPlan. Test suite. 
    #testConfiguration: # string. Required when testSelector = testPlan. Test configuration. 
    #tcmTestRun: '$(test.RunId)' # string. Optional. Use when testSelector = testRun. Test Run. Default: $(test.RunId).
    searchFolder: '$(System.DefaultWorkingDirectory)' # string. Required. Search folder. Default: $(System.DefaultWorkingDirectory).
    #resultsFolder: '$(Agent.TempDirectory)\TestResults' # string. Test results folder. Default: $(Agent.TempDirectory)\TestResults.
    #testFiltercriteria: # string. Optional. Use when testSelector = testAssemblies. Test filter criteria. 
    #runOnlyImpactedTests: False # boolean. Optional. Use when testSelector = testAssemblies. Run only impacted tests. Default: False.
    #runAllTestsAfterXBuilds: '50' # string. Optional. Use when testSelector = testAssemblies && runOnlyImpactedTests = true. Number of builds after which all tests should be run. Default: 50.
    #uiTests: false # boolean. Test mix contains UI tests. Default: false.
  # Execution options
    #vstestLocationMethod: 'version' # 'version' | 'location'. Select test platform using. Default: version.
    #vsTestVersion: 'latest' # 'latest' | '16.0' | '15.0' | '14.0' | 'toolsInstaller'. Optional. Use when vstestLocationMethod = version. Test platform version. Default: latest.
    #vstestLocation: # string. Optional. Use when vstestLocationMethod = location. Path to vstest.console.exe. 
    #runSettingsFile: # string. Settings file. 
    #overrideTestrunParameters: # string. Override test run parameters. 
    #pathtoCustomTestAdapters: # string. Path to custom test adapters. 
    #runInParallel: False # boolean. Run tests in parallel on multi-core machines. Default: False.
    #runTestsInIsolation: False # boolean. Run tests in isolation. Default: False.
    #codeCoverageEnabled: False # boolean. Code coverage enabled. Default: False.
    #otherConsoleOptions: # string. Other console options. 
    #diagnosticsEnabled: false # boolean. Collect advanced diagnostics in case of catastrophic failures. Default: false.
    #collectDumpOn: 'onAbortOnly' # 'onAbortOnly' | 'always' | 'never'. Optional. Use when diagnosticsEnabled = true. Collect process dump and attach to test run report. Default: onAbortOnly.
    #rerunFailedTests: False # boolean. Rerun failed tests. Default: False.
    #rerunType: 'basedOnTestFailurePercentage' # 'basedOnTestFailurePercentage' | 'basedOnTestFailureCount'. Optional. Use when rerunFailedTests = true. Do not rerun if test failures exceed specified threshold. Default: basedOnTestFailurePercentage.
    #rerunFailedThreshold: '30' # string. Optional. Use when rerunFailedTests = true && rerunType = basedOnTestFailurePercentage. % failure. Default: 30.
    #rerunFailedTestCasesMaxLimit: '5' # string. Optional. Use when rerunFailedTests = true && rerunType = basedOnTestFailureCount. # of failed tests. Default: 5.
    #rerunMaxAttempts: '3' # string. Optional. Use when rerunFailedTests = true. Maximum # of attempts. Default: 3.
  # Advanced execution options
    #distributionBatchType: 'basedOnTestCases' # 'basedOnTestCases' | 'basedOnExecutionTime' | 'basedOnAssembly'. Batch tests. Default: basedOnTestCases.
    #batchingBasedOnAgentsOption: 'autoBatchSize' # 'autoBatchSize' | 'customBatchSize'. Optional. Use when distributionBatchType = basedOnTestCases. Batch options. Default: autoBatchSize.
    #customBatchSizeValue: '10' # string. Required when distributionBatchType = basedOnTestCases && batchingBasedOnAgentsOption = customBatchSize. Number of tests per batch. Default: 10.
    #batchingBasedOnExecutionTimeOption: 'autoBatchSize' # 'autoBatchSize' | 'customTimeBatchSize'. Optional. Use when distributionBatchType = basedOnExecutionTime. Batch options. Default: autoBatchSize.
    #customRunTimePerBatchValue: '60' # string. Required when distributionBatchType = basedOnExecutionTime && batchingBasedOnExecutionTimeOption = customTimeBatchSize. Running time (sec) per batch. Default: 60.
    #dontDistribute: False # boolean. Replicate tests instead of distributing when multiple agents are used in the job. Default: False.
  # Reporting options
    #testRunTitle: # string. Test run title. 
    #platform: # string. Build platform. 
    #configuration: # string. Build configuration. 
    #publishRunAttachments: true # boolean. Upload test attachments. Default: true.
    #failOnMinTestsNotRun: False # boolean. Fail the task if a minimum number of tests are not run. Default: False.
    #minimumExpectedTests: '1' # string. Optional. Use when failOnMinTestsNotRun = true. Minimum # of tests. Default: 1.

# Visual Studio Test v2
# Run unit and functional tests (Selenium, Appium, Coded UI test, etc.) using the Visual Studio Test (VsTest) runner. Test frameworks that have a Visual Studio test adapter such as MsTest, xUnit, NUnit, Chutzpah (for JavaScript tests using QUnit, Mocha and Jasmine), etc. can be run. Tests can be distributed on multiple agents using this task (version 2).
- task: VSTest@2
  inputs:
  # Test selection
    testSelector: 'testAssemblies' # 'testAssemblies' | 'testPlan' | 'testRun'. Required. Select tests using. Default: testAssemblies.
    testAssemblyVer2: # string. Required when testSelector = testAssemblies. Test files. 
    #testPlan: # string. Required when testSelector = testPlan. Test plan. 
    #testSuite: # string. Required when testSelector = testPlan. Test suite. 
    #testConfiguration: # string. Required when testSelector = testPlan. Test configuration. 
    #tcmTestRun: '$(test.RunId)' # string. Optional. Use when testSelector = testRun. Test Run. Default: $(test.RunId).
    searchFolder: '$(System.DefaultWorkingDirectory)' # string. Required. Search folder. Default: $(System.DefaultWorkingDirectory).
    #testFiltercriteria: # string. Optional. Use when testSelector = testAssemblies. Test filter criteria. 
    #runOnlyImpactedTests: False # boolean. Optional. Use when testSelector = testAssemblies. Run only impacted tests. Default: False.
    #runAllTestsAfterXBuilds: '50' # string. Optional. Use when testSelector = testAssemblies && runOnlyImpactedTests = true. Number of builds after which all tests should be run. Default: 50.
    #uiTests: false # boolean. Test mix contains UI tests. Default: false.
  # Execution options
    #vstestLocationMethod: 'version' # 'version' | 'location'. Select test platform using. Default: version.
    #vsTestVersion: 'latest' # 'latest' | '16.0' | '15.0' | '14.0' | 'toolsInstaller'. Optional. Use when vstestLocationMethod = version. Test platform version. Default: latest.
    #vstestLocation: # string. Optional. Use when vstestLocationMethod = location. Path to vstest.console.exe. 
    #runSettingsFile: # string. Settings file. 
    #overrideTestrunParameters: # string. Override test run parameters. 
    #pathtoCustomTestAdapters: # string. Path to custom test adapters. 
    #runInParallel: False # boolean. Run tests in parallel on multi-core machines. Default: False.
    #runTestsInIsolation: False # boolean. Run tests in isolation. Default: False.
    #codeCoverageEnabled: False # boolean. Code coverage enabled. Default: False.
    #otherConsoleOptions: # string. Other console options. 
    #diagnosticsEnabled: false # boolean. Collect advanced diagnostics in case of catastrophic failures. Default: false.
    #collectDumpOn: 'onAbortOnly' # 'onAbortOnly' | 'always' | 'never'. Optional. Use when diagnosticsEnabled = true. Collect process dump and attach to test run report. Default: onAbortOnly.
    #rerunFailedTests: False # boolean. Rerun failed tests. Default: False.
    #rerunType: 'basedOnTestFailurePercentage' # 'basedOnTestFailurePercentage' | 'basedOnTestFailureCount'. Optional. Use when rerunFailedTests = true. Do not rerun if test failures exceed specified threshold. Default: basedOnTestFailurePercentage.
    #rerunFailedThreshold: '30' # string. Optional. Use when rerunFailedTests = true && rerunType = basedOnTestFailurePercentage. % failure. Default: 30.
    #rerunFailedTestCasesMaxLimit: '5' # string. Optional. Use when rerunFailedTests = true && rerunType = basedOnTestFailureCount. # of failed tests. Default: 5.
    #rerunMaxAttempts: '3' # string. Optional. Use when rerunFailedTests = true. Maximum # of attempts. Default: 3.
  # Advanced execution options
    #distributionBatchType: 'basedOnTestCases' # 'basedOnTestCases' | 'basedOnExecutionTime' | 'basedOnAssembly'. Batch tests. Default: basedOnTestCases.
    #batchingBasedOnAgentsOption: 'autoBatchSize' # 'autoBatchSize' | 'customBatchSize'. Optional. Use when distributionBatchType = basedOnTestCases. Batch options. Default: autoBatchSize.
    #customBatchSizeValue: '10' # string. Required when distributionBatchType = basedOnTestCases && batchingBasedOnAgentsOption = customBatchSize. Number of tests per batch. Default: 10.
    #batchingBasedOnExecutionTimeOption: 'autoBatchSize' # 'autoBatchSize' | 'customTimeBatchSize'. Optional. Use when distributionBatchType = basedOnExecutionTime. Batch options. Default: autoBatchSize.
    #customRunTimePerBatchValue: '60' # string. Required when distributionBatchType = basedOnExecutionTime && batchingBasedOnExecutionTimeOption = customTimeBatchSize. Running time (sec) per batch. Default: 60.
    #dontDistribute: False # boolean. Replicate tests instead of distributing when multiple agents are used in the job. Default: False.
  # Reporting options
    #testRunTitle: # string. Test run title. 
    #platform: # string. Build platform. 
    #configuration: # string. Build configuration. 
    #publishRunAttachments: true # boolean. Upload test attachments. Default: true.

# Visual Studio Test v2
# Run unit and functional tests (Selenium, Appium, Coded UI test, etc.) using the Visual Studio Test (VsTest) runner. Test frameworks that have a Visual Studio test adapter such as MsTest, xUnit, NUnit, Chutzpah (for JavaScript tests using QUnit, Mocha and Jasmine), etc. can be run. Tests can be distributed on multiple agents using this task (version 2).
- task: VSTest@2
  inputs:
  # Test selection
    testSelector: 'testAssemblies' # 'testAssemblies' | 'testPlan' | 'testRun'. Required. Select tests using. Default: testAssemblies.
    testAssemblyVer2: # string. Required when testSelector = testAssemblies. Test files. 
    #testPlan: # string. Required when testSelector = testPlan. Test plan. 
    #testSuite: # string. Required when testSelector = testPlan. Test suite. 
    #testConfiguration: # string. Required when testSelector = testPlan. Test configuration. 
    #tcmTestRun: '$(test.RunId)' # string. Optional. Use when testSelector = testRun. Test Run. Default: $(test.RunId).
    searchFolder: '$(System.DefaultWorkingDirectory)' # string. Required. Search folder. Default: $(System.DefaultWorkingDirectory).
    #testFiltercriteria: # string. Optional. Use when testSelector = testAssemblies. Test filter criteria. 
    #runOnlyImpactedTests: False # boolean. Optional. Use when testSelector = testAssemblies. Run only impacted tests. Default: False.
    #runAllTestsAfterXBuilds: '50' # string. Optional. Use when testSelector = testAssemblies && runOnlyImpactedTests = true. Number of builds after which all tests should be run. Default: 50.
    #uiTests: false # boolean. Test mix contains UI tests. Default: false.
  # Execution options
    #vstestLocationMethod: 'version' # 'version' | 'location'. Select test platform using. Default: version.
    #vsTestVersion: 'latest' # 'latest' | '16.0' | '15.0' | '14.0' | 'toolsInstaller'. Optional. Use when vstestLocationMethod = version. Test platform version. Default: latest.
    #vstestLocation: # string. Optional. Use when vstestLocationMethod = location. Path to vstest.console.exe. 
    #runSettingsFile: # string. Settings file. 
    #overrideTestrunParameters: # string. Override test run parameters. 
    #pathtoCustomTestAdapters: # string. Path to custom test adapters. 
    #runInParallel: False # boolean. Run tests in parallel on multi-core machines. Default: False.
    #runTestsInIsolation: False # boolean. Run tests in isolation. Default: False.
    #codeCoverageEnabled: False # boolean. Code coverage enabled. Default: False.
    #otherConsoleOptions: # string. Other console options. 
    #diagnosticsEnabled: True # boolean. Collect advanced diagnostics in case of catastrophic failures. Default: True.
    #collectDumpOn: 'onAbortOnly' # 'onAbortOnly' | 'always' | 'never'. Optional. Use when diagnosticsEnabled = true. Collect process dump and attach to test run report. Default: onAbortOnly.
    #rerunFailedTests: False # boolean. Rerun failed tests. Default: False.
    #rerunType: 'basedOnTestFailurePercentage' # 'basedOnTestFailurePercentage' | 'basedOnTestFailureCount'. Optional. Use when rerunFailedTests = true. Do not rerun if test failures exceed specified threshold. Default: basedOnTestFailurePercentage.
    #rerunFailedThreshold: '30' # string. Optional. Use when rerunFailedTests = true && rerunType = basedOnTestFailurePercentage. % failure. Default: 30.
    #rerunFailedTestCasesMaxLimit: '5' # string. Optional. Use when rerunFailedTests = true && rerunType = basedOnTestFailureCount. # of failed tests. Default: 5.
    #rerunMaxAttempts: '3' # string. Optional. Use when rerunFailedTests = true. Maximum # of attempts. Default: 3.
  # Advanced execution options
    #distributionBatchType: 'basedOnTestCases' # 'basedOnTestCases' | 'basedOnExecutionTime' | 'basedOnAssembly'. Batch tests. Default: basedOnTestCases.
    #batchingBasedOnAgentsOption: 'autoBatchSize' # 'autoBatchSize' | 'customBatchSize'. Optional. Use when distributionBatchType = basedOnTestCases. Batch options. Default: autoBatchSize.
    #customBatchSizeValue: '10' # string. Required when distributionBatchType = basedOnTestCases && batchingBasedOnAgentsOption = customBatchSize. Number of tests per batch. Default: 10.
    #batchingBasedOnExecutionTimeOption: 'autoBatchSize' # 'autoBatchSize' | 'customTimeBatchSize'. Optional. Use when distributionBatchType = basedOnExecutionTime. Batch options. Default: autoBatchSize.
    #customRunTimePerBatchValue: '60' # string. Required when distributionBatchType = basedOnExecutionTime && batchingBasedOnExecutionTimeOption = customTimeBatchSize. Running time (sec) per batch. Default: 60.
    #dontDistribute: False # boolean. Do not distribute tests and replicate instead when multiple agents are used in the job. Default: False.
  # Reporting options
    #testRunTitle: # string. Test run title. 
    #platform: # string. Build platform. 
    #configuration: # string. Build configuration. 
    #publishRunAttachments: true # boolean. Upload test attachments. Default: true.

Bevitelek

testSelector - Tesztek kiválasztása a használatával
string. Kötelező. Engedélyezett értékek: testAssemblies (Tesztszerelvények), testPlan (Tesztterv) testRun (Tesztfuttatás). Alapértelmezett érték: testAssemblies.

  • Tesztszerelvény: Egy vagy több tesztszerelvényt határoz meg, amelyek tartalmazzák a teszteket. Megadhat szűrőfeltételeket is, amelyek csak adott teszteket jelölnek ki.
  • Tesztterv: Teszteket futtat a teszttervből, amelyekhez egy automatizált tesztelési módszer van társítva. Ha többet szeretne megtudni arról, hogyan társíthat teszteket egy teszteset munkaeleméhez, tekintse meg az Automatizált tesztek társítása tesztesetekkel című témakört.
  • Tesztfuttatás: Ezt a lehetőséget akkor használja, ha egy környezetet állít be tesztcsomagokból származó tesztek futtatására. Ez a beállítás nem használható tesztek folyamatos integrációs/folyamatos üzembehelyezési (CI/CD) folyamatokban való futtatásakor.

testAssemblyVer2 - Fájlok tesztelése
string. Akkor szükséges, ha testSelector = testAssemblies. Alapértelmezett érték: **\bin\**\*test.dll\n**\bin\**\*tests.dll.

Teszteket futtat a megadott fájlokból. A rendezett tesztek és a webtesztek a és .webtest a .orderedtest fájlok megadásával futtathatók. A futtatásához .webtesta Visual Studio 2017 4- vagy újabb frissítésére van szükség. A fájl elérési útjai a keresési mappához viszonyítva találhatók. Ez a bemenet több sornyi kis eltérési mintát támogat.

# Example
- task: VSTest@2
  inputs:
    testSelector: 'testAssemblies'
    testAssemblyVer2: |
      **\*test*.dll
      !**\*TestAdapter.dll
      !**\obj\**

testAssemblyVer2 - Fájlok tesztelése
string. Akkor szükséges, ha testSelector = testAssemblies. Alapértelmezett érték: **\*test*.dll\n!**\*TestAdapter.dll\n!**\obj\**.

Teszteket futtat a megadott fájlokból. A rendezett tesztek és a webtesztek a és .webtest a .orderedtest fájlok megadásával futtathatók. A futtatásához .webtesta Visual Studio 2017 4- vagy újabb frissítésére van szükség. A fájl elérési útjai a keresési mappához viszonyítva találhatók. Ez a bemenet több sornyi kis eltérési mintát támogat.

# Example
- task: VSTest@2
  inputs:
    testSelector: 'testAssemblies'
    testAssemblyVer2: |
      **\*test*.dll
      !**\*TestAdapter.dll
      !**\obj\**

testPlan - Tesztterv
string. Akkor szükséges, ha testSelector = testPlan.

Olyan tesztcsomagot határoz meg, amely automatizált teszteseteket tartalmazó tesztcsomagokat tartalmaz.


testSuite - Tesztcsomag
string. Akkor szükséges, ha testSelector = testPlan.

Egy vagy több, automatizált teszteseteket tartalmazó tesztcsomagot határoz meg. A teszteset munkaelemeit egy automatizált tesztelési módszerhez kell társítani.


testConfiguration - Konfiguráció tesztelése
string. Akkor szükséges, ha testSelector = testPlan.

A tesztkonfigurációt adja meg.


tcmTestRun - Tesztfuttatás
string. Választható. Használja a következőt: testSelector = testRun. Alapértelmezett érték: $(test.RunId).

Megadja a tesztfuttatás-alapú kiválasztást, amelyet a teszttervekből származó automatikus tesztfuttatások aktiválásakor használnak. Ez a beállítás nem használható tesztek futtatására a CI/CD-folyamatban.


searchFolder - Keresési mappa
string. Kötelező. Alapértelmezett érték: $(System.DefaultWorkingDirectory).

Meghatározza a tesztszerelvények kereséséhez szükséges mappát.


resultsFolder - Teszteredmények mappa
string. Alapértelmezett érték: $(Agent.TempDirectory)\TestResults.

A teszteredmények tárolására használt mappát adja meg. Az alapértelmezett könyvtár használata esetén a folyamatfuttatás végén törlődik. Az eredmények könyvtára mindig törlődik a feladat elején a vstest tesztek futtatása előtt. Ha meg van adva a relatív mappa elérési útja, akkor a rendszer a következőhöz viszonyítva tekinti: $(Agent.TempDirectory).


testFiltercriteria - Szűrőfeltételek tesztelése
string. Választható. Használja a következőt: testSelector = testAssemblies.

A tesztszerelvényekből származó tesztek szűrésére vonatkozó további feltételeket határoz meg. Példa: Priority=1|Name=MyTestMethod. Tudnivalók a parancssori lehetőségekről.


runOnlyImpactedTests - Csak az érintett tesztek futtatása
boolean. Választható. Használja a következőt: testSelector = testAssemblies. Alapértelmezett érték: False.

Automatikusan megadja és futtatja a kódmódosítás ellenőrzéséhez szükséges teszteket. Tudnivalók a Teszthatás-elemzés használatáról.


runAllTestsAfterXBuilds - Azoknak a buildeknek a száma, amelyek után az összes tesztet futtatni kell
string. Választható. Használja a következőt: testSelector = testAssemblies && runOnlyImpactedTests = true. Alapértelmezett érték: 50.

Megadja az összes teszt automatikus futtatása előtt végrehajtandó buildek számát. A Test Impact Analysis tárolja a tesztelési esetek és a forráskód közötti leképezést. Javasoljuk, hogy az összes teszt rendszeres futtatásával hozza létre újra a leképezést.


uiTests - A tesztkeverék felhasználói felületi teszteket tartalmaz
boolean. Alapértelmezett érték: false.

Felhasználói felületi tesztek futtatásához győződjön meg arról, hogy az ügynök úgy van beállítva , hogy interaktív módban fusson, és az Autologon engedélyezve van. Az ügynök interaktív futtatásának beállítását a build/kiadás várólistára helyezése előtt kell elvégezni. Ha bejelöli ezt a jelölőnégyzetet, az nem konfigurálja automatikusan az ügynököt interaktív módban. Ez a beállítás emlékeztetőként szolgál az ügynök megfelelő konfigurálására a hibák elkerülése érdekében. A VS 2015- és 2017-készletekből származó üzemeltetett Windows-ügynökök felhasználói felületi tesztek futtatására használhatók.


vstestLocationMethod - Tesztplatform kiválasztása a használatával
string. Engedélyezett értékek: version, location (Adott hely). Alapértelmezett érték: version.

A használni kívánt tesztplatformot adja meg.


vsTestVersion - Platformverzió tesztelése
string. Választható. Használja a következőt: vstestLocationMethod = version. Engedélyezett értékek: latest, 17.0 (Visual Studio 2022), 16.0 (Visual Studio 2019), 15.0 (Visual Studio 2017), 14.0 (Visual Studio 2015) toolsInstaller (Az Eszközök telepítője által telepített). Alapértelmezett érték: latest.

A Visual Studio-teszt használni kívánt verzióját adja meg. Ha a legújabb beállítás van megadva, ez a bemenet a telepített legújabb verziót (az engedélyezett értékek listájából) választja ki. Ha anélkül szeretne teszteket futtatni, hogy a Visual Studiót kellene futtatnia az ügynökön, használja a Telepített eszközök telepítője lehetőséget. Ügyeljen arra, hogy a Visual Studio Test Platform Installer feladatával beszerezze a tesztplatformot a NuGetből.


vsTestVersion - Platformverzió tesztelése
string. Választható. Használja a következőt: vstestLocationMethod = version. Engedélyezett értékek: latest, 16.0 (Visual Studio 2019), 15.0 (Visual Studio 2017), 14.0 (Visual Studio 2015) toolsInstaller (Az Eszközök telepítője által telepített). Alapértelmezett érték: latest.

A Visual Studio-teszt használni kívánt verzióját adja meg. Ha a legújabb beállítás van megadva, ez a bemenet a telepített legújabb verziót (az engedélyezett értékek listájából) választja ki. Ha anélkül szeretne teszteket futtatni, hogy a Visual Studiót kellene futtatnia az ügynökön, használja a Telepített eszközök telepítője lehetőséget. Ügyeljen arra, hogy a Visual Studio Test Platform Installer feladatával beszerezze a tesztplatformot a NuGetből.


vstestLocation - A vstest.console.exeelérési útja
string. Választható. Használja a következőt: vstestLocationMethod = location.

Megadja a VSTest elérési útját.


runSettingsFile - Beállítások fájl
string.

Megadja a tesztekhez használni kívánt vagy testsettings fájl elérési útjátrunsettings. A Visual Studio 15.7-s és újabb verzióihoz használja runsettings az összes teszttípust. További információ a .testsettings fájlok fájllá alakításáról.runsettings.


overrideTestrunParameters - Tesztfuttatási paraméterek felülbírálása
string.

Felülbírálja a fájl vagy a Properties fájl szakaszában runsettings meghatározott TestRunParameters paraméterekettestsettings. Példa: -key1 value1 -key2 value2. Megjegyzés: A fájlban testsettings megadott tulajdonságok a TestContext Visual Studio 2017 használatával érhetők el (4- vagy újabb frissítés).


pathtoCustomTestAdapters - Egyéni tesztadapterek elérési útja
string.

Megadja az egyéni tesztadapterekhez vezető könyvtár elérési útját. A rendszer automatikusan felderíti azokat az adaptereket, amelyek ugyanabban a mappában találhatók, mint a tesztszerelvények.


runInParallel - Tesztek párhuzamos futtatása többmagos gépeken
boolean. Alapértelmezett érték: False.

Ha a értékre truevan állítva, a tesztek párhuzamosan futnak, és kihasználják a gép elérhető magját. Ez felülbírálja a MaxCpuCount fájlban runsettings megadott értéket. További információ a tesztek párhuzamos futtatásáról.


runTestsInIsolation - Tesztek futtatása elkülönítésben
boolean. Alapértelmezett érték: False.

A teszteket elkülönített folyamatban futtatja. Ez valószínűleg kevesebb hibát eredményez a vstest.console.exe tesztfolyamatban, de a tesztek lassabban futnak. Ez a beállítás jelenleg nem használható a többügynök-feladatbeállítással való futtatáskor.


codeCoverageEnabled - A kódlefedettség engedélyezve van
boolean. Alapértelmezett érték: False.

Kódlefedettségi információkat gyűjt a tesztfuttatásból.


otherConsoleOptions - Egyéb konzolbeállítások
string.

Egyéb konzolbeállítások , amelyek átadhatók vstest.console.exe.

Ezek a beállítások nem támogatottak, és figyelmen kívül lesznek hagyva, amikor egy ügynökfeladat többügynök párhuzamos beállításával futtat teszteket, amikor teszteket futtat a Tesztcsomag vagy a Tesztfuttatás beállítással, vagy ha egyéni kötegelési beállítás van kiválasztva. A beállításokat ehelyett egy beállításfájllal adhatja meg.


distributionBatchType - Batch-tesztek
string. Engedélyezett értékek: basedOnTestCases (Tesztek és ügynökök száma alapján), basedOnExecutionTime (A tesztek múltbeli futási ideje alapján) basedOnAssembly (Tesztszerelvények alapján). Alapértelmezett érték: basedOnTestCases.

A kötegek tesztcsoportok. Egy tesztköteg egyszerre futtatja a teszteket, és az eredményeket közzéteszi a köteghez. Ha a feladat, amelyben a feladat fut, több ügynök használatára van beállítva, minden ügynök felveszi az elérhető tesztkötegeket, hogy párhuzamosan fussanak. A kötegek futtathatók:

a tesztek és ügynökök száma alapján. Egyszerű kötegelés a tesztfuttatásban részt vevő tesztek és ügynökök száma alapján.

a tesztek korábbi futási ideje alapján. Ez a kötegelés figyelembe veszi a múltbeli futási időt olyan tesztkötegek létrehozásához, ahol minden köteg körülbelül egyenlő futási idővel rendelkezik.

tesztszerelvények alapján. Egy szerelvény tesztjei össze vannak kötegelve.


batchingBasedOnAgentsOption - Batch-beállítások
string. Választható. Használja a következőt: distributionBatchType = basedOnTestCases. Engedélyezett értékek: autoBatchSize (A köteg méretének automatikus meghatározása) customBatchSize (Kötegméret megadása). Alapértelmezett érték: autoBatchSize.

Egyszerű kötegelést határoz meg a tesztfuttatásban részt vevő tesztek és ügynökök száma alapján. Ha a köteg mérete automatikusan meg van határozva, minden köteg teszteket tartalmaz (total number of tests / number of agents) . Ha a kötegméret meg van adva, minden köteg a megadott számú tesztet fogja tartalmazni.


customBatchSizeValue - Tesztek száma kötegenként
string. Akkor szükséges, ha distributionBatchType = basedOnTestCases && batchingBasedOnAgentsOption = customBatchSize. Alapértelmezett érték: 10.

Megadja a köteg méretét.


batchingBasedOnExecutionTimeOption - Batch-beállítások
string. Választható. Használja a következőt: distributionBatchType = basedOnExecutionTime. Engedélyezett értékek: autoBatchSize (A kötegidő automatikus meghatározása) customTimeBatchSize (Adja meg a kötegenkénti futási időt). Alapértelmezett érték: autoBatchSize.

Ez a kötegelés figyelembe veszi a múltbeli futási időket, hogy olyan tesztkötegeket hozzon létre, ahol az egyes kötegek futási ideje körülbelül egyenlő. A gyors futtatású tesztek kötegelve lesznek, míg a hosszabb ideig futó tesztek egy külön köteghez tartozhatnak. Ha ezt a beállítást használja a többügynök-feladat beállításával, a teljes tesztelési idő minimálisra csökken.


customRunTimePerBatchValue - Futtatási idő (mp) kötegenként
string. Akkor szükséges, ha distributionBatchType = basedOnExecutionTime && batchingBasedOnExecutionTimeOption = customTimeBatchSize. Alapértelmezett érték: 60.

A kötegenkénti futási időt (másodpercben) adja meg.


dontDistribute - Tesztek replikálása ahelyett, hogy szétosztanák, ha több ügynököt használnak a feladatban
boolean. Alapértelmezett érték: False.

Ha ezt a beállítást választja, a tesztek nem lesznek elosztva az ügynökök között, ha a feladat többügynök-feladatban fut. Minden ügynökön meg kell ismételni a kiválasztott teszt(ek)et. Ez a beállítás nem alkalmazható, ha az ügynökfeladat úgy van konfigurálva, hogy párhuzamosság nélkül vagy több konfigurációs beállítással fusson.


dontDistribute - Ne ossza el a teszteket, és ne replikálja inkább, ha több ügynök van használatban a feladatban
boolean. Alapértelmezett érték: False.

Ha ezt a beállítást választja, a tesztek nem lesznek elosztva az ügynökök között, ha a feladat többügynök-feladatban fut. Minden ügynökön meg kell ismételni a kiválasztott teszt(ek)et. Ez a beállítás nem alkalmazható, ha az ügynökfeladat úgy van konfigurálva, hogy párhuzamosság nélkül vagy több konfigurációs beállítással fusson.


testRunTitle - Tesztfuttatás címe
string.

Megadja a tesztfuttatás nevét.


platform - Platform létrehozása
string.

Meghatározza azt a buildplatformot, amelyen a teszteket jelenteni kell. Ha definiált egy változót a platformhoz a buildelési feladatban, használja ezt a bemenetet.


configuration - Buildkonfiguráció
string.

Megadja azt a buildkonfigurációt, amely alapján a teszteket jelenteni kell. Ha definiált egy változót a konfigurációhoz a buildelési feladatban, használja ezt a bemenetet.


publishRunAttachments - Tesztmellékletek feltöltése
boolean. Alapértelmezett érték: true.

Letiltja vagy letiltja a futtatási szintű mellékletek közzétételét.


failOnMinTestsNotRun - Sikertelen feladat, ha a tesztek minimális száma nem fut.
boolean. Alapértelmezett érték: False.

A feladat meghiúsul, ha nem fut minimális számú teszt. Ez akkor lehet hasznos, ha a tevékenységbemenetek vagy a mögöttes tesztadapter-függőségek módosítása a kívánt teszteknek csak egy részhalmazát eredményezi.


minimumExpectedTests - Tesztek minimális száma
string. Választható. Használja a következőt: failOnMinTestsNotRun = true. Alapértelmezett érték: 1.

Meghatározza a feladat sikeres végrehajtásához futtatandó tesztek minimális számát. A végrehajtott tesztek teljes összegét a sikeres, sikertelen és megszakított tesztek összegeként számítja ki a rendszer.


diagnosticsEnabled - Speciális diagnosztikák gyűjtése katasztrofális hibák esetén
boolean. Alapértelmezett érték: false.

Diagnosztikai adatokat gyűjt a katasztrofális hibák, például tesztösszeomlások elhárításához. Ha ez a beállítás be van jelölve, a rendszer létrehoz egy sorozat xml-fájlt, és csatolja a tesztfuttatáshoz. A szekvenciafájl információkat tartalmaz arról a sorozatról, amelyben a tesztek futottak, így azonosítható egy potenciális bűnös teszt.


diagnosticsEnabled - Speciális diagnosztikák gyűjtése katasztrofális hibák esetén
boolean. Alapértelmezett érték: True.

Diagnosztikai adatokat gyűjt a katasztrofális hibák, például tesztösszeomlások elhárításához. Ha ez a beállítás be van jelölve, a rendszer létrehoz egy sorozat xml-fájlt, és csatolja a tesztfuttatáshoz. A szekvenciafájl információkat tartalmaz arról a sorozatról, amelyben a tesztek futottak, így azonosítható egy potenciális bűnös teszt.


collectDumpOn - Folyamatképek gyűjtése és a tesztfuttatási jelentés csatolása
string. Választható. Használja a következőt: diagnosticsEnabled = true. Engedélyezett értékek: onAbortOnly (Csak megszakítás esetén), always, . never Alapértelmezett érték: onAbortOnly.

Gyűjt egy mini memóriaképet, amely további elemzéshez használható.

  • onAbortOnly – a rendszer csak akkor gyűjt mini memóriaképet, ha a tesztfuttatás megszakad.
  • Always – a rendszer mindig mini memóriaképet gyűjt, függetlenül attól, hogy a tesztfuttatás befejeződik-e.
  • Soha – a rendszer nem gyűjt mini memóriaképet, függetlenül attól, hogy a tesztfuttatás befejeződik-e.

rerunFailedTests - Sikertelen tesztek újrafuttatása
boolean. Alapértelmezett érték: False.

A sikertelen tesztek újrafuttatása mindaddig, amíg el nem érik a kísérletek maximális számát.


rerunType - Ne futtassa újra, ha a teszthibák túllépik a megadott küszöbértéket
string. Választható. Használja a következőt: rerunFailedTests = true. Engedélyezett értékek: basedOnTestFailurePercentage (%failure), basedOnTestFailureCount (a sikertelen tesztek száma). Alapértelmezett érték: basedOnTestFailurePercentage.

Elkerüli a tesztek újrafuttatását, ha a hibaarány átlépi a megadott küszöbértéket. Ez akkor alkalmazható, ha a környezeti problémák súlyos hibákhoz vezetnek. Küszöbértékként megadhatja a hibák százalékos arányát vagy a sikertelen tesztek számát.


rerunFailedThreshold - Hiba %-os aránya
string. Választható. Használja a következőt: rerunFailedTests = true && rerunType = basedOnTestFailurePercentage. Alapértelmezett érték: 30.

Elkerüli a tesztek újrafuttatását, ha a sikertelen tesztesetek százalékos aránya átlépi a megadott küszöbértéket. Ez akkor alkalmazható, ha a környezeti problémák súlyos hibákhoz vezetnek.


rerunFailedTestCasesMaxLimit - Sikertelen tesztek száma
string. Választható. Használja a következőt: rerunFailedTests = true && rerunType = basedOnTestFailureCount. Alapértelmezett érték: 5.

Elkerüli a tesztek újrafuttatását, ha a sikertelen tesztesetek száma túllépi a megadott korlátot. Ez akkor alkalmazható, ha a környezeti problémák súlyos hibákhoz vezetnek.


rerunMaxAttempts - Kísérletek maximális száma
string. Választható. Használja a következőt: rerunFailedTests = true. Alapértelmezett érték: 3.

Meghatározza, hogy a sikertelen teszteket legfeljebb hányszor kell újrapróbálkozotttá tenni. Ha egy teszt a kísérletek maximális számának elérése előtt megy át, a rendszer nem futtatja újra.


Feladatvezérlési lehetőségek

Minden feladathoz tartoznak vezérlési lehetőségek is a feladat bemenetei mellett. További információ: Vezérlési beállítások és gyakori feladattulajdonságok.

Kimeneti változók

Nincsenek.

Megjegyzések

Ezzel a feladattal egység- és funkcionális teszteket (Selenium, Appium, Coded UI-teszt stb.) futtathat a Visual Studio Tesztfuttatóval. Az MSTest-alapú tesztek mellett a Visual Studio tesztadapterrel rendelkező tesztkeretek is végrehajthatók, például xUnit, NUnit vagy Chutzpah.

Teszteli, hogy a cél .NET Core-keretrendszer végrehajtható-e a .runsettings fájlban a megfelelő cél-keretrendszer értékének megadásával.

A tesztek több ügynökön is eloszthatók a feladat 2. verziójával. További információ: Tesztek párhuzamos futtatása a Visual Studio Teszt feladatával.

Előfeltételek ellenőrzése

Ha windowsos saját üzemeltetésű ügynököt használ, ezt az előfeltételt telepíteni kell:

Igények

Az ügynöknek a következő képességgel kell rendelkeznie:

vstest

A vstest igény kétféleképpen teljesíthető:

  1. A Visual Studio telepítve van az ügynökgépre.
  2. A Visual Studio Test Platform Installer feladatának használatával a folyamatdefinícióban.

Hogyan futtathatok olyan teszteket, amelyek a TestCaset használják adatforrásként?

A TestCaset adatforrásként használó automatizált tesztek futtatásához a következőkre van szükség:

  1. Az ügynökgépen a Visual Studio 2017.6-os vagy újabb verziójának kell lennie. A Visual Studio Test Platform Installer-feladat nem használható a TestCaset adatforrásként használó tesztek futtatására.
  2. Létrehozás egy pat, amely jogosult a "Munkaelemek (teljes)" hatókörre.
  3. Adjon hozzá egy nevű Test.TestCaseAccessToken biztonságos build- vagy kiadási változót az előző lépésben létrehozott PAT értékével.

Problémákba ütközöm az adatvezérelt xUnit- és NUnit-tesztek futtatásakor néhány feladatbeállítással. Vannak ismert korlátozások?

Az xUnit és az NUnit tesztelési keretrendszert használó adatvezérelt tesztek ismert korlátozásokkal rendelkeznek, és nem használhatók a következő feladatbeállításokhoz:

  1. Sikertelen tesztek újrafuttatása.
  2. Tesztek terjesztése több ügynökön és kötegelési lehetőségeken.
  3. Hatáselemzés tesztelése.

A fenti korlátozások annak köszönhetők, hogy ezeknek a tesztelési keretrendszereknek az adapterei hogyan derítik fel és jelentik az adatvezérelt teszteket.

Támogatja a VSTest-feladat olyan tesztek futtatását, amelyek egyszerre több cél-keretrendszert céloznak meg?

Igen, a VSTest verziótól 17.3 kezdve támogatja az olyan tesztek futtatását, amelyek egyszerre több cél-keretrendszert céloznak meg. Korábban ez a VSTest platform oldalának korlátozása miatt nem volt lehetséges.

Ha több célkerethez tartozó teszteket szeretne futtatni, telepítenie kell a VSTest egy kompatibilis verzióját a Visual Studio Test Platform Installer használatával, és be kell állítania vsTestVersion a toolsInstaller használatát.

A teszteredmény közzététele közben a következő hibaüzenet jelenik meg: Nem sikerült közzétenni a teszteredményeket: Érvénytelen prioritás van megadva?

Ez a hiba akkor fordul elő, ha a tesztmetódusok bármelyikének prioritása 255 fölé van állítva, javítsa ki a tesztmetódus prioritását a kódban, és hajtsa végre újra a teszteket. A létrehozott trx-fájl áttekintésével megtekintheti a 255-nél nagyobb prioritású teszteket.

Követelmények

Követelmény Leírás
Folyamattípusok YAML, klasszikus build, klasszikus kiadás
Futtatás Ügynök, DeploymentGroup
Igények A saját üzemeltetésű ügynököknek olyan képességekkel kell rendelkezniük , amelyek megfelelnek az alábbi követelményeknek a feladatot használó feladatok futtatásához: vstest
Képességek Ez a feladat nem felel meg a feladat későbbi tevékenységeire vonatkozó követelményeknek.
Parancskorlátozások Bármelyik
Változók beállítása Bármelyik
Ügynök verziója 2.103.0 vagy újabb
Feladatkategória Tesztelés