Konfigurace MSTestu

MSTest, Microsoft Testing Framework, je testovací rozhraní pro aplikace .NET. Umožňuje psát a spouštět testy a poskytovat testovací sady s integrací do Průzkumníků testů visual Studio a Visual Studio Code, rozhraní příkazového řádku .NET a mnoha kanálů CI.

MSTest je plně podporovaná opensourcová a multiplatformní testovací architektura, která funguje se všemi podporovanými cíli .NET (.NET Framework, .NET Core, .NET, UPW, WinUI atd.) hostovanými na GitHubu.

Nastavení spuštění

Soubor .runsettings lze použít ke konfiguraci způsobu spouštění testů jednotek. Další informace o runsettings a konfiguracích souvisejících s platformou najdete v dokumentaci k runsettings VSTest nebo dokumentaci k runsettings MSTest runneru.

MSTest, element

Následující položky runsettings umožňují nakonfigurovat, jak se MSTest chová.

Konfigurace Výchozí Hodnoty
AssemblyCleanupTimeout 0 Globálně určete časový limit, který se má použít pro každou instanci metody čištění sestavení. [Timeout] atribut zadaný v metodě úklidu sestavení přepíše globální časový limit.
AssemblyInitializeTimeout 0 Zadejte globálně časový limit, který se má použít pro každou instanci metody inicializace sestavení. [Timeout] atribut zadaný na metodě inicializace sestavení přepíše globální časový limit.
AssemblyResolution nepravdivý Při hledání a spouštění testů jednotek můžete určit cesty k dalším sestavením. Tyto cesty použijte například pro sestavení závislostí, která nejsou ve stejném adresáři jako testovací sestavení. Chcete-li zadat cestu, použijte prvek Cesta adresáře. Cesty můžou zahrnovat proměnné prostředí.

<AssemblyResolution> <Directory path="D:\myfolder\bin\" includeSubDirectories="false"/> </AssemblyResolution>

Tato funkce se použije pouze při použití cíle rozhraní .NET Framework.
CaptureTraceOutput pravda Zachyťte textové zprávy přicházející z Console.Write*, Trace.Write* a Debug.Write* rozhraní API, která budou přidružena k aktuálně spuštěnému testu.
ClassCleanupLifecycle EndOfClass Chcete-li, aby se vyčištění třídy provedlo na konci procesu sestavení, nastavte ji na EndOfAssembly. (Od MSTest v4 se už nepodporuje, protože EndOfClass se jedná o výchozí a pouze chování ClassCleanup )
ClassCleanupTimeout 0 Zadejte globálně časový limit, který se má použít pro každou instanci metody úklidu třídy. [Timeout] atribut zadaný v metodě vyčištění třídy přepíše časový limit platný globálně.
ClassInitializeTimeout 0 Zadejte globálně časový limit, který se má použít pro každou instanci metody inicializace třídy. [Timeout] atribut zadaný v metodě inicializace třídy přepíše globální časový limit.
ConsiderFixturesAsSpecialTests nepravdivý Chcete-li zobrazit AssemblyInitialize, AssemblyCleanup, ClassInitialize a ClassCleanup jako samostatné položky v sadě Visual Studio a Visual Studio Code, Test Explorer a .trx log nastavte tuto hodnotu na true
DeleteDeploymentDirectoryAfterTestRunIsComplete pravda Pokud chcete zachovat adresář nasazení po testovacím spuštění, nastavte tuto hodnotu na false.
DeploymentEnabled pravda Pokud nastavíte hodnotu na false, položky nasazení, které zadáte v testovací metodě, se do adresáře nasazení nekopírují.
DeployTestSourceDependencies pravda Hodnota označující, zda mají být nasazeny odkazy na zdroj testů.
EnableBaseClassTestMethodsFromOtherAssemblies pravda Hodnota určující, zda povolit zjišťování testovacích metod ze základních tříd v jiném sestavení než odvozená testovací třída.
ForcedLegacyMode nepravdivý Ve starších verzích sady Visual Studio byl adaptér MSTest optimalizovaný tak, aby byl rychlejší a škálovatelný. Některé rysy chování sady, jako například pořadí, ve kterém jsou testy spuštěny, nemusí být přesně stejné jako v předchozích edicích sady Visual Studio. Nastavte hodnotu na true, abyste použili starší testovací adaptér.

Toto nastavení můžete použít například v případě, že máte soubor app.config určený pro test jednotek.

Doporučujeme, abyste zvážili refaktoring svých testů, abyste mohli použít novější adaptér.
LaunchDebuggerOnTestFailure nepravdivý Od verze MSTest 4.2 platí, že pokud je nastaveno na true, MSTest spustí ladicí program, když test selže.
MapInconclusiveToFailed nepravdivý Pokud se test dokončí s nejasným stavem, mapuje se na vynechaný stav v Test Explorer. Pokud chcete, aby se nejasné testy zobrazovaly jako neúspěšné, nastavte hodnotu na true.
MapNotRunnableToFailed pravda Hodnota označující, zda neproveditelný výsledek je mapován na neúspěšný test.
OrderTestsByNameInClass nepravdivý Pokud chcete spustit testy podle názvů testů v Průzkumníkech testů i na příkazovém řádku, nastavte tuto hodnotu na true.
Parallelize Slouží k nastavení paralelizace:

Workers: Počet vláken/pracovních procesů, které se mají použít pro paralelizaci, což je ve výchozím nastavení počet procesorů na aktuálním počítači.

Scope: Rozsah paralelizace. Můžete ho nastavit na MethodLevel. Ve výchozím nastavení je to ClassLevel.

<Parallelize><Workers>32</Workers><Scope>MethodLevel</Scope></Parallelize>
RandomizeTestOrder nepravdivý Počínaje verzí MSTest 4.3 nastavte tuto hodnotu na true pro spouštění testů v náhodném pořadí, což pomáhá utajit skryté závislosti řazení mezi testy. Toto nastavení nelze kombinovat s OrderTestsByNameInClass.
RandomTestOrderSeed Od verze MSTest 4.3, když je RandomizeTestOrder nastaveno na true, nastavte celočíselný seed, aby bylo možné při opakovaném spuštění reprodukovat náhodné pořadí. Pokud není nastaveno, pro každé spuštění se použije nový seed.
SettingsFile Tady můžete zadat soubor nastavení testu, který se má použít s adaptérem MSTest. Můžete také určit soubor nastavení testu z nabídky nastavení.

Pokud zadáte tuto hodnotu, musíte také nastavit ForcedLegacyMode hodnotu true.

<ForcedLegacyMode>true</ForcedLegacyMode>
TestCleanupTimeout 0 Zadejte globálně časový limit, který se má použít pro každou instanci metody vyčištění testu. [Timeout] atribut zadaný v metodě vyčištění testu přepíše globální časový limit.
TestInitializeTimeout 0 Zadejte globálně časový limit, který se má použít pro každou instanci metody inicializace testu. [Timeout] atribut zadaný v metodě inicializace testu přepíše globální časový limit.
TestTimeout 0 Získá globálně zadaný časový limit testovacího případu.
TreatClassAndAssemblyCleanupWarningsAsErrors nepravdivý Pokud chcete zobrazit nezdary v čištění tříd jako chyby, nastavte tuto hodnotu na true.
TreatDiscoveryWarningsAsErrors nepravdivý Pokud chcete nahlásit upozornění zjišťování testů jako chyby, nastavte tuto hodnotu na true.

TestRunParameter prvek

<TestRunParameters>
    <Parameter name="webAppUrl" value="http://localhost" />
</TestRunParameters>

Parametry testovacího spuštění poskytují způsob, jak definovat proměnné a hodnoty, které jsou k dispozici pro testy za běhu. Přístup k parametrům pomocí vlastnosti MSTest TestContext.Properties :

private string _appUrl;
public TestContext TestContext { get; set; }

[TestMethod]
public void HomePageTest()
{
    string _appUrl = TestContext.Properties["webAppUrl"];
}

Pokud chcete použít parametry testovacího spuštění, přidejte do testovací třídy veřejnou TestContext vlastnost.

Příklad souboru .runsettings

Následující xml ukazuje obsah typického souboru .runsettings . Zkopírujte tento kód a upravte ho tak, aby vyhovoval vašim potřebám.

Každý prvek souboru je volitelný, protože má výchozí hodnotu.

<?xml version="1.0" encoding="utf-8"?>
<RunSettings>

  <!-- Parameters used by tests at runtime -->
  <TestRunParameters>
    <Parameter name="webAppUrl" value="http://localhost" />
    <Parameter name="webAppUserName" value="Admin" />
    <Parameter name="webAppPassword" value="Password" />
  </TestRunParameters>

  <!-- MSTest -->
  <MSTest>
    <MapInconclusiveToFailed>True</MapInconclusiveToFailed>
    <CaptureTraceOutput>false</CaptureTraceOutput>
    <DeleteDeploymentDirectoryAfterTestRunIsComplete>False</DeleteDeploymentDirectoryAfterTestRunIsComplete>
    <DeploymentEnabled>False</DeploymentEnabled>
    <ConsiderFixturesAsSpecialTests>False</ConsiderFixturesAsSpecialTests>
    <AssemblyResolution>
      <Directory path="D:\myfolder\bin\" includeSubDirectories="false"/>
    </AssemblyResolution>
  </MSTest>

</RunSettings>

testconfig.json

Při spouštění testů pomocí msTestu můžete ke konfiguraci chování spouštěče testů použít soubor testconfig.json. Soubor testconfig.json je soubor JSON, který obsahuje nastavení konfigurace pro spouštěč testů. Tento soubor slouží ke konfiguraci spouštěče testů a testovacího spouštěcího prostředí. Další informace najdete v dokumentaci k MTP testconfig.json.

Počínaje verzí MSTest 3.7 můžete také nakonfigurovat spuštění MSTest ve stejném konfiguračním souboru. Následující části popisují nastavení, která můžete použít v souboru testconfig.json.

MSTest, element

Nastavení MSTest jsou seskupené podle funkcí popsaných v následujících částech.

Položka Výchozí Popis
seřaditTestyPodleJménaVeTřídě nepravdivý Pokud chcete spustit testy podle názvů testů v Průzkumníkech testů i na příkazovém řádku, nastavte tuto hodnotu na true.
povolit testovací metody základní třídy z jiných sestavení pravda Hodnota určující, zda povolit zjišťování testovacích metod ze základních tříd v jiném sestavení než odvozená testovací třída.
classCleanupLifecycle KonecMontáže Pokud chcete, aby čištění třídy probíhalo na konci třídy, nastavte ho na EndOfClass.

NastaveníassemblyResolution

Všechna nastavení v této části patří do elementu assemblyResolution.

Položka Výchozí Popis
cesty Žádný Při hledání a spouštění testů jednotek můžete určit cesty k dalším sestavením. Tyto cesty použijte například pro sestavení závislostí, která nejsou ve stejném adresáři jako testovací sestavení. Cestu můžete zadat ve tvaru { "path": "...", "includeSubDirectories": "true/false" }.

Příklad:

{
  "mstest": {
    "assemblyResolution": {
        { "path": "...", "includeSubDirectories": "true/false" }
    }
  }
}

Nastavenídeployment

Všechna nastavení v této části patří do elementu deployment.

Položka Výchozí Popis
smažteSložkuProNasazeníPoDokončeníTestu pravda Pokud chcete zachovat adresář nasazení po testovacím spuštění, nastavte tuto hodnotu na false.
NasazeníTestovacíchZdrojovýchZávislostí pravda Určuje, zda mají být nasazeny referenční zdroje testu.
povoleno pravda Pokud nastavíte hodnotu na false, položky nasazení, které zadáte v testovací metodě, se do adresáře nasazení nekopírují.

Příklad:

{
  "mstest": {
    "deployment": {
        "deleteDeploymentDirectoryAfterTestRunIsComplete": true,
        "deployTestSourceDependencies": true,
        "enabled": true
    }
  }
}

Nastaveníoutput

Všechna nastavení v této části patří do elementu output.

Položka Výchozí Popis
captureTrace pravda Zachyťte textové zprávy přicházející z Console.Write*, Trace.Write* a Debug.Write* rozhraní API, která budou přidružena k aktuálně spuštěnému testu.

Příklad:

{
  "mstest": {
    "output": {
        "captureTrace": false
    }
  }
}

Nastaveníparallelism

Všechna nastavení v této části patří do elementu parallelism.

Položka Výchozí Popis
povoleno nepravdivý Povolte paralelizaci testů.
obor třída Rozsah paralelizace. Můžete ho nastavit na method. Výchozí classodpovídá spuštění všech testů dané třídy postupně, ale více tříd paralelně.
dělníci 0 Počet vláken/pracovních procesů, které se mají použít pro paralelizaci. Výchozí hodnota odpovídá počtu procesorů na aktuálním počítači.

Příklad:

{
  "mstest": {
    "parallelism": {
        "enabled": true,
        "scope": "method",
        "workers": 32
    }
  }
}

Nastaveníexecution

Všechna nastavení v této části patří do elementu execution.

Položka Výchozí Popis
považovatPrázdnýZdrojDatZaNepřesvědčivý nepravdivý Při nastavení na truese prázdný zdroj dat považuje za neprůkazný.
zvažovatPevnéBodyJakoZvláštníTesty nepravdivý Chcete-li zobrazit AssemblyInitialize, AssemblyCleanup, ClassInitialize, ClassCleanup jako jednotlivé položky ve Visual Studiu a Visual Studio Code v protokolu Test Explorer a .trx, nastavte tuto hodnotu na true.
převéstNepřesvědčivýNaNeúspěšný nepravdivý Pokud se test dokončí s nejasným stavem, mapuje se na vynechaný stav v Test Explorer. Pokud chcete, aby se nejasné testy zobrazovaly jako neúspěšné, nastavte hodnotu na true.
Spustit ladicí program při selhání testu nepravdivý Od verze MSTest 4.2 platí, že je-li nastavena hodnota true, MSTest spustí ladicí program, když test selže.
mapNeproveditelnýNaSelhaný pravda Hodnota označující, zda neproveditelný výsledek je mapován na neúspěšný test.
randomizeTestOrder nepravdivý Počínaje verzí MSTest 4.3 nastavte tuto hodnotu tak, aby true spouštěla testy v náhodném pořadí, což pomáhá utajit skryté závislosti řazení mezi testy. Toto nastavení nelze kombinovat s orderTestsByNameInClass.
randomTestOrderSeed Od verze MSTest 4.3, když je randomizeTestOrder nastaveno na true, nastavte celočíselnou inicializační hodnotu, aby bylo možné náhodné pořadí reprodukovat při opakovaném spuštění. Pokud není nastavena počáteční hodnota, použije se při každém spuštění nová.
zacházejte s varováními o vyčištění třídy a sestavy jako s chybami nepravdivý Pokud chcete zobrazit nezdary v čištění tříd jako chyby, nastavte tuto hodnotu na true.
treatDiscoveryWarningsAsErrors (považujte varování při odhalování za chyby) nepravdivý Pokud chcete nahlásit upozornění zjišťování testů jako chyby, nastavte tuto hodnotu na true.

Příklad:

{
  "mstest": {
    "execution": {
        "considerEmptyDataSourceAsInconclusive": false,
        "considerFixturesAsSpecialTests": false,
        "mapInconclusiveToFailed": true,
        "mapNotRunnableToFailed": true,
        "treatClassAndAssemblyCleanupWarningsAsErrors": false,
        "treatDiscoveryWarningsAsErrors": false
    }
  }
}

Nastavenítimeout

Všechna nastavení v této části patří do elementu timeout.

Položka Výchozí Popis
čištění sestavy 0 Globálně určete časový limit, který se má použít pro každou instanci metody čištění sestavení.
inicializaceSestavení 0 Zadejte globálně časový limit, který se má použít pro každou instanci metody inicializace sestavení.
třídní úklid 0 Zadejte globálně časový limit, který se má použít pro každou instanci metody úklidu třídy.
classInitialize 0 Zadejte globálně časový limit, který se má použít pro každou instanci metody inicializace třídy.
test 0 Zadejte globálně časový limit testu.
testCleanup 0 Zadejte globálně časový limit, který se má použít pro každou instanci metody vyčištění testu.
testInitialize 0 Zadejte globálně časový limit, který se má použít pro každou instanci metody inicializace testu.
PoužijKooperativníZrušení nepravdivý Pokud je nastavena na true, v případě časového limitu MSTest aktivuje pouze zrušení CancellationToken, ale nezastaví sledování metody. Toto chování je výkonnější, ale spoléhá na uživatele, aby správně tok tokenu prošel všemi cestami.

Poznámka

Atribut [Timeout] zadaný na metodě přepíše globální časový limit. Například [Timeout(1000)] u metody označené [AssemblyCleanup] přepíše globální časový limit assemblyCleanup.

Příklad:

{
  "mstest": {
    "timeout": {
        "assemblyCleanup": 0,
        "assemblyInitialize": 0,
        "classCleanup": 0,
        "classInitialize": 0,
        "test": 0,
        "testCleanup": 0,
        "testInitialize": 0,
        "useCooperativeCancellation": false
    }
  }
}

Příklad souboru testconfig.json

Následující json ukazuje obsah typického souboru .testconfig.json. Zkopírujte tento kód a upravte ho tak, aby vyhovoval vašim potřebám.

Každý prvek souboru je volitelný, protože má výchozí hodnotu.

{
  "platformOptions": {
    "resultDirectory": "./TestResults"
  },
  "mstest": {
    "execution": {
        "mapInconclusiveToFailed": true,
        "disableAppDomain": true,
        "considerFixturesAsSpecialTests": false
    },
    "parallelism": {
        "enabled": true,
        "scope": "method"
    },
    "output": {
        "captureTrace": false
    }
  }
}

Vlastnosti nástroje MSBuild

Od verze MSTest 4.3 můžete povolit paralelizaci na úrovni sestavení v souboru projektu nebo v Directory.Build.props, aniž byste museli definovat atribut [assembly: Parallelize]. Tyto vlastnosti generují odpovídající atribut sestavení během sestavení, takže musí GenerateAssemblyInfo být true (výchozí hodnota pro projekty ve stylu sady SDK).

Property Výchozí Popis
MSTestParallelizeScope Obor paralelizace. Nastavte ho na MethodLevel nebo ClassLevel, aby se vygenerovalo [assembly: Parallelize(Scope = ExecutionScope.MethodLevel)] (nebo ExecutionScope.ClassLevel), nebo na None, aby se vygenerovalo [assembly: DoNotParallelize].
MSTestParallelizeWorkers Maximální počet pracovních vláken, uváděný jako hodnota Workers položky [assembly: Parallelize]. Hodnota 0 odpovídá počtu procesorů v aktuálním počítači. Tuto vlastnost nelze nastavit, pokud MSTestParallelizeScope je None.

Následující příklad umožňuje paralelizaci na úrovni metody se čtyřmi pracovními procesy pro každý testovací projekt, který importuje Directory.Build.props soubor:

<Project>
  <PropertyGroup>
    <MSTestParallelizeScope>MethodLevel</MSTestParallelizeScope>
    <MSTestParallelizeWorkers>4</MSTestParallelizeWorkers>
  </PropertyGroup>
</Project>