Testovací zprávy

Každá možnost reportu vyžaduje balíček rozšíření uvedený ve své sekci. Přidejte balíček přímo nebo použijte testovací konfiguraci nebo profil sady SDK, který ho obsahuje. Rozšíření sestav nejsou součástí jádra MTP, takže možnost, jako --report-trx je nerozpoznaná, když testovací aplikace neregistruje její rozšíření. Spuštěním testovací aplikace --helpnebo spuštěním dotnet test --help v režimu MTP ověřte, že je k dispozici možnost.

Návod

Pokud používáte Microsoft.Testing.Platform.MSBuild (zahrnuté tranzitivně pomocí msTest, NUnit a xUnit runnerů), tato rozšíření se automaticky zaregistrují při instalaci jejich balíčků NuGet – nejsou potřeba žádné změny kódu. Ruční registrace zadaná v tomto článku se vyžaduje pouze v případě, že jste zakázali automaticky vygenerovaný vstupní bod nastavením <GenerateTestingPlatformEntryPoint>false</GenerateTestingPlatformEntryPoint>.

Názvy souborů reportů

Každé rozšíření sestavy zapisuje svůj soubor do adresáře výsledků testů, který lze nastavit pomocí volby --results-directory. Pokud chcete název přepsat, použijte odpovídající --report-*-filename možnost. Každý oddíl sestavy obsahuje výchozí název této sestavy.

Název souboru může obsahovat relativní cestu, která zůstane v adresáři výsledků testu, a může použít následující náhradní položky (zástupné symboly):

Zástupný text	Description
{asm}	Název sestavení položky nebo unknown pokud není k dispozici.
{tfm}	Moniker cílové architektury byl zjištěn za běhu, například net9.0.
{arch}	Procesní architektura, například x64, x86nebo arm64.
{pname}	Název procesu
{pid}	ID procesu.
{time}	Časové razítko s vysokou přesností

Například --report-trx-filename "{asm}_{tfm}_{arch}.trx" reprodukuje výchozí název TRX.

Pokud pro testovací zdroj již existuje výchozí nebo explicitní název souboru TRX, HTML nebo JUnit, přípona soubor upozorní a přepíše. Počínaje MTP 2.4 používá CTRF stejné chování. Chcete-li zachovat historii sestav, zahrňte prvek {time}.

Poznámka:

V názvech zástupných symbolů se rozlišují malá a velká písmena. Podpora zástupných symbolů pro názvy souborů sestav je v MTP k dispozici od verze 2.3.0.

Konsolidace reportů

Od verze MTP 2.4.0 MTP automaticky následně zpracovává artefakty sestav poté, co vyvolání dotnet test spustí více testovacích modulů nebo co podpora opakování provede více pokusů. Funkce je experimentální v MTP 2.4.0.

Rozšíření TRX, JUnit, CTRF a HTML seskupují kompatibilní artefakty podle typu zprávy a zapisují konsolidovanou zprávu do podadresáře merged adresáře s výsledky testů. Konsolidace CTRF kombinuje výsledky modulů a sloučí opakované pokusy do konečného výsledku testu včetně historie opakování. Konsolidace HTML vytvoří sloučený souhrn a zachová původní zprávy pro jednotlivé procesy.

Pro vlastní rozšíření sestav experimentální rozhraní API IArtifactPostProcessor zpřístupňuje samostatné TestModules a RetryAttempts režimy zpracování. Další informace naleznete v tématu RozšířeníIArtifactPostProcessor.

Visual Studio testovací zprávy (TRX)

Soubor výsledků testu Visual Studio (nebo TRX) je výchozím formátem pro publikování výsledků testu. Toto rozšíření vyžaduje balíček NuGet Microsoft.Testing.Extensions.TrxReport .

Ruční registrace

var builder = await TestApplication.CreateBuilderAsync(args);
builder.AddTrxReportProvider();

Poznámka:

Při ruční registraci zaregistrujte poskytovatele sestav TRX naposledy. Aktuální implementace závisí na objednávce registrace, takže její registrace po všech ostatních rozšířeních zajistí, že zachytí všechna testovací data.

Poznámka:

V MTP je od verze 1.9.0 k dispozici sestava TRX, která obsahuje pole Description test.

Poznámka:

V MTP jsou od verze 2.3.0 výsledky TRX v průběhu běhu průběžně zapisovány na disk. Pokud dojde k chybovému ukončení testovacího hostitele, soubor TRX uchovává výsledky shromážděné před chybou.

Od verze MTP 2.4 používá TRX ve výchozím nastavení obnovení řízené řadičem, pokud platforma má řadič testovacího hostitele. Prohlížeč, WASI, iOS a tvOS používají cestu kompatibility v procesu.

Od verze MTP 2.4 soubor TRX generovaný nástrojem MTP zachovává metadata MSTest [WorkItem] a [GitHubWorkItem].

Možnosti

Možnost	Description
--report-trx	Vygeneruje sestavu TRX.
--report-trx-filename	Název vygenerované zprávy TRX. Počínaje MTP 2.3.0 je výchozí deterministický {asm}_{tfm}_{arch}.trx tvar; před MTP 2.3.0 byl výchozí <UserName>_<MachineName>_<yyyy-MM-dd_HH_mm_ss.fffffff>.trx. Chcete-li upravit název, viz Názvy souborů sestav.

Sestava se uloží do výchozí složky TestResults, kterou je možné zadat pomocí argumentu příkazového řádku --results-directory.

HTML sestavy

Sestava HTML vytvoří interaktivní soubor HTML s vlastním obsahem pro testovací relaci. Toto rozšíření vyžaduje balíček NuGet Microsoft.Testing.Extensions.HtmlReport.

Poznámka:

K dispozici v MTP od verze 2.3.0. Toto rozšíření je experimentální a jeho možnosti a výstupní formát se můžou v budoucí verzi změnit.

Ruční registrace

var builder = await TestApplication.CreateBuilderAsync(args);
builder.AddHtmlReportProvider();

Možnosti

Možnost	Description
--report-html	Vygeneruje zprávu ve formátu HTML.
--report-html-filename	Název vygenerované sestavy ve formátu HTML. Hodnota musí končit .html. Výchozí hodnota je {asm}_{tfm}_{arch}.html. Chcete-li upravit název, viz Názvy souborů sestav. Vyžaduje --report-html.

Sestavy JUnit

Report JUnit vytvoří soubor XML ve formátu kompatibilním s JUnit pro testovací relaci. Toto rozšíření vyžaduje balíček NuGet Microsoft.Testing.Extensions.JUnitReport.

Poznámka:

K dispozici v MTP od verze 2.3.0. Toto rozšíření je experimentální a jeho možnosti a výstupní formát se můžou v budoucí verzi změnit.

Od verze MSTest.Sdk 4.3 povolte toto rozšíření pomocí <EnableMicrosoftTestingExtensionsJUnitReport>true</EnableMicrosoftTestingExtensionsJUnitReport>. Rozšíření není součástí profilů MSTest.Sdk Default ani AllMicrosoft.

Ruční registrace

var builder = await TestApplication.CreateBuilderAsync(args);
builder.AddJUnitReportProvider();

Možnosti

Možnost	Description
--report-junit	Vygeneruje XML report JUnit.
--report-junit-filename	Název vygenerovaného reportu JUnit XML. Hodnota musí končit .xml. Výchozí hodnota je {asm}_{tfm}_{arch}.xml. Chcete-li upravit název, viz Názvy souborů sestav. Vyžaduje --report-junit.

Sestavy CTRF

Sestava CTRF vytvoří soubor JSON, který používá Common Test Report Format pro testovací relaci. Toto rozšíření vyžaduje balíček NuGet Microsoft.Testing.Extensions.CtrfReport.

Poznámka:

K dispozici v MTP od verze 2.3.0. Toto rozšíření je experimentální a jeho možnosti a výstupní formát se můžou v budoucí verzi změnit.

Ruční registrace

var builder = await TestApplication.CreateBuilderAsync(args);
builder.AddCtrfReportProvider();

Možnosti

Možnost	Description
--report-ctrf	Vygeneruje zprávu ve formátu CTRF JSON.
--report-ctrf-filename	Název vygenerované sestavy JSON CTRF. Hodnota musí končit .json. Výchozí hodnota je <UserName>_<MachineName>_<assembly>_<tfm>_<timestamp>.ctrf.json. Chcete-li upravit název, viz Názvy souborů sestav. Vyžaduje --report-ctrf.

Počínaje MTP 2.4 zachová CTRF každý výsledek, pokud více testů používá stejné UID. Zahrnuje také přílohy podle testu a předchozího pokusu a odvodí jejich typy MIME z názvů souborů.

U opakovaných testů ctRF koreluje pokusy pouze v případě, že je relace jednoznačná. Potom zaznamená dřívější pokusy v retryAttempts, nastaví retries a označí pozdější úspěšný výsledek jako flaky: true. Nejednoznačné výsledky se stejným UID zůstávají oddělené, aby sestava nepřiřadila diagnostické údaje k nesprávnému testu.

Od preview verze MTP 2.5 se testId odvozuje od úplného UID testovacího uzlu MTP tohoto rámce. Reporter escapuje hodnoty ve svých vyhrazených jmenných prostorech identit a pro dlouhá UID používá deterministickou identitu SHA-256 namísto jejich zkracování. Každé ohlášené spuštění obdrží nové UUID v executionIda dřívější pokusy o opakování obdrží své vlastní attemptId. Pole extra.uid kompatibility zachová původní UID MTP. Cesty příloh zůstávají neprůhlené hodnoty a můžou odkazovat na místní soubory, ke kterým vzdálený příjemce nemá přístup.

Souhrn v terminálu identifikuje nestabilní a zopakované testy. Sestavy TRX a JUnit uchovávají pro každý test pouze jeden konečný výsledek místo zaznamenávání každého pokusu.

sestavy Azure DevOps

Rozšíření pro sestavy Azure DevOps integruje testovací běhy MTP s Azure Pipelines. Formátuje chyby a upozornění pro protokoly kanálu, přidává poznámky pro neúspěšné a přeskočené testy, vytvoří souhrn úlohy Markdownu a může seskupit výstup podle testovacího sestavení. Rozšíření může také identifikovat nestabilní selhání nebo selhání označená jako v karanténě, nahrát artefakty testů a průběžně odesílat výsledky do běhu testů Azure DevOps.

Když kód hostujete na GitHub, ale spustíte testy na agentech Azure Pipelines, můžou se poznámky k chybám zobrazovat přímo v žádosti o přijetí změn GitHub:

Toto rozšíření vyžaduje balíček NuGet Microsoft.Testing.Extensions.AzureDevOpsReport .

Ruční registrace

var builder = await TestApplication.CreateBuilderAsync(args);
builder.TestHost.AddAzureDevOpsProvider();

Možnosti

Možnost	Verze protokolu MTP	Description
--report-azdo	1.9.0	Povolí generátor sestav Azure DevOps. Chyby a upozornění se zapisují do výstupu ve formátu, který Azure DevOps rozumí.
--report-azdo-severity	1.9.0	Závažnost, která se má použít pro ohlášené události Platné hodnoty jsou error (výchozí) a warning.
--report-azdo-groups	2.4.0	Povolí nebo zakáže skupiny protokolování pro každé sestavení. Pokud je tato možnost povolená, výstup každého testovacího sestavení se zobrazí v sbalitelné části protokolu Azure Pipelines. Platné hodnoty jsou on a off. Náhledová sestavení MTP 2.4.0 ve výchozím nastavení používají on; stabilní vydání MTP 2.4.0 ve výchozím nastavení používá off. Vyžaduje --report-azdo.
--report-azdo-annotations	2.4.0	Povolí nebo zakáže poznámky pro neúspěšné a přeskočené testy. Platné hodnoty jsou on (výchozí) a off. Vyžaduje --report-azdo.
--report-azdo-flaky-history	2.3.0	Dotazuje se na historii výsledků testů v Azure DevOps za posledních N dní (1–90) a doplňuje nahlášená selhání o kontext nestability. Vyžaduje --report-azdo.
--report-azdo-demote-known-flaky	2.3.0	Přeřadí selhání, která jsou v okně historie Azure DevOps dostatečně nestabilní (výchozí prahová hodnota je 25 %), z chyb na varování. Vyžaduje --report-azdo a --report-azdo-flaky-history.
--report-azdo-slow-test-history	2.3.0	Dotazuje se na historii výsledků testů v Azure DevOps za zadaný počet dní a snižuje prahovou hodnotu stavu „stále spuštěno“ pro jednotlivé testy se známou krátkou dobou běhu. Přijímá přesně jedno celé číslo od 1 do 90. Při dostatečném počtu historických vzorků je prahová hodnota rovna nižší z hodnot 60 sekund a historické doby trvání na úrovni p99 vynásobené nakonfigurovaným multiplikátorem. Vyžaduje --report-azdo.
--report-azdo-slow-test-history-min-sample	2.3.0	Nastaví minimální počet historických vzorků potřebných k tomu, aby rozšíření použilo historii testu k úpravě prahové hodnoty pro pomalý test nebo aby přidalo podrobnosti z historie do řádků výstupu pro pomalé testy. Přijímá přesně jedno celé číslo větší nebo rovno 1. Výchozí hodnota je 10. Vyžaduje --report-azdo-slow-test-history.
--report-azdo-slow-test-history-multiplier	2.3.0	Nastaví násobitel použitý na historickou dobu trvání testu p99 k výpočtu prahové hodnoty pomalého testu. Přijímá přesně jednu invariantní hodnotu s plovoucí desetinnou čárkou větší než 0 a maximálně 10 000. Výchozí hodnota je 3. Vyžaduje --report-azdo-slow-test-history.
--report-azdo-quarantine-file	2.3.0	Cesta k textovému souboru se seznamem plně kvalifikovaných názvů testů v karanténě nebo vzorů glob. Neshody při porovnání jsou hlášeny jako varování. Vyžaduje --report-azdo.
--report-azdo-summary	2.3.0	Zapíše souhrn úlohy Markdownu na konci testovacího spuštění a nahraje ho prostřednictvím ##vso[task.uploadsummary]. Volitelný argument cesty k souboru přepíše výchozí umístění ({testResultsDir}/azdo-summary-{assembly}-{tfm}-{arch}.md). Vyžaduje --report-azdo.
--report-azdo-stackframe-filter	2.3.0	Přidá vzory regulárních výrazů, které se porovnávají s plně kvalifikovanou předponou typu každého rámce zásobníku volání a které se přeskočí, když rozšíření vyhledává místo volání uživatele, které se má anotovat. Možnost je opakovatelná, až 16 vzorů a každý vzor je zkompilován s časovým limitem shody 500 ms. Tyto vzory doplňují integrované předpony implementací asercí MSTest v rozšíření. Vyžaduje --report-azdo.
--report-azdo-upload-artifacts	2.3.0	Nahraje soubory s výsledky testů a/nebo přidá tagy sestavení do Azure DevOps. Platné hodnoty jsou (výchozí), offtags-only, filesa all.
--report-azdo-upload-artifact-include	2.3.0	Zahrne soubory při nahrávání artefaktů do Azure DevOps pomocí globálních vzorů relativně k adresáři s výsledky testů. Výchozí hodnota je **/*. Vyžaduje --report-azdo-upload-artifacts , aby byla jiná hodnota než off.
--report-azdo-upload-artifact-exclude	2.3.0	Vyloučí soubory z nahrávání artefaktů do Azure DevOps pomocí vzorů glob relativně k adresáři s výsledky testů. Vyžaduje --report-azdo-upload-artifacts , aby byla jiná hodnota než off.
--report-azdo-upload-artifact-name	2.3.0	Přepíše název kontejneru artefaktů Azure DevOps. Výchozí hodnota je TestResults_{assemblyName}_{tfm}. Vyžaduje --report-azdo-upload-artifacts , aby byla jiná hodnota než off.
--publish-azdo-test-results	2.3.0	Průběžně odesílá výsledky do testovacího běhu Azure DevOps po dokončení jednotlivých testů. Karta Testy sestavení uvádí dokončené spuštění.
--publish-azdo-run-name	2.3.0	Nastaví vlastní název běhu testů Azure DevOps pro publikování výsledků testů v reálném čase. Vyžaduje --publish-azdo-test-results.

Upozornění

Nepovolujte skupiny při paralelním spuštění více testovacích sestavení. Azure DevOps ##[group] a ##[endgroup] příkazy formátování jsou sekvenční a anonymní. Souběžný výstup sestavení může prokládat, způsobit nesprávné vnoření skupin a umístit řádky pod nesprávné sestavení. Pokud používáte náhledové sestavení MTP 2.4.0, předejte --report-azdo-groups off pro zakázání skupin. Stabilní verze MTP 2.4.0 ve výchozím nastavení zakazuje skupiny. --report-azdo-groups on předávejte pouze pro jedno sestavení nebo sériové spuštění sestavení.

Poznámka:

Sloupec verze MTP uvádí první verzi MTP, která obsahuje každou možnost. Samotné rozšíření Azure DevOps se stalo stabilním v MTP 1.9.0 s --report-azdo a --report-azdo-severity; zbývající možnosti byly přidány v MTP 2.3.0 nebo 2.4.0.

Rozšíření automaticky detekuje, že běží v prostředí kontinuální integrace (CI), a to kontrolou proměnné prostředí TF_BUILD.

Important

Dotazy na historii v Azure DevOps vyžadují TF_BUILD=true, SYSTEM_COLLECTIONURI, SYSTEM_TEAMPROJECT, SYSTEM_ACCESSTOKEN a BUILD_DEFINITIONID. Pokud některá hodnota chybí, MTP pokračuje bez historických dat, přeskočí anotace flaky-history a pro řádky pomalých testů použije pevný práh 60 sekund.

Publikování v reálném čase pomocí --publish-azdo-test-results vyžaduje TF_BUILD=true, SYSTEM_COLLECTIONURI, SYSTEM_TEAMPROJECT, SYSTEM_ACCESSTOKEN a BUILD_BUILDID. Pokud nějaká hodnota chybí nebo je neplatná, MTP varuje a nepublikuje testovací běh.

Počínaje verzí MTP 2.4.0 souhrny Markdown v Azure DevOps agregují výsledky ze všech testovacích modulů v rámci volání dotnet test. Pokud také povolíte pokrytí kódu, souhrn zahrnuje zahrnuté a celkové počty, procenta, prahové výsledky a indikátor, pokud jsou data pokrytí částečná.

Od verze MTP 2.5 preview obsahuje souhrn také míru úspěšnosti, historii nestabilních testů, porovnání dob trvání, vazby závislostí mezi testy, cílenou diagnostiku selhání a kompaktní deterministické uspořádání pro běhy s více moduly.

Od verze MTP 2.4 publikování v reálném čase automaticky nahraje přílohy souborů k neúspěšným výsledkům do výsledků testů v Azure DevOps. Neúspěšné výsledky zahrnují neúspěšné výsledky, chyby, vypršení časového limitu a zrušené výsledky.

Pokud výsledek poskytuje standardní výstup nebo standardní chybu, může rozšíření připojit až 256 KiB každého vloženého datového proudu. Každá příloha s podporou souborů má limit 16 MiB.

Rozšíření také nahrává soubory na úrovni .coverageběhu.cobertura.xml a .opencover.xml jako přílohy ke sledování pokrytí kódu. Tyto přílohy testovacího běhu a výsledků jsou oddělené od --report-azdo-upload-artifacts, které nahrává vybrané soubory jako artefakty sestavení Azure Pipelines.

U opakovaně spuštěných testů Azure DevOps publikuje předchozí pokusy jako dílčí výsledky a připojuje artefakty každého pokusu k dílčímu výsledku, který je vygeneroval. Pokud není k dispozici bezpečná korelace opakování, rozšíření místo jeho vyřazení publikuje samostatný výsledek.

Když živé publikování vytvoří spuštění, vytiskne adresu URL spuštění, abyste mohli před dokončením sledovat výsledky. Odesílá také pipelineReference a datum zahájení, pokud je prostředí pipeline poskytuje. Karta Testy sestavení neuvádí probíhající běh; uvede ho až po dokončení.

Přehledy GitHub Actions

Výstup GitHub Actions vydává nativní příkazy workflow GitHub Actions, takže běhy testů poskytují v runneru plnohodnotné prostředí: skupiny protokolů pro jednotlivá sestavení, anotace neúspěšných a přeskočených testů (zobrazené na kartě Annotations workflow a, když se podaří určit umístění ve zdrojovém kódu, i v diffu Files changed pull requestu), souhrn úlohy ve formátu Markdown připojený k souboru, na který odkazuje GITHUB_STEP_SUMMARY, a upozornění na pomalé testy.

Toto rozšíření vyžaduje balíček NuGet Microsoft.Testing.Extensions.GitHubActionsReport.

Rozšíření se aktivuje pouze když spuštění probíhá v GitHub Actions (proměnná prostředí GITHUB_ACTIONS má hodnotu true) a je nastaven přepínač --report-gh; jinak nedělá nic. Když je tato funkce aktivní, je ve výchozím nastavení povolená a dá se vypnout jednotlivě pomocí možnosti --report-gh-* .

Important

Možnost --report-gh patří do Microsoft.Testing.Extensions.GitHubActionsReport. Balíček GitHubActionsTestLogger nabízí jinou možnost . --report-github Možnosti nejsou aliasy a fungují jenom v případech, kdy testovací projekt zaregistruje balíček, který tuto možnost vlastní.

Poznámka:

Rozšíření je dostupné od MTP 2.3.0. Počínaje MTP 2.4.0 už nejsou jeho veřejné vstupní body experimentální.

Ruční registrace

var builder = await TestApplication.CreateBuilderAsync(args);
builder.AddGitHubActionsProvider();

Možnosti

Možnost	Verze protokolu MTP	Description
--report-gh	2.3.0	Povolí generátor sestav GitHub Actions, aby běhy testů generovaly příkazy workflow. Vyžaduje spuštění na GitHub Actions.
--report-gh-groups	2.3.0	Povolí nebo zakáže skupiny protokolování pro každé sestavení. Platné hodnoty jsou on (výchozí) a off. Vyžaduje --report-gh.
--report-gh-annotations	2.3.0	Povolí nebo zakáže poznámky pro neúspěšné a přeskočené testy. Platné hodnoty jsou on (výchozí) a off. Vyžaduje --report-gh.
--report-gh-step-summary	2.3.0	Určuje, zda přípona zapíše souhrn úlohy Markdownu do souboru odkazovaného uživatelem GITHUB_STEP_SUMMARY. Platné hodnoty jsou on (výchozí), off a od verze MTP 2.4.0 také on-failure. Vyžaduje --report-gh.
--report-gh-step-summary-sections	2.4.0	Vybere souhrnný obsah. Platné hodnoty jsou test-results, slow-tests, coveragea all (výchozí). Vyžaduje --report-gh a jiný režim souhrnu než off.
--report-gh-failure-details	2.4.0	Povolí nebo zakáže omezené podrobnosti o selhání v souhrnu úlohy. Použijte on (výchozí) nebo off. Podrobnosti zahrnují zprávu, typ výjimky, umístění zdroje a trasování zásobníku, pokud je k dispozici. Vyžaduje --report-gh.
--report-gh-history	2.4.0	Načte a aktualizuje ohraničený místní snímek historie testů v zadané cestě k souboru. Pracovní postup musí před spuštěním stáhnout předchozí snímek a potom nahrát aktualizovaný soubor. Vyžaduje --report-gh.
--report-gh-history-window	2.4.0	Nastaví dobu uchování historie od 1 do 90 dnů. Výchozí hodnota je 30 dní. Vyžaduje --report-gh-history.
--report-gh-slow-test-notices	2.3.0	Povolí nebo zakáže oznámení o pomalých testech. Platné hodnoty jsou on (výchozí) a off. Vyžaduje --report-gh.
--report-gh-slow-test-threshold	2.3.0	Doba, po kterou může test běžet, než je vydáno upozornění na pomalý test. Přijímá holý počet sekund nebo hodnotu s příponou jednotky, například 90s, 2mnebo 1.5h. Výchozí hodnota je 60s. Vyžaduje --report-gh.

Počínaje verzí MTP 2.4.0 shromažďují markdownové souhrny v GitHub Actions výsledky ze všech testovacích modulů v rámci jednoho spuštění dotnet test. Pokud také povolíte pokrytí kódu, vyberte coverage nebo all, aby se zahrnul počet pokrytých položek a celkový počet, procenta, výsledky porovnání s prahovými hodnotami a indikátor, když jsou data o pokrytí částečná.

Podrobnosti o selhání zůstávají v rámci stanovených limitů pro zprávu, zásobník, počet selhání a celkový souhrn. Pokud obsah překročí limit, sestava ho zkrátí nebo zestruční a toto zkrácení uvede v souhrnu.