Co je Azure Test Plans?

služby Azure DevOps | Azure DevOps Server | Azure DevOps Server 2022

Azure Test Plans nabízí výkonné nástroje pro řízení kvality a spolupráce v průběhu procesu vývoje. Toto řešení správy testů založené na prohlížeči podporuje plánované ruční testování, testování přijetí uživatelů, průzkumné testování a zpětnou vazbu účastníků.

Poznámka:

Tento článek se týká služeb Azure DevOps Services a Azure DevOps Serveru 2020 a novějších verzí. Většina informací platí i pro dřívější místní verze, obrázky však zobrazují pouze příklady pro nejnovější verzi. Uživatelské rozhraní se také výrazně změnilo ve verzi Azure DevOps Serveru 2020. Přehled nového rozhraní a podporovaných funkcí najdete v tématu Navigace v testovacích plánech.

Jak azure Test Plans funguje?

Prostřednictvím kombinace nástrojů založených na prohlížeči – Plány testů, Zpráva o průběhu, Parametry, Konfigurace, Spuštění a Testovací nástroje – a funkcí integrace s DevOps podporuje Azure Test Plans následující cíle testování:

• Proveďte ruční a průzkumné testování:

  • Organizace plánovaného ručního testování: Určete testery a vedoucí testování pro organizaci testů do plánů testování a sad testů.
  • Proveďte uživatelské akceptační testování: Pověřte testery uživatelského akceptačního testování, aby ověřili, že dodané řešení splňuje požadavky zákazníka, s využitím testovacích artefaktů vytvořených technickými týmy.
  • Provádění průzkumného testování: Můžou vývojáři, testeři, týmy uživatelského rozhraní, vlastníci produktů a další prozkoumat softwarové systémy bez použití testovacích plánů nebo testovacích sad.
  • Shromážděte zpětnou vazbu účastníků: Zapojte účastníky mimo vývojový tým, například uživatele z marketingových a prodejních divizí, a proveďte testování.

• Automatizace testování: Integrace azure Test Plans se službou Azure Pipelines za účelem podpory testování v rámci CI/CD Přidružit testovací plány a testovací případy ke kanálům buildu nebo vydání. Přidejte úlohy kanálu pro zachytávání a publikování výsledků testů. Výsledky testů můžete zobrazit pomocí integrovaných zpráv o průběhu a zpráv o testech kanálu.

• Zajištění sledovatelnosti: Propojte testovací případy a testovací sady s uživatelskými příběhy, funkcemi nebo požadavky na kompletní sledovatelnost. Automaticky propojte testy a vady s požadavky a testovanými sestaveními. Přidejte a spusťte testy z panelu nebo použijte centrum testovacích plánů pro větší týmy. Sledujte testování požadavků pomocí výsledků pipeline a widgetu Požadavky.

• Sledování sestav a analýz: Sledujte výsledky testů a průběh pomocí konfigurovatelných grafů pro sledování, widgetů pro řídicí panely určených pro testy a integrovaných sestav, jako jsou sestavy průběhu, sestavy výsledků testů kanálu a služba Analytics.

Poznámka:

Zátěžové a výkonnostní testování: Zatímco cloudová služba zátěžového testování Azure DevOps je zastaralá, je k dispozici zátěžové testování Azure. Azure Load Testing je plně spravovaná služba zátěžového testování, která umožňuje používat existující skripty Apache JMeter ke generování vysokého zatížení. Další informace najdete v tématu Co je Zátěžové testování Azure? Další informace o vyřazení zátěžového testování Azure DevOps najdete v tématu Změny funkcí zátěžového testu v sadě Visual Studio a cloudovém zátěžovém testování v Azure DevOps.

Klíčové výhody

Azure Test Plans poskytuje týmům pro vývoj softwaru následující výhody.

• Testování na libovolné platformě: Pomocí webového portálu Testovací plány můžete pro přístup ke všem možnostem ručního testování použít libovolný podporovaný prohlížeč. Umožňuje vytvářet a spouštět ruční testy prostřednictvím snadno použitelného rozhraní založeného na prohlížeči, ke kterému mají uživatelé přístup ze všech hlavních prohlížečů na libovolné platformě.

• Shromažďování bohatých diagnostických dat: Pomocí webového nástroje Test Runner můžete shromažďovat diagnostická data během ručních testů, včetně snímků obrazovky, protokolů akcí obrázků a záznamů obrazovky. Azure Test Plans automaticky zahrne zachycená data do chyb, které vytvoříte během testu, což vývojářům pomáhá reprodukovat problémy.

• Kompletní sledovatelnost: Azure DevOps poskytuje kompletní sledovatelnost vašich požadavků, sestavení, testů a chyb s propojením pracovních položek s jinými objekty. Uživatelé můžou sledovat kvalitu požadavků z karet na panelu. Chyby vytvořené při testování se automaticky propojily s požadavky a otestovanými sestaveními, což vám pomůže sledovat kvalitu požadavků nebo sestavení.

• Integrovaná analýza: Služba Analytics poskytuje data, která se předkládají do integrovaných sestav, konfigurovatelných widgetů řídicích panelů a přizpůsobitelných sestav pomocí Power BI. Data sledují průběh plánu testů a trendy pro ruční i automatizované testy. Analýza testů poskytuje téměř v reálném čase přehled o testovacích datech pro sestavení a vydané verze. Týmy můžou na těchto datech reagovat, aby zlepšily testovací zajištění, aby pomohly udržovat kanály, které jsou v pořádku.

• Rozšiřitelná platforma. Nástroje a technologie, které už znáte, můžete kombinovat s vývojářskými nástroji, které jsou pro vás nejvhodnější pro integraci s Azure DevOps a jejich rozšíření. Pomocí rozhraní REST API a modelu přispívání, který je dostupný pro testovací platformu, můžete vytvářet rozšíření, která poskytují prostředí, které potřebujete pro životní cyklus správy testů.

Podporované scénáře a požadavky na přístup

Přístup k funkcím webového portálu Azure DevOps se spravuje prostřednictvím úrovní přístupu přiřazených uživatelům. Tři hlavní úrovně přístupu představují plány Stakeholder, Basic a Basic+Test, jak je popsáno v článku O úrovních přístupu. Následující tabulka uvádí úroveň přístupu potřebnou k cvičení přidružených úkolů k Azure Test Plans. Kromě úrovní přístupu vyžadují vybrané funkce oprávnění ke spuštění. Další informace naleznete v tématu Ruční test přístupu a oprávnění.

Scénář a úkoly

Podílník

Basic

Základní a testovací plány

---

Plánování testů

• Vytvořit testovací plány a sady testů
• Správa nastavení spuštění testovacího plánu
• Správa konfigurací

✔️

Provádění testů

• Spouštění testů na libovolné platformě (Windows, Linux, Mac) s nástrojem Test Runner

✔️

✔️

Provádění průzkumného testování pomocí rozšíření Test &Feedback

✔️

✔️

✔️

Analýza a kontrola testů

• Vytváření grafů s různými pivoty, jako je priorita, konfigurace atd., pro sledování průběhu testů
• Procházet výsledky testů
• Export testovacích plánů a testovacích sad pro kontrolu
• Testování přijetí uživatele – přiřazení testů a pozvání e-mailem

✔️

✔️

Manuální a průzkumné testování

K podpoře ručního a průzkumného testování azure Test Plans k plánování a vytváření testů používá typy pracovních položek specifických pro testování. Kromě toho poskytuje dva testovací nástroje pro podporu spouštění testů. Centra Testovací plány, Parametry a Konfigurace poskytují nástroje pro efektivní vytváření a správu testovacích položek, jejich nastavení a konfigurací. Sady testů můžou být dynamické– sady založené na požadavcích a dotazovací sady, které vám pomůžou pochopit kvalitu přidružených požadavků v rámci vývoje nebo statické, aby vám pomohly pokrýt regresní testy.

Typy pracovních položek specifických pro testování

Typy pracovních položek – testovací plány, testovací sady, testovací případy, sdílené kroky a sdílené parametry – podporují několik explicitních odkazů na podporu sledování požadavků a sdílení testovacích kroků a dat napříč mnoha testovacími případy. Testovací případy je možné přiřadit jako ruční nebo automatizované. Popis každé z těchto testovacích položek najdete v tématu Testovací objekty a termíny.

V Azure DevOps je možné pochopit vztah mezi výsledkem testu, spuštěním testu a testovacím případem následujícím způsobem:

• Testovací případ: Konkrétní scénář nebo sada kroků navržených k ověření konkrétní funkce nebo funkce.
• Testovací běh: Instance, ve které se spouští jeden nebo více testovacích případů. Každé testovací spuštění může obsahovat několik testovacích případů.
• Výsledek testu: Výsledek běhu testu. Každý testovací případ v rámci testovacího spuštění má svůj vlastní výsledek testu, který označuje, jestli byl úspěšný nebo neúspěšný.

Poznámka:

S Azure DevOps Serverem 2020 a novějšími verzemi můžete provádět automatizované testy přidáním testovacích úloh do kanálů. Definování testovacích plánů, testovacích případů a sad testů se při použití testovacích úloh nevyžaduje.

Definování testovacích plánů a testovacích sad

Vytvoříte a spravujete testovací plány a testovací sady z centra testovacích plánů . Přidejte do testovacích plánů jednu nebo více testovacích sad ( statickou, založenou na požadavcích nebo dotazech). Exportujte a sdílejte testovací plány a testovací sady s týmy. Postup najdete v tématu Vytváření testovacích plánů a testovacích sad a kopírování nebo klonování testovacích plánů, testovacích sad a testovacích případů.

Autor testuje pomocí testovacích případů

Ruční testovací případy definujete definováním testovacích kroků a volitelně testovacích dat, na která se chcete odkazovat. Testovací sady se skládají z jednoho nebo více testovacích případů. Testovací případy můžete sdílet v testovacích sadách. Zobrazení mřížky pro definování testovacích případů podporuje operace kopírování, vložení, vložení a odstranění. Rychle přiřaďte k provádění testů jeden nebo více testerů. Umožňuje zobrazit výsledky testů a odkazy na testovací případ napříč testovacími sadami. Postup najdete v tématu Vytváření testovacích případů.

V každém testovacím případě zadáte sadu testovacích kroků s očekávanými výsledky. Volitelně můžete přidat sdílené kroky nebo sdílené parametry. Pokud chcete sledovatelnost, propojte testovací případy s uživatelskými příběhy, funkcemi nebo chybami, které testují.

Správa sdílených parametrů

K definování a správě parametrů sdílených napříč testovacími případy použijte centrum Parameters. Sdílené parametry poskytují podporu pro opakované ruční testy několikrát s různými testovacími daty. Pokud například uživatelé můžou do nákupního košíku přidat různá množství produktu, chcete zkontrolovat, že množství 200 funguje a množství 1.

Správa konfigurací testů a proměnných

S centrem Configurations mohou týmy definovat, kontrolovat a spravovat konfigurace testů a proměnné, na které odkazují testovací plány. Konfigurace testů poskytují podporu pro testování aplikací v různých operačních systémech, webových prohlížečích a verzích. Stejně jako u sdílených parametrů je možné konfigurace testů sdílet napříč několika testovacími plány.

Testovací spouštění a testovací nástroje

Pomocí následujících nástrojů můžou vývojáři, testeři a účastníci zahajovat testy a zaznamenávat bohatá data při provádění testů a automaticky protokolovat chyby kódu propojené s testy. Otestujte svoji aplikaci prováděním testů desktopových nebo webových aplikací.

• Test Runner: Nástroj založený na prohlížeči, který spustíte z centra testovacích plánů pro spouštění ručních testů pro webové a desktopové aplikace. Test Runner podporuje snímky obrazovky, protokoly akcí s obrázky a nahrávky obrazovky. Můžete také vytvářet chyby a zaznamenávat výsledky testů.
• Rozšíření Test a zpětná vazba: Bezplatné rozšíření pro Chrome a Microsoft Edge, které podporuje průzkumné testování. Rozšíření zachycuje interakce s aplikací prostřednictvím obrázků, videa a zadaných komentářů. Azure DevOps ukládá informace do pracovní položky Odpověď na zpětnou vazbu, aby pomohl sledovat data o odpovědích.

Možnost spouštění testů

Pomocí uvedených nástrojů můžete provádět následující úlohy.

Úloha	Centrum testovacích plánů	Spouštěč testů	Rozšíření Test & Feedback
Hromadně označit testy	✔️
Úspěšné nebo neúspěšné testy nebo testovací kroky		✔️	✔️
Průběžné změny testů během spuštění		✔️	✔️
Pozastavení a obnovení testů		✔️	✔️
Chyby souboru během provádění testu		✔️	✔️
Pořizujte snímky obrazovky, protokol akcí s obrázky a záznam obrazovky během provádění testu		✔️	✔️
Aktualizace existujících chyb během provádění testu		✔️	✔️
Ověření chyb		✔️	✔️
Přiřaďte sestavení k testovacímu běhu	✔️
Přiřadit nastavení testu	✔️
Kontrola testovacích běhů	✔️

Provádění testů

V centru Test plans na kartě Execute můžou členové týmu zahájit provádění testů pro jeden nebo více testovacích případů definovaných v sadě testů. Mezi volby patří spuštění Test Runneru pro webovou nebo desktopovou aplikaci. Volitelně můžou členové týmu vybrat Možnost Spustit s možnostmi a zvolit další podporované klienty pro ruční testování nebo vybrat sestavení pro automatizované testování. Další informace naleznete v tématu Spouštění ručních testů.

Spouštěč testů

Test Runner spouští testy pro webové a desktopové aplikace. Označte testovací kroky a výsledky testů jako úspěšné nebo neúspěšné a při testování shromážděte diagnostická data, jako jsou systémové informace, protokoly akcí obrázků, záznamy obrazovky a snímky obrazovky. Chyby v průběhu testů automaticky zahrnují všechna zachycená diagnostická data, která vývojářům pomůžou tyto problémy reprodukovat. Další informace najdete v tématu Spouštění testů webových aplikací a spouštění testů pro desktopové aplikace.

Testování přijetí uživateli

Uživatelské akceptační testování (UAT) pomáhá zajistit, aby týmy poskytovaly hodnotu požadovanou zákazníky. Můžete vytvořit testovací plány a sady UAT, pozvat několik testerů ke spuštění těchto testů a sledovat průběh testů a výsledky pomocí jednoduchých grafů. Postup najdete v tématu Testování přijetí uživatelů.

Průzkumné testování pomocí rozšíření Test &Feedback

Rozšíření Test &Feedback je jednoduché rozšíření založené na prohlížeči, které můžete použít k testování webových aplikací kdykoli a kdekoli a je jednoduché, aby ho mohli používat všichni členové týmu. Pomáhá zlepšit produktivitu tím, že vám umožní strávit více času hledáním problémů a méně času jejich vyplňováním.

Zpětná vazba účastníků

Měli byste hledat zpětnou vazbu od zúčastněných stran mimo vývojový tým, jako jsou marketingové a prodejní týmy, což je důležité pro vývoj kvalitního softwaru. Vývojáři můžou požádat o zpětnou vazbu na své uživatelské scénáře a funkce. Účastníci můžou reagovat na žádosti o zpětnou vazbu pomocí rozšíření Test &Feedback založeného na prohlížeči – nejen k hodnocení a odesílání komentářů, ale také díky zachycení bohatých diagnostických dat a zařazování chyb a úkolů přímo. Další informace najdete v tématu Žádost o zpětnou vazbu účastníků a poskytnutí zpětné vazby účastníků.

Automatické testování

Automatizované testování se usnadňuje spouštěním testů v rámci služby Azure Pipelines. Analýza testů poskytuje téměř v reálném čase přehled o testovacích datech pro sestavení a vydané verze. Pomáhá zlepšit efektivitu pipeline tím, že identifikuje opakující se závažné problémy s kvalitou.

Azure Test Plans podporuje automatizované testování následujícími způsoby:

• Přidružení testovacích plánů nebo testovacích případů ke kanálům buildu nebo verze

• Zadejte úlohy pro povolení testování v rámci definice kanálu. Azure Pipelines poskytuje několik úloh, včetně následujících úloh, které podporují komplexní prostředí pro generování sestav testů a analýzu.

  • Úloha Publikování výsledků testu: Slouží k publikování výsledků testů do Azure Pipelines.
  • Úloha Visual Studio Test: Používá se ke spouštění jednotek a funkčních testů (Selenium, Appium, Programový test uživatelského rozhraní a další) pomocí nástroje Visual Studio Test Runner.
  • Úloha rozhraní příkazového řádku .NET Core: Slouží k sestavení, testování, vytvoření balíčku nebo publikování aplikace .NET.

  Další úkoly najdete v tématu Publikování výsledků testů.

• Poskytovat integrované sestavy a konfigurovatelné widgety na řídicím panelu k zobrazení výsledků testování pipeline.

• Shromážděte výsledky testů a související testovací data do služby Analytics.

Sledovatelnost

Azure Test Plans podporuje propojení chyb a požadavků na testovací případy a testovací sady. Kromě toho sledovatelnost podporují následující webový portál a nástroje související s testováním:

• Zobrazení položek propojených s testovacím případem: Zobrazte testovací plány, testovací sady, požadavky a chyby, na které odkazuje testovací případ.
• Přidání a spuštění testů z panelu: Funkce Azure Boards, která podporuje definování testovacích případů z uživatelských scénářů, funkcí nebo chyb z panelu. Můžete také spustit Test Runner nebo rozšíření Test &Feedback ke spuštění testů nebo provádění průzkumného testování.
• Widget kvality požadavků: Konfigurovatelný widget slouží k průběžnému sledování kvality v procesu buildu nebo vydání. Widget zobrazuje mapování mezi požadavky a nejnovějšími výsledky testů provedenými proti požadavkům. Poskytuje přehled o sledovatelnosti požadavků. Například požadavky nesplňují kvalitu, požadavky, které nejsou testovány atd.

Zobrazení položek propojených s testovacím případem

V centru Testovací plány můžete zobrazit a otevřít testovací sady, požadavky a chyby propojené s testovacím případem. Karta Sady testů také označuje testovací plány a projekty, které odkazují na testovací případ. Na kartě Požadavky jsou uvedeny pracovní položky propojené s testovacím případem, které patří do kategorie požadavků. Kromě toho můžete vytvořit dotaz s přímým odkazem, který obsahuje položky, které odkazují na testovací případy prostřednictvím typu Testy/Testováno podle typu odkazu. Další informace naleznete v tématu Vytvoření testovacích případů a použití přímých odkazů k zobrazení závislostí.

Přidávejte a spouštějte testy na panelu

Na panelech Azure Boards můžete přidat testy z uživatelského scénáře nebo funkce a automaticky propojit testovací případ s uživatelským scénářem nebo funkcí. Můžete zobrazit, spustit a pracovat s testovacími případy přímo z panelu a postupně sledovat stav přímo z karty. Další informace najdete v tématu Přidání, spuštění a aktualizace vložených testů.

Widget pro kvalitu požadavků

Widget kvality požadavků zobrazuje seznam všech požadavků v daném rozsahu spolu s mírou úspěšnosti u testů a počtem neúspěšných testů. Výběrem počtu neúspěšných testů se otevře karta Testy pro vybrané sestavení nebo vydání. Widget také pomáhá sledovat požadavky bez přidružených testů. Další informace naleznete v tématu Sledovatelnost požadavků.

Reportování a analýza

Pro podporu vytváření sestav a analýz Azure Test Plans podporuje grafy sledování testů, centrum Spuštění testů, několik předdefinovaných sestav testů kanálu, widgety řídicího panelu a testovací data uložená ve službě Analytics.

• Konfigurovatelné testovací grafy: Můžete získat přehled o aktivitě vytváření a provádění testovacího plánu vytvořením testovacích sledovacích grafů.
• Zpráva o průběhu: Sledujte průběh jednoho či více testovacích plánů nebo testovacích sad.
• Testovací běhy: Zkontrolujte výsledky ručních a automatizovaných testovacích běhů.
• Widgety řídicího panelu: Konfigurovatelné widgety, které zobrazují výsledky testů na základě vybraných sestavení nebo vydaných verzí. Mezi widgety patří widget Stav nasazení a widget Trend výsledků testů (pokročilé).
• Analýza testů: Získejte podrobné přehledy z předdefinovaných sestav kanálu nebo vytvořte vlastní sestavy dotazováním služby Analytics.

Konfigurovatelné testovací grafy

Rychlé konfigurace jednoduchých grafů pro sledování výsledků ručního testu pomocí typů grafů podle vašeho výběru a připnutí grafů na řídicí panel pro snadnou analýzu těchto výsledků. Zvolte zásadu uchovávání informací, abyste mohli řídit, jak dlouho se budou výsledky ručního testování uchovávat. Další informace najdete v tématu Sledování stavu testu.

Zprávy o průběhu

V centru Sestava průběhu mohou týmy sledovat průběh více testovacích plánů nebo sad testů. Tato sestava pomáhá zodpovědět následující otázky:

• Kolik testování je hotové?
• Kolik testů bylo úspěšné, neúspěšných nebo blokovaných?
• Je pravděpodobné, že testování bude dokončeno včas?
• Jaká je denní míra provádění?
• Které testovací oblasti vyžadují pozornost?

Testovací běhy

Centrum běhů testů zobrazuje ruční a automatizované běhy testů. Použijte ho k vyhledávání a filtrování spuštění, prohlížení souhrnů spuštění a analytických údajů, kontrole jednotlivých výsledků testů, náhledu příloh a propojení výsledků s pracovními položkami.

Aktuální snímky obrazovky a podrobné postupy najdete v tématu Správa testovacích běhů v Azure DevOps testovacích plánech.

Stav nasazení

Konfigurovatelný widget Stav nasazení zobrazuje souhrnný přehled stavu nasazení a míry úspěšnosti testů v několika prostředích u nedávné sady sestavení. Widget nakonfigurujete zadáním kanálu buildu, větve a propojených kanálů verze. Pokud chcete zobrazit souhrn testů ve více prostředích ve vydané verzi, widget poskytuje maticové zobrazení každého prostředí a odpovídající rychlost průchodu testu.

Najeďte myší na jakýkoli souhrn sestavení a můžete zobrazit další podrobnosti, konkrétně počet úspěšných a neúspěšných testů.

Trend výsledků testů (Upřesnit)

Widget Test Results Trend (Advanced) poskytuje téměř v reálném čase přehled o testovacích datech pro více sestavení a vydaných verzí. Widget zobrazuje trend výsledků testů pro vybrané kanály. Můžete ho použít ke sledování denního počtu testů, úspěšnosti a doby trvání testu. Sledování kvality testů v čase a zlepšování testovacích artefaktů je klíčové pro udržení zdravého DevOps pipeline. Widget podporuje sledování pokročilých metrik pro jeden nebo více kanálů buildu nebo kanálů verzí. Tento widget také umožňuje filtrování výsledků testů podle stavu, skládání metrik a další možnosti. Další informace naleznete v tématu Konfigurace widgetu Test Results Trend (Advanced).

Analýza testů

Předdefinované testy a testovací podporované widgety odvozují data ze služby Analytics. Služba Analytics je platforma pro sestavy pro Azure DevOps a podporuje kartu Analytics, kartu Tests a sestavy s přechodem k podrobnostem dostupné v centru Pipelines. Sestava podrobností o selhání testu obsahuje souhrn úspěšných a neúspěšných testů. Další informace najdete v tématu Analýza testů.

Kromě toho můžete vytvářet vlastní sestavy pomocí dotazů na službu Analytics. Další informace najdete v článku Přehled ukázkových sestav využívajících dotazy OData.

Další kroky

Testování objektů a termínů

Související obsah

• Procházení testovacích plánů
• Kopírování nebo klonování testovacích plánů, testovacích sad a testovacích případů
• Přidružení automatizovaných testů k testovacím případům
• Žádost o zpětnou vazbu a poskytnutí zpětné vazby
• Přehled integrace a spolupráce napříč službami
• O testech kanálu

Další materiály

• Testování jednotek
• Základy jednotkového testování
• Testování jednotek Durable Functions
• Co je Zátěžové testování Azure?