Co je Azure Test Plans?
Azure DevOps Services | Azure DevOps Server 2022 – Azure DevOps Server 2019
Azure Test Plans nabízí výkonné nástroje pro řízení kvality a spolupráce v průběhu procesu vývoje. Toto řešení správy testů založené na prohlížeči podporuje plánované ruční testování, testování přijetí uživatelů, průzkumné testování a zpětnou vazbu účastníků.
Poznámka:
Tento článek se týká služeb Azure DevOps Services a Azure DevOps Serveru 2020 a novějších verzí. Většina informací je platná pro starší místní verze, ale image zobrazují pouze příklady pro nejnovější verzi. Uživatelské rozhraní se také výrazně změnilo ve verzi Azure DevOps Serveru 2020. Přehled nového rozhraní a podporovaných funkcí najdete v tématu Navigace v testovacích plánech.
Jak azure Test Plans funguje?
Prostřednictvím kombinace nástrojů založených na prohlížeči – testovací plány, sestava průběhu, parametry, konfigurace, spuštění a testovací nástroje – a funkce integrace DevOps podporují plány Azure Test Plans následující testovací cíle:
Proveďte ruční a průzkumné testování:
- Uspořádání plánovaného ručního testování: Určení testerů a testovacích zájemců k uspořádání testů do testovacích plánů a testovacích sad
- Proveďte testování přijetí uživatele: Určete testovací testy přijetí uživatele, abyste ověřili, že dodaná hodnota splňuje požadavky zákazníků a znovu používá artefakty testů vytvořené technickými týmy.
- Provádění průzkumného testování: Můžou vývojáři, testeři, týmy uživatelského rozhraní, vlastníci produktů a další prozkoumat softwarové systémy bez použití testovacích plánů nebo testovacích sad.
- Shromážděte zpětnou vazbu účastníků: Zapojte účastníky mimo vývojový tým, například uživatele z marketingových a prodejních divizí, a proveďte testování.
Automatizace testování: Integrace azure Test Plans se službou Azure Pipelines za účelem podpory testování v rámci CI/CD Přidružte testovací plány a testovací případy ke kanálům sestavení nebo verze. Přidejte úlohy kanálu pro zachytávání a publikování výsledků testů. Výsledky testů můžete zkontrolovat prostřednictvím předdefinovaných sestav průběhu a sestav testů kanálu.
Zajištění sledovatelnosti: Propojte testovací případy a testovací sady s uživatelskými příběhy, funkcemi nebo požadavky na kompletní sledovatelnost. Automaticky propojte testy a vady s požadavky a testovanými sestaveními. Přidejte a spusťte testy z panelu nebo použijte centrum testovacích plánů pro větší týmy. Sledujte testování požadavků pomocí výsledků kanálu a widgetu Požadavky.
Sledování generování sestav a analýzy: Monitorování výsledků testů a průběhu pomocí konfigurovatelných sledovacích grafů, widgetů specifických pro testy pro řídicí panely a předdefinovaných sestav, jako jsou zprávy o průběhu, sestavy výsledků testů kanálu a služba Analytics.
Poznámka:
Zátěžové a výkonnostní testování: Zatímco cloudová služba zátěžového testování Azure DevOps je zastaralá, je k dispozici zátěžové testování Azure. Azure Load Testing je plně spravovaná služba zátěžového testování, která umožňuje používat existující skripty Apache JMeter ke generování vysokého zatížení. Další informace najdete v tématu Co je Zátěžové testování Azure? Další informace o vyřazení zátěžového testování Azure DevOps najdete v tématu Změny funkcí zátěžového testu v sadě Visual Studio a cloudovém zátěžovém testování v Azure DevOps.
Klíčové výhody
Azure Test Plans poskytuje týmům pro vývoj softwaru následující výhody.
Testování na libovolné platformě: Pomocí webového portálu Testovací plány můžete pro přístup ke všem možnostem ručního testování použít libovolný podporovaný prohlížeč. Umožňuje vytvářet a spouštět ruční testy prostřednictvím snadno použitelného rozhraní založeného na prohlížeči, ke kterému mají uživatelé přístup ze všech hlavních prohlížečů na libovolné platformě.
Bohaté shromažďování diagnostických dat: Pomocí webového klienta Test Runner a Test Runner můžete shromažďovat bohatá diagnostická data během ručních testů. Tato data zahrnují snímky obrazovky, protokol akcí obrázku, záznamy obrazovky, pokrytí kódu, trasování IntelliTrace a testovací dopad na data pro vaše aplikace, které testují. Tato data se automaticky zahrnou do všech chyb, které vytvoříte během testu, což vývojářům usnadňuje reprodukování problémů.
Kompletní sledovatelnost: Azure DevOps poskytuje kompletní sledovatelnost vašich požadavků, sestavení, testů a chyb s propojením pracovních položek s jinými objekty. Uživatelé můžou sledovat kvalitu požadavků z karet na panelu. Chyby vytvořené při testování se automaticky propojily s požadavky a otestovanými sestaveními, což vám pomůže sledovat kvalitu požadavků nebo sestavení.
Integrovaná analýza: Služba Analytics poskytuje data, která se předkládají do integrovaných sestav, konfigurovatelných widgetů řídicích panelů a přizpůsobitelných sestav pomocí Power BI. Data sledují průběh plánu testů a trendy pro ruční i automatizované testy. Analýza testů poskytuje téměř v reálném čase přehled o testovacích datech pro sestavení a vydané verze. Týmy můžou na těchto datech reagovat, aby zlepšily testovací zajištění, aby pomohly udržovat kanály, které jsou v pořádku.
Rozšiřitelná platforma. Nástroje a technologie, které už znáte, můžete kombinovat s vývojářskými nástroji, které jsou pro vás nejvhodnější pro integraci s Azure DevOps a jejich rozšíření. Pomocí rozhraní REST API a modelu přispívání, který je dostupný pro testovací platformu, můžete vytvářet rozšíření, která poskytují prostředí, které potřebujete pro životní cyklus správy testů.
Podporované scénáře a požadavky na přístup
Přístup k funkcím webového portálu Azure DevOps se spravuje prostřednictvím úrovní přístupu přiřazených uživatelům. Tři hlavní úrovně přístupu jsou plány Účastníka, Basic a Basic+Test , jak je popsáno v tématu O úrovních přístupu. Následující tabulka uvádí úroveň přístupu potřebnou k cvičení přidružených úkolů k Azure Test Plans. Kromě úrovní přístupu vyžadují vybrané funkce oprávnění ke spuštění. Další informace naleznete v tématu Ruční test přístupu a oprávnění.
Scénář a úkoly
Podílník
Basic
Základní a testovací plány
Plánování testů
- Vytvoření testovacích plánů a sad testů
- Správa nastavení spuštění testovacího plánu
- Správa konfigurací
✔️
Testování provádění
- Spouštění testů na libovolné platformě (Windows, Linux, Mac) s nástrojem Test Runner
✔️
✔️
Provádění průzkumného testování pomocí rozšíření Test &Feedback
✔️
✔️
✔️
Analýza a kontrola testů
- Vytváření grafů s různými pivoty, jako je priorita, konfigurace atd., pro sledování průběhu testů
- Procházet výsledky testů
- Export testovacích plánů a testovacích sad pro kontrolu
- Testování přijetí uživatele – přiřazení testů a pozvání e-mailem
✔️
✔️
Manuální a průzkumné testování
K podpoře ručního a průzkumného testování azure Test Plans k plánování a vytváření testů používá typy pracovních položek specifických pro testování. Kromě toho poskytuje dva testovací nástroje pro podporu spouštění testů. Centra Testovací plány, parametry a konfigurace poskytují nástroje pro efektivní vytváření a správu testovacích položek, jejich nastavení a konfigurací. Sady testů můžou být dynamické– sady založené na požadavcích a dotazovací sady, které vám pomůžou pochopit kvalitu přidružených požadavků v rámci vývoje nebo statické, aby vám pomohly pokrýt regresní testy.
Typy pracovních položek specifických pro testování
Typy pracovních položek – testovací plány, testovací sady, testovací případy, sdílené kroky a sdílené parametry – podporují několik explicitních odkazů na podporu sledování požadavků a sdílení testovacích kroků a dat napříč mnoha testovacími případy. Testovací případy je možné přiřadit jako ruční nebo automatizované. Popis každé z těchto testovacích položek najdete v tématu Testovací objekty a termíny.
V Azure DevOps je možné pochopit vztah mezi výsledkem testu, spuštěním testu a testovacím případem následujícím způsobem:
- Testovací případ: Konkrétní scénář nebo sada kroků navržených k ověření konkrétní funkce nebo funkce.
- Testovací běh: Instance, ve které se spouští jeden nebo více testovacích případů. Každé testovací spuštění může obsahovat několik testovacích případů.
- Výsledek testu: Výsledek běhu testu. Každý testovací případ v rámci testovacího spuštění má svůj vlastní výsledek testu, který označuje, jestli byl úspěšný nebo neúspěšný.
Poznámka:
S Azure DevOps Serverem 2020 a novějšími verzemi můžete provádět automatizované testy přidáním testovacích úloh do kanálů. Definování testovacích plánů, testovacích případů a sad testů se při použití testovacích úloh nevyžaduje.
Definování testovacích plánů a testovacích sad
Vytvoříte a spravujete testovací plány a testovací sady z centra testovacích plánů . Přidejte do testovacích plánů jednu nebo více testovacích sad ( statickou, založenou na požadavcích nebo dotazech). Exportujte a sdílejte testovací plány a testovací sady s týmy. Postup najdete v tématu Vytváření testovacích plánů a testovacích sad a kopírování nebo klonování testovacích plánů, testovacích sad a testovacích případů.
Vytváření testů pomocí testovacích případů
Ruční testovací případy definujete definováním testovacích kroků a volitelně testovacích dat, na která se chcete odkazovat. Testovací sady se skládají z jednoho nebo více testovacích případů. Testovací případy můžete sdílet v testovacích sadách. Zobrazení mřížky pro definování testovacích případů podporuje operace kopírování, vložení, vložení a odstranění. Rychle přiřaďte k provádění testů jeden nebo více testerů. Umožňuje zobrazit výsledky testů a odkazy na testovací případ napříč testovacími sadami. Postup najdete v tématu Vytváření testovacích případů.
V každém testovacím případě zadáte sadu testovacích kroků s očekávanými výsledky. Volitelně můžete přidat sdílené kroky nebo sdílené parametry. Pokud chcete sledovatelnost, propojte testovací případy s uživatelskými příběhy, funkcemi nebo chybami, které testují.
Správa sdílených parametrů
K definování a správě parametrů sdílených napříč testovacími případy použijte centrum Parameters. Sdílené parametry poskytují podporu pro opakované ruční testy několikrát s různými testovacími daty. Pokud například uživatelé můžou do nákupního košíku přidat různá množství produktu, chcete zkontrolovat, že množství 200 funguje a množství 1.
Správa konfigurací testů a proměnných
S centrem Configurations mohou týmy definovat, kontrolovat a spravovat konfigurace testů a proměnné, na které odkazují testovací plány. Konfigurace testů poskytují podporu pro testování aplikací v různých operačních systémech, webových prohlížečích a verzích. Stejně jako u sdílených parametrů je možné konfigurace testů sdílet napříč několika testovacími plány.
Testovací spouštění a testovací nástroje
Pomocí následujících nástrojů můžou vývojáři, testeři a účastníci zahajovat testy a zaznamenávat bohatá data při provádění testů a automaticky protokolovat chyby kódu propojené s testy. Otestujte svoji aplikaci prováděním testů desktopových nebo webových aplikací.
- Test Runner: Nástroj založený na prohlížeči pro testování webových aplikací a desktopové verze klienta pro testování desktopových aplikací, které spustíte z centra Testovací plány pro spouštění ručních testů. Test Runner podporuje shromažďování bohatých dat při provádění testů, jako je protokol akcí obrázků, záznam videa, pokrytí kódu atd. Umožňuje také uživatelům vytvářet chyby a označit stav testů.
- Rozšíření Test &Feedback: Bezplatné rozšíření pro podporu průzkumného testování, ke kterému máte přístup z prohlížečů Chrome, Microsoft Edge nebo Firefox. Rozšíření zachycuje interakce s aplikací, kterou zkoumáte prostřednictvím obrázků nebo videa a zadávání slovních nebo typových komentářů. Informace jsou zachyceny v typu pracovní položky Odpovědi zpětné vazby, které pomáhají sledovat data odpovědí.
Funkce testování provádění
Pomocí uvedených nástrojů můžete provádět následující úlohy.
| Úloha | Centrum testovacích plánů | Nástroj Test Runner | Rozšíření Test &Feedback |
|---|---|---|---|
| Hromadné označit testy | ✔️ | ||
| Úspěšné nebo neúspěšné testy nebo testovací kroky | ✔️ | ✔️ | |
| Vložené změny testů během provádění | ✔️ | ✔️ | |
| Pozastavení a obnovení testů | ✔️ | ✔️ | |
| Chyby souboru během provádění testu | ✔️ | ✔️ | |
| Zachycení snímků obrazovky, protokolu akcí obrázku a záznamu obrazovky během provádění testu | ✔️ | ✔️ | |
| Aktualizace existujících chyb během provádění testu | ✔️ | ✔️ | |
| Ověření chyb | ✔️ | ✔️ | |
| Přiřazení sestavení pro testovací běh | ✔️ | ||
| Přiřazení testovacího nastavení | ✔️ | ||
| Kontrola testovacích běhů | ✔️ |
Provádění testů
Na kartě Spustit v centru Testovací plány můžou členové týmu zahájit provádění testů pro jeden nebo více testovacích případů definovaných pro sadu testů. Mezi volby patří spuštění Test Runneru pro webovou nebo desktopovou aplikaci. Volitelně můžou členové týmu vybrat Možnost Spustit s možnostmi a zvolit další podporované klienty pro ruční testování nebo vybrat sestavení pro automatizované testování. Další informace naleznete v tématu Spouštění ručních testů.
Nástroj Test Runner
Test Runner spouští testy pro webové a desktopové aplikace. Označte testovací kroky a výsledky testů jako úspěšné nebo neúspěšné a při testování shromážděte diagnostická data, jako jsou systémové informace, protokoly akcí obrázků, záznamy obrazovky a snímky obrazovky. Chyby v průběhu testů automaticky zahrnují všechna zachycená diagnostická data, která vývojářům pomůžou tyto problémy reprodukovat. Další informace najdete v tématu Spouštění testů webových aplikací a spouštění testů pro desktopové aplikace.
Testování přijetí uživateli
Uživatelské akceptační testování (UAT) pomáhá zajistit, aby týmy poskytovaly hodnotu požadovanou zákazníky. Můžete vytvořit testovací plány a sady UAT, pozvat několik testerů ke spuštění těchto testů a sledovat průběh testů a výsledky pomocí jednoduchých grafů. Postup najdete v tématu Testování přijetí uživatelů.
Průzkumné testování pomocí rozšíření Test &Feedback
Rozšíření Test &Feedback je jednoduché rozšíření založené na prohlížeči, které můžete použít k testování webových aplikací kdykoli a kdekoli a je jednoduché, aby ho mohli používat všichni členové týmu. Pomáhá zlepšit produktivitu tím, že vám umožní strávit více času hledáním problémů a méně času jejich vyplňováním.
Zpětná vazba účastníků
Měli byste hledat zpětnou vazbu od zúčastněných stran mimo vývojový tým, jako jsou marketingové a prodejní týmy, což je důležité pro vývoj kvalitního softwaru. Vývojáři můžou požádat o zpětnou vazbu na své uživatelské scénáře a funkce. Účastníci můžou reagovat na žádosti o zpětnou vazbu pomocí rozšíření Test &Feedback založeného na prohlížeči – nejen k hodnocení a odesílání komentářů, ale také díky zachycení bohatých diagnostických dat a zařazování chyb a úkolů přímo. Další informace najdete v tématu Žádost o zpětnou vazbu účastníků a poskytnutí zpětné vazby účastníků.
Automatické testování
Automatizované testování se usnadňuje spouštěním testů v rámci služby Azure Pipelines. Analýza testů poskytuje téměř v reálném čase přehled o testovacích datech pro sestavení a vydané verze. Pomáhá zlepšit efektivitu kanálu tím, že identifikuje opakující se problémy s vysokou kvalitou.
Azure Test Plans podporuje automatizované testování následujícími způsoby:
Přidružení testovacích plánů nebo testovacích případů ke kanálům buildu nebo verze
Zadejte úlohy povolení testu v rámci definice kanálu. Azure Pipelines poskytuje několik úloh, včetně následujících úloh, které podporují komplexní prostředí pro generování sestav testů a analýzu.
- Úloha Publikování výsledků testu: Slouží k publikování výsledků testů do Azure Pipelines.
- Úloha Visual Studio Test: Používá se ke spouštění jednotek a funkčních testů (Selenium, Appium, Programový test uživatelského rozhraní a další) pomocí nástroje Visual Studio Test Runner.
- Úloha rozhraní příkazového řádku .NET Core: Slouží k sestavení, testování, zabalení nebo publikování aplikace dotnet.
Další úkoly najdete v tématu Publikování výsledků testů.
Poskytuje integrované sestavy a konfigurovatelné widgety řídicího panelu pro zobrazení výsledků testování kanálu.
Shromážděte výsledky testů a související testovací data do služby Analytics.
Sledovatelnost
Azure Test Plans podporuje propojení chyb a požadavků na testovací případy a testovací sady. Kromě toho následující webový portál podporují sledovatelnost nástrojů souvisejících s testy:
- Zobrazení položek propojených s testovacím případem: Zobrazte testovací plány, testovací sady, požadavky a chyby, na které odkazuje testovací případ.
- Přidání a spuštění testů z panelu: Funkce Azure Boards, která podporuje definování testovacích případů z uživatelských scénářů, funkcí nebo chyb z panelu. Můžete také spustit Test Runner nebo rozšíření Test &Feedback ke spuštění testů nebo provádění průzkumného testování.
- Widget pro kvalitu požadavků: Konfigurovatelný widget používaný ke sledování kvality nepřetržitě z kanálu buildu nebo verze Widget zobrazuje mapování mezi požadavky a nejnovějšími výsledky testů provedenými proti požadavkům. Poskytuje přehled o sledovatelnosti požadavků. Například požadavky nesplňují kvalitu, požadavky, které nejsou testovány atd.
Zobrazení položek propojených s testovacím případem
V centru Testovací plány můžete zobrazit a otevřít testovací sady, požadavky a chyby propojené s testovacím případem. Karta Sady testů také označuje testovací plány a projekty, které odkazují na testovací případ. Na kartě Požadavky jsou uvedeny pracovní položky propojené s testovacím případem, které patří do kategorie požadavků. Kromě toho můžete vytvořit dotaz s přímým odkazem, který obsahuje položky, které odkazují na testovací případy prostřednictvím typu Testy/Testováno podle typu odkazu. Další informace naleznete v tématu Vytvoření testovacích případů a použití přímých odkazů k zobrazení závislostí.
Přidání a spuštění testů z panelu
Na panelech Azure Boards můžete přidat testy z uživatelského scénáře nebo funkce a automaticky propojit testovací případ s uživatelským scénářem nebo funkcí. Můžete zobrazit, spustit a pracovat s testovacími případy přímo z panelu a postupně sledovat stav přímo z karty. Další informace najdete v tématu Přidání, spuštění a aktualizace vložených testů.
Widget pro kvalitu požadavků
Widget Kvality požadavků zobrazí seznam všech požadavků v oboru spolu s rychlostí průchodu pro testy a počet neúspěšných testů. Výběrem počtu neúspěšných testů se otevře karta Testy pro vybrané sestavení nebo vydání. Widget také pomáhá sledovat požadavky bez přidružených testů. Další informace naleznete v tématu Sledovatelnost požadavků.
Vytváření sestav a analýza
Azure Test Plans podporuje vytváření sestav a analýzu a podporuje grafy sledování testů, centrum testovacích běhů , několik předdefinovaných sestav testů kanálu, widgetů řídicích panelů a testovacích dat uložených ve službě Analytics.
- Konfigurovatelné testovací grafy: Můžete získat přehled o aktivitě vytváření a provádění testovacího plánu vytvořením testovacích sledovacích grafů.
- Zpráva o průběhu: Sledování průběhu jednoho nebo testovacích plánů nebo testovacích sad
- Testovací běhy: Zkontrolujte výsledky ručních a automatizovaných testovacích běhů.
- Widgety řídicího panelu: Konfigurovatelné widgety, které zobrazují výsledky testů na základě vybraných sestavení nebo vydaných verzí. Widgety zahrnují widget stav nasazení a widget Trend výsledků testů (Advanced).
- Analýza testů: Získejte podrobné přehledy z předdefinovaných sestav kanálu nebo vytvořte vlastní sestavy dotazováním služby Analytics.
Konfigurovatelné testovací grafy
Rychlé konfigurace jednoduchých grafů pro sledování výsledků ručního testu pomocí typů grafů podle vašeho výběru a připnutí grafů na řídicí panel pro snadnou analýzu těchto výsledků. Zvolte zásadu uchovávání informací, abyste mohli řídit, jak dlouho se budou výsledky ručního testování uchovávat. Další informace najdete v tématu Sledování stavu testu.
Zprávy o průběhu
S centrem sestavy Průběh můžou týmy sledovat průběh více než jednoho testovacího plánu nebo sady testů. Tato sestava pomáhá zodpovědět následující otázky:
- Kolik testování je hotové?
- Kolik testů bylo úspěšné, neúspěšných nebo blokovaných?
- Je pravděpodobné, že testování bude dokončeno včas?
- Jaká je denní míra provádění?
- Které testovací oblasti vyžadují pozornost?
Testovací spuštění
Centrum Spuštění zobrazí výsledky testovacích běhů, které zahrnují všechna testovací spuštění, a to jak ručně, tak automaticky.
Poznámka:
Centrum Spuštění je k dispozici s Azure DevOps Serverem 2020 a novějšími verzemi. Vyžaduje povolení služby Analytics, která se používá k ukládání a správě dat testovacího spuštění. Další informace o službě najdete v tématu Co je služba Analytics?
Pokud chcete zobrazit souhrn testovacího běhu, zvolte libovolné konkrétní spuštění.
Stav nasazení
Widget stav nasazení umožňuje konfigurovatelný widget zobrazuje kombinované zobrazení stavu nasazení a rychlost průchodu testů v několika prostředích pro nedávnou sadu sestavení. Widget nakonfigurujete zadáním kanálu buildu, větve a propojených kanálů verze. Pokud chcete zobrazit souhrn testů ve více prostředích ve vydané verzi, widget poskytuje maticové zobrazení každého prostředí a odpovídající rychlost průchodu testu.
Najeďte myší na jakýkoli souhrn sestavení a můžete zobrazit další podrobnosti, konkrétně počet úspěšných a neúspěšných testů.
Trend výsledků testů (Upřesnit)
Widget Test Results Trend (Advanced) poskytuje téměř v reálném čase přehled o testovacích datech pro více sestavení a vydaných verzí. Widget zobrazuje trend výsledků testů pro vybrané kanály. Můžete ho použít ke sledování denního počtu testů, úspěšnosti a doby trvání testu. Sledování kvality testů v průběhu času a zlepšení testovacího zajištění je klíčem k udržování dobrého kanálu DevOps. Widget podporuje sledování pokročilých metrik pro jeden nebo více kanálů buildu nebo kanálů verzí. Widget také umožňuje filtrování výsledků testů podle výsledků, stackingu metrik a dalších. Další informace naleznete v tématu Konfigurace widgetu Test Results Trend (Advanced).
Analýza testů
Předdefinované testy a testovací podporované widgety odvozují data ze služby Analytics. Služba Analytics je platforma pro vytváření sestav pro Azure DevOps a podporuje kartu Analýza a testy a sestavy přechodu k podrobnostem dostupné v centru Pipelines . Sestava podrobností o selhání testu obsahuje souhrn úspěšných a neúspěšných testů. Další informace najdete v tématu Analýza testů.
Kromě toho můžete vytvářet vlastní sestavy dotazováním služby Analytics. Další informace najdete v tématu Přehled ukázkových sestav pomocí dotazů OData.
Další kroky
Související články
- Navigace v testovacích plánech
- Kopírování nebo klonování testovacích plánů, testovacích sad a testovacích případů
- Přidružení automatizovaných testů k testovacím případům
- Žádost o zpětnou vazbu a poskytnutí zpětné vazby
- Přehled integrace a spolupráce napříč službami
- O testech kanálu