Testovací režimy

TAEF poskytuje několik testovacích režimů, které mění chování provádění testů různými způsoby. Než budete pokračovat v této části, ujistěte se, že znáte základní provádění funkce TAEF, přečtěte si téma Vytváření testů a provádění testů.

Poznámka: Testovací režimy nejsou navzájem kompatibilní; Během daného testovacího běhu může být povolen pouze jeden testovací režim.

TaEF v současné době poskytuje následující testovací režimy:

• smyčka
• Stres

Režim testovací smyčky

Režim testování smyčky umožňuje snadnou iteraci jednotlivých testů nebo celých testovacích postupů. Režim smyčkového testování je skvělý pro ověření odolnosti automatizace testů nebo snadného stresového testování či dlouhodobé automatizace.

Režim testování smyčky je povolen zadáním možnosti příkazu /testmode:loop. Existují dva další – volitelné – parametry, které řídí konkrétní chování:

/Loop:<loopNum>
Určuje, kolikrát se celé provedení spustí (výchozí: 1).

/LoopTest:<loopTestNum>
Určuje, kolikrát se každý test ve spuštění spustí (výchozí hodnota:10).

Následující diagram znázorňuje, jak taEF představuje testovací běh složený z jednoho testovacího souboru, který obsahuje jednu testovací třídu, která obsahuje dvě testovací metody:

Šipky v diagramu znázorňují tok provádění v rámci TAEF, ukazují, jak TAEF provádí přípravné kroky, poté samotné testy, a po dokončení testů jsou provedeny vhodné uklidové kroky. Hodnota 'looptest' způsobí, že TAEF provádí iteraci kolem samotných testovacích metod – nejmenší možný rozsah. Všimněte si, že nastavení a vyčištění testu nejsou prováděny. Stejné chování se vyskytuje i u testů řízených daty: hodnota 'looptest' řídí opakování na úrovni metody testu.

Jsou chvíle, kdy není možné opakovat pouze Test Metodu, a právě tam lze použít parametr 'loop'. Následující diagram ukazuje, jak TAEF představuje testovací běh složený ze dvou testovacích souborů, každý soubor obsahující jednu testovací třídu a každou testovací třídu obsahující jednu testovací metodu:

Parametr 'loop' řídí opakování ve největším možném rozsahu, tedy během celého běhu programu. Pokud zadáte jeden testovací soubor pro Te.exenebo pokud máte více testovacích souborů, bude celé spuštění opakováno zadaný početkrát.

Režim zátěžového testu

Režim zátěžového testu pro TAEF pomáhá uživatelům spouštět testy v prostředí "stress". Povolením režimu zátěžového testu prostřednictvím možnosti příkazu /testmode:stress je povoleno následující chování:

1. Te.exe běží po neomezenou dobu – Te.exe vyžaduje, aby se do příkazového řádku odeslala kombinace kláves Ctrl+C nebo se do skrytého okna odeslala zpráva WM_CLOSE, aby se zastavilo.

2. Te.exe iteruje na první skupině testů, které se spustí – aby se zabránilo načítání následných souborů během spuštění, Te.exe iteruje na první skupině testů, které spouští. Všimněte si, že:

   1. Pokud na příkazovém řádku zadáte více testovacích souborů bez výběru, spustí se pouze první testovací soubor.
   2. Pokud je na příkazovém řádku zadáno více testovacích souborů spolu s dotazem výběru, spustí se pouze testy v rámci prvního testovacího souboru, ve kterém jsou splněna kritéria výběru.
   3. Pokud je určen testovací soubor, který je na úrovni modulu řízen daty, první kombinace parametrů řízených daty, která se spustí, bude opakována.

3. Je povolen nástroj stress logger – aby se minimalizovalo množství prostředků, které by protokolování spotřebovalo, Te.exe přepne do minimálního výstupního protokolovacího nástroje:

   • Do konzoly se zapisují pouze chyby – žádné další položky protokolu se nezapisují.
   • Každých 60 sekund vypíše Logger aktuální počet úspěšných a neúspěšných pokusů do konzole.
   • Každou sekundu Logger vypíše tečku '.', aby ukázal, že Te.exe stále funguje.

Při spuštění v režimu zátěžového testu je také nutné zadat přepínač /inproc , což znamená, že všechna spuštění stresu běží v procesu Te.exe. Toto omezení eliminuje potřebu, aby TAEF spouštěl a udržoval samostatný sandboxový proces pro vykonávání, čímž minimalizuje selhání testů kvůli selhání přidělování paměti.