Tryby testowania

TaEF udostępnia kilka trybów testowania, które modyfikują zachowanie wykonywania testów na różne sposoby. Przed kontynuowaniem tej sekcji upewnij się, że znasz podstawowe wykonywanie funkcji TAEF, zobacz Tworzenie testów i wykonywanie testów.

Nuta: Tryby testów nie są ze sobą zgodne; podczas danego przebiegu testu można włączyć tylko jeden tryb testu.

Następujące tryby testów są obecnie udostępniane przez TAEF:

• Pętla
• Stres

Tryb testu pętli

Tryb testu pętli zapewnia prostą funkcjonalność do iterowania poszczególnych testów lub całych przebiegów testowych. Tryb testowy w pętli doskonale nadaje się do weryfikacji niezawodności automatyzacji testów lub łatwego testowania obciążeniowego bądź automatyzacji długoterminowej.

Tryb testu pętli jest włączony, określając opcję polecenia /testmode:loop. Istnieją dwa inne — opcjonalne — parametry, które kontrolują określone zachowanie:

/Loop:<loopNum>
Określa, ile razy cały przebieg jest wykonywany (default:1).

/LoopTest:<loopTestNum>
Określa, ile razy każdy test w przebiegu zostanie wykonany (default:10).

Na poniższym diagramie pokazano, jak taEF reprezentuje przebieg testu składający się z pojedynczego pliku testowego zawierającego pojedynczą klasę testową zawierającą dwie metody testowania:

Strzałki na diagramie pokazują przepływ wykonywania w obszarze TAEF; pokazujący, jak taEF wykonuje urządzenia instalacyjne, a następnie same testy, a odpowiednie urządzenia oczyszczania są wykonywane po zakończeniu testów. Wartość "looptest" powoduje, że TAEF iteruje bezpośrednio metody testowe — najmniejszy możliwy zakres. Zwróć uwagę, że konfiguracja i oczyszczanie testu nie są wykonywane. To samo zachowanie występuje również w przypadku testów opartych na danych: wartość "looptest" kontroluje pętlę na poziomie "Metoda testowa".

Czasami nie można powtórzyć tylko metody testowej, a w takim przypadku można użyć parametru 'loop'. Na poniższym diagramie pokazano, jak TAEF reprezentuje przebieg testu składający się z dwóch plików testowych, z których każdy zawiera pojedynczą klasę testową i każdą klasę testową zawierającą jedną metodę testową:

Parametr "pętla" steruje zapętleniem w największym możliwym zakresie; cała sekwencja. Jeśli określisz pojedynczy plik testowy do Te.exelub jeśli masz wiele plików testowych, cały przebieg zostanie zapętlony określoną liczbę razy.

Tryb testu przeciążeniowego

Tryb testowy „stress” dla TAEF pomaga użytkownikom uruchamiać testy w środowisku „stress”. Po włączeniu trybu testu obciążeniowego za pomocą opcji polecenia "/testmode:stress" następujące zachowanie jest włączone:

1. Te.exe działa w nieskończoność — Te.exe wymaga wysłania skrótu klawiszowego Ctrl+C do wiersza polecenia lub wysłania komunikatu WM_CLOSE do ukrytego okna, aby zatrzymać.

2. Te.exe iteruje na pierwszej „grupie” testów, które uruchamia — aby uniknąć ładowania kolejnych plików podczas przebiegu, Te.exe będzie iterować na pierwszej „grupie” testów, które uruchamia. Należy pamiętać, że:

   1. Jeśli określisz wiele plików testowych w wierszu polecenia, bez zaznaczenia, zostanie wykonany tylko pierwszy plik testowy.
   2. Jeśli wiele plików testowych wraz z zapytaniem wyboru jest określonych w wierszu polecenia, zostaną wykonane tylko testy w pierwszym pliku testowym, w którym zostaną spełnione kryteria wyboru.
   3. Jeśli zostanie określony plik testowy oparty na danych na poziomie modułu, pierwsza kombinacja wykonanych parametrów opartych na danych zostanie zapętlona.

3. Włączono "rejestrator stresu" — aby zminimalizować ilość zasobów zużywanych przez rejestrowanie, Te.exe przełącza się do minimalnego rejestratora danych wyjściowych:

   • Tylko błędy są zapisywane w konsoli — nie są zapisywane żadne inne wpisy dziennika.
   • Co 60 sekund rejestrator wyświetli bieżące liczby pass/fail do konsoli.
   • Co sekundę rejestrator wyświetli pojedynczy '.', aby pokazać, że Te.exe nadal działa.

Podczas uruchamiania w trybie testu obciążeniowego należy również określić przełącznik "/inproc" — co oznacza, że wszystkie testy obciążeniowe są wykonywane w procesie Te.exe. To ograniczenie usuwa konieczność uruchomienia i utrzymania osobnego procesu w piaskownicy, co w rezultacie minimalizuje niepowodzenia testów z powodu nieudanych alokacji pamięci.