Uruchamianie testów w procesie kompilacji

Można użyć Team Foundation Build do uruchamiania testów automatycznych i analizowania wpływu zmian kodu na testy jako część procesu kompilacji.Można na przykład zdefiniować proces kompilacji, który służy jako regularnie zaplanowany przebieg testowy zespołu weryfikujący kompilację (BVT).Można także uruchamiać testy automatyczne i wykonywać zadania związane z testami z niestandardowych procesów kompilacji.

[!UWAGA]

Aby wdrożyć aplikację jako część procesu kompilacji, trzeba użyć przepływu pracy kompiluj-wdrażaj-testuj oraz środowiska laboratoryjnego.Następnie można uruchomić testy automatyczne jako część przepływu pracy lub uruchomić testy oddzielnie po zakończeniu przepływu pracy.Aby uzyskać więcej informacji, zobacz Automatyczne przepływy pracy Kompilacja-Wdrażanie-Testy.

Oto, co można zrobić z Team Foundation Build

• Przygotuj się do uruchomienia testów w procesie kompilacji

• Uruchom testy automatyczne

• Określ kryteria dla testów uruchamianych przez Visual Studio Test Runner

• Tymczasowo wyłącz testy

• Włącz analizę wpływu testów

• Zdefiniuj wiele przebiegów testowych

• Skonfiguruj platformę testów jednostkowych innych firm

• Pracuj z testami w niestandardowym procesie kompilacji

• Zdobądź więcej informacji

Przygotuj się do uruchomienia testów w procesie kompilacji

Przed uruchomieniem testów w procesie kompilacji może być konieczne przygotowanie najpierw testów i systemu kompilacji.

Przygotuj testy: upewnij się, że rozwiązanie i pliki testowe są zaewidencjonowane do kontroli wersji.Zobacz Korzystanie z systemu kontroli wersji.

Kategoryzuj i nadaj priorytety testom (opcjonalnie): można przypisać kategorie i priorytety dla testów, a następnie filtrować je według tych atrybutów podczas ich uruchamiania w kompilacji.Można na przykład utworzyć kategorię testów o nazwie CI, a następnie określić tę kategorię w kompilacjach ciągłej integracji.Można utworzyć inną kategorię dla testów weryfikacyjnych kompilacji o nazwie bvt, a następnie określić tę kategorię w zaplanowanych kompilacjach, takich jak nocne.Aby uzyskać więcej informacji, zobacz Definiowanie kategorii testów służących do grupowania testów, TestCategoryAttribute i PriorityAttribute.

Przygotuj serwer kompilacji: niektóre rodzaje testów mogą być uruchamiane przez agenta kompilacji na specjalnie skonfigurowanym serwerze kompilacji.Jeśli na przykład używasz kodowanych testów interfejsu użytkownika, musisz skonfigurować usługę agenta kompilacji do interaktywnego uruchamiania.Przed rozpoczęciem próby użycia procesu kompilacji do uruchamiania testów upewnij się, że mogą one być uruchamiane na wybranym serwerze kompilacji.Aby uzyskać więcej informacji, zobacz sekcję Używanie agenta kompilacji do uruchamiania testów.

Program Microsoft Visual Studio jest wymagany do zainstalowania na serwerze kompilacji w następujących scenariuszach:

• Aby skompilować jakiekolwiek projekt testowy CPP, należy zainstalować oprogramowanie Visual Studio Professional lub nowszą wersję.

• Aby uruchomić testy jednostkowe lub kodowane testy interfejsu użytkownika, należy zainstalować program Visual Studio Professional lub nowszą wersję.

• Aby użyć danych i adapterów danych diagnostycznych:

  1. Pokrycie kodu: Visual Studio Premium lub nowsza wersja.

  2. Wpływ na testy: Visual Studio Ultimate.

  3. IntelliTrace: Visual Studio Ultimate.

• Aby skompilować nowoczesne aplikacje na kompilatorze: Visual Studio Ultimate lub Visual Studio Express for Windows 8 (systemem operacyjnym na serwerze kompilacji musi być Windows 8).

• Aby skompilować i uruchomić testy dla projektu z fałszywym zestawem: Visual Studio Ultimate.

Uruchom testy automatyczne

Możesz wykonać jeden lub więcej przebiegów testowych w kompilacji opartej na szablonie domyślnym.Dla każdego uruchomienia można określić następujące ustawienia:

• Które testy są uruchamiane

• Które ustawienia są używane do uruchamiania testów

• Czy kompilacja powinna zakończyć się niepowodzeniem w przypadku nieudanych testów

1. W programie Team Explorer wybierz opcję Strona główna, a następnie Kompilacje (klawiatura: Ctrl + 0,B).

2. Na stronie Kompilacje wybierz Nowa definicja kompilacji lub otwórz menu kontekstowe dla wybranej kompilacji lub definicji kompilacji, a następnie wybierz polecenie Edytuj definicję kompilacji.

   Zostanie wyświetlone okno definicji kompilacji.

3. W zakładce Proces definicji kompilacji, wybierz pole Testy automatyczne, a następnie kliknij przycisk wielokropka (...).

   Pojawi się okno dialogowe Testy automatyczne.

4. Wykonaj jedną z następujących czynności:

   • Aby dodać zestaw testów, wybierz Dodaj.

   • Aby zmodyfikować zestaw testów, wybierz go, a następnie wybierz Edytuj.

   Pojawi się okno dialogowe Dodaj/Edytuj przebieg testowy.

5. (Opcjonalnie) Określ Nazwę przebiegu testowego.Nazwa ta pojawia się w oknie z wynikami kompilacji.Jeśli nie określisz nazwy, system wygeneruje ją automatycznie.

6. Jeśli kompilacja ma zakończyć się niepowodzeniem w przypadku zakończenia niepowodzeniem dowolnego z testów, wybierz Niepowodzenie kompilacji w przypadku niepowodzenia testu.W przypadku pozostawienia tego pola wyboru odznaczonego, jeśli dowolny test zakończy się niepowodzeniem, zakończona kompilacja zostanie sklasyfikowana jako Częściowe powodzenie.

7. Specyfikacja pliku zestawu testów

   Określ pliki binarne, które zawierają testy do uruchomienia.Pozostaw wartość domyślną (**\*test*.dll), jeżeli agent kompilacji ma wyszukiwać cyklicznie wszystkie pliki .dll pasujące do *test*.dll w podkatalogu binaries katalogu roboczego agenta kompilacji.Alternatywnie można zmodyfikować specyfikację pliku według własnych potrzeb.

8. Jeśli chcesz uruchomić przebieg testowy do zbierania i opublikowania danych pokrycia kodu, zmień ustawienie Opcje na Włącz pokrycie kodu.

   Można też użyć opcji Niestandardowy, aby określić plik .runsettings.Aby uzyskać więcej informacji, zobacz Dostosowywanie analizy pokrycia kodu.

9. Z menu Wybierz platformę docelową dla wykonywania testów wybierz x86 do testowania 32-bitowych plików binarnych lub x64 do testowania 64-bitowych plików binarnych.

10. Możesz określić kryteria dla uruchamianych testów.

Określ kryteria dla testów uruchamianych przez Visual Studio Test Runner

Możesz określić pary nazwa/wartość do filtrowania uruchamianych testów.Jeśli do organizowania testów i nadawania im priorytetów używane są kategorie testów i atrybuty priorytetów, wówczas można filtrować uruchamiane testy, używając nazw TestCategory i Priority.

Można określić kategorie testów w jednej z poniższych form:

• **Określ parę nazwa/wartość pojedynczego do włączenia.**Na przykład można dla nich wywoływaną bvt. kategorię testuNależy ustawić Filtr przypadków testowych na TestCategory=bvt, aby uruchomić testy tylko z tej kategorii.

• **Określanie wielu kategorii test przy użyciu || (operator "lub").**Na przykład można określić TestCategory = quick||TestCategory = Uruchamianie testów w kategorii szybki i testy w kategorii gui graficzny interfejs użytkownika.

Tymczasowo wyłącz testy

Jeśli trzeba tymczasowo wyłączyć testy bez usuwania zawierających je zestawów testów, rozwiń węzeł Zaawansowane i zmień ustawienie Wyłącz testy na Prawda.Ustaw wartość z powrotem na Fałsz, jeśli chcesz ponownie włączyć testy.

Włącz analizę wpływu testów

Testerzy i deweloperzy muszą wiedzieć, jaki wpływ na testy miały zmiany kodu ujęte w zakończonej kompilacji.Po włączeniu analizy wpływu testów w kompilacji system analizuje, a następnie zgłasza — w formie raportu kompilacji po jej zakończeniu — jak zmiany kodu wpłynęły na testy.

Aby włączyć analizę wpływu testów w procesie kompilacji opartym na szablonie domyślnym

1. Skonfiguruj analizę wpływu testów w pliku ustawień testu.

   Aby uzyskać więcej informacji, zobacz Porady: zbieranie danych niezbędnych do sprawdzenia, które testy będą wymagały przeprowadzenia po wprowadzeniu zmian w kodzie.

2. Utwórz zestaw testów skonfigurowany do używania pliku ustawień testu.

   Aby uzyskać więcej informacji, zobacz sekcję Uruchom testy automatyczne wcześniej w tym temacie.

3. Rozwiń węzeł Zaawansowane i upewnij się, że dla opcji Przeanalizuj wpływ testu ustawiono wartość Prawda, a dla Wyłącz testy wartość Fałsz.

Zdefiniuj wiele przebiegów testowych

Można zdefiniować tyle przebiegów testowych, ile trzeba, aby spełnić wymagania zespołu dotyczące kompilacji i procesu testowania.Konieczne może być na przykład zdefiniowanie wielu przebiegów testowych w pojedynczej kompilacji w następujących scenariuszach:

• Chcesz użyć modułu Visual Studio Test Runner do testowania rozwiązania, które generuje pliki binarne 32- i 64-bitowe.

• Masz dwa zestawy testów:

  • Zestaw podstawowych testów o wysokim priorytecie, które muszą być zakończone pomyślnie.Definiujesz zestaw testów, który zawiera Minimalny priorytet testu i Maksymalny priorytet testu równy 1.Zaznacz pole wyboru Niepowodzenie kompilacji w przypadku niepowodzenia testu.

  • Zestaw mniej ważnych testów, które mają być uruchomione, ale dla użyteczności kompilacji nie jest konieczne zakończenie ich powodzeniem.Definiujesz zestaw testów, który zawiera Minimalny priorytet testu równy 2 i Maksymalny priorytet testu równy 3.Pole wyboru Niepowodzenie kompilacji w przypadku niepowodzenia testu należy pozostawić odznaczone.

• Chcesz uruchomić ten sam zestaw testów z różnymi ustawieniami testu.

• Chcesz, aby główny zbiór kompilowanych zestawów podlegał pokryciu kodu.Istnieje jednak inny zbiór zestawów z zewnętrznego źródła, który nie wymaga pokrycia kodu.Aby włączyć ten rodzaj procesu, możesz użyć dwóch zestawów testów skonfigurowanych w taki sposób, aby używały dwóch grup plików ustawień testu.

Włączanie środowiska jednostek innej firmy

Proces kompilacji może uruchomić testy jednostkowe w oparciu o struktury testów jednostkowych innych firm tylko wtedy, gdy kontrolerowi kompilacji udzielono dostępu do zestawów struktur innych firm.

1. Zlokalizuj lub w razie potrzeby określ ścieżkę kontrolera kompilacji do niestandardowych zestawów.

2. Zlokalizuj lub w razie potrzeby utwórz mapowanie z folderu niestandardowego zestawu na serwerze w folderze lokalnym w obszarze roboczym.

3. Uzyskaj wtyczkę testu innej firmy:

   Adapter	Język
   Zwiększenie wydajności	C++
   Chutzpah	JavaScript
   Google	C++
   MbUnit	C#
   MSpec	MSpec
   nUnit	C#
   Python Tools dla programu Visual Studio	Python
   Silverlight	Silverlight
   TSTestAdapter	TypeScript
   VsNodeTest	Node.js
   xUnit.net	C#
   xUnit ++	C++

4. Zmień nazwę pliku .vsix wtyczki w pliku zip.Na przykład można użyć wiersza polecenia, tak jak tu:

   C:\Downloads>ren NUnitTestAdapter.vsix NUnitTestAdapter.zip
   

5. Rozpakuj zawartość pliku .zip do folderu lokalnego obszaru roboczego, który był mapowany w kroku 2.

6. Zaewidencjonuj pliki.

   Porada
   Aby strategie działały w kontroli wersji z plikami binarnymi innych firm, zobacz Wykorzystywanie plików binarnych innych firm, które nie są kompilowane w Twoim kodzie.

Program [Visual Studio 2012.3] zawiera ulepszenie na potrzeby środowisk testów jednostkowych innych firm, które automatyzuje uwzględnianie tych struktur w definicjach kompilacji zespołowych.

Przestroga
Może być konieczne zainstalowanie najnowszej wersji pakietów NuGet dla środowiska testów jednostkowych innej firmy, aby upewnić się, że środowisko zawiera rozszerzenie definicji kompilacji.

Włączanie środowiska testów jednostkowych innej firmy na kontrolerze kompilacji [Visual Studio 2012.1]

1. W Eksploratorze rozwiązań otwórz menu kontekstowe dla projektu testowego i wybierz polecenie Zarządzaj pakietami NuGet.

2. W lewej kolumnie w oknie dialogowym Pakiety zarządzania NuGet wybierz opcję Online.

3. Wybierz pakiet NuGet dla środowiska testów jednostkowych innej firmy i wybierz przycisk Zainstaluj.

4. Po zakończeniu instalacji pakietu NuGet wybierz przycisk Zamknij.

5. W Eksploratorze rozwiązań wybierz menu kontekstowe rozwiązania, a następnie wybierz opcję Dodaj rozwiązanie do kontroli źródła.

6. Teraz można zakolejkować kompilację, a testy w środowisku testów jednostkowych innej firmy uruchomią się automatycznie.

Praca z testami w niestandardowym procesie kompilacji

Jeśli zespół wymaga procesu kompilacji z głębiej dostosowanymi możliwościami, można uruchomić testy i wykonać inne zadania związane z testami w ramach niestandardowego procesu kompilacji.Aby uzyskać więcej informacji, zobacz:

• Uruchom testy przy użyciu działania RunTests

• Uruchamianie testów przy użyciu działania MSTest

• Pobierz listę testów, na które wpływa kompilacja (działanie GetImpactedTests)

Spróbuj tego w następnej kolejności

Planowanie ręcznych testów za pomocą systemu Team Web Access

Postaraj się bardziej

TematUżycie szablonów domyślnych w procesie kompilacji zawiera więcej informacji na temat tworzenia definicji kompilacji opartej na szablonie domyślnym.Ten temat zawiera informacje o ustawieniach bitowych Platformy, które można wykorzystać podczas kompilowania kodu.

Zobacz też

Koncepcje

Zdefiniuj proces kompilacji

Przeprowadzanie automatycznych testów z przepływu pracy Kompilacja-Wdrażanie-Testy

Inne zasoby

Trwa uruchamianie testów systemowych za pomocą programu Microsoft Visual Studio