Przeglądanie wyników testu

  • Artykuł

Azure DevOps Services | Azure DevOps Server 2022 — Azure DevOps Server 2019

Testy automatyczne można skonfigurować do uruchamiania w ramach kompilacji lub wydania dla różnych języków. Raporty testowe zapewniają skuteczny i spójny sposób wyświetlania wyników testów wykonywanych przy użyciu różnych platform testowych, w celu mierzenia jakości potoku, przeglądania możliwości śledzenia, rozwiązywania problemów z awariami i własności awarii dysku. Ponadto udostępnia wiele zaawansowanych funkcji raportowania omówionych w poniższych sekcjach.

Możesz również przeprowadzić dokładną analizę wyników testów przy użyciu usługi Analizy. Aby zapoznać się z przykładem korzystania z potoków kompilacji i wdrażania, zobacz Analizowanie wyników testu.

Przeczytaj słownik, aby zrozumieć terminologię raportu testowego.

Opublikowane wyniki testów można wyświetlić na karcie Testy w podsumowaniu kompilacji lub wydania.

Wyniki testów surface na karcie Testy

Wyniki testów można wyświetlić na karcie Testy przy użyciu jednej z następujących opcji:

  • Automatycznie wnioskowane wyniki testu. Domyślnie potok może automatycznie wnioskować dane wyjściowe testu dla kilku popularnych modułów uruchamiającego testy. Odbywa się to przez analizowanie dzienników błędów generowanych podczas operacji kompilacji, a następnie sprawdzanie podpisów niepowodzeń testów. Obecnie usługa Azure DevOps obsługuje następujące języki i moduły uruchamiającego testy w celu automatycznego wnioskowania wyników testu:

  • Zadania wykonywania testów. Wbudowane zadania wykonywania testów, takie jak Test programu Visual Studio, które automatycznie publikują wyniki testów w potoku, lub inne, takie jak Ant, Maven, Gulp, Grunt i Xcode, które zapewniają tę możliwość jako opcję w ramach zadania.

  • Opublikuj zadanie Wyniki testu. Zadanie, które publikuje wyniki testów w usłudze Azure Pipelines lub TFS, gdy testy są wykonywane przy użyciu wybranego modułu uruchamiającego, a wyniki są dostępne w dowolnym z obsługiwanych formatów wyników testu.

  • Interfejsy API. Wyniki testów opublikowane bezpośrednio przy użyciu interfejsów API zarządzania testami.

Informacje o teście surface poza kartą Testy

Karta Testy zawiera szczegółowe podsumowanie wykonania testu. Jest to przydatne w śledzeniu jakości potoku, a także w przypadku rozwiązywania problemów z błędami. Usługa Azure DevOps udostępnia również inne sposoby przedstawiania informacji testowych:

  • Pulpit nawigacyjny zapewnia widoczność postępu twojego zespołu. Dodaj co najmniej jeden widżet, który zawiera informacje dotyczące testu powierzchniowego:

  • Analiza testów zapewnia bogaty wgląd w wyniki testów mierzone w danym okresie. Może pomóc zidentyfikować problematyczne obszary w teście, dostarczając dane, takie jak najważniejsze testy zakończone niepowodzeniem i nie tylko.

Wyświetlanie wyników testów w kompilacji

Podsumowanie kompilacji zawiera widok osi czasu kluczowych kroków wykonywanych w kompilacji. Jeśli testy zostały wykonane i zgłoszone w ramach kompilacji, w widoku osi czasu zostanie wyświetlony punkt kontrolny testu. Punkt kontrolny testu zawiera podsumowanie wyników testu jako miarę wartości procentowej z powodzeniem wraz ze wskaźnikami niepowodzeń i przerwaniami, jeśli istnieją.

Wyświetlanie testu w widoku osi czasu kompilacji

Wyświetlanie wyników testów w wersji

W widoku potoku można zobaczyć wszystkie etapy i skojarzone testy. Widok zawiera podsumowanie wyników testu jako miarę wartości procentowej z powodzeniem wraz ze wskaźnikami niepowodzeń i przerywania, jeśli istnieją. Te wskaźniki są takie same jak w widoku osi czasu kompilacji, zapewniając spójne środowisko kompilacji i wydania.

Wyświetlanie testu w widoku kanwy wydania

Karta Testy

Podsumowania kompilacji i wydania zawierają szczegółowe informacje o wykonaniu testu. Wybierz pozycję Podsumowanie testu, aby wyświetlić szczegóły na karcie Testy . Ta strona zawiera następujące sekcje

  • Podsumowanie: zawiera kluczowe metryki ilościowe dla wykonania testu, takie jak łączna liczba testów, testy nieudane, procent powodzenia i nie tylko. Zapewnia również różnicowe wskaźniki zmian w porównaniu z poprzednim wykonaniem.

  • Wyniki: wyświetla listę wszystkich wykonanych i zgłoszonych testów w ramach bieżącej kompilacji lub wydania. Widok domyślny pokazuje tylko nieudane i przerwane testy, aby skoncentrować się na testach wymagających uwagi. Można jednak wybrać inne wyniki przy użyciu podanych filtrów.

  • Szczegóły: lista testów, które można sortować, grupować, wyszukiwać i filtrować, aby znaleźć potrzebne wyniki testu.

Karta Wyświetl testy

Wybierz dowolny przebieg testu lub wynik, aby wyświetlić okienko szczegółów zawierające dodatkowe informacje wymagane do rozwiązywania problemów, takie jak komunikat o błędzie, ślad stosu, załączniki, elementy robocze, trend historyczny i inne.

Karta Wyświetl szczegóły

Napiwek

Jeśli używasz zadania Test programu Visual Studio do uruchamiania testów, dane wyjściowe diagnostyczne rejestrowane z testów (przy użyciu dowolnej metody Console.WriteLine, Trace.WriteLine lub TestContext.WriteLine), będą wyświetlane jako załącznik do testu, który zakończył się niepowodzeniem.

Poniższe możliwości karty Testy pomagają zwiększyć produktywność i środowisko rozwiązywania problemów.

Filtrowanie wyników dużych testów

W miarę upływu czasu testy są naliczane i, w przypadku dużych aplikacji, mogą łatwo rosnąć do dziesiątek tysięcy testów. W przypadku tych aplikacji z bardzo wieloma testami trudno jest przechodzić przez wyniki, aby zidentyfikować błędy testów, skojarzyć główne przyczyny lub uzyskać własność problemów. Filtry ułatwiają szybkie przechodzenie do wyników testów Twoich zainteresowań. Możesz filtrować według nazwy testu, wyniku (zakończonego niepowodzeniem, zakończonego powodzeniem i nie tylko), plików testowych (plików gospodarstwa testów) i właściciela (dla plików testowych). Wszystkie kryteria filtrowania mają charakter skumulowany.

Filtrowanie dużego zestawu wyników testów

Ponadto przy użyciu wielu opcji grupowania , takich jak przebieg testu, plik testowy, priorytet, wymaganie i nie tylko, można zorganizować widok Wyniki dokładnie tak, jak jest to wymagane.

Testowanie zarządzania długami przy użyciu usterek

Aby zarządzać długiem testowym pod kątem niepowodzenia lub długotrwałych testów, możesz utworzyć usterkę lub dodać dane do istniejącej usterki i wyświetlić wszystkie skojarzone elementy robocze na karcie elementu roboczego.

Immersyjne środowisko rozwiązywania problemów

Komunikaty o błędach i ślady stosu mają charakter długi i wymagają wystarczającej ilości nieruchomości, aby wyświetlić szczegóły podczas rozwiązywania problemów. Aby zapewnić immersywne środowisko rozwiązywania problemów, widok Szczegóły można rozwinąć do widoku pełnej strony, jednocześnie będąc w stanie wykonać wymagane operacje w kontekście, takich jak tworzenie usterek lub skojarzenie wymagań dla wybranego wyniku testu.

Widok panelu pełnej strony

Rozwiązywanie problemów z danymi dotyczącymi niepowodzenia testu

W przypadku niepowodzeń testów komunikaty o błędach i ślady stosu są dostępne do rozwiązywania problemów. Możesz również wyświetlić wszystkie załączniki skojarzone z niepowodzeniem testu na karcie Załączniki .

Testowanie zarządzania długami

Możesz utworzyć lub dodać do istniejącej usterki, aby zarządzać długiem testowym pod kątem niepowodzeń lub długotrwałych testów. Karta Elementy robocze zawiera szczegółowe informacje o wszystkich usterach i wymaganiach skojarzonych z testem, aby ułatwić analizowanie wpływu wymagań oraz informacje o stanie i osobach pracujących nad usterką.

Historia wykonywania testów może zapewnić znaczący wgląd w niezawodność lub wydajność testów. Podczas rozwiązywania problemów z błędem warto wiedzieć, jak test został wykonany w przeszłości. Karta Testy zawiera historię testów w kontekście z wynikami testu. Informacje o historii testów są udostępniane w sposób progresywny, począwszy od bieżącego potoku kompilacji do innych gałęzi lub bieżącego etapu do innych etapów, odpowiednio dla kompilacji i wydania.

Wyświetlanie trendów historycznych

Wyświetlanie wykonywania testów w toku

Testy, takie jak testy integracyjne i funkcjonalne, mogą być uruchamiane przez długi czas. Dlatego ważne jest, aby w danym momencie zobaczyć bieżący lub niemal w czasie rzeczywistym stan wykonywania testu. Nawet w przypadkach, w których testy są uruchamiane szybko, warto znać stan odpowiednich wyników testów tak szybko, jak to możliwe; szczególnie w przypadku wystąpienia awarii. Widok w toku eliminuje konieczność oczekiwania na zakończenie wykonywania testu. Wyniki są dostępne niemal w czasie rzeczywistym w miarę postępu wykonywania, co ułatwia szybsze wykonywanie akcji. Możesz debugować błąd, zgłosić usterkę lub przerwać potok.

Widok wydania w toku

Uwaga

Funkcja jest obecnie dostępna zarówno dla kompilacji, jak i wydania przy użyciu zadania testowego programu Visual Studio w zadaniu wielu agentów. Będzie ona dostępna dla zadań pojedynczego agenta w przyszłej wersji.

W poniższym widoku przedstawiono podsumowanie testu w toku w wydaniu, raportowanie łącznej liczby testów i liczbę niepowodzeń testów w danym punkcie w czasie. Błędy testów są dostępne do rozwiązywania problemów, tworzenia usterek lub podjęcia innych odpowiednich działań.

Widok podsumowania w toku

Wyświetlanie podsumowanych wyników testu

Podczas wykonywania testu test może zduplikować wiele wystąpień lub testów, które przyczyniają się do ogólnego wyniku. Niektóre przykłady to testy, które są uruchamiane ponownie, testy składające się z uporządkowanej kombinacji innych testów (uporządkowanych testów) lub testów mających różne wystąpienia na podstawie parametru wejściowego (testy sterowane danymi).

Ponieważ te testy są powiązane, należy je zgłaszać wraz z ogólnym wynikiem pochodzącym z poszczególnych wystąpień lub testów. Te wyniki testów są zgłaszane jako podsumowany wynik testu na karcie Testy :

  • Ponowne uruchamianie testów nie powiodło się: możliwość ponownego uruchamiania testów, które zakończyły się niepowodzeniem, jest dostępna w najnowszej wersji zadania testowego programu Visual Studio. Podczas ponownego uruchamiania można wykonać wiele prób dla testu, które zakończyły się niepowodzeniem, a każda awaria może mieć inną główną przyczynę z powodu niedeterministycznego zachowania testu. Raporty testów zapewniają połączony widok dla wszystkich prób ponownego uruchomienia wraz z ogólnym wynikiem testu jako podsumowaną jednostką. Ponadto interfejsy API zarządzania testami obsługują teraz możliwość publikowania podsumowanych wyników testów i wykonywania zapytań.

    Ponowne uruchamianie testów zakończyło się niepowodzeniem

  • Testy sterowane danymi: podobnie jak ponowne uruchamianie testów, które zakończyły się niepowodzeniem, wszystkie iteracji testów opartych na danych są zgłaszane w ramach tego testu w podsumowanym widoku. Widok podsumowany jest również dostępny dla uporządkowanych testów (.orderedtest w programie Visual Studio).

    Test oparty na danych

Uwaga

Metryki w sekcji podsumowania testu, takie jak łączna liczba testów, powodzenie, niepowodzenie lub inne są obliczane przy użyciu poziomu głównego podsumowanego wyniku testu.

Wyświetlanie przerwanych testów

Wykonanie testu może zostać przerwane z kilku powodów, takich jak nieprawidłowy kod testu, błędy w źródle w ramach testu lub problemy środowiskowe. Niezależnie od przyczyny przerwania ważne jest, aby móc zdiagnozować zachowanie i zidentyfikować główną przyczynę. Przerwane testy i przebiegi testów można wyświetlić obok ukończonych przebiegów na karcie Testy .

Wyświetl zatrzymane testy.

Uwaga

Funkcja jest obecnie dostępna zarówno dla kompilacji, jak i wydania przy użyciu zadania testowego programu Visual Studio w zadaniu wielo agenta lub publikowania wyników testów przy użyciu interfejsów API zarządzania testami. Będzie ona dostępna dla zadań pojedynczego agenta w przyszłej wersji.

Automatycznie wnioskowane wyniki testu

Usługa Azure DevOps może automatycznie wywnioskować dane wyjściowe testów uruchomionych w potokach dla kilku obsługiwanych platform testowych. Te automatycznie wnioskowane raporty testowe nie wymagają określonej konfiguracji potoków i są bez wysiłku, aby rozpocząć korzystanie z raportowania testów.

Przykład automatycznie wnioskowanego raportu testowego

Zobacz listę modułów uruchamiających, dla których wyniki testów są automatycznie wnioskowane.

Ponieważ w takich wnioskowanych raportach istnieją tylko ograniczone metadane testów, są one ograniczone w funkcjach i możliwościach. Następujące funkcje nie są dostępne dla raportów testów wywnioskowanych:

  • Grupuj wyniki testu według pliku testowego, właściciela, priorytetu i innych pól
  • Wyszukiwanie i filtrowanie wyników testu
  • Sprawdzanie szczegółów testów z powodzeniem
  • Wyświetlanie podglądu wszystkich załączników generowanych podczas testów w samym internetowym interfejsie użytkownika
  • Skojarz błąd testu z nową usterką lub zobacz listę skojarzonych elementów roboczych dla tego błędu
  • Zobacz build-on-build analytics for testing in Pipelines (Analiza kompilacji na potrzeby testowania w usłudze Pipelines)

Uwaga

Niektórzy biegacze, tacy jak Mocha, mają wielu wbudowanych reporterów konsoli, takich jak dot-matrix i progress-bar. Jeśli skonfigurowano nie domyślne dane wyjściowe konsoli dla modułu uruchamiającego testy lub używasz niestandardowego reportera, usługa Azure DevOps nie będzie mogła wywnioskować wyników testu. Może on wnioskować tylko wyniki z domyślnego reportera.

Pomoc i obsługa techniczna