Zarządzanie testami flaky
Usługa Azure DevOps Services
Produktywność dla deweloperów polega na możliwości testowania w celu znalezienia rzeczywistych problemów z kodem w ramach programowania lub aktualizacji w sposób terminowy i niezawodny. Flaky testy stanowią barierę do znajdowania rzeczywistych problemów, ponieważ błędy często nie odnoszą się do testowanych zmian. Flaky test to test, który zapewnia różne wyniki, takie jak przekazywanie lub niepowodzenie, nawet jeśli nie ma żadnych zmian w kodzie źródłowym lub środowisku wykonywania. Flaky testy wpływają również na jakość dostarczonego kodu.
Uwaga
Ta funkcja jest dostępna tylko w Azure DevOps Services. Zazwyczaj nowe funkcje są najpierw wprowadzane w usłudze w chmurze, a następnie udostępniane lokalnie w następnej wersji głównej lub aktualizacji Azure DevOps Server. Aby dowiedzieć się więcej, zobacz Oś czasu funkcji usługi Azure DevOps.
Celem wprowadzenia niestabilnego zarządzania testami w produkcie jest zmniejszenie przyczyny bólu dewelopera przez niestabilne testy i zaspokajanie całego przepływu pracy. Zarządzanie testami flaky zapewnia następujące korzyści.
Wykrywanie — automatyczne wykrywanie nietypowego testu z ponownym uruchomieniem lub rozszerzalnością w celu podłączenia własnej niestandardowej metody wykrywania
Zarządzanie flakiness — po oznaczeniu testu jako niestabilnego dane są dostępne dla wszystkich potoków dla tej gałęzi
Raport na temat flaky testów — możliwość wyboru, czy chcesz zapobiec awariom kompilacji spowodowanym przez nieudane testy, lub użyć tagu flaky tylko do rozwiązywania problemów
Rozwiązanie — ręczne tworzenie usterek lub ręczne oznaczanie i usuwanie znacznika testu jako usterki na podstawie analizy
Zamknij pętlę — zresetuj test flaky w wyniku rozwiązania usterek / ręcznego wprowadzania danych wejściowych
Włączanie flaky test management
Aby skonfigurować zarządzanie testami flaky, wybierz pozycję Ustawienia projektu i wybierz pozycję Zarządzanie testami w sekcji Potoki .
Przesuń przycisk Wł./Wył.
Ustawieniem domyślnym dla wszystkich projektów jest użycie flaky testów do rozwiązywania problemów.
Flaky test detection (Flaky test detection)
Zarządzanie testami flaky obsługuje wykrywanie systemowe i niestandardowe.
Wykrywanie systemu: wykrywanie w produkcie nietypowe używa danych ponownego uruchamiania testów. Wykrywanie odbywa się za pomocą ponownego uruchamiania zadań VSTest dotyczących możliwości testów, które zakończyły się niepowodzeniem, lub ponawiania próby etapu w potoku. Możesz wybrać określone potoki w projekcie, dla których chcesz wykryć niestabilne testy.
Uwaga
Gdy test zostanie oznaczony jako niestabilny, dane są dostępne dla wszystkich potoków dla tej gałęzi, aby pomóc w rozwiązywaniu problemów w każdym potoku.
Wykrywanie niestandardowe: możesz zintegrować własny mechanizm wykrywania flaky z usługą Azure Pipelines i korzystać z możliwości raportowania. W przypadku wykrywania niestandardowego należy zaktualizować metadane wyników testów pod kątem niesłychanych testów. Aby uzyskać szczegółowe informacje, zobacz Wyniki testów, Metadane wyników — aktualizowanie interfejsu API REST.
Flaky opcje testu
Opcje testu Flaky określają, jak niestabilne testy są dostępne w raportowaniu testów, a także możliwości rozwiązywania problemów, jak opisano w poniższych sekcjach.
Flaky test zarządzania i raportowania
Na stronie Zarządzanie testami w obszarze Opcje testu Flaky można ustawić opcje sposobu flaky testów uwzględnionych w raporcie Podsumowanie testu. Flaky dane testowe dla testu z powodzeniem i niepowodzeniem są dostępne w wynikach testu. Tag Flaky pomaga zidentyfikować niestabilne testy. Domyślnie w podsumowaniu testu są uwzględniane niestabilne testy. Jeśli jednak chcesz upewnić się, że niepowodzeń testu nie powiedzie się potok, możesz nie uwzględnić ich w podsumowaniu testu i pominąć niepowodzenie testu. Ta opcja zapewnia, że nieudanych testów (zarówno z powodzeniem, jak i niepowodzeniem) są usuwane z wartości procentowej przebiegu i wyświetlane w obszarze Nie zgłoszono testów, jak pokazano na poniższym zrzucie ekranu.
Uwaga
Raport podsumowania testu jest aktualizowany tylko dla zadania testowego programu Visual Studio i zadania Publikuj wyniki testu. Może być konieczne dodanie niestandardowego skryptu w celu pomijania niepowodzeń testowych w innych scenariuszach.
Testy oznaczone jako łyse
Możesz oznaczyć lub usunąć znacznik testu jako łyski na podstawie analizy lub kontekstu, wybierając pozycję Flaky (lub UnFlaky, w zależności od tego, czy test jest już oznaczony jako flaky).
Gdy test jest oznaczony jako nieopłatny lub nielakyzwany w potoku, w bieżącym potoku nie są wprowadzane żadne zmiany. Tylko w przyszłych wykonaniach tego testu jest zmienione niestabilne ustawienie ocenione. Testy oznaczone jako flaky mają tag Oznaczone flaky w interfejsie użytkownika.
Pomoc i obsługa techniczna
- Zobacz naszą stronę rozwiązywania problemów
- Uzyskaj porady dotyczące rozwiązania Stack Overflow i uzyskaj pomoc techniczną za pośrednictwem Developer Community
Pokrewne artykuły:
Opinia
https://aka.ms/ContentUserFeedback.
Dostępne już wkrótce: W 2024 r. będziemy stopniowo wycofywać zgłoszenia z serwisu GitHub jako mechanizm przesyłania opinii na temat zawartości i zastępować go nowym systemem opinii. Aby uzyskać więcej informacji, sprawdź:Prześlij i wyświetl opinię dla