Flaky testleri yönet

Azure DevOps Services

Geliştiriciler için üretkenlik, geliştirme veya güncelleştirme aşamasındaki kodla ilgili gerçek sorunları zamanında ve güvenilir bir şekilde bulmak için testlerin yeteneğine dayanır. Hatalar genellikle test edilen değişikliklerle ilgili olmadığından, hatalı testler gerçek sorunları bulmada bir engel oluşturur. Flaky test, kaynak kodunda veya yürütme ortamında değişiklik olmasa bile başarılı veya başarısız gibi farklı sonuçlar sağlayan bir testtir. Flaky testleri, gönderilen kodun kalitesini de etkiler.

Not

Bu özellik yalnızca Azure DevOps Services'ta kullanılabilir. Genellikle yeni özellikler önce bulut hizmetinde kullanıma sunulur ve ardından Azure DevOps Server'ın bir sonraki ana sürümünde veya güncelleştirmesinde şirket içinde kullanılabilir hale getirilir. Daha fazla bilgi için bkz . Azure DevOps Özellik Zaman Çizelgesi.

Ürün içinde kararsız test yönetimi getirmenin amacı, kararsız testlerin geliştiriciye neden olduğu sıkıntıyı azaltmak ve iş akışının tamamını kapsamak. Flaky test yönetimi aşağıdaki avantajları sağlar.

• Algılama - Kararsız testlerin otomatik algılanması, tekrar çalıştırma veya kendi özel algılama yöntemlerinizi entegre etme için genişletilebilirlik ile sağlanır.

• Kararsızlık yönetimi - Bir test kararsız olarak işaretlendiğinde, veriler söz konusu dalın tüm işlem hatları için kullanılabilir

• Flaky testleri hakkında rapor verme - Hatalı testlerden kaynaklanan derleme hatalarını önlemek isteyip istemediğinizi seçebilir veya yalnızca sorun giderme için flaky etiketini kullanabilirsiniz

• Çözüm - Analizinize bağlı olarak elle hata oluşturma veya testi dalgalı olarak işaretleme ve işaretini kaldırma

• Döngüyü kapatın - Hata çözümü / manuel giriş sonucunda flaky testi sıfırlayın

Flaky test yönetimini etkinleştir

Flaky test yönetimini yapılandırmak için Proje ayarları'nı ve İşlem Hatları bölümünde Test yönetimi'ni seçin.

Açık/Kapalı düğmesini Aç konumuna kaydırın.

Tüm projeler için varsayılan ayar, sorun giderme için flaky testleri kullanmaktır.

Güvenilmez test algılama

Flaky test yönetimi, sistem ve özel algılamayı destekler.

• Sistem tespiti: Ürün içi tutarsız tespit testi yeniden çalıştırma verilerini kullanır. Algılama, başarısız test özelliğinin VSTest görevini yeniden çalıştırma veya işlem hattındaki aşamayı yeniden deneme yoluyla yapılır. Projede, yanıcı testleri algılamak istediğiniz belirli işlem hatlarını seçebilirsiniz.

  Not

  Bir test kararsız olarak işaretlendiğinde, her işlem hattında sorun gidermeye yardımcı olması için, ilgili dalın tüm işlem hatlarında veriler kullanılabilir.

• Özel algılama: Azure Pipelines ile kendi esnek algılama mekanizmanızı tümleştirebilir ve raporlama özelliğini kullanabilirsiniz. Özel algılama ile, gevşek testler için test sonuçları meta verilerini güncelleştirmeniz gerekir. Ayrıntılar için bkz . Test Sonuçları, Sonuç Meta Verileri - REST API'yi güncelleştirme.

Flaky test seçenekleri

Flaky test seçenekleri , aşağıdaki bölümlerde açıklandığı gibi, flaky testlerinin hem test raporlamasında hem de çözüm özelliklerinde nasıl kullanılabilir olduğunu belirtir.

Flaky test yönetimi ve raporlama

Test yönetimi sayfasında, Flaky test seçenekleri'nin altında, test özet raporuna nasıl flaky testleri dahil edilir seçeneklerini ayarlayabilirsiniz. Test sonuçlarında, hem başarılı hem de başarısız testler için flaky test verileri bulunur. Flaky etiketi, hatalı testleri belirlemenize yardımcı olur. Varsayılan olarak, kararsız testler Test Özeti'ne eklenir. Ancak, hatalı test hatalarının işlem hattınızda başarısız olmadığından emin olmak istiyorsanız, bunları test özetinize eklememeyi ve test hatasını gizlemeyi seçebilirsiniz. Bu seçenek, aşağıdaki ekran görüntüsünde gösterildiği gibi hatalı testlerin (hem başarılı hem de başarısız) geçiş yüzdesinden kaldırılmasını ve Bildirilmeyen testler bölümünde gösterilmesini sağlar.

Not

Test özeti raporu yalnızca Visual Studio Test görevi ve Test Sonuçlarını Yayımla görevi için güncelleştirilir. Diğer senaryolarda kararsız test hatalarını bastırmak için özel bir betik eklemeniz gerekebilir.

Flaky olarak işaretlenmiş testler

Flaky olarak işaretlemek veya işareti kaldırmak için, analiz veya bağlama göre Flaky (veya test zaten flaky olarak işaretlenmişse UnFlaky) öğesini seçebilirsiniz.

Bir test işlem hattında flaky veya unflaky olarak işaretlendiğinde, geçerli işlem hattında hiçbir değişiklik yapılmaz. Yalnızca bu testin gelecekteki yürütmelerinde, değiştirilen flaky ayarı değerlendirilir. Flaky olarak işaretlenen testlerin kullanıcı arabiriminde İşaretli flaky etiketi bulunur.

Yardım ve destek

• Sorun giderme sayfamıza bakın
• Stack Overflow hakkında öneri alın ve Geliştirici Topluluğu aracılığıyla destek alın

İlgili makaleler

• Test sonuçlarını gözden geçirme
• Visual Studio Test görevi
• Test Sonuçlarını Yayımla görevi
• Test Sonuçları, Sonuç Meta Verileri - REST API'yi güncelleştirme