Mengelola pengujian flaky
Azure DevOps
Produktivitas untuk pengembang bergantung pada kemampuan pengujian untuk menemukan masalah nyata dengan kode yang sedang dikembangkan atau diperbarui secara tepat waktu dan dapat diandalkan. Tes flaky menghadirkan penghubung untuk menemukan masalah nyata, karena kegagalan sering kali tidak terkait dengan perubahan yang sedang diuji. Pengujian berlemak adalah pengujian yang memberikan hasil yang berbeda, seperti lulus atau gagal, bahkan ketika tidak ada perubahan dalam kode sumber atau lingkungan eksekusi. Tes flaky juga berdampak pada kualitas kode yang dikirim.
Catatan
Fitur ini hanya tersedia di Azure DevOps Services. Biasanya, fitur baru diperkenalkan di layanan cloud terlebih dahulu, dan kemudian tersedia secara lokal di versi utama berikutnya atau pembaruan Azure DevOps Server. Untuk informasi selengkapnya, lihat Garis Waktu Fitur Azure DevOps.
Tujuan membawa manajemen pengujian berlemak dalam produk adalah untuk mengurangi rasa sakit pengembang yang disebabkan oleh tes flaky dan memenuhi seluruh alur kerja. Manajemen pengujian Flaky memberikan manfaat berikut.
Deteksi - Deteksi otomatis pengujian flaky dengan jalankan ulang atau ekstensibilitas untuk mencolokkan metode deteksi kustom Anda sendiri
Manajemen flakiness - Setelah pengujian ditandai sebagai flaky, data tersedia untuk semua alur untuk cabang tersebut
Laporkan pengujian flaky - Kemampuan untuk memilih apakah Anda ingin mencegah kegagalan build yang disebabkan oleh pengujian yang tidak jelas, atau menggunakan tag flaky hanya untuk pemecahan masalah
Resolusi - Pembuatan bug manual atau penandaan manual dan uji unmarking sebagai flaky berdasarkan analisis Anda
Tutup loop - Reset tes flaky sebagai hasil dari resolusi bug / input manual
Mengaktifkan manajemen pengujian flaky
Untuk mengonfigurasi manajemen pengujian flaky, pilih Pengaturan proyek, dan pilih Manajemen pengujian di bagian Alur .
Geser tombol Aktif/Nonaktif ke Aktif.
Pengaturan default untuk semua proyek adalah menggunakan pengujian berlemak untuk pemecahan masalah.
Deteksi pengujian flaky
Manajemen pengujian Flaky mendukung deteksi sistem dan kustom.
Deteksi sistem: Deteksi flaky dalam produk menggunakan data eksekusi ulang pengujian. Deteksinya adalah melalui menjalankan ulang tugas VSTest dari kemampuan pengujian yang gagal atau mencoba kembali tahap dalam alur. Anda dapat memilih alur tertentu dalam proyek yang ingin Anda deteksi tesnya.
Catatan
Setelah pengujian ditandai sebagai tidak jelas, data tersedia untuk semua alur untuk cabang tersebut untuk membantu pemecahan masalah di setiap alur.
Deteksi kustom: Anda dapat mengintegrasikan mekanisme deteksi flaky Anda sendiri dengan Azure Pipelines dan menggunakan kemampuan pelaporan. Dengan deteksi kustom, Anda perlu memperbarui metadata hasil pengujian untuk pengujian cacat. Untuk detailnya, lihat Hasil Pengujian, Data Meta Hasil - Perbarui REST API.
Opsi pengujian flaky
Opsi pengujian Flaky menentukan bagaimana pengujian flaky tersedia dalam pelaporan pengujian serta kemampuan resolusi, seperti yang dijelaskan di bagian berikut.
Manajemen dan pelaporan pengujian flaky
Pada halaman Manajemen pengujian di bawah Opsi pengujian Flaky, Anda dapat mengatur opsi tentang bagaimana pengujian flaky disertakan dalam laporan Ringkasan Pengujian. Data pengujian flaky untuk pengujian yang lulus dan gagal tersedia dalam hasil Pengujian. Tag Flaky membantu Anda mengidentifikasi pengujian cacat. Secara default, pengujian flaky disertakan dalam Ringkasan Pengujian. Namun, jika Anda ingin memastikan kegagalan pengujian tidak gagal dalam alur, Anda dapat memilih untuk tidak menyertakannya dalam ringkasan pengujian Anda dan menekan kegagalan pengujian. Opsi ini memastikan pengujian berlemak (baik lulus maupun gagal) dihapus dari persentase pass dan ditampilkan dalam Pengujian yang tidak dilaporkan, seperti yang ditunjukkan pada cuplikan layar berikut.
Catatan
Laporan Ringkasan pengujian diperbarui hanya untuk tugas Pengujian Visual Studio dan tugas Terbitkan Hasil Pengujian. Anda mungkin perlu menambahkan skrip kustom untuk menekan kegagalan pengujian flaky untuk skenario lain.
Tes yang ditandai sebagai flaky
Anda dapat menandai atau membatalkan tanda pengujian sebagai flaky berdasarkan analisis atau konteks, dengan memilih Flaky (atau UnFlaky, tergantung pada apakah pengujian sudah ditandai sebagai flaky.)
Ketika pengujian ditandai dengan flaky atau unflaky dalam alur, tidak ada perubahan yang dilakukan dalam alur saat ini. Hanya pada eksekusi tes di masa mendatang adalah pengaturan flaky yang diubah yang dievaluasi. Pengujian yang ditandai sebagai flaky memiliki tag flaky ditandai di antarmuka pengguna.
Bantuan dan dukungan
- Lihat halaman pemecahan masalah kami
- Dapatkan saran tentang Stack Overflow, dan dapatkan dukungan melalui Komunitas Pengembang