Bagikan melalui

Mengelola pengujian flaky

Azure DevOps

Produktivitas untuk pengembang bergantung pada kemampuan pengujian untuk menemukan masalah nyata dengan kode yang sedang dikembangkan atau diperbarui secara tepat waktu dan dapat diandalkan. Tes flaky menghadirkan penghubung untuk menemukan masalah nyata, karena kegagalan sering kali tidak terkait dengan perubahan yang sedang diuji. Pengujian berlemak adalah pengujian yang memberikan hasil yang berbeda, seperti lulus atau gagal, bahkan ketika tidak ada perubahan dalam kode sumber atau lingkungan eksekusi. Tes flaky juga berdampak pada kualitas kode yang dikirim.

Catatan

Fitur ini hanya tersedia di Azure DevOps Services. Biasanya, fitur baru diperkenalkan di layanan cloud terlebih dahulu, dan kemudian tersedia secara lokal di versi utama berikutnya atau pembaruan Azure DevOps Server. Untuk informasi selengkapnya, lihat Garis Waktu Fitur Azure DevOps.

Tujuan membawa manajemen pengujian berlemak dalam produk adalah untuk mengurangi rasa sakit pengembang yang disebabkan oleh tes flaky dan memenuhi seluruh alur kerja. Manajemen pengujian Flaky memberikan manfaat berikut.

  • Deteksi - Deteksi otomatis pengujian flaky dengan jalankan ulang atau ekstensibilitas untuk mencolokkan metode deteksi kustom Anda sendiri

  • Manajemen flakiness - Setelah pengujian ditandai sebagai flaky, data tersedia untuk semua alur untuk cabang tersebut

  • Laporkan pengujian flaky - Kemampuan untuk memilih apakah Anda ingin mencegah kegagalan build yang disebabkan oleh pengujian yang tidak jelas, atau menggunakan tag flaky hanya untuk pemecahan masalah

  • Resolusi - Pembuatan bug manual atau penandaan manual dan uji unmarking sebagai flaky berdasarkan analisis Anda

  • Tutup loop - Reset tes flaky sebagai hasil dari resolusi bug / input manual

Siklus hidup flaky

Mengaktifkan manajemen pengujian flaky

Untuk mengonfigurasi manajemen pengujian flaky, pilih Pengaturan proyek, dan pilih Manajemen pengujian di bagian Alur .

Geser tombol Aktif/Nonaktif ke Aktif.

Cuplikan layar Manajemen Pengujian, deteksi pengujian Flaky diaktifkan, Deteksi sistem.

Pengaturan default untuk semua proyek adalah menggunakan pengujian berlemak untuk pemecahan masalah.

Catatan

Beralih antar sistem secara bawaan mengganggu, karena semua riwayat ketidakstabilan yang disimpan di Azure DevOps dihapus pada saat terjadi transisi.

Deteksi pengujian flaky

Manajemen pengujian Flaky mendukung deteksi sistem dan kustom.

  • Deteksi sistem: Azure DevOps memiliki mekanisme bawaan untuk mendeteksi pengujian cacat. Ini melibatkan pengujian ulang yang gagal dalam pelaksanaan alur yang sama. Jika uji coba gagal pada awalnya tetapi berhasil pada pengulangan, maka ditandai sebagai tidak konsisten. Deteksi ini digabungkan erat dengan tugas VSTest , yang menjalankan ulang pengujian yang gagal dalam eksekusi tugas yang sama. Metode lain melibatkan menjalankan ulang pekerjaan yang gagal dalam alur (secara manual dengan mengklik "jalankan ulang pekerjaan yang gagal" dalam eksekusi alur apa pun). Jika tes lolos dalam eksekusi ulang, tes ditandai sebagai tidak konsisten.

    Catatan

    Setelah pengujian ditandai sebagai tidak jelas, data tersedia untuk semua alur untuk cabang tersebut untuk membantu pemecahan masalah di setiap alur.

  • Deteksi kustom: Pendekatan ini memungkinkan sistem eksternal untuk mengintegrasikan logika mereka sendiri untuk mendeteksi pengujian yang tidak jelas dan mengandalkan Azure DevOps untuk pelacakan dan manajemen yang konsisten. Komunikasi dengan Azure DevOps diaktifkan menggunakan Result Meta Data - Update API. API memerlukan ID Referensi Kasus Pengujian, indikator yang menunjukkan apakah pengujian dianggap tidak stabil, dan cabang repositori di mana ketidakstabilan diamati. Pengguna harus bisa mendapatkan Id Referensi Kasus Pengujian dari GET Test Result By Id API. Setelah informasi ini dikirim ke Azure DevOps, sistem menyimpan dan menyebarluaskan status tidak stabil untuk kasus pengujian tersebut dalam jalankan pipeline berikutnya. Setelah pengujian ditandai sebagai tidak konsisten, Azure DevOps akan terus memperlakukannya demikian sampai ditandai ulang secara manual.

Cuplikan layar Manajemen Pengujian, deteksi pengujian Flaky diaktifkan, Deteksi kustom.

Opsi pengujian flaky

Opsi pengujian Flaky menentukan bagaimana pengujian flaky tersedia dalam pelaporan pengujian serta kemampuan resolusi, seperti yang dijelaskan di bagian berikut.

Manajemen dan pelaporan pengujian flaky

Pada halaman Manajemen pengujian di bawah Opsi pengujian Flaky, Anda dapat mengatur opsi tentang bagaimana pengujian flaky disertakan dalam laporan Ringkasan Pengujian. Data pengujian flaky untuk pengujian yang lulus dan gagal tersedia dalam hasil Pengujian. Tag Flaky membantu Anda mengidentifikasi pengujian cacat. Secara default, pengujian flaky disertakan dalam Ringkasan Pengujian. Namun, jika Anda ingin memastikan kegagalan pengujian tidak gagal dalam alur, Anda dapat memilih untuk tidak menyertakannya dalam ringkasan pengujian Anda dan menekan kegagalan pengujian. Opsi ini memastikan pengujian berlemak (baik lulus maupun gagal) dihapus dari persentase pass dan ditampilkan dalam Pengujian yang tidak dilaporkan, seperti yang ditunjukkan pada cuplikan layar berikut.

Pelaporan Flaky

Catatan

Laporan Ringkasan pengujian diperbarui hanya untuk tugas Pengujian Visual Studio dan tugas Terbitkan Hasil Pengujian. Anda mungkin perlu menambahkan skrip kustom untuk menekan kegagalan pengujian flaky untuk skenario lain.

Tes yang ditandai sebagai flaky

Anda dapat menandai atau membatalkan tanda pengujian sebagai flaky berdasarkan analisis atau konteks, dengan memilih Flaky (atau UnFlaky, tergantung pada apakah pengujian sudah ditandai sebagai flaky.)

Tandai Tes berlemak

Ketika pengujian ditandai dengan flaky atau unflaky dalam alur, tidak ada perubahan yang dilakukan dalam alur saat ini. Hanya pada eksekusi tes di masa mendatang adalah pengaturan flaky yang diubah yang dievaluasi. Pengujian yang ditandai sebagai flaky memiliki tag flaky ditandai di antarmuka pengguna.

Mengonfirmasi Tes flaky

Bantuan dan dukungan

  • Last updated on