Menjalankan pengujian otomatis dari paket uji
Layanan Azure DevOps | Azure DevOps Server 2022 - Azure DevOps Server 2019 | TFS 2018
Otomatiskan kasus pengujian dalam paket pengujian Anda dan jalankan langsung dari Azure Test Plans . Pengujian otomatis memberi Anda manfaat berikut:
- Proses yang mudah digunakan untuk penguji yang mungkin tidak berpengalaman dengan menjalankan pengujian dalam alur kerja Build atau Rilis.
- Fleksibilitas untuk menjalankan pengujian yang dipilih sesuai permintaan, daripada pengujian terjadwal dalam alur kerja Build atau Rilis tempat semua pengujian yang memenuhi kriteria filter dijalankan.
- Kemampuan untuk menjalankan ulang beberapa pengujian yang gagal karena masalah infrastruktur pengujian, atau Anda memiliki build baru yang mencakup perbaikan untuk pengujian yang gagal.
Prasyarat
- Anda harus tersambung ke proyek. Jika Anda belum memiliki proyek, buat proyek.
- Anda harus ditambahkan ke proyek. Untuk ditambahkan, Tambahkan pengguna ke proyek atau tim.
- Untuk melihat atau menjalankan pengujian manual atau otomatis, Anda harus memiliki akses Dasar atau lebih tinggi.
Untuk mempelajari selengkapnya, lihat Akses dan izin pengujian manual.
Selain itu, Anda memerlukan:
- Paket pengujian yang berisi pengujian otomatis, yang telah Anda kaitkan dengan metode pengujian otomatis menggunakan Visual Studio 2017, atau Visual Studio 2015 atau yang lebih lama.
- Alur build yang menghasilkan build yang berisi biner pengujian.
- Aplikasi untuk diuji. Anda dapat menyebarkan aplikasi sebagai bagian dari alur kerja build dan rilis dan juga menggunakannya untuk pengujian sesuai permintaan.
- Izin untuk membuat dan mengelola rilis, mengedit lingkungan rilis, dan mengelola penyebaran. Untuk informasi selengkapnya, lihat Mengatur izin untuk alur rilis dan Izin rilis.
Menyiapkan lingkungan Anda
Di halaman Uji Paket , pilih paket pengujian Anda, buka menu pintasan, dan pilih Pengaturan paket pengujian.
Dalam dialog Pengaturan paket pengujian, pilih alur build yang menghasilkan build yang berisi biner pengujian. Anda kemudian dapat memilih nomor build tertentu untuk diuji, atau membiarkan sistem secara otomatis menggunakan build terbaru saat pengujian dijalankan.
Anda akan memerlukan alur rilis yang dibuat dari templat Jalankan pengujian otomatis dari Test Manager untuk menjalankan pengujian dari rencana pengujian di Azure Test Plans . Jika Anda memiliki alur rilis yang sudah ada yang dibuat menggunakan templat ini, pilih lalu pilih tahap yang ada di alur rilis tempat pengujian akan dijalankan. Jika tidak, pilih tautan Buat baru dalam dialog untuk membuat alur rilis baru yang berisi satu tahap dengan tugas Uji Visual Studio yang sudah ditambahkan.
Bagaimana cara meneruskan parameter ke kode pengujian saya dari alur build atau rilis?
Tetapkan nama yang bermakna ke alur dan tahap rilis sesuai kebutuhan.
Anda memerlukan Platform Pengujian Visual Studio untuk diinstal di komputer agen. Jika Visual Studio sudah diinstal di komputer agen, Anda dapat melewati langkah ini. Jika tidak, Anda harus menambahkan tugas Alat Penginstal Platform Uji Visual Studio ke definisi alur.
Tambahkan tugas Uji Visual Studio ke alur rilis dan konfigurasikan sebagai berikut:
Verifikasi bahwa versi 2 dari tugas Pengujian Visual Studio dipilih. Nomor versi diperlihatkan dalam daftar drop-down di kiri atas panel pengaturan tugas.
Verifikasi bahwa Pilih pengujian menggunakan diatur ke Uji coba. Apa arti pengaturan ini?
Untuk pengaturan Versi platform pengujian , pilih Diinstal oleh Alat Penginstal.
Jika Anda memiliki pengujian UI yang berjalan pada browser fisik atau klien tebal, pastikan bahwa agen diatur untuk berjalan sebagai proses interaktif dengan masuk otomatis diaktifkan. Menyiapkan agen untuk berjalan secara interaktif harus dilakukan sebelum mengantre build atau rilis (mengatur kotak centang Uji campuran berisi pengujian UI tidak mengonfigurasi agen dalam mode interaktif secara otomatis - hanya digunakan sebagai pengingat untuk mengonfigurasi agen dengan tepat untuk menghindari kegagalan).
Jika Anda menjalankan pengujian UI pada browser tanpa kepala, konfigurasi proses interaktif tidak diperlukan.
Pilih bagaimana platform pengujian disediakan, dan versi Visual Studio atau lokasi platform pengujian yang diinstal pada mesin uji
Jika pengujian Anda memerlukan parameter input seperti URL aplikasi atau string koneksi database, pilih file pengaturan yang relevan dari artefak build. Anda dapat menggunakan tugas Terbitkan artefak build di alur build Anda untuk menerbitkan file pengaturan di lokasi drop jika file ini tidak disertakan dalam artefak. Dalam contoh yang ditunjukkan di bawah ini, URL aplikasi diekspos dalam file pengaturan eksekusi, dan ditimpa untuk mengaturnya ke URL penahapan menggunakan pengaturan Ganti parameter uji coba .
Untuk informasi tentang pengaturan opsi tugas Pengujian Visual Studio, lihat Tugas Pengujian Visual Studio.
Pilih item pekerjaan Agen dan verifikasi bahwa antrean penyebaran diatur ke yang berisi komputer tempat Anda ingin menjalankan pengujian. Jika pengujian Anda memerlukan komputer khusus dari kumpulan agen, Anda dapat menambahkan tuntutan yang akan memilihnya saat runtime.
Anda mungkin dapat meminimalkan waktu pengujian dengan mendistribusikan pengujian di beberapa agen dengan mengatur Paralelisme ke Beberapa eksekusi dan menentukan jumlah agen.
Catatan
Jika Anda menjalankan pengujian UI seperti CodeUI atau Selenium pada browser fisik seperti IE, Firefox, atau Chrome, agen pada mesin harus berjalan dalam mode interaktif dan bukan sebagai layanan. Detail lebih lanjut.
Di halaman Alur alur rilis, verifikasi bahwa alur build yang berisi biner pengujian ditautkan ke alur rilis ini sebagai sumber artefak.
Simpan alur rilis.
Jika Anda memilih Buat baru dalam dialog Pengaturan paket pengujian di langkah 2 dari contoh ini, kembali ke halaman browser yang berisi pengaturan paket pengujian Anda. Dalam dialog Pengaturan paket pengujian, pilih alur rilis dan tahap yang baru saja Anda simpan.
Menjalankan pengujian otomatis
Di portal web Paket Pengujian , buka paket pengujian dan pilih rangkaian pengujian yang berisi pengujian otomatis.
Pilih pengujian yang ingin Anda jalankan, buka menu Jalankan , dan pilih Jalankan pengujian.
Biner pengujian untuk pengujian ini harus tersedia dalam artefak build yang dihasilkan oleh alur build Anda.
Pilih OK untuk memulai proses pengujian. Sistem memeriksa bahwa hanya pengujian otomatis yang dipilih (pengujian manual apa pun diabaikan), memvalidasi tahap untuk memastikan tugas Pengujian Visual Studio ada dan memiliki pengaturan yang valid, memeriksa izin pengguna untuk membuat rilis untuk alur rilis yang dipilih, membuat uji coba, lalu memicu pembuatan rilis ke tahap yang dipilih.
Pilih Tampilkan uji coba untuk melihat kemajuan pengujian dan menganalisis pengujian yang gagal. Hasil pengujian memiliki informasi yang relevan untuk penelusuran kesalahan pengujian yang gagal seperti pesan kesalahan, jejak tumpukan, log konsol, dan lampiran.
Setelah eksekusi pengujian selesai , halaman EksekusiPaket Pengujian Azure menunjukkan hasil pengujian. Halaman Jalankan ringkasan memperlihatkan gambaran umum eksekusi.
Ada tautan ke Rilis yang digunakan untuk menjalankan pengujian, yang memudahkan untuk menemukan rilis yang menjalankan pengujian jika Anda perlu kembali nanti dan menganalisis hasilnya. Gunakan juga tautan ini jika Anda ingin membuka rilis untuk melihat log rilis.
Catatan : Melampirkan file secara manual tidak didukung untuk hasil pengujian otomatis.
Halaman Hasil pengujian mencantumkan hasil untuk setiap pengujian dalam uji coba. Pilih pengujian untuk melihat informasi penelusuran kesalahan untuk pengujian yang gagal seperti pesan kesalahan, jejak tumpukan, log konsol, dan lampiran.
Buka halaman Rencana Pengujian dan pilih paket pengujian untuk melihat status pengujian Anda jika pengujian diperbarui setelah eksekusi pengujian selesai. Pilih pengujian untuk melihat hasil pengujian terbaru.
FAQ
T: Izin apa yang saya perlukan untuk menjalankan pengujian otomatis dari Azure Test Plans?
Anda harus menjadi Kontributor Proyek, atau memiliki izin berikut:
- Membuat rilis
- Mengelola rilis
- Edit tahap rilis
- Mengelola penyebaran
Untuk informasi selengkapnya, lihat Mengatur izin untuk alur rilis dan Izin rilis.
T: Dapatkah saya mengambil alih build atau set tahapan pada tingkat rencana pengujian untuk instans eksekusi pengujian tertentu?
J: Ya, Anda dapat melakukan ini menggunakan perintah Jalankan dengan opsi . Buka menu pintasan untuk rangkaian pengujian di kolom kiri dan pilih Jalankan dengan opsi.
Masukkan nilai berikut dalam dialog Jalankan dengan opsi lalu pilih OK:
Jenis pengujian dan runner: Pilih Pengujian otomatis menggunakan Tahap Rilis.
Build: Pilih build yang memiliki biner pengujian. Hasil pengujian akan dikaitkan dengan build ini.
Alur Rilis: Pilih alur dari daftar alur rilis yang dapat menggunakan artefak build yang dipilih.
Tahap Rilis: Pilih nama tahap yang dikonfigurasi dalam alur rilis Anda.
T: Mengapa menggunakan tahap rilis untuk menjalankan pengujian?
J: Azure Pipelines menawarkan alur kerja orkestrasi yang menarik untuk mendapatkan biner pengujian sebagai artefak dan menjalankan pengujian. Alur kerja ini berbagi konsep yang sama dengan yang digunakan dalam alur kerja pengujian terjadwal, yang berarti pengguna yang menjalankan pengujian dalam alur kerja terjadwal akan merasa mudah untuk beradaptasi; misalnya, dengan mengkloning alur rilis pengujian terjadwal yang ada.
Manfaat utama lainnya adalah ketersediaan serangkaian tugas yang kaya dalam katalog tugas yang memungkinkan berbagai aktivitas dilakukan sebelum dan sesudah menjalankan pengujian. Contohnya termasuk menyiapkan dan membersihkan data pengujian, membuat dan membersihkan file konfigurasi, dan banyak lagi.
T: Bagaimana cara memilih "Uji coba" di tugas Uji Visual Studio versi 2 berfungsi?
J: Sub-sistem Manajemen pengujian menggunakan objek uji coba untuk meneruskan daftar pengujian yang dipilih untuk eksekusi. Tugas pengujian mencari pengidentifikasi uji coba, mengekstrak informasi eksekusi pengujian seperti nama metode kontainer dan pengujian, menjalankan pengujian, memperbarui hasil uji coba, dan mengatur titik pengujian yang terkait dengan hasil pengujian dalam uji coba. Dari perspektif audit, tugas Visual Studio menyediakan jejak dari rilis historis dan pengidentifikasi uji coba ke pengujian yang dikirimkan untuk eksekusi pengujian sesuai permintaan.
T: Haruskah agen berjalan dalam mode interaktif atau sebagai layanan?
J: Jika Anda menjalankan pengujian UI seperti UI berkode atau tes Selenium , agen pada mesin uji harus berjalan dalam mode interaktif dengan masuk otomatis diaktifkan, bukan sebagai layanan, untuk memungkinkan agen meluncurkan browser web. Jika Anda menggunakan browser tanpa kepala seperti PhantomJS, agen dapat dijalankan sebagai layanan atau dalam mode interaktif. Lihat Membangun dan merilis agen, Menyebarkan agen di Windows, dan Kumpulan agen.
T: Di mana saya dapat menemukan dokumentasi terperinci tentang cara menjalankan tes Selenium?
J: Lihat Memulai pengujian Selenium.
T: Apa yang terjadi jika saya memilih beberapa konfigurasi untuk pengujian yang sama?
J: Saat ini, alur kerja sesuai permintaan tidak sadar konfigurasi.
T: Bagaimana jika saya perlu mengunduh biner produk dan menguji biner dari build yang berbeda? Atau jika saya perlu mendapatkan artefak dari sumber seperti Jenkins?
J: Kemampuan saat ini dioptimalkan untuk build tim tunggal untuk diuji sesuai permintaan menggunakan alur kerja Azure Pipelines. Kami akan mengevaluasi dukungan untuk rilis multi-artefak, termasuk artefak Non-Azure Pipelines seperti Jenkins, berdasarkan umpan balik pengguna.
T: Saya sudah memiliki alur rilis pengujian terjadwal. Dapatkah saya menggunakan kembali alur yang sama untuk menjalankan pengujian sesuai permintaan, atau haruskah saya membuat alur baru seperti yang ditunjukkan di atas?
J: Kami sarankan Anda menggunakan alur dan tahap rilis terpisah untuk pengujian otomatis sesuai permintaan dari Azure Test Plans karena:
Anda mungkin tidak ingin menyebarkan aplikasi setiap kali Anda ingin menjalankan beberapa pengujian sesuai permintaan. Tahap pengujian terjadwal biasanya disiapkan untuk menyebarkan produk dan kemudian menjalankan pengujian.
Rilis baru dipicu untuk setiap eksekusi sesuai permintaan. Jika Anda memiliki banyak penguji yang menjalankan beberapa eksekusi pengujian sesuai permintaan setiap hari, alur rilis pengujian terjadwal Anda dapat kelebihan beban dengan rilis untuk eksekusi ini, sehingga sulit untuk menemukan rilis yang dipicu untuk alur yang berisi pengujian dan penyebaran terjadwal ke produksi.
Anda mungkin ingin mengonfigurasi tugas Uji Visual Studio dengan pengidentifikasi Uji coba sebagai input sehingga Anda dapat melacak apa yang memicu rilis. Lihat Bagaimana cara memilih "Uji coba (untuk eksekusi sesuai permintaan)" di tugas Pengujian Visual Studio berfungsi?.
T: Bisakah saya memicu eksekusi ini dan melihat hasilnya di Microsoft Test Manager?
J: Tidak. Microsoft Test Manager tidak akan mendukung menjalankan pengujian otomatis terhadap build Team Foundation. Ini hanya berfungsi di antarmuka berbasis web untuk Azure Pipelines dan TFS. Semua investasi pengembangan produk pengujian manual dan otomatis baru akan berada di antarmuka berbasis web. Tidak ada pengembangan lebih lanjut yang direncanakan untuk Microsoft Test Manager. Lihat Panduan tentang penggunaan Microsoft Test Manager.
T: Saya memiliki beberapa penguji di tim saya. Dapatkah mereka menjalankan pengujian dari rangkaian pengujian atau rencana pengujian yang berbeda secara paralel menggunakan alur rilis yang sama?
J: Mereka dapat menggunakan alur rilis yang sama untuk memicu beberapa eksekusi pengujian secara paralel jika:
Kumpulan agen yang terkait dengan panggung memiliki agen yang cukup untuk memenuhi permintaan paralel. Jika agen yang memadai tidak tersedia, eksekusi masih dapat dipicu tetapi rilis akan diantrekan untuk diproses hingga agen tersedia.
Anda memiliki pekerjaan yang cukup untuk mengaktifkan pekerjaan paralel. Lihat Pekerjaan paralel di Azure Pipelines atau Pekerjaan paralel di TFS untuk informasi selengkapnya.
Penguji tidak menjalankan pengujian yang sama secara paralel. Melakukannya dapat menyebabkan hasil ditimpa tergantung pada urutan eksekusi.
Untuk mengaktifkan beberapa eksekusi pengujian yang berbeda untuk dijalankan secara paralel, atur opsi pemicu tahap Azure Pipelines untuk perilaku saat beberapa rilis menunggu untuk disebarkan sebagai berikut:
Jika aplikasi Anda mendukung pengujian yang berjalan secara paralel dari sumber yang berbeda, atur opsi ini ke Izinkan beberapa rilis disebarkan secara bersamaan.
Jika aplikasi Anda tidak mendukung pengujian yang berjalan secara paralel dari sumber yang berbeda, atur opsi ini ke Izinkan hanya satu penyebaran aktif pada satu waktu.
T: Bagaimana cara meneruskan parameter ke kode pengujian saya dari alur build atau rilis?
A: Gunakan file runsettings untuk meneruskan nilai sebagai parameter ke kode pengujian Anda. Misalnya, dalam rilis yang berisi beberapa tahap, Anda dapat meneruskan URL aplikasi yang sesuai ke setiap tugas pengujian di masing-masing tahap. File runsettings dan parameter yang cocok harus ditentukan dalam tugas Visual Studio Test.
T: Apa skenario kesalahan umum atau masalah yang harus saya cari jika pengujian saya tidak berjalan?
J: Periksa dan atasi masalah sebagai berikut:
Alur rilis dan tahap di mana saya ingin menjalankan pengujian tidak ditampilkan setelah saya memilih build.
- Pastikan alur build yang menghasilkan build ditautkan sebagai artefak utama di tab Artefak dari alur rilis.
Saya mendapatkan kesalahan bahwa saya tidak memiliki izin yang memadai untuk memicu rilis.
- Konfigurasikan Buat rilis dan Kelola izin penyebaran untuk pengguna di menu Keamanan alur rilis. Lihat Izin rilis.
Saya mendapatkan kesalahan bahwa tidak ada tes otomatis yang ditemukan.
- Periksa status otomatisasi pengujian yang dipilih. Lakukan ini di item kerja untuk kasus pengujian, atau gunakan tautan Opsi kolom di Azure Test Plans untuk menambahkan kolom status Automation ke daftar pengujian. Lihat bagian prasyarat untuk informasi tentang mengotomatiskan pengujian manual.
Tes saya tidak dijalankan, dan saya menduga alur rilis salah.
- Gunakan tautan di halaman Eksekusi ringkasan untuk mengakses instans rilis yang digunakan untuk menjalankan pengujian, dan melihat log rilis.
Pengujian saya masuk ke status kesalahan, atau tetap "sedang berlangsung" bahkan setelah rilis ke tahap dipicu.
- Periksa apakah tahap rilis yang Anda pilih memiliki tugas dan versi yang benar yang dipilih. Anda harus menggunakan versi 2 atau yang lebih tinggi dari tugas Visual Studio Test . Versi 1 tugas, dan tugas Jalankan Pengujian Fungsional , tidak didukung.