Bagikan melalui


Menguji konfigurasi yang berbeda

Layanan Azure DevOps | Azure DevOps Server | Azure DevOps Server 2022

Pengguna Anda mungkin akan menginstal atau menjalankan aplikasi Anda pada berbagai konfigurasi, seperti sistem operasi yang berbeda, browser web, dan variasi lainnya. Anda akan ingin menjalankan setidaknya beberapa pengujian Anda secara bertahap yang memiliki konfigurasi yang berbeda.

Gunakan rencana pengujian Anda untuk memutuskan pengujian mana yang ingin Anda jalankan pada konfigurasi mana. Anda harus memastikan bahwa saat menjalankan pengujian, Anda telah menyiapkan tahapan untuk konfigurasi yang Anda butuhkan.

Anda mungkin menggambar matriks skema kombinasi yang ingin Anda uji:

Menguji matriks konfigurasi browser dan sistem operasi

Kemudian Anda dapat:

Prasyarat

Kategori Syarat
Akses proyek Anggota proyek.
Tingkat-tingkat akses Untuk menambahkan konfigurasi pengujian: Tingkat proyek Mengelola konfigurasi pengujian dengan izin diatur ke Izinkan. Secara default, izin ini diberikan kepada anggota grup Kontributor dan Administrator Proyek.

Untuk informasi selengkapnya, lihat Akses dan izin pengujian manual.

Prasyarat untuk alat baris perintah TCM

Kategori Persyaratan
Alat Visual Studio 2017 Professional atau versi yang lebih lama. Akses TCM dari command prompt dan direktori berikut:
- %programfiles(x86)%\Microsoft Visual Studio\2017\Professional\Common7\IDE
- %programfiles(x86)%\Microsoft Visual Studio\2017\Enterprise\Common7\IDE
- %programfiles(x86)%\Microsoft Visual Studio 14.0\Common7\IDE
- Untuk menjalankan perintah TCM, tentukan parameter /collection dan /teamproject, dan /login sesuai kebutuhan. Lihat juga tabel parameter yang diperlukan dan opsional berikut.
Tingkat-tingkat akses - Keanggotaan proyek yang valid ke satu atau beberapa proyek yang ingin Anda akses dan izin yang diperlukan berdasarkan perintah yang Anda jalankan. Untuk informasi selengkapnya, lihat Akses dan izin pengujian manual.
- Tingkat akses yang sama untuk menambahkan rencana pengujian dan suite pengujian untuk mengkloning atau mengimpor objek pengujian.
Parameter Deskripsi
/koleksi:CollectionURL Harus diisi. Menentukan URI kumpulan proyek tim. Format untuk URI adalah sebagai berikut:
- Untuk Layanan Azure DevOps: http://dev.azure.com/OrganizationName
- Untuk Azure DevOps Server: http://ServerName:Port/VirtualDirectoryName/CollectionName. Jika tidak ada direktori virtual yang digunakan, maka format untuk URI adalah sebagai berikut:http://ServerName:Port/CollectionName.
/teamproject:project Harus diisi. Nama proyek yang berisi objek pengujian yang ingin Anda kloning atau impor pengujian otomatis.
/login:username,[password] Opsional. Menentukan nama dan kata sandi pengguna Azure DevOps yang valid dan yang memiliki izin untuk menjalankan perintah. Gunakan opsi ini jika kredensial Windows Anda tidak memiliki izin yang sesuai, atau Anda menggunakan autentikasi dasar, atau Anda tidak tersambung ke domain.

Melihat konfigurasi dan variabel

Anda sering ingin melihat konfigurasi yang sudah tersedia untuk menjalankan pengujian Anda.

Anda dapat melihat daftar konfigurasi pengujian dan variabel konfigurasi dari halaman Konfigurasi .

Saat berada di proyek Anda, pilih Rencana Pengujian>Konfigurasi dari area navigasi kiri. Di sini Anda akan melihat semua konfigurasi dan variabel pengujian yang saat ini tersedia untuk paket pengujian Anda.

Cuplikan layar Editor Kueri, Rencana pengujian kueri.

Pilih konfigurasi atau variabel untuk melihat informasi selengkapnya tentang hal itu di jendela di sebelah kanan.

Membuat konfigurasi dan variabel

Konfigurasi pengujian adalah kombinasi nilai variabel konfigurasi. Variabel konfigurasi Anda bisa, misalnya, sistem operasi, browser, jenis CPU, database. Konfigurasi mungkin "CPU Windows 8 + 32-bit" atau "Windows 10 + 64-bit CPU."

Buat variabel konfigurasi terlebih dahulu. Kemudian gabungkan beberapa nilai variabel untuk membuat konfigurasi.

  1. Buka halaman Konfigurasi di portal web Paket Pengujian, pilih + ikon, dan pilih Variabel konfigurasi baru.

    Cuplikan layar memperlihatkan opsi Variabel konfigurasi baru di menu Baru.

  2. Ketik nama untuk variabel, seperti Browser, dan deskripsi. Pilih Tambahkan nilai baru, lalu tambahkan nilai. Tambahkan nilai sebanyak yang Anda inginkan ke variabel konfigurasi, lalu simpan.

    Cuplikan layar memperlihatkan penambahan nilai ke variabel konfigurasi baru.

  3. Ulangi langkah-langkah untuk membuat variabel konfigurasi lain yang Anda butuhkan. Misalnya, buat variabel konfigurasi bernama Sistem operasi dengan nama setiap sistem operasi tempat Anda ingin menguji.

    Cuplikan layar memperlihatkan pengaturan nilai untuk variabel konfigurasi Sistem Operasi.

  4. + Pilih ikon dan pilih Konfigurasi pengujian baru.

    Cuplikan layar memperlihatkan opsi Konfigurasi pengujian baru di menu Baru.

  5. Ketik nama untuk konfigurasi pengujian dan tambahkan variabel konfigurasi yang Anda buat. Pilih nilai untuk setiap variabel untuk konfigurasi ini.

    Cuplikan layar memperlihatkan penambahan variabel ke konfigurasi pengujian baru.

    Pastikan bahwa Ditugaskan ke rencana pengujian baru dicentang untuk menjadikan konfigurasi ini sebagai bawaan untuk semua rencana pengujian baru yang Anda buat.

  6. Simpan konfigurasi pengujian baru Anda.

Tetapkan konfigurasi untuk rencana pengujian dan suite pengujian

Anda dapat menetapkan konfigurasi ke rangkaian pengujian atau kasus pengujian individual. Konfigurasi yang ditetapkan ke rangkaian pengujian berlaku untuk semua pengujian atau suite di dalamnya.

  1. Untuk menetapkan konfigurasi ke satuan pengujian, di halaman rencana uji, pilih rencana. Di area Test Suites, pilih rangkaian pengujian dan pilih Opsi lainnya atau klik kanan untuk membuka menu konteks lalu pilih Tetapkan konfigurasi.

    Cuplikan layar memperlihatkan opsi menu Tetapkan konfigurasi.

    Jika Anda menambahkan beberapa konfigurasi ke rangkaian pengujian, kasus pengujian diulang dengan setiap konfigurasi yang telah Anda tetapkan.

    Cuplikan layar memperlihatkan beberapa penetapan konfigurasi ke rangkaian pengujian.

  2. Jika perlu, ambil alih konfigurasi default yang ditetapkan ke kasus pengujian dan tetapkan konfigurasi yang Anda butuhkan. Pilih satu atau beberapa kasus pengujian, buka menu konteks, dan pilih Tetapkan konfigurasi.

    Cuplikan layar memperlihatkan penetapan konfigurasi yang ditetapkan ke kasus pengujian.

  3. Cari dan pilih konfigurasi yang akan ditetapkan ke kasus pengujian.

    Cuplikan layar memperlihatkan konfigurasi pengaturan untuk kasus pengujian.

Peringatan

  1. Mengubah konfigurasi di suite anak memutus warisan dari suite induknya sambil tetap menyebar ke suite anak yang lebih rendah, kecuali warisan sudah rusak.
  2. Membatalkan penukaran konfigurasi akan menyembunyikan titik pengujian terkait. Anda dapat memulihkannya dengan menetapkan ulang konfigurasi.

Menjalankan pengujian dengan setiap konfigurasi

Siapkan platform pengujian untuk konfigurasi tertentu, seperti menguji aplikasi menggunakan Google Chrome di Windows 10.

  1. Pilih dan jalankan pengujian yang menetapkan konfigurasi ini.

    Cuplikan layar memperlihatkan pengujian dengan konfigurasi tertentu dan opsi Jalankan untuk aplikasi web dipilih.

    Saat Anda menjalankan pengujian, pengingat konfigurasi muncul di bilah status.

    Cuplikan layar memperlihatkan konfigurasi untuk pengujian ini di bilah status.

Melacak hasil pengujian untuk setiap konfigurasi

  1. Buka halaman Bagan untuk rangkaian pengujian Anda, pilih Baru, dan pilih Bagan hasil pengujian baru.

    Cuplikan layar memperlihatkan opsi menu Bagan hasil pengujian baru.

  2. Pilih tipe bagan, seperti bagan pai atau bagan batang, lalu pilih Kelompokkan menurut>Konfigurasi dan pilih OK.

    Tangkapan layar menunjukkan memilih opsi konfigurasi untuk pengelompokan dalam kotak dialog bagan konfigurasi.

    Bagan dibuat yang dapat membantu Anda melacak pengujian berdasarkan konfigurasi. Anda dapat menyematkan bagan ini ke dasbor Anda.

    Tangkapan layar memperlihatkan bagan batang dengan nilai untuk Tidak dijalankan, Lulus, dan Gagal.

Jika Anda memiliki kasus pengujian yang muncul di beberapa suite pengujian, Anda dapat mengatur konfigurasi yang berbeda untuk setiap rangkaian. Kasus pengujian yang sama dapat memiliki pengaturan konfigurasi yang berbeda di rangkaian pengujian dan rencana pengujian yang berbeda.