Menguji konfigurasi yang berbeda

Azure DevOps Services | Azure DevOps Server | Azure DevOps Server 2022

Pengguna menginstal atau menjalankan aplikasi Anda pada berbagai konfigurasi, seperti sistem operasi yang berbeda, browser web, dan variasi lainnya. Jalankan setidaknya beberapa pengujian Anda secara bertahap yang memiliki konfigurasi berbeda tersebut.

Gunakan rencana pengujian untuk memutuskan pengujian mana yang akan dijalankan pada konfigurasi mana. Pastikan bahwa saat menjalankan pengujian, Anda menyiapkan tahapan untuk konfigurasi yang Anda butuhkan.

Matriks skema berikut menunjukkan contoh kombinasi yang mungkin ingin Anda uji:

Diagram yang menunjukkan matriks pengujian konfigurasi browser dan sistem operasi.

Prasyarat

Kategori Syarat
Akses Proyek Anggota proyek.
Tingkat-tingkat akses Untuk menambahkan konfigurasi pengujian: Tingkat-proyek Kelola konfigurasi pengujian izin disetel ke Izinkan. Secara default, anggota Kontributor dan grup Administrator Project memiliki izin ini.

Untuk informasi selengkapnya, lihat Akses dan izin pengujian manual.

Prasyarat untuk alat baris perintah TCM

Kategori Persyaratan
Alat Visual Studio 2017 (Profesional atau Perusahaan) atau yang lebih lama. Executable TCM (tcm.exe) berada di direktori berikut:
- %programfiles(x86)%\Microsoft Visual Studio\2017\Professional\Common7\IDE
- %programfiles(x86)%\Microsoft Visual Studio\2017\Enterprise\Common7\IDE
- %programfiles(x86)%\Microsoft Visual Studio 14.0\Common7\IDE
Tingkat-tingkat akses Setidaknya akses Dasar dan keanggotaan dalam proyek yang ingin Anda akses. Untuk mengkloning atau mengimpor paket pengujian dan rangkaian pengujian, Anda memerlukan akses Paket Dasar + Pengujian . Untuk informasi selengkapnya, lihat Akses dan izin pengujian manual.

Untuk menjalankan perintah TCM, tentukan /collection parameter dan /teamproject , dan /login sesuai kebutuhan.

Parameter Deskripsi
/koleksi:CollectionURL Harus diisi. Menentukan URI kumpulan proyek tim. Format untuk URI adalah sebagai berikut:
- Untuk Layanan Azure DevOps: https://dev.azure.com/OrganizationName atau https://OrganizationName.visualstudio.com
- Untuk Azure DevOps Server: http://ServerName:Port/VirtualDirectoryName/CollectionName. Jika tidak ada direktori virtual yang digunakan, formatnya adalah: http://ServerName:Port/CollectionName.
/teamproject:project Harus diisi. Nama proyek yang berisi objek pengujian yang ingin Anda kloning atau impor pengujian otomatis.
/login:username,[password] Opsional. Menentukan nama dan kata sandi pengguna Azure DevOps yang valid yang memiliki izin untuk menjalankan perintah. Gunakan opsi ini jika kredensial Windows Anda tidak memiliki izin yang sesuai, Anda menggunakan autentikasi dasar, atau Anda tidak tersambung ke domain.

Melihat konfigurasi dan variabel

Lihat konfigurasi yang sudah tersedia untuk menjalankan pengujian Anda.

Lihat daftar konfigurasi pengujian dan variabel konfigurasi dari halaman Konfigurasi .

  1. Dalam proyek Anda, pilih Paket Uji>Konfigurasi dari area navigasi kiri.

    Semua konfigurasi dan variabel pengujian yang saat ini tersedia untuk paket pengujian Anda muncul.

    Cuplikan layar halaman Konfigurasi memperlihatkan konfigurasi dan variabel pengujian.

  2. Pilih konfigurasi atau variabel untuk melihat informasi selengkapnya di panel di sebelah kanan.

Membuat konfigurasi dan variabel

Konfigurasi pengujian adalah kombinasi nilai variabel konfigurasi. Variabel konfigurasi Anda bisa, misalnya, sistem operasi, browser, jenis CPU, database. Konfigurasi mungkin "Windows 8 + CPU 32-bit" atau "Windows 10 + CPU 64-bit."

Buat variabel konfigurasi terlebih dahulu, lalu gabungkan beberapa nilai variabel untuk membuat konfigurasi.

  1. Buka halaman Konfigurasi di portal web Paket Pengujian, pilih + ikon, dan pilih Variabel konfigurasi baru.

    Cuplikan layar opsi Variabel konfigurasi baru di menu Baru.

  2. Masukkan nama untuk variabel, seperti Browser, dan deskripsi. Pilih Tambahkan nilai baru, lalu tambahkan nilai. Tambahkan nilai sebanyak yang Anda butuhkan ke variabel konfigurasi, lalu simpan.

    Cuplikan layar menambahkan nilai ke variabel konfigurasi baru.

  3. Ulangi langkah-langkah untuk membuat variabel konfigurasi lain yang Anda butuhkan. Misalnya, buat variabel konfigurasi bernama Sistem operasi dengan nama setiap sistem operasi tempat Anda ingin menguji.

    Cuplikan layar pengaturan nilai untuk variabel konfigurasi Sistem Operasi.

  4. + Pilih ikon dan pilih Konfigurasi pengujian baru.

    Cuplikan layar opsi Konfigurasi pengujian baru di menu Baru.

  5. Masukkan nama untuk konfigurasi pengujian dan tambahkan variabel konfigurasi yang Anda buat. Pilih nilai untuk setiap variabel untuk konfigurasi ini.

    Cuplikan layar menambahkan variabel ke konfigurasi pengujian baru.

    Pastikan Tetapkan ke paket pengujian baru dipilih untuk menjadikan konfigurasi ini default untuk semua paket pengujian baru yang Anda buat.

  6. Simpan konfigurasi pengujian baru Anda.

Tetapkan konfigurasi untuk rencana pengujian dan suite pengujian

Anda dapat menetapkan konfigurasi ke rangkaian pengujian atau kasus pengujian individual. Konfigurasi yang ditetapkan ke rangkaian pengujian berlaku untuk semua pengujian atau suite di dalamnya.

  1. Untuk menetapkan konfigurasi ke satuan pengujian, di halaman rencana uji, pilih rencana. Di area Test Suites, pilih rangkaian pengujian dan pilih Opsi lainnya atau klik kanan untuk membuka menu konteks lalu pilih Tetapkan konfigurasi.

    Cuplikan layar opsi menu Menetapkan konfigurasi untuk rangkaian tes.

    Jika Anda menambahkan beberapa konfigurasi ke rangkaian pengujian, kasus pengujian diulang dengan setiap konfigurasi yang Anda tetapkan.

    Cuplikan layar beberapa konfigurasi yang ditetapkan ke rangkaian pengujian.

  2. Jika perlu, ambil alih konfigurasi default yang ditetapkan ke kasus pengujian dan tetapkan konfigurasi yang Anda butuhkan. Pilih satu atau beberapa kasus pengujian, buka menu konteks, dan pilih Tetapkan konfigurasi.

    Cuplikan layar penerapan konfigurasi ke kasus uji.

  3. Cari dan pilih konfigurasi yang akan ditetapkan ke kasus pengujian.

    Cuplikan layar memilih konfigurasi untuk kasus pengujian.

Perhatian

  • Pewarisan konfigurasi: Mengubah konfigurasi di suite anak memutus pewarisan konfigurasi dari suite induknya. Perubahan masih menyebar ke suite anak yang lebih rendah, kecuali suite anak sudah mengambil alihnya.
  • Titik pengujian tersembunyi: Membatalkan penjataan konfigurasi menyembunyikan titik pengujian terkait. Untuk memulihkannya, tentukan ulang konfigurasi.

Menjalankan pengujian dengan setiap konfigurasi

Siapkan platform pengujian untuk konfigurasi tertentu, seperti menguji aplikasi menggunakan Google Chrome di Windows 10.

  1. Pilih dan jalankan pengujian yang menetapkan konfigurasi ini.

    Cuplikan layar pengujian dengan konfigurasi tertentu dan opsi Jalankan untuk aplikasi web dipilih.

    Saat Anda menjalankan pengujian, pengingat konfigurasi muncul di bilah status.

    Cuplikan layar konfigurasi untuk pengujian ini di bilah status.

Melacak hasil pengujian untuk setiap konfigurasi

  1. Buka halaman Bagan untuk rangkaian pengujian Anda, pilih Baru, dan pilih Bagan hasil pengujian baru.

    Cuplikan layar opsi menu Bagan hasil pengujian baru.

  2. Pilih tipe bagan, seperti bagan pai atau bagan batang, lalu pilih Kelompokkan menurut>Konfigurasi dan pilih OK.

    Cuplikan layar memilih opsi konfigurasi untuk mengelompokkan berdasarkan dalam kotak dialog konfigurasi grafik.

    Bagan dibuat yang membantu Anda melacak pengujian berdasarkan konfigurasi. Anda dapat menyematkan bagan ini ke dasbor Anda.

    Cuplikan layar bagan batang memperlihatkan hasil pengujian untuk Tidak dijalankan, Lulus, dan Gagal berdasarkan konfigurasi.

Jika kasus pengujian muncul di beberapa suite pengujian, Anda dapat mengatur konfigurasi yang berbeda untuk setiap suite. Kasus pengujian yang sama dapat memiliki pengaturan konfigurasi yang berbeda di rangkaian pengujian dan rencana pengujian yang berbeda.