Menguji konfigurasi yang berbeda

Layanan Azure DevOps | Azure DevOps Server 2022 - Azure DevOps Server 2019

Pengguna Anda mungkin akan menginstal atau menjalankan aplikasi Anda pada berbagai konfigurasi, seperti sistem operasi yang berbeda, browser web, dan variasi lainnya. Anda akan ingin menjalankan setidaknya beberapa pengujian Anda secara bertahap yang memiliki konfigurasi yang berbeda.

Gunakan rencana pengujian Anda untuk memutuskan pengujian mana yang ingin Anda jalankan pada konfigurasi mana. Anda harus memastikan bahwa saat menjalankan pengujian, Anda telah menyiapkan tahapan untuk konfigurasi yang Anda butuhkan.

Anda mungkin menggambar matriks skema kombinasi yang ingin Anda uji:

Kemudian Anda dapat:

• Melihat konfigurasi dan variabel yang tersedia
• Membuat konfigurasi dan variabel
• Menetapkan konfigurasi untuk menguji paket dan rangkaian pengujian
• Jalankan pengujian dengan setiap konfigurasi
• Lacak hasil pengujian Anda untuk setiap konfigurasi

Prasyarat

• Anda harus tersambung ke proyek. Jika Anda belum memiliki proyek, buat proyek.
• Anda harus ditambahkan ke proyek. Untuk ditambahkan, Tambahkan pengguna ke proyek atau tim.
• Untuk melihat atau menambahkan konfigurasi pengujian, Anda harus memiliki akses Dasar atau yang lebih tinggi.
• Untuk menambahkan konfigurasi pengujian, Anda harus mengatur izin Kelola konfigurasi pengujian tingkat proyek ke Izinkan. Secara default, izin ini diberikan kepada anggota grup Kontributor dan Administrator Proyek.

Untuk mempelajari selengkapnya, lihat Akses dan izin pengujian manual.

Bekerja dengan alat baris perintah TCM

Untuk menggunakan alat baris perintah TCM, Anda harus memiliki item berikut:

• Visual Studio 2017 Professional atau versi yang lebih lama terinstal. Anda mengakses TCM dari prompt perintah dan direktori berikut:

  • %programfiles(x86)%\Microsoft Visual Studio\2017\Professional\Common7\IDE
  • %programfiles(x86)%\Microsoft Visual Studio\2017\Enterprise\Common7\IDE
  • %programfiles(x86)%\Microsoft Visual Studio 14.0\Common7\IDE

• Untuk menjalankan perintah TCM, tentukan /collection parameter dan /teamproject , dan /login sesuai kebutuhan.

  Parameter	Deskripsi
  /collection:CollectionURL	Harus diisi. Menentukan URI kumpulan proyek tim. Format untuk URI adalah sebagai berikut: - Untuk Layanan Azure DevOps: http://dev.azure.com/OrganizationName - Untuk Azure DevOps Server: http://ServerName:Port/VirtualDirectoryName/CollectionName. Jika tidak ada direktori virtual yang digunakan, maka format untuk URI adalah sebagai berikut:http://ServerName:Port/CollectionName.
  /teamproject:project	Harus diisi. Nama proyek yang berisi objek pengujian yang ingin Anda kloning atau impor pengujian otomatis.
  /login:username,[password]	Opsional. Menentukan nama dan kata sandi pengguna Azure DevOps yang valid dan yang memiliki izin untuk menjalankan perintah. Gunakan opsi ini jika kredensial Windows Anda tidak memiliki izin yang sesuai, atau Anda menggunakan autentikasi dasar, atau Anda tidak tersambung ke domain.

• Anda harus menjadi anggota yang valid dari satu atau beberapa proyek yang ingin Anda akses dan memiliki izin yang diperlukan berdasarkan perintah yang Anda jalankan. Untuk informasi selengkapnya, lihat Akses dan izin pengujian manual.

• Anda harus memiliki tingkat akses yang sama yang diperlukan untuk menambahkan rencana pengujian dan rangkaian pengujian untuk mengkloning atau mengimpor objek pengujian.

Melihat konfigurasi dan variabel

Anda sering ingin melihat konfigurasi yang sudah tersedia untuk menjalankan pengujian Anda.

Browser

Anda dapat melihat daftar konfigurasi pengujian dan variabel konfigurasi dari halaman Konfigurasi .

Saat berada di proyek Anda, pilih Konfigurasi Paket> Pengujian dari area navigasi kiri. Di sini Anda akan melihat semua konfigurasi dan variabel pengujian yang saat ini tersedia untuk paket pengujian Anda.

Pilih konfigurasi atau variabel untuk melihat informasi selengkapnya tentang hal itu di jendela di sebelah kanan.

TCM CLI

Gunakan tcm configs /list untuk melihat konfigurasi yang tersedia untuk paket pengujian dan rangkaian pengujian dalam proyek Anda. Ketika tidak ada parameter opsional yang ditentukan, semua konfigurasi pengujian dicantumkan untuk proyek tim.

tcm configs /list [/querytext:query] /collection:teamprojectcollectionurl
            /teamproject:project [/login:username,[password]]

Parameter	Deskripsi
/querytext:query	Opsional. Menentukan kueri yang akan digunakan untuk mencantumkan subset konfigurasi pengujian.

Untuk deskripsi /collectionparameter , /teamproject dan /login , lihat Bekerja dengan alat baris perintah TCM.

Contoh

Perintah berikut mencantumkan konfigurasi pengujian yang tersedia dalam proyek Fabrikam Fiber yang dihosting di organisasi fabrikamprime . ID sesuai dengan Nama konfigurasi. Misalnya, ID konfigurasi 9 selaras dengan Google Chrome pada konfigurasi pengujian Windows 10 .

tcm configs /list /collection:https://dev.azure.com/fabrikamprime /teamproject:"Fabrikam Fiber"

Id        Name
--------- ----------------------------------------------------------------
2         Windows 8
7         Windows 7
9         Google Chrome on Windows 10

Membuat konfigurasi dan variabel

Konfigurasi pengujian adalah kombinasi nilai variabel konfigurasi. Variabel konfigurasi Anda bisa, misalnya, sistem operasi, browser, jenis CPU, database. Konfigurasi mungkin "CPU Windows 8 + 32-bit" atau "Windows 10 + 64-bit CPU."

Buat variabel konfigurasi terlebih dahulu. Kemudian gabungkan beberapa nilai variabel untuk membuat konfigurasi.

1. Buka halaman Konfigurasi di portal web Paket Pengujian, pilih + ikon, dan pilih Variabel konfigurasi baru.

   

2. Ketik nama untuk variabel, seperti Browser, dan deskripsi. Pilih Tambahkan nilai baru, lalu tambahkan nilai. Tambahkan nilai sebanyak yang Anda inginkan ke variabel konfigurasi, lalu simpan.

   

3. Ulangi langkah-langkah untuk membuat variabel konfigurasi lain yang Anda butuhkan. Misalnya, buat variabel konfigurasi bernama Sistem operasi dengan nama setiap sistem operasi tempat Anda ingin menguji.

   

4. + Pilih ikon dan pilih Konfigurasi pengujian baru.

   

5. Ketik nama untuk konfigurasi pengujian dan tambahkan variabel konfigurasi yang Anda buat. Pilih nilai untuk setiap variabel untuk konfigurasi ini.

   

   Pastikan bahwa Tetapkan ke paket pengujian baru diperiksa untuk menjadikan konfigurasi ini default untuk semua paket pengujian baru yang Anda buat.

6. Simpan konfigurasi pengujian baru Anda.

Menetapkan konfigurasi untuk menguji paket dan suite

Anda dapat menetapkan konfigurasi ke rangkaian pengujian atau kasus pengujian individual. Konfigurasi yang ditetapkan ke rangkaian pengujian berlaku untuk semua pengujian atau suite di dalamnya.

1. Untuk menetapkan konfigurasi ke rangkaian pengujian, di halaman Uji paket , pilih paket. Di area Test Suites, pilih rangkaian pengujian dan pilih Opsi lainnya atau klik kanan untuk membuka menu konteks lalu pilih Tetapkan konfigurasi.

   

   Jika Anda menambahkan beberapa konfigurasi ke rangkaian pengujian, kasus pengujian diulang dengan setiap konfigurasi yang telah Anda tetapkan.

   

2. Jika perlu, ambil alih konfigurasi default yang ditetapkan ke kasus pengujian dan tetapkan konfigurasi yang Anda butuhkan. Pilih satu atau beberapa kasus pengujian, buka menu konteks, dan pilih Tetapkan konfigurasi.

   

3. Cari dan pilih konfigurasi yang akan ditetapkan ke kasus pengujian.

   

Menjalankan pengujian dengan setiap konfigurasi

Siapkan platform pengujian untuk konfigurasi tertentu, seperti menguji aplikasi menggunakan Google Chrome di Windows 10.

1. Pilih dan jalankan pengujian yang menetapkan konfigurasi ini.

   

   Saat Anda menjalankan pengujian, pengingat konfigurasi muncul di bilah status.

   

Melacak hasil pengujian untuk setiap konfigurasi

1. Buka halaman Bagan untuk rangkaian pengujian Anda, pilih Baru, dan pilih Bagan hasil pengujian baru.

   

2. Pilih tipe bagan, seperti bagan pai atau bagan batang, lalu pilih Kelompokkan menurut>Konfigurasi dan pilih OK.

   

   Bagan dibuat yang dapat membantu Anda melacak pengujian berdasarkan konfigurasi. Anda dapat menyematkan bagan ini ke dasbor Anda.

   

Jika Anda memiliki kasus pengujian yang muncul di beberapa suite pengujian, Anda dapat mengatur konfigurasi yang berbeda untuk setiap rangkaian. Kasus pengujian yang sama dapat memiliki pengaturan konfigurasi yang berbeda di rangkaian pengujian dan rencana pengujian yang berbeda.

Artikel terkait

• Gambaran umum pengujian manual dan eksplorasi
• Uji eksplorasi dan kirimkan umpan balik langsung dari browser Anda