Menguji konfigurasi yang berbeda
Layanan Azure DevOps | Azure DevOps Server 2022 - Azure DevOps Server 2019
Pengguna Anda mungkin akan menginstal atau menjalankan aplikasi Anda pada berbagai konfigurasi, seperti sistem operasi yang berbeda, browser web, dan variasi lainnya. Anda akan ingin menjalankan setidaknya beberapa pengujian Anda secara bertahap yang memiliki konfigurasi yang berbeda.
Gunakan rencana pengujian Anda untuk memutuskan pengujian mana yang ingin Anda jalankan pada konfigurasi mana. Anda harus memastikan bahwa saat menjalankan pengujian, Anda telah menyiapkan tahapan untuk konfigurasi yang Anda butuhkan.
Anda mungkin menggambar matriks skema kombinasi yang ingin Anda uji:
Kemudian Anda dapat:
- Melihat konfigurasi dan variabel yang tersedia
- Membuat konfigurasi dan variabel
- Menetapkan konfigurasi untuk menguji paket dan rangkaian pengujian
- Jalankan pengujian dengan setiap konfigurasi
- Lacak hasil pengujian Anda untuk setiap konfigurasi
Prasyarat
- Anda harus tersambung ke proyek. Jika Anda belum memiliki proyek, buat proyek.
- Anda harus ditambahkan ke proyek. Untuk ditambahkan, Tambahkan pengguna ke proyek atau tim.
- Untuk melihat atau menambahkan konfigurasi pengujian, Anda harus memiliki akses Dasar atau yang lebih tinggi.
- Untuk menambahkan konfigurasi pengujian, Anda harus mengatur izin Kelola konfigurasi pengujian tingkat proyek ke Izinkan. Secara default, izin ini diberikan kepada anggota grup Kontributor dan Administrator Proyek.
Untuk informasi selengkapnya, lihat Akses dan izin pengujian manual.
Bekerja dengan alat baris perintah TCM
Untuk menggunakan alat baris perintah TCM, Anda harus memiliki item berikut:
Visual Studio 2017 Professional atau versi yang lebih lama terinstal. Anda mengakses TCM dari prompt perintah dan direktori berikut:
%programfiles(x86)%\Microsoft Visual Studio\2017\Professional\Common7\IDE
%programfiles(x86)%\Microsoft Visual Studio\2017\Enterprise\Common7\IDE
%programfiles(x86)%\Microsoft Visual Studio 14.0\Common7\IDE
Untuk menjalankan perintah TCM, tentukan
/collection
parameter dan/teamproject
, dan/login
sesuai kebutuhan.Parameter Deskripsi /collection :CollectionURL
Harus diisi. Menentukan URI kumpulan proyek tim. Format untuk URI adalah sebagai berikut:
- Untuk Layanan Azure DevOps:http://dev.azure.com/OrganizationName
- Untuk Azure DevOps Server:http://ServerName:Port/VirtualDirectoryName/CollectionName
. Jika tidak ada direktori virtual yang digunakan, maka format untuk URI adalah sebagai berikut:http://ServerName:Port/CollectionName
./teamproject: project
Harus diisi. Nama proyek yang berisi objek pengujian yang ingin Anda kloning atau impor pengujian otomatis. /login: username,[password]
Opsional. Menentukan nama dan kata sandi pengguna Azure DevOps yang valid dan yang memiliki izin untuk menjalankan perintah. Gunakan opsi ini jika kredensial Windows Anda tidak memiliki izin yang sesuai, atau Anda menggunakan autentikasi dasar, atau Anda tidak tersambung ke domain. Anda harus menjadi anggota yang valid dari satu atau beberapa proyek yang ingin Anda akses dan memiliki izin yang diperlukan berdasarkan perintah yang Anda jalankan. Untuk informasi selengkapnya, lihat Akses dan izin pengujian manual.
Anda harus memiliki tingkat akses yang sama yang diperlukan untuk menambahkan rencana pengujian dan rangkaian pengujian untuk mengkloning atau mengimpor objek pengujian.
Melihat konfigurasi dan variabel
Anda sering ingin melihat konfigurasi yang sudah tersedia untuk menjalankan pengujian Anda.
Anda dapat melihat daftar konfigurasi pengujian dan variabel konfigurasi dari halaman Konfigurasi .
Saat berada di proyek Anda, pilih Konfigurasi Paket> Pengujian dari area navigasi kiri. Di sini Anda akan melihat semua konfigurasi dan variabel pengujian yang saat ini tersedia untuk paket pengujian Anda.
Pilih konfigurasi atau variabel untuk melihat informasi selengkapnya tentang hal itu di jendela di sebelah kanan.
Membuat konfigurasi dan variabel
Konfigurasi pengujian adalah kombinasi nilai variabel konfigurasi. Variabel konfigurasi Anda bisa, misalnya, sistem operasi, browser, jenis CPU, database. Konfigurasi mungkin "CPU Windows 8 + 32-bit" atau "Windows 10 + 64-bit CPU."
Buat variabel konfigurasi terlebih dahulu. Kemudian gabungkan beberapa nilai variabel untuk membuat konfigurasi.
Buka halaman Konfigurasi di portal web Paket Pengujian, pilih + ikon, dan pilih Variabel konfigurasi baru.
Ketik nama untuk variabel, seperti Browser, dan deskripsi. Pilih Tambahkan nilai baru, lalu tambahkan nilai. Tambahkan nilai sebanyak yang Anda inginkan ke variabel konfigurasi, lalu simpan.
Ulangi langkah-langkah untuk membuat variabel konfigurasi lain yang Anda butuhkan. Misalnya, buat variabel konfigurasi bernama Sistem operasi dengan nama setiap sistem operasi tempat Anda ingin menguji.
+ Pilih ikon dan pilih Konfigurasi pengujian baru.
Ketik nama untuk konfigurasi pengujian dan tambahkan variabel konfigurasi yang Anda buat. Pilih nilai untuk setiap variabel untuk konfigurasi ini.
Pastikan bahwa Tetapkan ke paket pengujian baru diperiksa untuk menjadikan konfigurasi ini default untuk semua paket pengujian baru yang Anda buat.
Simpan konfigurasi pengujian baru Anda.
Konfigurasi pengujian adalah kombinasi nilai variabel konfigurasi. Variabel konfigurasi Anda bisa, misalnya, sistem operasi, browser, jenis CPU, database. Konfigurasi mungkin "CPU Windows 8 + 32-bit" atau "Windows 10 + 64-bit CPU."
Anda harus membuat variabel konfigurasi terlebih dahulu. Kemudian gabungkan beberapa nilai variabel untuk membuat konfigurasi.
Buka halaman Konfigurasi di portal web Paket Pengujian, pilih
ikon, dan pilih Variabel konfigurasi baru.
Ketik nama untuk variabel, seperti Browser, dan ketik nilai. Tambahkan nilai sebanyak yang Anda inginkan ke variabel konfigurasi, lalu simpan.
Ulangi langkah-langkah untuk membuat variabel konfigurasi lain yang Anda butuhkan. Misalnya, buat variabel konfigurasi bernama Sistem operasi dengan nama setiap sistem operasi tempat Anda ingin menguji.
Pilih ikon dan pilih Konfigurasi pengujian baru.
Ketik nama untuk konfigurasi pengujian dan tambahkan variabel konfigurasi yang Anda buat. Pilih nilai untuk setiap variabel untuk konfigurasi ini.
Pastikan Tetapkan ke paket pengujian baru diperiksa untuk menjadikannya konfigurasi default untuk semua paket pengujian baru yang Anda buat.
Simpan konfigurasi pengujian baru Anda.
Menetapkan konfigurasi untuk menguji paket dan suite
Anda dapat menetapkan konfigurasi ke rangkaian pengujian atau kasus pengujian individual. Konfigurasi yang ditetapkan ke rangkaian pengujian berlaku untuk semua pengujian atau suite di dalamnya.
Untuk menetapkan konfigurasi ke rangkaian pengujian, di halaman Uji paket , pilih paket. Di area Test Suites, pilih rangkaian pengujian dan pilih Opsi lainnya atau klik kanan untuk membuka menu konteks lalu pilih Tetapkan konfigurasi.
Jika Anda menambahkan beberapa konfigurasi ke rangkaian pengujian, kasus pengujian diulang dengan setiap konfigurasi yang telah Anda tetapkan.
Jika perlu, ambil alih konfigurasi default yang ditetapkan ke kasus pengujian dan tetapkan konfigurasi yang Anda butuhkan. Pilih satu atau beberapa kasus pengujian, buka menu konteks, dan pilih Tetapkan konfigurasi.
Cari dan pilih konfigurasi yang akan ditetapkan ke kasus pengujian.
Anda dapat menetapkan konfigurasi ke paket pengujian, rangkaian pengujian, atau kasus pengujian individual. Konfigurasi yang ditetapkan ke paket pengujian atau rangkaian pengujian berlaku untuk semua pengujian atau suite di dalamnya.
Untuk menetapkan konfigurasi ke paket pengujian, di halaman Uji paket , buka menu pintasan untuk paket dan pilih Tetapkan konfigurasi untuk menguji paket.
Untuk menetapkan konfigurasi ke rangkaian pengujian, buka menu pintasan untuk suite dan pilih Tetapkan konfigurasi ke rangkaian pengujian.
Jika Anda menambahkan beberapa konfigurasi ke paket pengujian atau rangkaian, kasus pengujian diulang dalam paket atau rangkaian dengan setiap konfigurasi yang telah Anda tetapkan.
Jika perlu, ambil alih konfigurasi default yang ditetapkan ke kasus pengujian dan tetapkan konfigurasi yang Anda butuhkan. Pilih satu atau beberapa kasus pengujian, buka menu pintasan, dan pilih Tetapkan konfigurasi.
Cari dan pilih konfigurasi yang akan ditetapkan ke kasus pengujian ini.
Menjalankan pengujian dengan setiap konfigurasi
Siapkan platform pengujian untuk konfigurasi tertentu, seperti menguji aplikasi menggunakan Google Chrome di Windows 10.
Pilih dan jalankan pengujian yang menetapkan konfigurasi ini.
Saat Anda menjalankan pengujian, pengingat konfigurasi muncul di bilah status.
Siapkan platform pengujian untuk konfigurasi tertentu, seperti menguji aplikasi menggunakan Google Chrome di Windows 10.
Pilih dan jalankan pengujian yang menetapkan konfigurasi ini.
Saat Anda menjalankan pengujian, pengingat konfigurasi yang diperlukan ditunjukkan di bilah status jendela Uji Runner.
Melacak hasil pengujian untuk setiap konfigurasi
Buka halaman Bagan untuk rangkaian pengujian Anda, pilih Baru, dan pilih Bagan hasil pengujian baru.
Pilih tipe bagan, seperti bagan pai atau bagan batang, lalu pilih Kelompokkan menurut>Konfigurasi dan pilih OK.
Bagan dibuat yang dapat membantu Anda melacak pengujian berdasarkan konfigurasi. Anda dapat menyematkan bagan ini ke dasbor Anda.
Jika Anda memiliki kasus pengujian yang muncul di beberapa suite pengujian, Anda dapat mengatur konfigurasi yang berbeda untuk setiap rangkaian. Kasus pengujian yang sama dapat memiliki pengaturan konfigurasi yang berbeda di rangkaian pengujian dan rencana pengujian yang berbeda.
Buka halaman Bagan untuk paket pengujian atau rangkaian pengujian Anda, pilih Baru, dan pilih Bagan hasil pengujian baru.
Pilih jenis bagan yang Anda perlukan, pilih Konfigurasi di daftar Kelompokkan menurut , dan pilih OK.
Bagan dibuat yang dapat membantu Anda melacak pengujian berdasarkan konfigurasi. Anda dapat menyematkan bagan ini ke dasbor Anda.
Jika Anda memiliki kasus pengujian yang muncul di beberapa paket pengujian dan rangkaian pengujian, Anda dapat mengatur konfigurasi yang berbeda untuk masing-masing. Kasus pengujian yang sama dapat memiliki pengaturan konfigurasi yang berbeda di rangkaian pengujian dan rencana pengujian yang berbeda.