Bagikan melalui


Menguji konfigurasi yang berbeda

Layanan Azure DevOps | Azure DevOps Server 2022 - Azure DevOps Server 2019

Pengguna Anda mungkin akan menginstal atau menjalankan aplikasi Anda pada berbagai konfigurasi, seperti sistem operasi yang berbeda, browser web, dan variasi lainnya. Anda akan ingin menjalankan setidaknya beberapa pengujian Anda secara bertahap yang memiliki konfigurasi yang berbeda.

Gunakan rencana pengujian Anda untuk memutuskan pengujian mana yang ingin Anda jalankan pada konfigurasi mana. Anda harus memastikan bahwa saat menjalankan pengujian, Anda telah menyiapkan tahapan untuk konfigurasi yang Anda butuhkan.

Anda mungkin menggambar matriks skema kombinasi yang ingin Anda uji:

Menguji matriks konfigurasi browser dan sistem operasi

Kemudian Anda dapat:

Prasyarat

  • Anda harus tersambung ke proyek. Jika Anda belum memiliki proyek, buat proyek.
  • Anda harus ditambahkan ke proyek. Untuk ditambahkan, Tambahkan pengguna ke proyek atau tim.
  • Untuk melihat atau menambahkan konfigurasi pengujian, Anda harus memiliki akses Dasar atau yang lebih tinggi.
  • Untuk menambahkan konfigurasi pengujian, Anda harus mengatur izin Kelola konfigurasi pengujian tingkat proyek ke Izinkan. Secara default, izin ini diberikan kepada anggota grup Kontributor dan Administrator Proyek.

Untuk informasi selengkapnya, lihat Akses dan izin pengujian manual.

Bekerja dengan alat baris perintah TCM

Untuk menggunakan alat baris perintah TCM, Anda harus memiliki item berikut:

  • Visual Studio 2017 Professional atau versi yang lebih lama terinstal. Anda mengakses TCM dari prompt perintah dan direktori berikut:

    • %programfiles(x86)%\Microsoft Visual Studio\2017\Professional\Common7\IDE
    • %programfiles(x86)%\Microsoft Visual Studio\2017\Enterprise\Common7\IDE
    • %programfiles(x86)%\Microsoft Visual Studio 14.0\Common7\IDE
  • Untuk menjalankan perintah TCM, tentukan /collection parameter dan /teamproject , dan /login sesuai kebutuhan.

    Parameter Deskripsi
    /collection:CollectionURL Harus diisi. Menentukan URI kumpulan proyek tim. Format untuk URI adalah sebagai berikut:
    - Untuk Layanan Azure DevOps: http://dev.azure.com/OrganizationName
    - Untuk Azure DevOps Server: http://ServerName:Port/VirtualDirectoryName/CollectionName. Jika tidak ada direktori virtual yang digunakan, maka format untuk URI adalah sebagai berikut:http://ServerName:Port/CollectionName.
    /teamproject:project Harus diisi. Nama proyek yang berisi objek pengujian yang ingin Anda kloning atau impor pengujian otomatis.
    /login:username,[password] Opsional. Menentukan nama dan kata sandi pengguna Azure DevOps yang valid dan yang memiliki izin untuk menjalankan perintah. Gunakan opsi ini jika kredensial Windows Anda tidak memiliki izin yang sesuai, atau Anda menggunakan autentikasi dasar, atau Anda tidak tersambung ke domain.
  • Anda harus menjadi anggota yang valid dari satu atau beberapa proyek yang ingin Anda akses dan memiliki izin yang diperlukan berdasarkan perintah yang Anda jalankan. Untuk informasi selengkapnya, lihat Akses dan izin pengujian manual.

  • Anda harus memiliki tingkat akses yang sama yang diperlukan untuk menambahkan rencana pengujian dan rangkaian pengujian untuk mengkloning atau mengimpor objek pengujian.

Melihat konfigurasi dan variabel

Anda sering ingin melihat konfigurasi yang sudah tersedia untuk menjalankan pengujian Anda.

Anda dapat melihat daftar konfigurasi pengujian dan variabel konfigurasi dari halaman Konfigurasi .

Saat berada di proyek Anda, pilih Konfigurasi Paket> Pengujian dari area navigasi kiri. Di sini Anda akan melihat semua konfigurasi dan variabel pengujian yang saat ini tersedia untuk paket pengujian Anda.

Cuplikan layar Editor Kueri, Rencana pengujian kueri.

Pilih konfigurasi atau variabel untuk melihat informasi selengkapnya tentang hal itu di jendela di sebelah kanan.

Membuat konfigurasi dan variabel

Konfigurasi pengujian adalah kombinasi nilai variabel konfigurasi. Variabel konfigurasi Anda bisa, misalnya, sistem operasi, browser, jenis CPU, database. Konfigurasi mungkin "CPU Windows 8 + 32-bit" atau "Windows 10 + 64-bit CPU."

Buat variabel konfigurasi terlebih dahulu. Kemudian gabungkan beberapa nilai variabel untuk membuat konfigurasi.

  1. Buka halaman Konfigurasi di portal web Paket Pengujian, pilih + ikon, dan pilih Variabel konfigurasi baru.

    Cuplikan layar memperlihatkan opsi Variabel konfigurasi baru di menu Baru.

  2. Ketik nama untuk variabel, seperti Browser, dan deskripsi. Pilih Tambahkan nilai baru, lalu tambahkan nilai. Tambahkan nilai sebanyak yang Anda inginkan ke variabel konfigurasi, lalu simpan.

    Cuplikan layar memperlihatkan penambahan nilai ke variabel konfigurasi baru.

  3. Ulangi langkah-langkah untuk membuat variabel konfigurasi lain yang Anda butuhkan. Misalnya, buat variabel konfigurasi bernama Sistem operasi dengan nama setiap sistem operasi tempat Anda ingin menguji.

    Cuplikan layar memperlihatkan pengaturan nilai untuk variabel konfigurasi Sistem Operasi.

  4. + Pilih ikon dan pilih Konfigurasi pengujian baru.

    Cuplikan layar memperlihatkan opsi Konfigurasi pengujian baru di menu Baru.

  5. Ketik nama untuk konfigurasi pengujian dan tambahkan variabel konfigurasi yang Anda buat. Pilih nilai untuk setiap variabel untuk konfigurasi ini.

    Cuplikan layar memperlihatkan penambahan variabel ke konfigurasi pengujian baru.

    Pastikan bahwa Tetapkan ke paket pengujian baru diperiksa untuk menjadikan konfigurasi ini default untuk semua paket pengujian baru yang Anda buat.

  6. Simpan konfigurasi pengujian baru Anda.

Konfigurasi pengujian adalah kombinasi nilai variabel konfigurasi. Variabel konfigurasi Anda bisa, misalnya, sistem operasi, browser, jenis CPU, database. Konfigurasi mungkin "CPU Windows 8 + 32-bit" atau "Windows 10 + 64-bit CPU."

Anda harus membuat variabel konfigurasi terlebih dahulu. Kemudian gabungkan beberapa nilai variabel untuk membuat konfigurasi.

  1. Buka halaman Konfigurasi di portal web Paket Pengujian, pilih baru ikon, dan pilih Variabel konfigurasi baru.

    Menambahkan variabel konfigurasi baru

  2. Ketik nama untuk variabel, seperti Browser, dan ketik nilai. Tambahkan nilai sebanyak yang Anda inginkan ke variabel konfigurasi, lalu simpan.

    Mengatur nilai untuk variabel konfigurasi baru

  3. Ulangi langkah-langkah untuk membuat variabel konfigurasi lain yang Anda butuhkan. Misalnya, buat variabel konfigurasi bernama Sistem operasi dengan nama setiap sistem operasi tempat Anda ingin menguji.

    Mengatur nilai untuk variabel konfigurasi Sistem Operasi

  4. baru Pilih ikon dan pilih Konfigurasi pengujian baru.

    Menambahkan konfigurasi pengujian baru

  5. Ketik nama untuk konfigurasi pengujian dan tambahkan variabel konfigurasi yang Anda buat. Pilih nilai untuk setiap variabel untuk konfigurasi ini.

    Menambahkan variabel ke konfigurasi pengujian baru

    Pastikan Tetapkan ke paket pengujian baru diperiksa untuk menjadikannya konfigurasi default untuk semua paket pengujian baru yang Anda buat.

  6. Simpan konfigurasi pengujian baru Anda.

Menetapkan konfigurasi untuk menguji paket dan suite

Anda dapat menetapkan konfigurasi ke rangkaian pengujian atau kasus pengujian individual. Konfigurasi yang ditetapkan ke rangkaian pengujian berlaku untuk semua pengujian atau suite di dalamnya.

  1. Untuk menetapkan konfigurasi ke rangkaian pengujian, di halaman Uji paket , pilih paket. Di area Test Suites, pilih rangkaian pengujian dan pilih Opsi lainnya atau klik kanan untuk membuka menu konteks lalu pilih Tetapkan konfigurasi.

    Cuplikan layar memperlihatkan opsi menu Tetapkan konfigurasi.

    Jika Anda menambahkan beberapa konfigurasi ke rangkaian pengujian, kasus pengujian diulang dengan setiap konfigurasi yang telah Anda tetapkan.

    Cuplikan layar memperlihatkan beberapa penetapan konfigurasi ke rangkaian pengujian.

  2. Jika perlu, ambil alih konfigurasi default yang ditetapkan ke kasus pengujian dan tetapkan konfigurasi yang Anda butuhkan. Pilih satu atau beberapa kasus pengujian, buka menu konteks, dan pilih Tetapkan konfigurasi.

    Cuplikan layar memperlihatkan penetapan konfigurasi yang ditetapkan ke kasus pengujian.

  3. Cari dan pilih konfigurasi yang akan ditetapkan ke kasus pengujian.

    Cuplikan layar memperlihatkan konfigurasi pengaturan untuk kasus pengujian.

Anda dapat menetapkan konfigurasi ke paket pengujian, rangkaian pengujian, atau kasus pengujian individual. Konfigurasi yang ditetapkan ke paket pengujian atau rangkaian pengujian berlaku untuk semua pengujian atau suite di dalamnya.

  1. Untuk menetapkan konfigurasi ke paket pengujian, di halaman Uji paket , buka menu pintasan untuk paket dan pilih Tetapkan konfigurasi untuk menguji paket.

    Menetapkan konfigurasi ke paket pengujian

  2. Untuk menetapkan konfigurasi ke rangkaian pengujian, buka menu pintasan untuk suite dan pilih Tetapkan konfigurasi ke rangkaian pengujian.

    Menetapkan konfigurasi ke rangkaian pengujian

    Jika Anda menambahkan beberapa konfigurasi ke paket pengujian atau rangkaian, kasus pengujian diulang dalam paket atau rangkaian dengan setiap konfigurasi yang telah Anda tetapkan.

    Beberapa penetapan konfigurasi ke rangkaian pengujian

  3. Jika perlu, ambil alih konfigurasi default yang ditetapkan ke kasus pengujian dan tetapkan konfigurasi yang Anda butuhkan. Pilih satu atau beberapa kasus pengujian, buka menu pintasan, dan pilih Tetapkan konfigurasi.

    Mengesampingkan konfigurasi default yang ditetapkan ke kasus pengujian

  4. Cari dan pilih konfigurasi yang akan ditetapkan ke kasus pengujian ini.

    Mengatur konfigurasi yang diperlukan untuk kasus pengujian

Menjalankan pengujian dengan setiap konfigurasi

Siapkan platform pengujian untuk konfigurasi tertentu, seperti menguji aplikasi menggunakan Google Chrome di Windows 10.

  1. Pilih dan jalankan pengujian yang menetapkan konfigurasi ini.

    Cuplikan layar memperlihatkan pengujian dengan konfigurasi tertentu dan opsi Jalankan untuk aplikasi web dipilih.

    Saat Anda menjalankan pengujian, pengingat konfigurasi muncul di bilah status.

    Cuplikan layar memperlihatkan konfigurasi untuk pengujian ini di bilah status.

  1. Siapkan platform pengujian untuk konfigurasi tertentu, seperti menguji aplikasi menggunakan Google Chrome di Windows 10.

  2. Pilih dan jalankan pengujian yang menetapkan konfigurasi ini.

    Menjalankan pengujian dengan konfigurasi yang ditetapkan

    Saat Anda menjalankan pengujian, pengingat konfigurasi yang diperlukan ditunjukkan di bilah status jendela Uji Runner.

    Konfigurasi yang diperlukan muncul di jendela Test Runner

Melacak hasil pengujian untuk setiap konfigurasi

  1. Buka halaman Bagan untuk rangkaian pengujian Anda, pilih Baru, dan pilih Bagan hasil pengujian baru.

    Cuplikan layar memperlihatkan opsi menu Bagan hasil pengujian baru.

  2. Pilih tipe bagan, seperti bagan pai atau bagan batang, lalu pilih Kelompokkan menurut>Konfigurasi dan pilih OK.

    Cuplikan layar memperlihatkan memilih opsi konfigurasi untuk grup menurut dalam kotak dialog konfigurasi bagan.

    Bagan dibuat yang dapat membantu Anda melacak pengujian berdasarkan konfigurasi. Anda dapat menyematkan bagan ini ke dasbor Anda.

    Cuplikan layar memperlihatkan bagan batang dengan nilai untuk Tidak dijalankan, Diteruskan, dan Gagal.

Jika Anda memiliki kasus pengujian yang muncul di beberapa suite pengujian, Anda dapat mengatur konfigurasi yang berbeda untuk setiap rangkaian. Kasus pengujian yang sama dapat memiliki pengaturan konfigurasi yang berbeda di rangkaian pengujian dan rencana pengujian yang berbeda.

  1. Buka halaman Bagan untuk paket pengujian atau rangkaian pengujian Anda, pilih Baru, dan pilih Bagan hasil pengujian baru.

    Membuat bagan hasil pengujian baru

  2. Pilih jenis bagan yang Anda perlukan, pilih Konfigurasi di daftar Kelompokkan menurut , dan pilih OK.

    Memilih jenis bagan yang Anda butuhkan

    Bagan dibuat yang dapat membantu Anda melacak pengujian berdasarkan konfigurasi. Anda dapat menyematkan bagan ini ke dasbor Anda.

    Bagan hasil pengujian konfigurasi

Jika Anda memiliki kasus pengujian yang muncul di beberapa paket pengujian dan rangkaian pengujian, Anda dapat mengatur konfigurasi yang berbeda untuk masing-masing. Kasus pengujian yang sama dapat memiliki pengaturan konfigurasi yang berbeda di rangkaian pengujian dan rencana pengujian yang berbeda.