Bagikan melalui


Menjalankan pengujian manual

Layanan Azure DevOps | Azure DevOps Server 2022 - Azure DevOps Server 2019

Jalankan pengujian manual Anda dan rekam hasil pengujian untuk setiap langkah pengujian menggunakan Microsoft Test Runner. Anda dapat menjalankan pengujian untuk aplikasi web dan aplikasi desktop.

Test Runner memungkinkan Anda menjalankan semua pengujian aktif sebagai batch atau kasus pengujian tertentu. Ubah pengujian saat menjalankannya. Anda dapat menjalankan pengujian untuk build tertentu.

Saat menguji, kumpulkan informasi seperti cuplikan layar atau tindakan pengujian Anda. Jika Anda menemukan masalah saat menguji, gunakan Test Runner untuk membuat bug. Sertakan langkah-langkah pengujian, cuplikan layar, dan komentar dalam bug.

Catatan

Anda menjalankan titik pengujian dan bukan kasus pengujian. Saat Anda menambahkan kasus pengujian ke rangkaian pengujian, maka titik pengujian dihasilkan. Titik pengujian mewakili kombinasi unik dari kasus pengujian, rangkaian pengujian, konfigurasi, dan penguji.

Misalnya, kasus pengujian bernama Fungsionalitas masuk Uji, yang memiliki dua konfigurasi untuk browser Edge dan Chrome, menghasilkan dua titik pengujian. Anda dapat mengeksekusi atau menjalankan masing-masing titik pengujian ini. Pada eksekusi, hasil pengujian dihasilkan. Melalui tampilan hasil pengujian, atau riwayat eksekusi, Anda dapat melihat semua eksekusi titik pengujian. Eksekusi terbaru untuk titik pengujian adalah hal yang Anda lihat di tab Eksekusi.

Klien yang didukung dan opsi jalankan

Selain menjalankan pengujian untuk build tertentu, opsi eksekusi mendukung berbagai skenario pengujian. Untuk melihat opsi, di tab Jalankan , pilih pengujian, lalu pilih Jalankan dengan opsi.

Pilih jenis pengujian dan runner menawarkan opsi ini:

  • Pengujian manual menggunakan runner berbasis Browser Web Anda dapat memilih build tertentu untuk diuji, seperti yang dijelaskan dalam Menjalankan pengujian untuk build. Pilih Temukan build untuk membuka kotak dialog Temukan build dan cari build yang akan diuji.

  • Pengujian manual menggunakan klien Test Runner Anda dapat menjalankan pengujian manual untuk aplikasi desktop dengan menggunakan klien Test Runner. Jika perlu, instal klien desktop Test Runner.

  • Pengujian otomatis menggunakan tahap rilis Untuk menjalankan pengujian menggunakan tahap rilis, pilih build. Pilih alur dan tahap rilis untuk menggunakan artefak build. Untuk informasi selengkapnya, lihat Menjalankan pengujian otomatis dari paket pengujian.

  • Pengujian manual menggunakan klien Microsoft Test Manager 2017 Mengumpulkan data dari komputer lokal. Pilih build. Pilih satu atau beberapa pengumpul data: Log tindakan, Log peristiwa, Perekam layar dan suara, dan Informasi sistem.

  • Pengujian manual menggunakan Microsoft Test Manager 2015 atau klien sebelumnya

Pusat Pengujian di klien Microsoft Test Manager adalah solusi pengujian manual berbasis desktop. Penguji dapat menggunakannya untuk kebutuhan pengujian manual. Untuk informasi selengkapnya, lihat Panduan tentang penggunaan Microsoft Test Manager. Untuk mendapatkan Microsoft Test Manager, instal Visual Studio Enterprise atau Visual Studio Test Professional.

Prasyarat

  • Akses proyek: Pastikan Anda ditambahkan ke proyek.
  • Tingkat akses: Pastikan Anda memiliki setidaknya akses Dasar atau yang lebih tinggi.
  • Untuk informasi selengkapnya, lihat Akses dan izin pengujian manual.

Bekerja dengan alat baris perintah TCM

Untuk menggunakan alat baris perintah TCM, Anda harus memiliki item berikut:

  • Visual Studio 2017 Professional atau versi yang lebih lama terinstal. Anda mengakses TCM dari prompt perintah dan direktori berikut:

    • %programfiles(x86)%\Microsoft Visual Studio\2017\Professional\Common7\IDE
    • %programfiles(x86)%\Microsoft Visual Studio\2017\Enterprise\Common7\IDE
    • %programfiles(x86)%\Microsoft Visual Studio 14.0\Common7\IDE
  • Untuk menjalankan perintah TCM, tentukan /collection parameter dan /teamproject , dan /login sesuai kebutuhan.

    Parameter Deskripsi
    /collection:CollectionURL Harus diisi. Menentukan URI kumpulan proyek tim. Format untuk URI adalah sebagai berikut:
    - Untuk Layanan Azure DevOps: http://dev.azure.com/OrganizationName
    - Untuk Azure DevOps Server: http://ServerName:Port/VirtualDirectoryName/CollectionName. Jika tidak ada direktori virtual yang digunakan, maka format untuk URI adalah sebagai berikut:http://ServerName:Port/CollectionName.
    /teamproject:project Harus diisi. Nama proyek yang berisi objek pengujian yang ingin Anda kloning atau impor pengujian otomatis.
    /login:username,[password] Opsional. Menentukan nama dan kata sandi pengguna Azure DevOps yang valid dan yang memiliki izin untuk menjalankan perintah. Gunakan opsi ini jika kredensial Windows Anda tidak memiliki izin yang sesuai, atau Anda menggunakan autentikasi dasar, atau Anda tidak tersambung ke domain.
  • Anda harus menjadi anggota yang valid dari satu atau beberapa proyek yang ingin Anda akses dan memiliki izin yang diperlukan berdasarkan perintah yang Anda jalankan. Untuk informasi selengkapnya, lihat Akses dan izin pengujian manual.

  • Anda harus memiliki tingkat akses yang sama yang diperlukan untuk menambahkan rencana pengujian dan rangkaian pengujian untuk mengkloning atau mengimpor objek pengujian.

Menjalankan pengujian untuk aplikasi web

Ikuti langkah-langkah ini untuk menjalankan pengujian untuk aplikasi web.

  1. Dari portal web, buka proyek Anda dan pilih Uji Paket>Uji paket Pengujian.

  2. Jika Anda belum melakukannya, buat pengujian manual Anda.

  3. Pilih Tambang atau Semua, atau gunakan Filter menurut judul untuk menemukan paket pengujian Anda dan memilihnya. Pilih tab Jalankan.

    Cuplikan layar memperlihatkan rangkaian pengujian yang dipilih dengan tab Jalankan dipilih

  4. Pilih satu atau beberapa pengujian, atau semua pengujian dari rangkaian pengujian. Lalu pilih Jalankan untuk aplikasi web.

    Cuplikan layar memperlihatkan cara memilih dan menjalankan pengujian tertentu.

    Microsoft Test Runner terbuka dan berjalan di browser baru.

  5. Mulai aplikasi yang ingin Anda uji.

    Cuplikan layar memperlihatkan Test Runner yang merekam hasil pengujian Anda.

    Aplikasi Anda tidak perlu berjalan di komputer yang sama dengan Test Runner. Anda cukup menggunakan Test Runner untuk merekam langkah pengujian mana yang lulus atau gagal saat Anda menjalankan pengujian secara manual.

    Misalnya, Anda dapat menjalankan Test Runner di komputer desktop dan menjalankan aplikasi toko untuk Windows 8 yang Anda uji pada tablet Windows 8.

  6. Tandai setiap langkah pengujian sebagai lulus atau gagal berdasarkan hasil yang diharapkan.

    Cuplikan layar memperlihatkan Uji Runner terbuka untuk pengujian yang gagal di mana Anda dapat memasukkan komentar.

    Jika langkah pengujian gagal, Anda dapat memasukkan komentar tentang mengapa gagal atau mengumpulkan data diagnostik untuk pengujian. Anda juga dapat Membuat atau menambahkan ke bug.

  1. Jika Anda belum melakukannya, buat pengujian manual Anda.

  2. Pilih pengujian dari rangkaian pengujian dan jalankan.

    Memilih dan menjalankan pengujian tertentu

    Microsoft Test Runner terbuka dan berjalan di browser baru.

  3. Mulai aplikasi yang ingin Anda uji. Aplikasi Anda tidak perlu berjalan di komputer yang sama dengan Test Runner. Anda cukup menggunakan Test Runner untuk merekam langkah pengujian mana yang lulus atau gagal saat Anda menjalankan pengujian secara manual. Misalnya, Anda dapat menjalankan Test Runner di komputer desktop dan menjalankan aplikasi penyimpanan Windows 8 yang Anda uji di tablet Windows 8.

    Menggunakan Microsoft Test Runner untuk merekam hasil pengujian Anda

  4. Tandai setiap langkah pengujian sebagai lulus atau gagal berdasarkan hasil yang diharapkan. Jika langkah pengujian gagal, Anda dapat memasukkan komentar tentang mengapa gagal atau mengumpulkan data diagnostik untuk pengujian. Anda juga dapat Membuat atau menambahkan ke bug.

    Menandai langkah-langkah pengujian

Penting

Setiap langkah pengujian yang memiliki hasil yang diharapkan disebut langkah pengujian validasi. Penguji harus menandai langkah pengujian dengan status jika merupakan langkah pengujian validasi. Hasil keseluruhan untuk kasus pengujian mencerminkan status semua langkah pengujian yang ditandai oleh penguji. Oleh karena itu, kasus pengujian akan memiliki status gagal jika penguji menandai langkah pengujian apa pun sebagai gagal atau tidak ditandai.

Membuat atau menambahkan ke bug

Jika langkah pengujian gagal, masukkan komentar tentang perilaku dan kumpulkan data diagnostik. Anda dapat membuat bug untuk menangkap dan melacak masalah. Anda juga dapat memperbarui bug yang ada dengan informasi tentang kegagalan tersebut.

  1. Saat langkah gagal, masukkan komentar dan pilih Buat bug.

    Cuplikan layar memperlihatkan Uji Runner dengan pengujian yang gagal dan Buat bug disorot.

    Catatan

    Jika tombol buat bug tidak meluncurkan workitem bug, verifikasi apakah pengaturan tim sudah benar di tingkat Area dan Iterasi seperti di bawah ini:

    Buka pengaturan proyek dan Tim, periksa apakah Tim yang benar diatur sebagai default.

    Dari Tim tersebut, klik hyperlink Jalur Iterasi dan Area di dekat nama Tim. Ini akan membawa Anda ke halaman konfigurasi Tim.

    Di halaman Konfigurasi tim, pilih Iterasi, Default, dan iterasi Backlog harus cocok dengan Tim tempat kasus pengujian berjalan.

    Di halaman Konfigurasi tim, pilih Area, Area default harus cocok dengan Tim tempat kasus pengujian berjalan.

  2. Dalam kotak dialog Bug baru, masukkan nama untuk bug.

    Cuplikan layar memperlihatkan Uji Runner dengan Buat bug dipilih dan kotak dialog bug baru terbuka.

    Langkah-langkah dan komentar Anda secara otomatis ditambahkan ke bug. Jika Test Runner berjalan di jendela browser web, Anda dapat menyalin cuplikan layar dari clipboard langsung ke bug.

  3. Anda dapat menetapkan bug, memasukkan komentar, atau menautkan ke masalah lain. Pilih Simpan & Tutup setelah selesai. Kasus pengujian ditautkan ke bug yang Anda buat.

Anda dapat melihat bug apa pun yang dilaporkan selama sesi pengujian Anda.

Cuplikan layar memperlihatkan jumlah bug yang dibuat selama pengujian.

Alih-alih membuat bug, Anda dapat memperbarui bug yang ada dengan informasi tentang langkah ini. Pilih Tambahkan ke bug yang ada dari menu drop-down Buat bug .

Cuplikan layar memperlihatkan Uji Runner dengan Tambahkan ke bug yang sudah ada dipilih

  1. Di jendela Uji Runner, pilih Buat bug.

    Kirim bug.

    Langkah-langkah dan komentar Anda secara otomatis ditambahkan ke bug. Jika Test Runner berjalan di jendela browser web, Anda dapat menyalin cuplikan layar dari clipboard langsung ke bug.

  2. Anda dapat menetapkan bug, memasukkan komentar, atau menautkan ke masalah lain. Pilih Simpan & Tutup setelah selesai. Kasus pengujian ditautkan ke bug yang Anda buat.

Anda dapat melihat bug apa pun yang Anda laporkan selama sesi pengujian Anda.

Bug dicatat

Alih-alih membuat bug, Anda dapat memperbarui bug yang ada dengan informasi tentang langkah ini. + Pilih ikon untuk Buat bug, lalu Tambahkan ke bug yang ada. Temukan dan perbarui bug yang ada.

Menyimpan hasil, menutup sesi, dan meninjau hasil

Setelah Anda menyelesaikan pengujian, simpan hasil Anda, tutup sesi, dan tinjau hasil pengujian.

  1. Setelah menjalankan semua pengujian, pilih Simpan dan tutup. Semua hasil pengujian disimpan di Azure Test Plans.

  2. Lihat status pengujian untuk rangkaian pengujian Anda. Anda melihat hasil terbaru untuk setiap pengujian.

    Cuplikan layar memperlihatkan hasil menjalankan kasus pengujian, dengan hasil Aktif, Gagal, dan Lulus ditampilkan.

    Cuplikan layar memperlihatkan Tampilkan hasil pengujian.

    Jika Anda belum menjalankan pengujian, statusnya aktif. Reset status pengujian menjadi aktif jika Anda ingin menjalankannya kembali.

  3. Buka rangkaian pengujian dan pilih kasus pengujian di bagian Pekerjaan Terkait. Kemudian gunakan tautan anak di bagian Pekerjaan Terkait dari item kerja tersebut untuk melihat bug yang diajukan oleh penguji.

    Cuplikan layar memperlihatkan bagian Pekerjaan Terkait dari item kerja untuk melihat bug yang diajukan untuk pengujian tersebut.

    Lihat bug yang diajukan

Anda dapat menjalankan pengujian secara offline lalu mengimpor hasilnya. Untuk informasi selengkapnya, lihat ekstensi Eksekusi Pengujian Offline.

Menjalankan pengujian untuk aplikasi desktop

Jika Anda ingin mengumpulkan lebih banyak data diagnostik untuk aplikasi desktop Anda, jalankan pengujian Anda menggunakan klien Test Runner.

  1. Dari portal web, buka proyek Anda dan pilih Uji Paket>Uji paket Pengujian.

  2. Pilih Tambang atau Semua, atau gunakan Filter menurut judul untuk menemukan paket pengujian Anda dan memilihnya. Pilih tab Jalankan.

    Cuplikan layar memperlihatkan rangkaian pengujian yang dipilih dengan tab Jalankan dipilih

  3. Luncurkan Test Runner dari Azure Test Plans dengan memilih Jalankan untuk aplikasi desktop dari menu dropdown.

    Cuplikan layar memperlihatkan peluncuran klien Test Runner.

  4. Jika perlu, unduh dan instal klien desktop Test Runner.

    Cuplikan layar memperlihatkan kotak dialog Jalankan untuk aplikasi desktop dengan opsi untuk mengunduh dan meluncurkan Test Runner.

    Catatan

    • Periksa apakah klien Test Runner tersedia untuk platform Anda. Saat ini, klien Test Runner hanya tersedia untuk x64.
    • Azure Test Runner mungkin tidak berfungsi jika organisasi Anda menggunakan kebijakan akses bersyariah melalui Microsoft Entra. Untuk informasi selengkapnya, lihat Keputusan umum akses bersyarah
  5. Pilih Luncurkan dan mulai pengujian seperti yang dijelaskan di bagian sebelumnya. Untuk informasi selengkapnya tentang pengumpulan data, lihat Mengumpulkan data diagnostik saat pengujian.

Jika Anda ingin mengumpulkan lebih banyak data diagnostik untuk aplikasi desktop Anda, jalankan pengujian Anda menggunakan klien Test Runner:

  1. Luncurkan klien pelari uji dari Azure Test Plans dengan memilih Jalankan untuk aplikasi desktop dari menu Jalankan .

    Meluncurkan klien pelari uji

  2. Unduh dan instal klien desktop Test Runner jika Anda belum menyiapkannya:

    Unduh dan luncurkan Uji runner

    Catatan

    Periksa apakah klien Test Runner tersedia untuk platform Anda. Saat ini, klien Test Runner hanya tersedia untuk x64.

  3. Pilih Luncurkan dan mulai uji dengan cara yang sama seperti yang dijelaskan di atas untuk aplikasi web. Untuk informasi selengkapnya tentang pengumpulan data, lihat Mengumpulkan data diagnostik saat pengujian.

Jalankan semua pengujian

Anda dapat menjalankan semua pengujian di rangkaian pengujian sekaligus.

Pilih rangkaian pengujian dan pilih Jalankan untuk aplikasi web atau Jalankan aplikasi desktop untuk menjalankan semua pengujian aktif.

Cuplikan layar memperlihatkan cara memilih dan menjalankan semua pengujian aktif dalam rangkaian pengujian.

Pilih rangkaian pengujian dan pilih Jalankan untuk menjalankan semua pengujian aktif.

Cuplikan layar memperlihatkan cara menjalankan semua pengujian aktif dalam rangkaian pengujian.

Menjalankan pengujian untuk build

Pilih build untuk menjalankan pengujian.

  1. Dari menu dropdown, pilih Jalankan dengan opsi.

    Cuplikan layar memperlihatkan menjalankan pengujian untuk aplikasi web dengan opsi.

  2. Dalam kotak dialog Jalankan dengan opsi , pilih build yang Anda inginkan.

    Cuplikan layar memperlihatkan kotak dialog Jalankan dengan opsi dengan build dipilih.

  1. Pilih Jalankan lalu pilih Jalankan dengan opsi.

    Cuplikan layar memperlihatkan Jalankan dipilih dan Jalankan dengan opsi yang tersedia.

  2. Pilih build yang Anda inginkan.

    Cuplikan layar memperlihatkan kotak dialog Jalankan dengan opsi dengan build.

Catatan

Build yang dipilih harus berasal dari proyek tempat pengujian ditentukan.

Anda dapat memilih build untuk opsi berikut:

  • Pengujian manual menggunakan runner berbasis Browser Web
  • Pengujian otomatis menggunakan tahap rilis
  • Pengujian manual menggunakan klien Microsoft Test Manager 2017

Bidang yang ditawarkan kotak dialog berbeda bergantung pada opsi mana yang Anda pilih. Untuk informasi selengkapnya, lihat Klien yang didukung dan opsi jalankan.

Setiap bug yang diajukan selama eksekusi dikaitkan dengan build yang dipilih. Hasil pengujian akan diterbitkan terhadap build tersebut.

Mengubah langkah pengujian selama uji coba

Perbaiki masalah dengan langkah-langkah pengujian Anda saat pengujian masih berjalan. Pilih ikon Edit langkah pengujian.

Cuplikan layar memperlihatkan cara memilih ikon edit untuk mengedit langkah-langkah pengujian.

Cuplikan layar memperlihatkan cara memilih ikon edit untuk mengubah langkah-langkah pengujian.

Anda dapat menyisipkan, menyusun ulang, atau menghapus langkah-langkah. Anda juga dapat mengedit teks itu sendiri.

Cuplikan layar memperlihatkan alat untuk mengedit langkah-langkah pengujian saat Anda menjalankan pengujian.

Cuplikan layar memperlihatkan alat untuk memodifikasi langkah-langkah pengujian saat Anda menjalankan pengujian.

Mengambil data diagnostik yang kaya

Saat menjalankan pengujian, Anda dapat menambahkan cuplikan layar, mengambil tindakan sebagai log, dan merekam video atau suara.

Menambahkan cuplikan layar

Tambahkan cuplikan layar ke hasil pengujian saat menjalankan pengujian.

Jika Anda menggunakan Google Chrome atau Firefox, gunakan runner web untuk mengambil cuplikan layar aplikasi web saat menguji. Untuk browser Microsoft Internet Explorer atau Microsoft Edge, atau untuk pengujian aplikasi desktop, gunakan klien desktop Test Runner.

Cuplikan layar memperlihatkan tombol untuk mengambil cuplikan layar selama pengujian.

Cuplikan layar memperlihatkan tombol untuk mengambil cuplikan layar.

Untuk informasi selengkapnya, lihat Mengumpulkan data diagnostik.

Mengambil tindakan dari pengujian

Ambil tindakan Anda pada aplikasi sebagai log.

Jika Anda menggunakan Google Chrome atau Firefox, gunakan runner web menangkap tindakan Anda di aplikasi web sebagai log gambar saat pengujian. Untuk browser Microsoft Internet Explorer atau Microsoft Edge, atau untuk pengujian aplikasi desktop, gunakan klien desktop Test Runner.

Cuplikan layar memperlihatkan tombol untuk mengambil log tindakan gambar dari aplikasi.

Cuplikan layar memperlihatkan tombol untuk mengambil log tindakan gambar dari aplikasi.

Untuk informasi selengkapnya, lihat Mengumpulkan data diagnostik.

Mengambil rekaman layar aplikasi Anda yang sedang diuji

Ambil rekaman layar aplikasi saya selama pengujian.

Jika Anda menggunakan Google Chrome atau Firefox, gunakan runner web untuk mengambil rekaman layar aplikasi web dan desktop Anda saat menguji. Untuk browser Microsoft Internet Explorer atau Microsoft Edge, atau untuk pengujian aplikasi desktop, gunakan klien desktop Test Runner.

Cuplikan layar memperlihatkan tombol untuk mengambil rekaman layar dari aplikasi.

Cuplikan layar memperlihatkan tombol untuk mengambil rekaman layar dari aplikasi.

Untuk informasi selengkapnya, lihat Mengumpulkan data diagnostik.

Menjalankan pengujian dengan TCM

Anda dapat menjalankan pengujian yang merupakan bagian dari rencana pengujian menggunakan alat baris perintah TCM. Alat ini memungkinkan Anda membuat dan memulai uji coba, lalu mengelola semua uji coba yang ada. Gunakan perintah tcm yang didokumenkan di sini untuk menyelesaikan tugas-tugas ini.

Eksekusi | pengujian daftar Membuat uji | coba Jalankan uji coba | Batalkan eksekusi | uji coba Hapus uji coba | Ekspor eksekusi | Terbitkan uji coba

Mencantumkan eksekusi pengujian

Gunakan tcm run /list untuk mencantumkan eksekusi yang tersedia dalam paket pengujian dan untuk menampilkan ID mereka. ID sesuai dengan ID item kerja yang ditentukan saat eksekusi dibuat.

tcm run /list /collection:teamprojectcollectionurl /teamproject:project 
           [/planid:id  |  /querytext:query] [/login:username,[password]]
Parameter Deskripsi
/planid:id Opsional. Menunjukkan bahwa hanya eksekusi pengujian yang terkait dengan rencana pengujian yang ditentukan yang dikembalikan dalam daftar.
/querytext:query Opsional. Menentukan kueri yang akan digunakan untuk mencantumkan subset eksekusi pengujian.

Untuk deskripsi /collectionparameter , /teamproject dan /login , lihat Bekerja dengan alat baris perintah TCM.

Contoh

Perintah berikut mencantumkan eksekusi pengujian yang ditentukan untuk proyek Fabrikam Fiber yang dihosting di organisasi fabrikamprime . ID dan Judul sesuai dengan ID item kerja dan judul yang ditentukan untuk eksekusi pengujian. Misalnya, uji coba 1000052 berjudul Rencana Pengujian untuk Siklus 1 (Manual).

tcm run /list /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"

Id        Title                              Owner               Date Completed
--------- ---------------------------------- ------------------- -----------
1000006   Sprint 2 (Manual)                  Thomas Margand      11/5/2021
1000032   33 : Change initial view (Manual)  Danielle Brasseur   11/11/2021
1000040   Sprint 2 (Manual)                  Thomas Margand      11/16/2021
1000042   Sprint 3 (Manual)                  Thomas Margand      11/16/2021
1000046   Special testing (Manual)           Nicoletta Guibord   11/18/2021
1000052   Test Plan for Cycle 1 (Manual)     Bukhosi Bhengu      12/1/2021
1000060   Game Shopping (Manual)             Bukhosi Bhengu      12/6/2021

Membuat uji coba

Gunakan tcm run /create untuk membuat uji coba yang terkait dengan rencana pengujian yang ditentukan. Selain paket pengujian, Anda juga menentukan rangkaian pengujian dan konfigurasi yang ingin Anda gunakan dengan ID yang sesuai. Anda dapat mengumpulkan ID ini menggunakan tcm plans /listperintah , tcm suites /list, dan tcm configs /list .

tcm run /create /title:title /planid:id /collection:CollectionURL /teamproject:project 
            (suiteid:id /configid:configid | /querytext:query) 
            [/settingsname:name] [/owner:owner] [/builddir:directory]  
            [/testenvironment:name] [/login:username,[password]] [/include]

Parameter Deskripsi
/title:title Menentukan judul yang ingin Anda gunakan untuk uji coba yang Anda buat.
/planid:id Menentukan rencana pengujian tempat Anda ingin membuat uji coba.
/suiteid:id Menentukan rangkaian pengujian yang ingin Anda gunakan untuk uji coba Anda.
/configid:id Menentukan konfigurasi pengujian yang ingin Anda jalankan untuk suite pengujian Anda.
/querytext:query Opsional jika Anda menentukan suiteid dan configid. Menentukan kueri yang akan digunakan untuk memilih pengujian yang ingin Anda jalankan.

Tips: Anda dapat menggunakan /querytest parameter untuk menjalankan lebih dari satu rangkaian pengujian. Misalnya: querytext:“SELECT * FROM TestPoint WHERE (ConfigurationId=20 OR ConfigurationId=21) AND (Suiteid=1185 OR Suiteid=1186)”.
/settingsname:name Opsional. Menentukan pengaturan pengujian yang ingin Anda gunakan untuk uji coba ini. Jika Anda tidak memilih pengaturan pengujian, pengaturan pengujian default dalam paket pengujian akan digunakan.
/owner:owner Opsional. Menentukan pemilik uji coba.
/builddir:directory Opsional. Menentukan direktori build yang akan digunakan untuk menemukan rakitan pengujian untuk pengujian. Jika ini tidak ditentukan, lokasi build digunakan berdasarkan build yang saat ini ditetapkan ke rencana pengujian.
/testenvironment:name Opsional. Menentukan lingkungan pengujian yang ingin Anda gunakan untuk uji coba ini. Jika Anda tidak memilih lingkungan pengujian, lingkungan pengujian default dalam paket pengujian akan digunakan.
/memasukkan Opsional. Menentukan bahwa semua pengujian yang dipilih untuk eksekusi pengujian disertakan, bahkan jika pengujian saat ini tidak diatur ke status Aktif.

Untuk deskripsi /collectionparameter , /teamproject dan /login , lihat Bekerja dengan alat baris perintah TCM.

Contoh

Perintah berikut membuat uji coba yang disebut MyTestRun dalam rencana pengujian dengan ID 77. Eksekusi menggunakan rangkaian pengujian dengan ID 161 dan konfigurasi pengujian dengan ID 9. Eksekusi didefinisikan untuk proyek Fabrikam Fiber yang dihosting di organisasi fabrikamprime .

Dalam contoh ini, uji coba dibuat dengan ID 1000082.

tcm run /create /title:MyTestRun /planid:77 /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber" /suiteid:161 /configid:9

Run created with ID: 1000082.

Jalankan eksekusi pengujian

Gunakan tcm run /execute untuk memulai salah satu eksekusi dalam rencana pengujian Anda. ID yang Anda tentukan sesuai dengan ID item kerja yang ditentukan saat eksekusi dibuat. Anda dapat melihat daftar semua ID uji coba dengan perintah jalankan /daftar tcm.

tcm run /execute /id:id /collection:teamprojectcollectionurl /teamproject:project [/login:username,[password]]
Parameter Deskripsi
/id:id Menentukan ID untuk eksekusi pengujian yang ingin Anda jalankan.

Untuk deskripsi /collectionparameter , /teamproject dan /login , lihat Bekerja dengan alat baris perintah TCM.

Contoh

Perintah berikut memulai uji coba untuk ID 1000082 untuk proyek Fabrikam Fiber yang dihosting di organisasi fabrikamprime. Hasilnya dikembalikan di jendela CLI Anda.

tcm run /execute /id:1000082 /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"

Executing run: MyTestRun

Results
------------------------
Total:                   2
Passed:                  1
Failed:                  1
Inconclusive:            0

Membatalkan eksekusi pengujian

Gunakan tcm run /abort untuk membatalkan uji coba yang sedang berlangsung. ID yang Anda tentukan sesuai dengan ID item kerja yang ditentukan saat eksekusi dibuat.

tcm run /abort /id:id /collection:teamprojectcollectionurl /teamproject:project [/login:username,[password]]
Parameter Deskripsi
/id:id Menentukan ID untuk eksekusi pengujian yang ingin Anda batalkan.

Untuk deskripsi /collectionparameter , /teamproject dan /login , lihat Bekerja dengan alat baris perintah TCM.

Contoh

Perintah berikut menghentikan uji coba dengan ID 1000082 untuk proyek Fabrikam Fiber yang dihosting di organisasi fabrikamprime. Hasilnya mengonfirmasi ID dan Judul eksekusi yang dibatalkan.

tcm run /abort /id:1000082 /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"

Run with ID [1000082] and title [MyTestRun] has been aborted.

Menghapus eksekusi pengujian

Gunakan tcm run /delete untuk menghapus uji coba dari paket pengujian Anda. ID yang Anda tentukan sesuai dengan ID item kerja yang ditentukan saat uji coba dibuat.

tcm run /delete /id:id [/noprompt] /collection:teamprojectcollectionurl /teamproject:project [/login:username,[password]]
Parameter Deskripsi
/id:id Menentukan ID untuk eksekusi pengujian yang ingin Anda hapus.
/noprompt Opsional. Menentukan bahwa pengguna tidak diminta untuk mengonfirmasi penghapusan uji coba.

Untuk deskripsi /collectionparameter , /teamproject dan /login , lihat Bekerja dengan alat baris perintah TCM.

Contoh

Perintah berikut menghapus uji coba dengan ID 1000082 untuk proyek Fabrikam Fiber yang dihosting di organisasi fabrikamprime. Pengguna diminta untuk mengonfirmasi bahwa mereka ingin menghapus uji coba yang ditentukan dan hasilnya disediakan.

tcm run /delete /id:1000082 /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"

Are you sure you want to delete run [MyTestRun]? (Yes/No) y

Run [MyTestRun] has been deleted.

Ekspor eksekusi pengujian

Gunakan tcm run /export untuk mengekspor uji coba ke lokasi tertentu. ID yang Anda tentukan sesuai dengan ID item kerja yang ditentukan saat eksekusi dibuat.

tcm run /export /id:id /resultsfile:path /collection:teamprojectcollectionurl /teamproject:project [/login:username,[password]]
Parameter Deskripsi
/id:id Menentukan ID uji coba yang ingin Anda ekspor.
/resultsfile:path Menentukan lokasi dan nama file untuk uji coba yang ingin Anda ekspor.

Untuk deskripsi /collectionparameter , /teamproject dan /login , lihat Bekerja dengan alat baris perintah TCM.

Contoh

Perintah berikut menentukan bahwa uji coba dengan ID 1000082 untuk proyek Fabrikam Fiber yang dihosting di organisasi fabrikamprime diekspor ke c:\temp\ResultsForDeveloper.trx.

tcm run /export /id:1000082 /resultsfile:"c:\temp\ResultsForDeveloper.trx" /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"

Menerbitkan eksekusi pengujian

Gunakan tcm run /publish untuk menerbitkan hasil dari file hasil uji coba Visual Studio untuk paket pengujian tertentu.

tcm run /publish /suiteid:id /configid:id /resultowner:owner /resultsfile:path 
            /collection:teamprojectcollectionurl /teamproject:project [/title:runtitle] 
            [/runowner:owner] [/build:buildnumber /builddefinition:builddefinition] 
            [/flavor:flavor] [/platform:platform] [/assignfailurestouser:user] 
            [/login:username,[password]] [/buildverification]
Parameter Deskripsi
/suiteid:id Menentukan rangkaian pengujian yang akan digunakan saat Anda menerbitkan uji coba.
/configid:id Menentukan konfigurasi pengujian mana yang ingin Anda gunakan saat menerbitkan uji coba.
/resultowner:owner Menentukan pemilik untuk hasil pengujian.
/resultsfile:path Menentukan lokasi uji coba yang ingin Anda terbitkan. Misalnya, "c:\temp\ResultsForDeveloper.trx".
/title:runtitle Opsional. Menentukan judul yang ingin Anda gunakan untuk uji coba yang Anda terbitkan.
/runowner:owner Opsional. Menentukan pemilik uji coba.
/build:buildnumber Opsional. Menentukan nomor build yang akan digunakan untuk menerbitkan uji coba. Parameter ini harus digunakan dengan /builddefinition.
/builddefinition:builddefinition Opsional. Menentukan definisi build yang akan digunakan untuk menerbitkan uji coba. Parameter ini harus digunakan dengan /build.
/flavor:flavor Opsional. Menentukan ragam build, seperti Rilis. Parameter ini hanya dapat digunakan jika /build parameter digunakan.
/platform:platform Opsional. Menentukan platform build, seperti x86. Parameter ini hanya dapat digunakan jika /build parameter digunakan.
/assignfailurestouser:user Opsional. Menentukan pengguna yang tesnya gagal dalam uji coba ditetapkan.
/buildverification Opsional. Menentukan bahwa uji coba ini berisi pengujian verifikasi build yang memeriksa fungsionalitas dasar build Anda.

Untuk deskripsi /collectionparameter , /teamproject dan /login , lihat Bekerja dengan alat baris perintah TCM.

Contoh

Perintah berikut menerbitkan uji coba untuk rangkaian pengujian dengan ID 161 dan konfigurasi pengujian dengan ID 9 dan menetapkan ulang pemilik. Ini memperbarui titik pengujian yang ada untuk kasus pengujian di rangkaian pengujian yang dipasangkan dengan konfigurasi ini dan menerbitkan hasilnya dalam file .trx yang ditentukan. Dan setiap pengujian yang gagal dalam uji coba ditetapkan ke pengguna yang ditentukan.

tcm run /publish /suiteid:167 /configid:9 /resultowner:"Thomas Margand" /resultsfile:"c:\temp\ResultsForDeveloper.trx" /assignfailurestouser:"Bukhosi Bhengu" /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"

Tanya jawab umum

Berikut adalah beberapa pertanyaan umum.

T: Bagaimana cara menjalankan ulang tes?

A: Cukup pilih pengujian apa pun dan pilih Jalankan.

T: Dapatkah saya menjalankan semua pengujian di rangkaian pengujian bersama-sama?

A: Ya, pilih rangkaian pengujian dan pilih Jalankan. Opsi ini menjalankan semua pengujian aktif di rangkaian pengujian. Jika Anda belum menjalankan pengujian, statusnya aktif. Anda dapat mengatur ulang status pengujian untuk aktif jika Anda ingin menjalankannya kembali.

Memilih dan menjalankan semua pengujian aktif dalam rangkaian pengujian

T: Dapatkah saya memilih build untuk menjalankan pengujian?

A: Ya, Pilih Jalankan lalu pilih Jalankan dengan opsi.

Memulai pengujian dengan opsi

Pilih build yang Anda inginkan dari daftar drop-down.

Memilih build untuk menyertakan tautan ke dalam hasil

Setiap bug yang diajukan selama eksekusi akan secara otomatis dikaitkan dengan build yang dipilih. Hasil pengujian akan diterbitkan terhadap build tersebut.

Catatan

Build yang dipilih harus berasal dari proyek tempat pengujian ditentukan.

T: Dapatkah saya memperbaiki langkah-langkah pengujian saat menjalankan pengujian?

A: Ya, jika Anda memiliki Azure Test Plans untuk Azure DevOps. Anda bisa menyisipkan, memindahkan, atau menghapus langkah-langkah. Atau Anda dapat mengedit teks itu sendiri. Gunakan ikon edit di samping nomor langkah pengujian.

Pilih ikon edit untuk mengedit langkah-langkah pengujian

Alat untuk mengedit langkah-langkah pengujian ditampilkan.

Memperbaiki langkah-langkah pengujian saat Anda menjalankan pengujian

T: Bisakah saya menambahkan cuplikan layar ke hasil pengujian saat saya menjalankan pengujian?

A: Jika Anda menggunakan Google Chrome atau Firefox, gunakan runner web untuk mengambil cuplikan layar aplikasi web saat menguji. Untuk browser Microsoft Internet Explorer atau Microsoft Edge, atau untuk pengujian aplikasi desktop, Anda dapat mengunduh dan menggunakan klien desktop Test Runner.

Mengambil cuplikan layar dari aplikasi

Untuk informasi selengkapnya, lihat Mengumpulkan data diagnostik.

T: Dapatkah saya mengambil tindakan saya di aplikasi sebagai log?

A: Jika Anda menggunakan Google Chrome atau Firefox, gunakan runner web mengambil tindakan Anda di aplikasi web sebagai log gambar saat pengujian. Untuk browser Microsoft Internet Explorer atau Microsoft Edge, atau untuk pengujian aplikasi desktop, Anda dapat mengunduh dan menggunakan klien desktop Test Runner.

Menangkap log tindakan gambar dari aplikasi

Untuk informasi selengkapnya, lihat Mengumpulkan data diagnostik.

T: Bisakah saya mengambil rekaman layar aplikasi saya?

J: Jika Anda menggunakan Google Chrome atau Firefox, gunakan runner web untuk mengambil rekaman layar aplikasi web dan desktop Anda saat pengujian. Untuk browser Microsoft Internet Explorer atau Microsoft Edge, atau untuk pengujian aplikasi desktop, unduh dan gunakan klien desktop Test Runner.

Mengambil rekaman layar dari aplikasi

Untuk informasi selengkapnya, lihat Mengumpulkan data diagnostik.

T: Beberapa lampiran untuk uji coba tidak menampilkan opsi pratinjau?

A: Anda hanya dapat mempratinjau file dengan ekstensi txt dan log. Klik opsi pratinjau untuk file ekstensi txt atau log, dan UI lain akan terbuka dengan bidang drop-down yang menunjukkan semua lampiran untuk eksekusi pengujian. Jika Anda memilih file dengan jenis ekstensi selain txt atau log, pesan berikut ditampilkan: "Anda hanya dapat mempratinjau file dengan ekstensi txt dan log, klik di sini untuk mengunduh lampiran"

T: Bagaimana cara mengontrol berapa lama saya menyimpan data pengujian saya?

A: Untuk informasi selengkapnya, lihat Mengatur kebijakan retensi pengujian.

T: Di mana saya dapat mengunduh klien Test Runner?

A: Unduh klien desktop Test Runner.

T: Apa sistem operasi yang didukung untuk klien Test Runner?

A: Klien desktop Test Runner saat ini hanya didukung pada platform Windows x64.

T: Saya mengamati kegagalan uji coba saat menggunakan klien desktop Azure Test Runner.

A: Pastikan Anda menggunakan versi terbaru klien desktop Test Runner. Unduh klien desktop Test Runner

T: Apakah klien desktop Azure Test Runner berfungsi di perangkat dengan Microsoft Entra Conditional Access diaktifkan?

A: Azure Test Runner mungkin tidak berfungsi jika organisasi Anda menggunakan kebijakan akses bersyariah melalui Microsoft Entra. Untuk informasi selengkapnya, lihat Keputusan umum akses bersyarah. Ini adalah batasan yang diketahui dan rekomendasi kami adalah menggunakan runner web dalam skenario ini.

T: Dapatkah saya menolak telemetri untuk klien Test Runner?

J: Tidak. Klien desktop Test Runner tidak mengumpulkan data yang dapat diidentifikasi pengguna. Tidak ada mekanisme penolakan yang disediakan. Untuk informasi selengkapnya, lihat Kebijakan privasi Microsoft.

T: Dapatkah saya menjalankan pengujian offline lalu mengimpor hasilnya?

J: Ya, lihat ekstensi Eksekusi Pengujian Offline.

Langkah selanjutnya