Menjalankan eksperimen aplikasi dengan pengujian A/B
Anda dapat menggunakan Pusat Mitra untuk menentukan variabel jarak jauh yang dapat Anda ambil pada waktu proses dari aplikasi Platform Windows Universal (UWP), dan Anda dapat menguji variasi nilai-nilai ini dengan pengguna Anda untuk mengidentifikasi nilai yang paling efektif untuk mendorong perilaku pengguna yang diinginkan. Aplikasi Anda dapat menggunakan variabel jarak jauh untuk mengonfigurasi pengalaman aplikasi seperti pembelian dalam aplikasi, alur pendaftaran, keterangan, dan penempatan iklan.
Tujuan pengujian A/B Anda adalah untuk mengidentifikasi variasi nilai variabel jarak jauh Anda yang kemungkinan akan membuat Anda meningkatkan tingkat konversi (misalnya, lebih banyak pembelian dalam aplikasi) dengan memberikan pengalaman aplikasi yang lebih menarik. Setelah mengidentifikasi variasi yang berhasil, Anda dapat segera mengakhiri eksperimen dan mengaktifkan variasi tersebut untuk seluruh audiens pengguna Anda dari Pusat Mitra, tanpa harus menerbitkan ulang aplikasi Anda.
Membuat dan menjalankan pengujian A/B
Untuk membuat dan menjalankan pengujian A/B, ikuti langkah-langkah berikut:
- Buat proyek dan tentukan variabel jarak jauh di Pusat Mitra. Proyek ini berisi variabel dan nilai variabel default untuk eksperimen Anda.
- Kode aplikasi Anda untuk eksperimen. Gunakan API di Microsoft Store Services SDK untuk mendapatkan nilai variabel jarak jauh dari proyek yang Anda buat di Pusat Mitra, gunakan data ini untuk memodifikasi perilaku fitur yang Anda uji, dan mengirim peristiwa tampilan dan peristiwa konversi ke Pusat Mitra.
- Tentukan eksperimen Anda di Pusat Mitra . Buat eksperimen dalam proyek Anda yang menentukan tujuan dan variasi unik untuk pengujian A/B Anda.
- Jalankan dan kelola eksperimen Anda di dasbor Pusat Mitra. Aktifkan eksperimen Anda, dan gunakan Pusat Mitra untuk meninjau hasil eksperimen dan menyelesaikan eksperimen.
Untuk panduan yang menunjukkan proses end-to-end, lihat Membuat dan menjalankan eksperimen pertama Anda dengan pengujian A/B.
Persyaratan
Pengujian A/B di Pusat Mitra hanya didukung untuk aplikasi UWP.
Sebelum dapat menjalankan eksperimen dengan pengujian A/B, Anda harus menyiapkan komputer pengembangan Anda:
- Ikuti instruksi di sini untuk menyiapkan komputer pengembangan Anda untuk pengembangan UWP.
- Instal Microsoft Store Services SDK. Selain API untuk eksperimen, SDK ini juga menyediakan API untuk fitur lain seperti menampilkan iklan dan mengarahkan pelanggan Anda ke Feedback Hub untuk mengumpulkan umpan balik di aplikasi Anda.
Praktik terbaik
Untuk hasil yang paling berguna, kami sarankan Anda mengikuti rekomendasi ini saat menjalankan eksperimen dengan pengujian A/B:
- Pertimbangkan untuk menjalankan eksperimen hanya dengan dua variasi dengan distribusi terpisah 50/50 acak untuk penetapan variasi.
- Jalankan eksperimen setidaknya selama 2 – 4 minggu untuk mengumpulkan data yang cukup yang signifikan secara statistik dan dapat ditindaklanjuti.
Istilah terkait
| Term | Definisi |
|---|---|
| Project | Kumpulan variabel jarak jauh dengan nilai default yang dapat diakses aplikasi Anda dengan menggunakan Microsoft Store Services SDK. Proyek juga dapat secara opsional berisi satu atau beberapa eksperimen yang berbagi variabel jarak jauh yang sama. |
| Percobaan | Sekumpulan parameter yang menentukan pengujian A/B yang akan diterima pengguna Anda. Eksperimen didefinisikan dalam cakupan proyek, dan setiap eksperimen terdiri dari:
|
| ID Proyek | ID unik yang mengaitkan aplikasi Anda dengan proyek di akun Pusat Mitra Anda. Anda harus menggunakan ID ini untuk terhubung dengan layanan pengujian A/B di kode aplikasi Anda untuk menerima data variasi dan tampilan laporan dan peristiwa konversi ke Pusat Mitra. Untuk informasi selengkapnya, lihat Kode aplikasi Anda untuk eksperimen. Setiap proyek, dan semua eksperimen dalam proyek, dikaitkan dengan tepat satu ID proyek. Anda dapat menggunakan ID proyek untuk membantu membedakan antara serangkaian eksperimen yang berbeda. Misalnya, Anda mungkin memiliki satu set eksperimen yang Anda rilis ke penguji di organisasi Anda dan serangkaian eksperimen lain yang Anda rilis hanya untuk pengguna eksternal aplikasi Anda. Aplikasi dapat mereferensikan beberapa ID proyek jika menerapkan beberapa eksperimen. |
| Variasi | Kumpulan satu atau beberapa variabel yang Anda uji dalam eksperimen Anda. Setiap eksperimen harus memiliki setidaknya satu variabel dan dua variasi (termasuk kontrol). Eksperimen dapat memiliki hingga lima variasi. |
| Variabel | Nilai yang digunakan aplikasi Anda untuk menginisialisasi properti atau beberapa nilai lain di aplikasi Anda. Selama eksperimen, nilai variabel berubah dari variasi ke variasi. Setelah Anda mengakhiri eksperimen, variabel diberi nilai dari variasi yang Anda pilih rilis untuk semua pengguna aplikasi Anda. Variabel dapat memiliki jenis berikut: string, Boolean, ganda, dan bilangan bulat. |
| Menampilkan peristiwa | String arbitrer yang mewakili aktivitas saat pengguna mulai melihat variasi yang merupakan bagian dari eksperimen Anda. Biasanya, ini adalah nama peristiwa dalam kode Anda. Kode aplikasi Anda akan mengirim string peristiwa tampilan ini ke Pusat Mitra saat pengguna mulai melihat variasi. Untuk informasi selengkapnya, lihat Kode aplikasi Anda untuk eksperimen. |
| Peristiwa konversi | String arbitrer yang mewakili tujuan eksperimen. Biasanya, ini adalah nama peristiwa dalam kode Anda. Kode aplikasi Anda akan mengirim string peristiwa konversi ini ke Pusat Mitra saat pengguna mencapai tujuan. Untuk informasi selengkapnya, lihat Kode aplikasi Anda untuk eksperimen. |