Tes A/B di Dynamics 365 Customer Insights - Journeys

Customer Insights - Journeys menggunakan pengujian A/B yang kuat untuk memeriksa perjalanan pelanggan berbasis pemicu Anda, memungkinkan Anda mendapatkan wawasan tentang cara terbaik untuk menjangkau pelanggan Anda.

Menggunakan pengujian A/B, Anda dapat mengukur saluran atau strategi olahpesan konten yang akan menuju keberhasilan yang lebih tinggi. Setiap pengujian membandingkan grup kontrol pengguna (versi A) dengan varian (versi B). Grup kontrol menerima pengalaman default. Grup varian menerima pengalaman atau pesan yang berbeda. Dengan membandingkan hasil grup, Anda dapat menentukan mana yang paling efektif.

Contoh 1: Membuat pengujian A/B untuk perjalanan berbasis pemicu

Bayangkan Anda ingin menguji dua email berbeda pada perjalanan berbasis pemicu yang diaktifkan saat seseorang menyelesaikan pembelian.

1. Buat konten awal Anda di editor email, seperti biasa. Selesaikan konten dan pastikan untuk memeriksa kesalahan untuk memastikan desain dapat ditayangkan.

2. Saat konten Anda siap, buka Customer Insights - Journeys>Perjalanan Keterlibatan> dan pilih perjalanan yang sudah ada atau buat yang baru.

3. Setelah Anda memilih perjalanan, pilih tanda plus (+) untuk menambahkan elemen, lalu lakukan hal berikut:

   • Pilih Uji variasi mana yang berkinerja lebih baik.
   • Pilih channel yang ingin Anda uji. Dalam contoh ini, Anda ingin menguji dua email: pilih satu untuk versi A dan satu untuk versi B, lalu pilih Buat pengujian.

4. Saat Anda memilih ubin pengujian A/B, panel samping terbuka.

   

   Panel berisi parameter berikut:

   • Nama tampilan: Untuk mengidentifikasi pengujian Anda, masukkan nama untuk pengujian tersebut. Nama ini ditampilkan di panel pengujian A/B dan di analitik perjalanan pelanggan saat Anda melihat pengujian mana yang sedang berjalan.
   • Versi: Pilih konten untuk saluran yang Anda siapkan pada langkah pertama (dalam hal ini, dua email yang ingin Anda uji). Anda dapat melakukannya melalui daftar drop-down dengan memilih ubin turunan dalam pembuat perjalanan, atau dengan membuat pilihan pada panel sisi.
   • audiens awal: Ini adalah grup audiens yang ingin Anda tahan dari tes A/B sebelum Anda mendapatkan hasilnya. Opsi ini hanya tersedia untuk perjalanan berbasis segmen karena Anda sudah memiliki jumlah total pelanggan untuk membantu Anda memutuskan berapa banyak yang ingin Anda tahan. Perjalanan berbasis pemicu tidak memiliki opsi ini saat pelanggan masuk saat mereka menyelesaikan tindakan. Dengan demikian, jumlah total pelanggan yang memasuki perjalanan tidak diketahui.
   • Distribusi eksperimen: Pilih distribusi audiens yang Anda inginkan. Panel geser akan secara otomatis berada di 50-50, namun Anda dapat mengatur panel geser ke distribusi yang diinginkan. Versi minimum yang dapat diterima adalah 10 persen, dan maksimum 90 persen. Ingatlah bahwa secara tradisional, versi A adalah grup kontrol Anda dan versi B adalah versi varian Anda.
   • Metrik kemenangan: Anda dapat menetapkan kondisi kemenangan untuk pengujian Anda dengan memilih metrik kemenangan: Versi dengan peristiwa sasaran perjalanan terbanyak, klik terbanyak, atau pembukaan terbanyak. Untuk kasus ini, Anda ingin meningkatkan tarif terbuka sehingga Anda akan memilih opsi tarif terbuka.
   • Tes ini berakhir: Anda juga dapat memilih antara mengakhiri tes secara otomatis atau pada tanggal dan waktu tertentu. Membiarkan tes menentukan pemenang secara otomatis ketika hasilnya mencapai signifikansi statistik. Ini berarti setelah pemenang yang jelas ditentukan, sistem akan mengirimkan versi pemenang ke audiens Anda yang lain. Versi yang kalah dibuang. Jika Anda memilih signifikansi statistik sebagai opsi untuk mengakhiri pengujian A/B tetapi tidak ada pemenang yang jelas setelah 30 hari, sistem secara otomatis mengirimkan versi default.
   • Versi default: Terakhir, pilih versi default jika pengujian tidak berhasil berakhir. Jika pemenang belum ditentukan oleh tenggat waktu yang ditentukan melalui tanggal dan waktu, versi default akan dikirim secara otomatis.

5. Pengujian A/B akan terlihat seperti ini pada saat Anda mengonfigurasi semuanya dan Anda siap untuk menerbitkan perjalanan:

   

Contoh 2: Membuat pengujian A/B untuk perjalanan berbasis segmen

Bayangkan Anda ingin membuat perjalanan untuk menyambut anggota baru yang telah bergabung dengan program loyalitas Anda bulan ini. Anda ingin meningkatkan rasio terbuka Anda dengan menguji dua baris subjek yang berbeda.

Anda akan menyelesaikan langkah satu hingga tiga yang diuraikan dalam contoh pertama, tetapi Anda akan melihat bahwa panel samping terlihat berbeda. Ini karena dengan perjalanan berbasis segmen, Anda memiliki jumlah total pelanggan untuk memulai; ini memungkinkan Anda membuat dua jenis pengujian A/B.

1. Pengujian A/B tanpa grup kontrol: Pengujian A/B ini berperilaku mirip dengan perjalanan berbasis pemicu di mana pelanggan menyalurkan melalui pengujian saat mereka datang hingga pemenang ditentukan.

   

2. Pengujian A/B dengan grup kontrol: Ini memungkinkan Anda untuk memberi tahu sistem dengan tepat berapa banyak pelanggan yang ingin Anda uji. Misalnya, segmen Anda memiliki 100 anggota loyalitas maka Anda ingin terlebih dahulu menguji 20 persen atau 20 anggota di mana setiap versi akan menerima 10 anggota masing-masing. Setelah tes A/B, 80 anggota yang tersisa akan menerima versi pemenang. Anda selalu dapat menyesuaikan audiens awal dan distribusi sesuai keinginan Anda.

   

Untuk contoh ini, kita akan menggunakan tes A/B dengan grup kontrol. Semua pengaturan lainnya sama seperti pada contoh satu.

Memantau siklus hidup pengujian A/B

Setelah menerbitkan perjalanan, Anda dapat membukanya untuk melacak siklus hidup pengujian Anda.

• Draf: Pengujian ini belum berjalan, sehingga Anda masih dapat mengedit pengaturan.
• Sedang berlangsung: Pengujian ini saat ini sedang dijalankan. Pengaturan dikunci dan Anda tidak dapat membuat perubahan berarti.
• Dihentikan: Tes tesis dihentikan dan pemasar dapat memilih versi mana yang akan dikirim.
• Berakhir: Tes ini diselesaikan dengan menemukan pemenang yang signifikan secara statistik atau dengan waktu habis saat dijadwalkan untuk berakhir pada tanggal dan waktu yang ditentukan. Pengujian yang berakhir tidak dapat digunakan kembali.

Memahami hasil Anda

Ada tiga kemungkinan hasil pengujian A/B:

• Tes diakhiri dengan pemenang yang jelas: Tes menyimpulkan bahwa satu versi berkinerja lebih baik daripada yang lain. Versi yang unggul memiliki lencana "pemenang" dan didistribusikan ke pelanggan baru yang disalurkan melalui corong dalam perjalanan.
• Tes tidak meyakinkan: Tes menyimpulkan bahwa penerima kemungkinan besar akan terlibat dengan versi A seperti halnya dengan versi B. Dalam hal ini, versi default dikirim ke pelanggan baru yang menyalurkan melalui perjalanan.
• Tes dihentikan: Ini berarti Anda atau salah satu rekan kerja Anda menghentikan tes sebelum tes dapat diselesaikan. Dalam kasus ini, versi yang ditentukan oleh Anda atau rekan kerja akan dikirim ke pelanggan baru yang disalurkan melalui corong dalam perjalanan.

Tanya Jawab Umum

1. Bisakah saya melakukan tes A/B dengan lebih dari dua versi?
   • Tidak saat ini.
2. Mengapa saya tidak melihat opsi grup kontrol untuk perjalanan berbasis segmen?
   • Jika Anda menempatkan cabang atribut atau petak peta apa pun yang akan mengubah jumlah total segmen, opsi grup kontrol akan hilang karena sistem tidak akan mengetahui berapa banyak pelanggan yang harus ditahan hingga pengujian selesai.
3. Mengapa tes saya berakhir secara tidak terduga?
   • Jika Anda memilih untuk mengakhiri pengujian dengan signifikansi statistik, sistem akan mencoba mendapatkan pemenang dalam 30 hari pertama sejak Anda menerbitkan perjalanan. Jika tidak ada versi yang dinyatakan sebagai pemenang, pengujian berakhir dan versi default dikirim ke audiens yang tersisa.