Membuat dan menjalankan eksperimen pertama Anda

  • Artikel

Dalam panduan ini, Anda akan:

  • Buat proyek eksperimen di Pusat Mitra yang menentukan beberapa variabel jarak jauh yang mewakili teks dan warna tombol aplikasi.
  • Buat aplikasi dengan kode yang mengambil nilai variabel jarak jauh, menggunakan data ini untuk mengubah warna latar belakang tombol, dan tampilan log dan data peristiwa konversi kembali ke Pusat Mitra.
  • Buat eksperimen dalam proyek untuk menguji apakah mengubah warna latar belakang tombol aplikasi berhasil meningkatkan jumlah klik tombol.
  • Jalankan aplikasi untuk mengumpulkan data eksperimen.
  • Tinjau hasil eksperimen di Pusat Mitra, pilih variasi yang akan diaktifkan untuk semua pengguna aplikasi, dan selesaikan eksperimen.

Untuk gambaran umum pengujian A/B dengan Pusat Mitra, lihat Menjalankan eksperimen aplikasi dengan pengujian A/B.

Prasyarat

Untuk mengikuti panduan ini, Anda harus memiliki akun Pusat Mitra dan Anda harus mengonfigurasi komputer pengembangan seperti yang dijelaskan dalam Menjalankan eksperimen aplikasi dengan pengujian A/B.

Membuat proyek dengan variabel jarak jauh di Pusat Mitra

  1. Masuk ke Pusat Mitra.
  2. Jika Anda sudah memiliki aplikasi di Pusat Mitra yang ingin Anda gunakan untuk membuat eksperimen, pilih aplikasi tersebut di Pusat Mitra. Jika Anda belum memiliki aplikasi di Pusat Mitra, buat aplikasi baru dengan mencairkan nama lalu pilih aplikasi tersebut di Pusat Mitra.
  3. Di panel navigasi, klik Layanan lalu klik Eksperimen.
  4. Di bagian Proyek dari halaman berikutnya, klik tombol Proyek baru .
  5. Di halaman Proyek baru , masukkan nama Eksperimen Klik Tombol untuk proyek baru Anda.
  6. Perluas bagian Variabel jarak jauh dan klik Tambahkan variabel empat kali. Anda sekarang harus memiliki empat baris variabel kosong.
  • Di baris pertama, ketik tombolTeks untuk nama variabel dan ketik Tombol Abu-abu di kolom Nilai default .
  • Di baris kedua, ketik r untuk nama variabel dan ketik 128 di kolom Nilai default .
  • Di baris ketiga, ketik g untuk nama variabel dan ketik 128 di kolom Nilai default .
  • Di baris keempat, ketik b untuk nama variabel dan ketik 128 di kolom Nilai default .
  1. Klik Simpan dan catat nilai ID proyek yang muncul di bagian integrasi SDK . Di bagian berikutnya, Anda akan memperbarui kode aplikasi dan mereferensikan nilai ini dalam kode Anda.

Kode eksperimen di aplikasi Anda

  1. Di Visual Studio, buat proyek Platform Windows Universal baru menggunakan Visual C#. Beri nama proyek SampleExperiment.

  2. Di Penjelajah Solusi, perluas simpul proyek Anda, klik kanan Referensi, dan klik Tambahkan Referensi.

  3. Di Pengelola Referensi, perluas Universal Windows dan klik Ekstensi.

  4. Dalam daftar SDK, pilih kotak centang di samping Microsoft Engagement Framework dan klik OK.

  5. Di Penjelajah Solusi, klik dua kali MainPage.xaml untuk membuka perancang untuk halaman utama di aplikasi.

  6. Seret Tombol dari Kotak Alat ke halaman.

  7. Klik dua kali tombol pada perancang untuk membuka file kode dan menambahkan penanganan aktivitas untuk peristiwa Klik .

  8. Ganti seluruh konten file kode dengan kode berikut. Tetapkan projectId variabel ke nilai ID proyek yang Anda peroleh dari Pusat Mitra di bagian sebelumnya.

    using System;
using Windows.UI.Xaml;
using Windows.UI.Xaml.Controls;
using Windows.UI.Xaml.Media;
using System.Threading.Tasks;
using Windows.UI;
using Windows.UI.Core;

// Namespace for A/B testing.
using Microsoft.Services.Store.Engagement;

namespace SampleExperiment
{
    public sealed partial class MainPage : Page
    {
        private StoreServicesExperimentVariation variation;
        private StoreServicesCustomEventLogger logger;

        // Assign this variable to the project ID for your experiment from Dev Center.
        private string projectId = "";

        public MainPage()
        {
            this.InitializeComponent();

            // Because this call is not awaited, execution of the current method
            // continues before the call is completed.
#pragma warning disable CS4014
            InitializeExperiment();
#pragma warning restore CS4014
        }

        private async Task InitializeExperiment()
        {
            // Get the current cached variation assignment for the experiment.
            var result = await StoreServicesExperimentVariation.GetCachedVariationAsync(projectId);
            variation = result.ExperimentVariation;

            // Check whether the cached variation assignment needs to be refreshed.
            // If so, then refresh it.
            if (result.ErrorCode != StoreServicesEngagementErrorCode.None || result.ExperimentVariation.IsStale)
            {
                result = await StoreServicesExperimentVariation.GetRefreshedVariationAsync(projectId);

                // If the call succeeds, use the new result. Otherwise, use the cached value.
                if (result.ErrorCode == StoreServicesEngagementErrorCode.None)
                {
                    variation = result.ExperimentVariation;
                }
            }

            // Get remote variables named "buttonText", "r", "g", and "b" from the variation
            // assignment. If no variation assignment is available, the variables default
            // to "Grey button" for the button text and grey RGB value for the button color.
            var buttonText = variation.GetString("buttonText", "Grey Button");
            var r = (byte)variation.GetInt32("r", 128);
            var g = (byte)variation.GetInt32("g", 128);
            var b = (byte)variation.GetInt32("b", 128);

            // Assign button text and color.
            await button.Dispatcher.RunAsync(
                CoreDispatcherPriority.Normal,
                () =>
                {
                    button.Background = new SolidColorBrush(Color.FromArgb(255, r, g, b));
                    button.Content = buttonText;
                    button.Visibility = Visibility.Visible;
                });

            // Log the view event named "userViewedButton" to Dev Center.
            if (logger == null)
            {
                logger = StoreServicesCustomEventLogger.GetDefault();
            }

            logger.LogForVariation(variation, "userViewedButton");
        }

        private void button_Click(object sender, RoutedEventArgs e)
        {
            // Log the conversion event named "userClickedButton" to Dev Center.
            if (logger == null)
            {
                logger = StoreServicesCustomEventLogger.GetDefault();
            }

            logger.LogForVariation(variation, "userClickedButton");
        }
    }
}

  9. Simpan file kode dan buat proyek.

Membuat eksperimen di Pusat Mitra

  1. Kembali ke halaman proyek Eksperimen Klik Tombol di Pusat Mitra.
  2. Di bagian Eksperimen , klik tombol Eksperimen baru .
  3. Di bagian Detail eksperimen , ketik nama Optimalkan Klik Tombol di bidang Nama eksperimen .
  4. Di bagian Tampilkan peristiwa , ketik userViewedButton di bidang Tampilkan nama peristiwa . Perhatikan bahwa nama ini cocok dengan string peristiwa tampilan yang Anda masuki dalam kode yang Anda tambahkan di bagian sebelumnya.
  5. Di bagian Tujuan dan peristiwa konversi , masukkan nilai berikut ini:
  • Di bidang Nama tujuan , ketik Tambah Klik Tombol.
  • Di bidang Nama peristiwa konversi , ketik nama userClickedButton. Perhatikan bahwa nama ini cocok dengan string peristiwa konversi yang Anda catat di kode yang Anda tambahkan di bagian sebelumnya.
  • Di bidang Tujuan , pilih Maksimalkan.
  1. Di bagian Variabel dan variasi jarak jauh , konfirmasikan bahwa kotak centang Distribusikan secara merata dipilih sehingga variasi akan didistribusikan secara merata ke aplikasi Anda.
  2. Tambahkan variabel ke eksperimen Anda:
    1. Klik kontrol drop-down, pilih tombolTeks, dan klik Tambahkan variabel. Tombol Abu-abu string akan muncul secara otomatis di kolom Variasi A (nilai ini berasal dari pengaturan proyek). Di kolom Variasi B , ketik Tombol Biru.
    2. Klik kontrol drop-down lagi, pilih r, dan klik Tambahkan variabel. String 128 akan muncul secara otomatis di kolom Variasi A . Di kolom Variasi B , ketik 1.
    3. Klik kontrol drop-down lagi, pilih g, dan klik Tambahkan variabel. String 128 akan muncul secara otomatis di kolom Variasi A . Di kolom Variasi B , ketik 1.
    4. Klik kontrol drop-down lagi, pilih b, dan klik Tambahkan variabel. String 128 akan muncul secara otomatis di kolom Variasi A . Di kolom Variasi B , ketik 255.
  3. Klik Simpan lalu klik Aktifkan.

Penting

Setelah mengaktifkan eksperimen, Anda tidak dapat lagi memodifikasi parameter eksperimen kecuali Anda mengklik kotak centang Eksperimen yang dapat diedit saat membuat eksperimen. Biasanya, kami sarankan Anda membuat kode eksperimen di aplikasi Anda sebelum mengaktifkan eksperimen Anda.

Menjalankan aplikasi untuk mengumpulkan data eksperimen

  1. Jalankan aplikasi SampleExperiment yang Anda buat sebelumnya.
  2. Konfirmasikan bahwa Anda melihat tombol abu-abu atau biru. Klik tombol lalu tutup aplikasi.
  3. Ulangi langkah-langkah di atas beberapa kali di komputer yang sama untuk mengonfirmasi bahwa aplikasi Anda menampilkan warna tombol yang sama.

Tinjau hasilnya dan selesaikan eksperimen

Tunggu setidaknya beberapa jam setelah menyelesaikan bagian sebelumnya, lalu ikuti langkah-langkah ini untuk meninjau hasil eksperimen Anda dan menyelesaikan eksperimen.

Catatan

Segera setelah Anda mengaktifkan eksperimen, Pusat Mitra segera mulai mengumpulkan data dari aplikasi apa pun yang diinstrumentasikan untuk mencatat data untuk eksperimen Anda. Namun, diperlukan waktu beberapa jam agar data eksperimen muncul di Pusat Mitra.

  1. Di Pusat Mitra, kembali ke halaman Eksperimen untuk aplikasi Anda.

  2. Di bagian Eksperimen aktif , klik Optimalkan Klik Tombol untuk masuk ke halaman untuk eksperimen ini.

  3. Konfirmasikan bahwa hasil yang ditampilkan di bagian Ringkasan hasil dan Detail hasil cocok dengan apa yang ingin Anda lihat. Untuk detail selengkapnya tentang bagian ini, lihat Mengelola eksperimen Anda di Pusat Mitra.

    Catatan

    Pusat Mitra hanya melaporkan peristiwa konversi pertama untuk setiap pengguna dalam periode waktu 24 jam. Jika pengguna memicu beberapa peristiwa konversi di aplikasi Anda dalam periode 24 jam, hanya peristiwa konversi pertama yang dilaporkan. Ini dimaksudkan untuk membantu mencegah satu pengguna dengan banyak peristiwa konversi condong hasil eksperimen untuk sekelompok pengguna sampel.

  4. Sekarang Anda siap untuk mengakhiri eksperimen. Di bagian Ringkasan hasil , di kolom Variasi B , klik Beralih. Ini mengalihkan semua pengguna aplikasi Anda ke tombol biru.

  5. Klik OK untuk mengonfirmasi bahwa Anda ingin mengakhiri eksperimen.

  6. Jalankan aplikasi SampleExperiment yang Anda buat di bagian sebelumnya.

  7. Konfirmasikan bahwa Anda melihat tombol biru. Perhatikan bahwa mungkin perlu waktu hingga dua menit agar aplikasi Anda menerima penetapan variasi yang diperbarui.