Eseguire esperimenti per le app con test A/B

  • Articolo

È possibile usare il Centro per i partner per definire le variabili remote da recuperare in fase di esecuzione dalle app Universal Windows Platform (UWP); inoltre, si possono testare le variazioni di questi valori con gli utenti per identificare quelli più efficaci per promuovere il comportamento degli utenti desiderato. L'app può usare variabili remote per configurare le esperienze, come gli acquisti in-app, il flusso di registrazione, le didascalie e il posizionamento degli annunci.

Il test A/B ha lo scopo di di identificare una variazione dei valori delle variabili remote che probabilmente farà guadagnare migliori tassi di conversione (ad esempio, più acquisti in-app) offrendo un'esperienza dell'app più coinvolgente. Una volta identificata una variazione efficace, è possibile terminare immediatamente l'esperimento e abilitare la variazione per l'intero pubblico degli utenti dal Centro per i partner, senza dover ripubblicare l'app.

Creare ed eseguire un test A/B

Per creare ed eseguire un test A/B, seguire questa procedura:

  1. Creare un progetto e definire le variabili remote nel Centro per i partner. Questo progetto contiene le variabili e i loro valori predefiniti per gli esperimenti.
  2. Scrivere il codice dell'app per la sperimentazione. Usare un'API in Microsoft Store Services SDK per ottenere valori di variabili remote dal progetto creato nel Centro per i partner, usare questi dati per modificare il comportamento della funzionalità oggetto di test e inviare eventi di visualizzazione e conversione al Centro per i partner.
  3. Definire l'esperimento nel Centro per i partner . Creare un esperimento nel progetto che definisca le finalità e le variazioni univoche per il test A/B.
  4. Eseguire e gestire l'esperimento nel dashboard del Centro per i partner. Attivare l'esperimento e usare il Centro per i partner per esaminare i risultati dell'esperimento e completarlo.

Per una procedura dettagliata che illustra il processo end-to-end, vedere Creare ed eseguire il primo esperimento con test A/B.

Requisiti

Il test A/B nel Centro per i partner è supportato solo per le app UWP.

Prima di poter eseguire esperimenti con test A/B, è necessario configurare il computer di sviluppo:

  • Seguire le istruzioni riportate qui per configurare il computer per lo sviluppo della piattaforma UWP.
  • Installare Microsoft Store Services SDK. Oltre all'API per gli esperimenti, questo SDK fornisce anche API per altre funzionalità, quali la visualizzazione degli annunci e l'indirizzamento dei clienti all'Hub di Feedback per raccogliere commenti sull'app.

Procedure consigliate

Per i risultati più utili, si consiglia di seguire queste raccomandazioni durante l'esecuzione di esperimenti con test A/B:

  • Prendere in considerazione l'esecuzione di esperimenti con solo due variazioni e una distribuzione suddivisa 50/50 casuale per le assegnazioni delle variazioni.
  • Eseguire esperimenti per almeno 2 - 4 settimane, in modo da raccogliere una quantità di dati sufficiente per essere statisticamente significativa e utile.

Termine Definizione
Project Una raccolta di variabili remote con valori predefiniti a cui l'app può accedere usando Microsoft Store Services SDK. Un progetto può anche contenere uno o più esperimenti che condividono le stesse variabili remote.
Esperimento Un set di parametri che definiscono un test A/B che verrà ricevuto dagli utenti. Gli esperimenti sono definiti nell'ambito di un progetto; ogni esperimento è costituito da:

  • Un evento di visualizzazione che indica il momento in cui l'utente inizia a visualizzare una variazione facente parte dell'esperimento.
  • Uno o più obiettivi con eventi di conversione che indicano il momento in cui è stato raggiunto un obiettivo.
  • Una o più variazioni che definiscono i dati delle variabili usate dall'esperimento. La variazione di controllo utilizza i valori predefiniti della variabile definiti nel progetto per l'esperimento. Oltre alla variazione di controllo, gli esperimenti hanno in genere almeno un'altra variazione con valori di variabile univoci per l'esperimento.
ID progetto Un ID univoco che associa l'app a un progetto nell'account del Centro per i partner. È necessario usare questo ID per connettersi al servizio di test A/B nel codice dell'app e ricevere i dati sulle variazioni e segnalare gli eventi di visualizzazione e di conversione al Centro per i partner. Per altre informazioni, vedere Scrivere il codice dell'app per la sperimentazione.

Ogni progetto (e tutti gli esperimenti al suo interno) sono associati esattamente a un ID progetto. È possibile usare gli ID progetto per distinguere i diversi set di esperimenti. Ad esempio, ci potrebbe essere un set di esperimenti che viene messo a disposizione dei tester nell'organizzazione e un altro set di esperimenti disponibile solo agli utenti esterni dell'app. Se implementa più esperimenti, un'app può fare riferimento a più ID progetto.
Variazione Una raccolta di una o più variabili che si stanno testando nell'esperimento. Ogni esperimento deve avere almeno una variabile e due variazioni (inclusa quella di controllo). Un esperimento può avere fino a cinque variazioni.
Variabile Un valore usato dall'app per inizializzare una proprietà o un altro valore nell'app. Durante un esperimento, il valore della variabile cambia da una variazione all'altra. Dopo aver terminato un esperimento, alla variabile viene assegnato il valore della variazione scelta per essere messa a disposizione di tutti gli utenti dell'app. Le variabili possono essere dei seguenti tipi: stringa, booleano, numero doppio e intero.
Evento di visualizzazione Una stringa arbitraria che rappresenta un'attività che si verifica quando l'utente inizia a visualizzare una variazione facente parte dell'esperimento. In genere si tratta del nome di un evento nel codice. Il codice dell'app invia la stringa dell'evento di visualizzazione al Centro per i partner quando l'utente inizia a visualizzare una variazione. Per altre informazioni, vedere Scrivere il codice dell'app per la sperimentazione.
Evento di conversione Una stringa arbitraria che rappresenta un obiettivo per un obiettivo di un esperimento. In genere si tratta del nome di un evento nel codice. Il codice dell'app invia la stringa dell'evento di conversione al Centro per i partner quando l'utente raggiunge un obiettivo. Per altre informazioni, vedere Scrivere il codice dell'app per la sperimentazione.