Pruebas A/B en Dynamics 365 Customer Insights - Journeys

Customer Insights - Journeys usa potentes pruebas A/B para examinar los recorridos de sus clientes basados en desencadenadores, lo que le permite obtener información detallada sobre la mejor manera de llegar a sus clientes.

Con las pruebas A/B, puede medir qué canal o estrategia de mensajería de contenido conduce a un mayor éxito. Cada prueba compara un grupo de control de usuarios (versión A) con una variante (versión B). El grupo de control recibe una experiencia predeterminada. El grupo de variantes recibe una experiencia o mensaje diferente. Al comparar los resultados de los grupos, puede determinar cuál es el más eficaz.

Ejemplo 1: creación de una prueba A/B para viajes basados ​​en disparadores

Imaginemos que desea probar dos correos electrónicos diferentes en un viaje basado en activadores que se activa cuando alguien completa una compra.

1. Cree su contenido inicial en el editor de correo electrónico como de costumbre. Perfeccione el contenido y asegúrese de buscar errores para garantizar que se puede poner en marcha.

2. Cuando su contenido esté listo, vaya a Customer Insights - Journeys>Interacción>Recorridos y seleccione un recorrido existente o cree uno nuevo.

3. Una vez que haya seleccionado un recorrido, seleccione el signo más (+) para agregar un elemento y, a continuación, haga lo siguiente:

   • Seleccione Probar qué variación se realiza mejor.
   • Seleccione los canales que desea probar. En este ejemplo, desea probar dos correos electrónicos: seleccione uno para la versión A y otro para la versión B, luego seleccione Crear prueba.

4. Cuando selecciona el mosaico de prueba A/B, se abre el panel lateral.

   

   El panel contiene los siguientes parámetros:

   • Nombre: para identificar su prueba, asígnele un nombre. Este nombre se muestra en el panel de prueba A/B y en el análisis de recorrido del cliente cuando observa qué pruebas se están ejecutando.
   • Versiones: elija el contenido para el canal que preparó en el paso uno (en este caso, los dos correos electrónicos que desea probar). Puede hacer esto a través de un menú desplegable seleccionando las ventanas secundarias en el generador de recorridos o haciendo una selección en el panel lateral.
   • Inicial audiencia: Este es el grupo audiencia al que le gustaría evitar la prueba A/B antes de obtener los resultados. Esta opción solo está disponible para viajes basados ​​en segmentos, ya que ya tiene un número total de clientes para ayudarlo a decidir cuántos desea retener. Los recorridos basados ​​en disparadores no tienen esta opción ya que los clientes ingresan cuando completan una acción. Por lo tanto, se desconoce el número total de clientes que ingresan al viaje.
   • Distribución de experimento: Elija la distribución de audiencia que le gustaría. El control deslizante está automáticamente en 50-50, pero puede configurarlo a la distribución que desee. El mínimo que puede recibir una versión es el 10 % y el máximo es el 90 %. Recuerde que, tradicionalmente, la versión A es su grupo de control y la versión B es su variante.
   • Métrica ganadora: puede establecer la condición ganadora para su prueba eligiendo una métrica ganadora: la versión con la mayor cantidad de eventos de objetivos de recorrido alcanzados, la mayor cantidad de clics o la mayor cantidad de aperturas. Para este caso, desea aumentar sus tasas de apertura, por lo que elegirá la opción de tasa de apertura.
   • Esta prueba finaliza: también puede elegir entre finalizar la prueba automáticamente o en una fecha y hora determinadas. Permitir que la prueba determine un ganador automáticamente cuando los resultados alcanzan significación estadística. Esto significa que, una vez que se determina un claro ganador con el porcentaje de confianza del 80-95, el sistema envía la versión ganadora al resto de su audiencia. La versión perdedora se descarta. Si elige la significación estadística como una opción para finalizar la prueba A/B pero no hay un ganador claro después de 30 días, el sistema envía automáticamente la versión predeterminada.
   • Versión predeterminada: por último, elija una versión predeterminada, en caso de que la prueba no finalice correctamente. En los casos en que no se haya determinado un ganador antes de la fecha límite especificada a través de la fecha y la hora, se envía automáticamente la versión predeterminada.

5. La prueba A/B debería verse así cuando configure todo y esté listo para publicar el viaje:

   

Ejemplo 2: creación de una prueba A/B para viajes basados ​​en segmento

Imaginemos que desea crear un viaje para dar la bienvenida a los nuevos miembros que se han unido a su programa de fidelización este mes. Desea aumentar su tasa de apertura probando dos líneas de asunto diferentes.

Completará los pasos del uno al tres descritos en el primer ejemplo, pero notará que el panel lateral se ve diferente. Esto se debe a que, con los recorridos basados ​​en segmentos, tiene un número total de clientes para empezar; esto le permite crear dos tipos de pruebas A/B.

1. Prueba A/B sin grupo de control : Esta prueba A/B se comporta de manera similar a los viajes basados ​​en activadores en los que los clientes se canalizan a través de la prueba a medida que llegan hasta que se determina un ganador.

   

2. Prueba A/B con un grupo de control : Esto le permite decirle al sistema exactamente en cuántos clientes desea realizar la prueba. Por ejemplo, su segmento tiene 100 miembros leales, entonces desea probar primero en el 20 por ciento o 20 miembros donde cada versión recibirá 10 miembros respectivamente. Después de la prueba A/B, los 80 miembros restantes recibirán la versión ganadora. Siempre puedes ajustar el audiencia inicial y la distribución a tu gusto.

   

Para este ejemplo, vamos con la prueba A/B con un grupo de control. Todas las demás configuraciones son las mismas que en el ejemplo uno.

Supervisar el ciclo de vida de las pruebas de A/B

Una vez que haya publicado su viaje, puede abrirlo para realizar un seguimiento del ciclo de vida de sus pruebas.

• Borrador: estas pruebas aún no se han ejecutado, por lo que aún puede editar la configuración.
• En curso: estas pruebas se están ejecutando actualmente. La configuración está bloqueada y no puede realizar cambios significativos.
• Detenido: estas pruebas se detienen y el comercializador puede elegir qué versión enviar.
• Terminada: se trata de pruebas que se completaron al encontrar un ganador estadísticamente significativo o al agotarse el tiempo programado para finalizar en una fecha y hora establecidas. Las pruebas finalizadas no se pueden reutilizar.

Comprender sus resultados

La prueba A/B tiene tres posibles resultados:

• La prueba concluyó con un claro ganador: la prueba concluyó que una versión funciona mejor que la otra. La versión ganadora tiene una insignia de "ganador" y se distribuye a todos los clientes nuevos que atraviesan el recorrido.
• La prueba no fue concluyente: la prueba concluyó que los destinatarios tienen la misma probabilidad de interactuar con la versión A que con la versión B. En este caso, la versión predeterminada se envía a los nuevos clientes que atraviesan el recorrido.
• La prueba se detuvo: esto significa que usted o uno de sus compañeros de trabajo detuvo la prueba antes de que pudiera concluir. En este caso, la versión especificada por usted o su compañero de trabajo se envía a los nuevos clientes que atraviesan el recorrido.

Preguntas frecuentes

1. ¿Por qué la lectura de mi prueba A/B no es concluyente cuando una versión claramente parece funcionar mejor que otra?
   • Para un conjunto grande de audiencia con al menos 1000 clientes, el nivel de confianza para la variante ganadora debe ser de al menos el 95 por ciento. En un conjunto audiencia más pequeño, el nivel de confianza puede ser tan bajo como 80 por ciento. Si está de acuerdo con un nivel de confianza más bajo o está probando en un audiencia inferior a 1000, siempre tiene la opción de finalizar la prueba antes y enviar la versión con la que está más satisfecho.
2. ¿Puedo tener una prueba A/B con más de dos versiones?
   • No en este momento.
3. ¿Por qué no veo la opción de grupo de control para viajes basados ​​en segmentos?
   • Si coloca una rama de atributo o cualquier mosaico que cambiará el número total del segmento, la opción de grupo de control desaparece porque el sistema no sabrá cuántos clientes retener hasta que se complete la prueba.
4. ¿Por qué mi prueba finaliza inesperadamente?
   • Si elige finalizar la prueba con significancia estadística, el sistema intenta obtener un ganador dentro de los primeros 30 días desde el momento en que publica el viaje. Si ninguna versión es declarada ganadora, la prueba finaliza y la versión predeterminada se envía a los audiencia restantes.