A/B-Tests in Dynamics 365 Customer Insights - Journeys

Customer Insights - Journeys nutzt leistungsstarke A/B-Tests, um Ihre Trigger-basierten Kundenkontaktverläufe zu untersuchen und lässt Sie so Erkenntnisse darüber gewinnen, wie Sie Ihre Kunden am besten erreichen.

Mit A/B-Tests können Sie messen, welcher Kanal oder welche Content-Messaging-Strategie zu einem höheren Erfolg führt. Jeder Test vergleicht eine Kontrollgruppe von Benutzern (Version A) mit einer Variante (Version B). Die Kontrollgruppe erhält eine Standarderfahrung. Die Variantengruppe erhält eine andere Erfahrung oder Nachricht. Durch Vergleichen der Ergebnisse der Gruppen können Sie feststellen, welche am effektivsten ist.

Beispiel 1: Erstellen eines A/B-Tests für triggerbasierte Kontaktverläufe

Stellen Sie sich vor, Sie möchten zwei verschiedene E-Mails auf einem triggerbasierten Kontaktverlauf testen, der aktiviert wird, wenn jemand einen Kauf abschließt.

1. Erstellen Sie Ihren ersten Inhalt wie gewöhnlich im E-Mail-Editor. Verbessern Sie den Inhalt und stellen sicher, dass er keine Fehler hat, bevor sie ihn liveschalten.

2. Wenn Ihr Inhalt fertig ist, gehen Sie zu Customer Insights - Journeys>Interaktion>Kontaktverläufe und wählen Sie einen vorhandenen Kontaktverlauf aus oder erstellen Sie einen neuen.

3. Nachdem Sie einen Verlauf ausgewählt haben, wählen Sie das Pluszeichen (+) aus, um ein Element hinzuzufügen, und gehen Sie dann wie folgt vor:

   • Wählen Sie Testen, welche Variation besser abschneidet.
   • Wählen Sie die Kanäle aus, die Sie testen möchten. In diesem Beispiel möchten Sie zwei E-Mails testen: Wählen Sie eine für Version A und eine für Version B aus und wählen Sie dann Test erstellen aus.

4. Wenn Sie die Kachel „A/B-Test“ auswählen, wird der Seitenbereich geöffnet.

   

   Der Bereich enthält die folgenden Parameter:

   • Anzeigename: Geben Sie einen Namen ein, um Ihren Test zu identifizieren. Dieser Name wird im A/B-Testbereich und in der Kontaktverlaufsanalyse angezeigt, wenn Sie sehen, welche Tests ausgeführt werden.
   • Versionen: Wählen Sie den Inhalt für den Kanal aus, den Sie in Schritt 1 vorbereitet haben (in diesem Fall die beiden E-Mails, die Sie testen möchten). Sie können dies über einr Dropdown-Liste tun, indem Sie entweder die untergeordneten Kacheln im Verlaufs-Builder auswählen oder eine Auswahl im Seitenbereich treffen.
   • Anfängliche Zielgruppe: Dies ist die Zielgruppe, die Sie nicht in den A/B-Test einbeziehen möchten, bevor Sie die Ergebnisse erhalten. Diese Option ist nur für segmentbasierte Kontaktverläufe verfügbar, da Sie bereits über eine Gesamtzahl an Kunden verfügen, die Ihnen bei der Entscheidung hilft, wie viele Sie zurückhalten möchten. Triggerbasierte Kontaktverläufe verfügen nicht über diese Option, da Kunden eintreten, wenn sie eine Aktion abschließen. Daher ist die Gesamtzahl der Kunden, die an dem Kontaktverlauf teilnehmen, unbekannt.
   • Experitmentverteilung: Wählen Sie die gewünschte Zielgruppenverteilung aus. Der Schieberegler ist automatisch auf 50-50 eingestellt, aber Sie können den Schieberegler auf die gewünschte Verteilung einstellen. Das Minimum, das eine Version erhalten kann, beträgt 10 Prozent und das Maximum 90 Prozent. Denken Sie daran, dass Version A traditionell Ihre Kontrollgruppe und Version B Ihre Variante ist.
   • Gewinnmetrik: Sie können die Gewinnbedingung für Ihren Test festlegen, indem Sie eine Gewinnmetrik auswählen: Die Version mit den meisten getroffenen Verlaufszielereignissen, den meisten Klicks oder den meisten Eröffnungen. In diesem Fall möchten Sie Ihre Öffnungsraten erhöhen, also wählen Sie die Option „Öffnungsrate“.
   • Dieser Test endet: Sie können auch wählen, ob der Test automatisch oder zu einem bestimmten Datum und einer bestimmten Uhrzeit beendet werden soll. Der Test ermittelt automatisch einen Gewinner, wenn die Ergebnisse statistische Signifikanz erreichen. Dies bedeutet, dass das System die Gewinnerversion an den Rest Ihrer Zielgruppe sendet, sobald mit einer Wahrscheinlichkeit von 80 bis 95 % ein eindeutiger Gewinner bestimmt wird. Die verlierende Version wird verworfen. Wenn Sie zum Beenden des A/B-Tests die Option „Statistische Signifikanz“ wählen, es aber nach 30 Tagen keinen klaren Gewinner gibt, sendet das System automatisch die Standardversion.
   • Standardversion: Wählen Sie zum Schluss eine Standardversion, falls der Test nicht erfolgreich beendet werden sollte. In Fällen, in denen innerhalb der durch Datum und Uhrzeit festgelegten Frist kein Gewinner ermittelt wurde, wird automatisch die Standardversion gesendet.

5. Der A/B-Test sollte so aussehen, wenn Sie alles konfiguriert haben und bereit sind, den Kontaktverlauf zu veröffentlichen:

   

Beispiel 2: Erstellen eines A/B-Tests für segmentbasierte Kontaktverläufe

Stellen Sie sich vor, Sie möchten einen Kontaktverlauf erstellen, um neue Mitglieder willkommen zu heißen, die sich diesen Monat zu Ihrem Treueprogramm angemeldet haben. Sie möchten Ihre Öffnungsrate erhöhen, indem Sie zwei verschiedene Betreffzeilen testen.

Sie führen die im ersten Beispiel beschriebenen Schritte 1 bis 3 aus, werden jedoch feststellen, dass der Seitenbereich anders aussieht. Dies liegt daran, dass Sie bei segmentbasierten Kontaktverläufen zunächst eine Gesamtzahl an Kunden haben. Dadurch können Sie zwei Arten von A/B-Tests erstellen.

1. A/B-Test ohne Kontrollgruppe: Dieser A/B-Test verhält sich ähnlich wie triggerbasierte Kontaktverläufe, bei denen Kunden den Test durchlaufen, bis ein Gewinner ermittelt wird.

   

2. A/B-Test mit Kontrollgruppe: Damit können Sie dem System genau mitteilen, an wie vielen Kunden Sie testen möchten. Wenn Ihr Segment beispielsweise 100 Treuemitglieder hat, testen Sie zunächst mit 20 % oder 20 Mitgliedern, wobei jede Version jeweils 10 Mitglieder erhält. Nach dem A/B-Test erhalten die verbleibenden 80 Mitglieder die Gewinnerversion. Sie können die anfängliche Zielgruppe und die Verteilung jederzeit nach Ihren Wünschen anpassen.

   

In diesem Beispiel führen wir einen A/B-Test mit einer Kontrollgruppe durch. Alle anderen Einstellungen sind die gleichen wie im ersten Beispiel.

Überwachung des Lebenszyklus Ihrer A/B-Tests

Nachdem Sie Ihren Kontaktverlauf veröffentlicht haben, können Sie sie öffnen, um den Lebenszyklus Ihrer Tests zu verfolgen.

• Entwurf: Diese Tests wurden noch nicht ausgeführt, sodass Sie die Einstellungen weiterhin bearbeiten können.
• In Bearbeitung: Dies sind Tests, die derzeit durchgeführt werden. Die Einstellungen sind gesperrt und Sie können keine wesentlichen Änderungen vornehmen.
• Gestoppt: Diese Tests werden gestoppt und der Marketer kann wählen, welche Version er versenden möchte.
• Beendet: Diese Tests wurden abgeschlossen, indem ein statistisch signifikanter Gewinner ermittelt wurde oder das Zeitlimit für das Ende eines festgelegten Datums und einer festgelegten Uhrzeit festgelegt wurde. Beendete Tests können nicht wiederverwendet werden.

Verstehen der Ergebnisse

Es gibt drei mögliche Ergebnisse für A/B-Testergebnisse:

• Test mit klarem Sieger abgeschlossen: Der Test ergab, dass eine Version besser abschneidet als die andere. Die Gewinnerversion hat ein „Gewinner“-Abzeichen und wird an alle neuen Kunden verteilt, die den Verlauf durchlaufen.
• Der Test war nicht schlüssig: Der Test ergab, dass Empfänger genauso wahrscheinlich mit Version A wie mit Version B arbeiten. In diesem Fall wird die Standardversion an alle neuen Kunden gesendet, die den Verlauf durchlaufen.
• Der Test wurde abgebrochen: Dies bedeutet, dass Sie oder einer Ihrer Mitarbeiter den Test abgebrochen haben, bevor er abgeschlossen werden konnte. In diesem Fall wird die von Ihnen oder Ihrem Mitarbeiter angegebene Version an alle neuen Kunden gesendet, die den Verlauf durchlaufen.

Häufig gestellte Fragen

1. Warum ist mein A/B-Testergebnis nicht schlüssig, wenn eine Version eindeutig eine bessere Leistung zu erbringen scheint als eine andere?
   • Bei einer großen Zielgruppe mit mindestens 1.000 Kunden muss das Konfidenzniveau für die Gewinnervariante mindestens 95 % betragen. Bei kleineren Zielgruppen kann das Konfidenzniveau bei nur 80 % liegen. Wenn Sie mit einem niedrigeren Konfidenzniveau einverstanden sind oder mit einer Zielgruppe mit weniger als 1.000 testen, haben Sie immer die Möglichkeit, den Test vorzeitig zu beenden und die Version zu senden, mit der Sie am zufriedensten sind.
2. Kann ich einen A/B-Test mit mehr als zwei Versionen durchführen?
   • Derzeit nicht.
3. Warum wird mir die Kontrollgruppenoption für segmentbasierte Kontaktverläufe nicht angezeigt?
   • Wenn Sie eine Attributverzweigung oder eine Kachel einfügen, die die Gesamtzahl des Segments ändert, verschwindet die Kontrollgruppenoption, da das System nicht weiß, wie viele Kunden es zurückhalten muss, bis der Test abgeschlossen ist.
4. Warum endet mein Test unerwartet?
   • Wenn Sie sich dafür entschieden haben, den Test mit statistischer Signifikanz zu beenden, versucht das System, innerhalb der ersten 30 Tage nach Veröffentlichung des Kontaktverlaufs einen Gewinner zu ermitteln. Wenn keine Version zum Gewinner erklärt wird, endet der Test und die Standardversion wird an die verbleibenden Publikum gesendet.