Experimentieren (Vorschau)
Experimentieren ist der Prozess des systematischen Testens von Hypothesen oder Änderungen zur Verbesserung der Benutzererfahrung oder Softwarefunktionalität. Diese Definition gilt auch für die meisten wissenschaftlichen Bereiche einschließlich Technologie, in denen alle Experimente vier Schritte gemeinsam haben:
- Entwickeln einer Hypothese, um den Zweck des Experiments zu dokumentieren,
- Definieren einer Methode für die Durchführung des Experiments einschließlich Aufbau, Messung und Vorgehensweise,
- Beobachtung der Ergebnisse, die anhand der im vorherigen Schritt definierten Metriken gemessen werden,
- Ziehen einer Schlussfolgerung dazu, ob die Hypothese bestätigt oder wiederlegt wurde.
Schauen Sie sich dieses Video an, um eine schnelle Demonstration der Experimentierung in der App-Konfiguration zu erhalten und den Anwendungsfall zur Optimierung der Benutzererfahrung hervorzuheben, um Ihre Geschäftsmetriken zu steigern.
Experimentieren in Azure App Configuration (Vorschau)
Mit der Experimentierfunktion in Azure App Configuration können Entwickler bequem verschiedene Varianten eines Features testen und die Auswirkungen auf Featureebene überwachen. Nach der Konfiguration können Benutzer neue Features analysieren, verschiedene Varianten eines Features vergleichen und relevante Metriken für neue Produktänderungen umgehend bewerten. Diese Funktion ermöglicht Entwicklungsteams messbare Erkenntnisse, wodurch schnellere und sicherere Produktbereitstellungen erleichtert werden. Microsoft-Partner mit Split Software zum Bereitstellen des Experimentfeatures in Azure App Configuration. Split Experimentation Workspace (Vorschau) ist eine Azure-native ISV-Ressource für die Integration zwischen Microsoft und Split Software.
Allgemeiner Datenfluss für Experimente in Azure.
Um ein Experiment zu starten, müssen Sie zuerst das Feature und dessen Variationen identifizieren, mit denen Sie experimentieren möchten. Der nächste Schritt sind die Metriken, die die Grundlage der Featureauswertung bilden. Um mit Ihrem ersten Experiment in Azure zu beginnen, führen Sie die in diesem Tutorial beschriebenen Schritte aus.
Konzepte im Zusammenhang mit Experimenten
Featureflags für Varianten: Diese stellen unterschiedliche Versionen oder Konfigurationen eines Features dar. In einem Experiment werden die Variantenfeatureflags im Bezug auf die Metriken, an denen Sie interessiert sind, und den Datenverkehr verglichen, der für die Anwendungszielgruppe zugewiesen wurde.
Telemetrie: Telemetrie sind die Daten für die Variationen eines Features und die zugehörigen Metriken zum Auswerten des Features. Für das Setup in Azure fließen die Datenflüsse für Auswertung der Featureflags/Zuweisung an den Telemetrieanbieter. Application Insights ist der Telemetrieanbieter für das Experimentiersetup. Daten für die definierten Metriken fließen auch zur gleichen Application Insights-Instanz.
A/B-Tests: A/B-Tests, auch als Split-Tests bezeichnet, sind eine Standardmethode in der Branche zur Bewertung der Auswirkungen potenzieller Änderungen innerhalb eines Technologiestapels.
Stichprobengröße: Die Stichprobengröße ist die Größe der Stichprobe von Benutzern, die im Experiment betrachtet wird. Dies ist die Anzahl der Ereignisse, die für jede Variation des Features gesendet werden, das im Experiment eingeschlossen ist.
Mindeststichprobengröße: Dies ist die Mindestanzahl der Ereignisse, die pro Variation des Features für das Experiment erforderlich sind, um statistisch signifikante Ergebnisse zu liefern. Je größer die Stichprobe ist, desto besser ist die statistische Signifikanz der Ergebnisse des Experiments.
Betrachten Sie das folgende Beispiel: Sie möchten sehen, ob Kunden Ihrer E-Commerce-Website eher auf die Schaltfläche „Kasse“ klicken, wenn diese gelb (Variante A) oder blau (Variante B) ist. Zum Einrichten dieses Vergleichs teilen Sie wahrscheinlich den Datenverkehr zwischen den beiden Varianten des Featureflags auf und verwenden die Anzahl der Klicks als Metrik, um die Leistung zu messen. Es ist unwahrscheinlich, dass alle Ihre Features so einfach zu messen und sofort auszuwerten sind, und das ist der Punkt, an dem Experimente ins Spiel kommen. Das Ausführen eines Experiments umfasst das Einrichten einer Zeitachse für den Prozess zum Vergleichen der Leistung der einzelnen Varianten, die für die für Sie interessanten Metriken relevant sind. Die Begriffe „A/B-Tests“ und „Experiment“ werden häufig austauschbar verwendet, wobei ein Experiment im Wesentlichen ein erweiterter A/B-Test ist, mit dem Sie systematisch Hypothesen testen.
Einrichten des Experiments
Bevor Sie beginnen, sollten Sie die folgenden Fragen in der Hypothesenermittlungsphase berücksichtigen: Welche Fragen versuchen Sie zu beantworten, indem Sie ein Experiment ausführen? Wofür sollten Sie ein Experiment ausführen? Warum? Wo beginnen Sie überhaupt? Welche Strategien müssen Sie gemäß Ihren Unternehmensanforderungen berücksichtigen? Kann dieses Experiment Ihnen helfen, die Leistung Ihrer Anwendung oder Ihres Unternehmens sofort zu verbessern?
Identifizieren Sie Ihre Ziele, indem Sie ein Experiment vor einer vollständigen Veröffentlichung ausführen, und dokumentieren Sie in dieser Phase Ihren Plan. Worin bestehen die Variationen des Features oder der Funktionalität, für das bzw. die das Experiment durchgeführt werden soll? An welchen Metriken sind Sie interessiert? Welche Ereignisse einer Benutzer- oder Systeminteraktion könnten verwendet werden, um Daten für die Messung dieser Metriken zu erfassen?
Ihr Experiment ist nur so gut wie die Daten, die Sie dafür sammeln. Bevor Sie mit dem Experiment beginnen, müssen Sie bestimmen, welche Variante Sie als Kontrolle (Baseline) verwenden möchten und bei welcher Variante Änderungen erwartet werden (Vergleichsvariante).
Ziehen einer Schlussfolgerung aus dem Experiment
Das Ziehen einer Schlussfolgerung (oder ggf. mehrerer Schlussfolgerungen) ist die letzte Phase des Experimentierzyklus. Sie können die Experimentergebnisse überprüfen, die das Ergebnis und die Auswirkungen der Vergleichsvariante auf die Kontrollvariante zeigen. Die Ergebnisse zeigen auch ihre statistische Signifikanz. Statsig-Messwerte hängen von den Telemetriedaten und der Stichprobengröße ab.
Die Ergebnisse helfen Ihnen, die Erkenntnisse in umsetzbare Maßnahmen umzusetzen, die Sie sofort in die Produktion implementieren können. Das Experimentieren ist jedoch ein kontinuierlicher Prozess. Beginnen Sie neue Experimente, um Ihr Produkt kontinuierlich zu verbessern.
Szenarien für die Verwendung von Experimenten
Releaseschutz
Ziel: Sorgen Sie für reibungslose Übergänge, und erhalten oder verbessern Sie die wichtigsten Metriken bei jedem Release.
Ansatz: Verwenden Sie Experimente, um neue Features schrittweise bereitzustellen, überwachen Sie dabei Leistungsmetriken, und sammeln Sie Feedback, um Verbesserungen nach und nach einzuführen.
Vorteile:
- Minimiert das Risiko weitreichender Probleme mithilfe von Grenzwertmetriken, um Probleme frühzeitig beim Rollout zu erkennen und zu beheben
- Hilft dabei, wichtige Metriken zu Leistung und Benutzerzufriedenheit aufrechtzuerhalten oder zu verbessern, indem fundierte Entscheidungen basierend auf Echtzeitdaten getroffen werden
Testen von Hypothesen
Ziel: Überprüfen Sie Annahmen und Hypothesen, um fundierte Entscheidungen zu Produktfeatures, Benutzerverhalten oder Geschäftsstrategien zu treffen.
Ansatz: Verwenden Sie Experimente, um bestimmte Hypothesen zu testen, indem Sie verschiedene Featureversionen oder Szenarien erstellen und dann die Benutzerinteraktion und Leistungsmetriken analysieren, um die Ergebnisse zu ermitteln.
Vorteile:
- Bietet nachweisbasierte Erkenntnisse, die zu mehr Sicherheit bei strategischen Entscheidung führen
- Ermöglicht schnellere Durchläufe und mehr Innovation, indem Hypothesen anhand tatsächlicher Benutzerdaten bestätigt oder widerlegt werden
- Verbessert die Produktentwicklung durch die Fokussierung auf Ideen konzentrieren, die nachweislich funktionieren, und führt damit letztendlich zu erfolgreicheren und benutzerorientierten Features
A/B-Tests
Ziel: Optimieren Sie Geschäftsmetriken durch Vergleichen verschiedener Benutzeroberflächenvarianten und Bestimmen des effektivsten Designs.
Ansatz: Führen Sie A/B-Tests mithilfe von Experimenten durch, um UI-Elemente zu testen, Benutzerinteraktionen zu messen und Leistungsmetriken zu analysieren.
Vorteile:
- Verbessert das Benutzererlebnis, indem Benutzeroberflächenänderungen basierend auf empirischen Nachweisen implementiert werden
- Erhöht die Einführungsraten, die Bindung und die Gesamteffektivität digitaler Produkte oder Dienstleistungen
Für intelligente Anwendungen (z. B. KI-basierte Features)
Ziel: Beschleunigen Sie die Einführung generativer KI (Gen AI), und optimieren Sie KI-Modelle und Anwendungsfälle durch schnelle Experimente.
Ansatz: Verwenden Sie Experimente, um schnell KI-Modelle zu durchlaufen, verschiedene Szenarien zu testen und effektive Ansätze zu ermitteln.
Vorteile:
- Verbessert die Flexibilität bei der Anpassung von KI-Lösungen an sich entwickelnde Benutzerbedürfnisse und Markttrends
- Vereinfacht das Verständnis der effektivsten Ansätze für die Skalierung von KI-Initiativen
- Verbessert die Genauigkeit und Leistung von KI-Modellen basierend auf realen Daten und Feedback
Personalisieren und Ausrichten von Experimenten
Ziel: Stellen Sie personalisierte Inhalte und Erfahrungen bereit, die auf Benutzereinstellungen und -verhaltensweisen zugeschnitten sind.
Ansatz: Verwenden Sie Experimente, um personalisierte Inhalte zu testen, das Engagement zu messen und Strategien zur Personalisierung zu durchlaufen.
Vorteile:
- Verbessert die Kundeninteraktion, Einführungsraten und Kundenbindung durch relevante und personalisierte Erfahrungen
- Fördert das Umsatzwachstum und die Kundenbindung, indem Zielgruppen mit maßgeschneiderten Nachrichten und Angeboten angesprochen werden
Experimente zur Leistungsoptimierung
Ziel: Verbessern Sie die Anwendungsleistung und die Benutzererfahrung durch Experimente zur Leistungsoptimierung.
Ansatz: Führen Sie Experimente durch, um Leistungsverbesserungen zu testen, wichtige Metriken zu messen und erfolgreiche Optimierungen zu implementieren.
Vorteile:
- Verbessert die Anwendungsskalierbarkeit, Zuverlässigkeit und Reaktionsfähigkeit durch proaktive Leistungsverbesserungen
- Optimiert die Kosten für Ressourcennutzung und Infrastruktur durch Implementierung effizienter Optimierungen
Experimentiervorgänge
Erstellen des Experiments: Ein Experiment kann für eine Featurflagvariante erstellt werden, wodurch Telemetrie ausgegeben wird. Sobald ein Experiment erstellt wurde, wird auch eine Experimentversion mit dem Experiment erstellt. Alle weiteren Änderungen am Featureflag führen zu einer neuen Experimentversion, die für dieses Experiment erstellt wird.
Archivieren des Experiments: Durch das Archivieren eines Experiments wird es in einen archivierten Zustand versetzt. Während ein Experiment archiviert ist, werden keine Berechnungen für das Experiment durchgeführt. Sie können das Experiment später jederzeit wiederherstellen, um die Berechnungen fortzusetzen und zum aktiven Zustand zurückzukehren.
Wiederherstellen des Experiments: Durch das Wiederherstellen eines Experiments wird ein archiviertes Experiment in den aktiven Zustand versetzt, und Berechnungen für das Experiment werden fortgesetzt.
Löschen des Experiments: Beim Löschen eines Experiments werden das Experiment und alle zugehörigen Daten in Split gelöscht. Dies ist ein unumkehrbarer Vorgang, sodass nach dem Löschen keine Wiederherstellung mehr möglich ist.
Überprüfen der Experimentergebnisse: Wenn Sie die Ergebnisse eines aktiven Experiments überprüfen, können Sie die Leistung der einzelnen Experimentvarianten sehen.
Zugriffsanforderungen für Experimentvorgänge
In den folgenden Abschnitten werden die Rollen erläutert, die zum Ausführen von Vorgängen im Zusammenhang mit Experimenten in Microsoft Entra ID erforderlich sind.
Einrichten von Experimenten
Zum Einrichten von Experimenten mit erforderlichen Ressourcen, einschließlich Split Experimentation Workspace, ist entweder die Rolle „Besitzer“ für das Azure-Abonnement oder eine Kombination der Rollen „Mitwirkender“ und „Benutzerzugriffsadministrator“ für das Abonnement erforderlich.
Erstellen oder Aktualisieren eines Experiments
Zum Erstellen, Aktualisieren, Archivieren oder Löschen eines Experiments benötigen Sie die Rolle „App Configuration-Datenbesitzer“ im App Configuration-Speicher. Außerdem ist die Rolle „ExperimentationDataOwner“ in der Enterprise-App erforderlich, die den Datenzugriff auf den verbundenen Split Experimentation Workspace verwaltet.
Lesen der Experimentergebnisse
Um Experimente, deren Versionen und Ergebnisse zu überprüfen, benötigen Sie die Rolle „App Configuration-Datenleser“ im App Configuration-Speicher. Außerdem ist die Rolle „ExperimentationDataReader“ oder „ExperimentationDataOwner“ in der Enterprise-App erforderlich, die den Datenzugriff auf den verbundenen Split Experimentation Workspace verwaltet.
Abrechnungsüberlegungen und -grenzwerte
App Configuration rechnet Experimente nicht speziell ab. Das Experimentieren wird über eine Integration mit Split Experimentation Workspace (Vorschau) bereitgestellt. Überprüfen Sie den Preisplan () für Split-Experimente für Azure App Configuration.
Die Mindeststichprobengröße für Split-Experimente ist 30 pro Variante. Ein Experiment muss die Mindeststichprobengröße aufweisen, um Experimentergebnisse zu erhalten. Andernfalls wird in der Ausgabe „Keine Daten“ angezeigt.