Experimenten (preview)
Experimenten zijn het proces van systematisch testen van hypothesen of wijzigingen om de gebruikerservaring of softwarefunctionaliteit te verbeteren. Deze definitie geldt ook voor de meeste wetenschappelijke velden, waaronder technologie, waarbij alle experimenten vier algemene stappen hebben:
- Het ontwikkelen van een hypothese om het doel van dit experiment vast te leggen,
- Een overzicht geven van een methode voor het uitvoeren van het experiment, inclusief installatie, wat wordt gemeten en hoe,
- Observatie van de resultaten die worden gemeten door de metrische gegevens die in de vorige stap zijn gedefinieerd,
- Een conclusie trekken met betrekking tot of de hypothese is gevalideerd of ongeldig is.
Bekijk deze video voor een snelle demonstratie van Experimenten in App Configuration, waarin de use-case voor optimalisatie van gebruikerservaringen wordt gemarkeerd om uw zakelijke metrische gegevens te verbeteren.
Experimenten in Azure-app Configuratie (preview)
In Azure-app Configuration kunnen ontwikkelaars met de functie experimenten eenvoudig verschillende varianten van een functie testen en de impact op functieniveau bewaken. Zodra ze zijn geconfigureerd, kunnen gebruikers nieuwe functies analyseren, verschillende varianten van een functie vergelijken en onmiddellijk relevante metrische gegevens beoordelen voor nieuwe productwijzigingen. Deze mogelijkheid biedt ontwikkelteams meetbare inzichten, waardoor snellere en veiligere productimplementaties worden vergemakkelijkt. Microsoft werkt samen met Split Software om de experimentele functie in Azure-app Configuratie te leveren. De werkruimte Split Experimentation (preview) is een systeemeigen ISV-resource van Azure voor de integratie tussen Microsoft en Split Software.
Gegevensstroom op hoog niveau voor experimenten in Azure.
Als u een experiment wilt starten, moet u eerst de functie en de variaties identificeren waarop u wilt experimenteren. Hierna volgen de metrische gegevens die de basis vormen van de functie-evaluatie. Volg de stappen in deze zelfstudie om aan de slag te gaan met uw eerste experiment in Azure.
Concepten met betrekking tot experimenten
Markeringen voor variantfuncties: vertegenwoordigen verschillende versies of configuraties van een functie. In een experiment worden de variantfunctievlagmen vergeleken met de metrische gegevens waarin u geïnteresseerd bent en het verkeer dat is toegewezen voor de doelgroep van de toepassing.
Telemetrie: Telemetrie zijn de gegevens voor de variaties van een functie en de gerelateerde metrische gegevens om de functie te evalueren. Voor de installatie in Azure loopt de functievlag voor evaluatie-/toewijzingsgegevens naar de telemetrieprovider. Application Insights is de telemetrieprovider voor de installatie van experimenten. Gegevens voor de gedefinieerde metrische gegevens stromen ook naar hetzelfde Application Insights-exemplaar.
A/B-tests: A/B-tests, ook wel splitstests genoemd, is een industriestandaardmethode voor het evalueren van de impact van mogelijke wijzigingen in een technologiestack.
Steekproefgrootte: Steekproefgrootte is de grootte van de steekproef van gebruikers die worden gebruikt bij het experiment. Dit is het aantal gebeurtenissen dat wordt verzonden voor elke variatie van de functie waarop u experimenteert.
Minimale steekproefgrootte: is het minimale aantal gebeurtenissen dat per variatie van de functie voor het experiment is vereist om u statistisch significante resultaten te laten zien. Hoe groter de steekproefgrootte, beter de statistische significantie van de resultaten van het experiment.
Bekijk het volgende voorbeeld: u wilt zien of klanten van uw e-commercewebsite waarschijnlijker op de kassaknop klikken als deze geel is in kleur (variant A) of blauw in kleur (variant B). Als u deze vergelijking wilt instellen, verdeelt u waarschijnlijk verkeer tussen de twee varianten van de functievlag en gebruikt u het aantal klikken als metrische waarde om de prestaties ervan te meten. Het is onwaarschijnlijk dat al uw functies net zo eenvoudig zijn om te meten en onmiddellijk te evalueren, en dat is waar experimenten binnenkomen. Het uitvoeren van een experiment omvat het instellen van een tijdlijn voor dit proces voor het vergelijken van de prestaties van elke variant die relevant is voor de metrische gegevens waarin u geïnteresseerd bent. De termen "A/B testen" en "experimenten" worden vaak door elkaar gebruikt, waarbij experimenten in wezen een uitgebreide A/B-test zijn waar u systematisch hypothesen test.
Uw experiment instellen
Voordat u begint, moet u rekening houden met de volgende vragen in het detectiestadium van hypothesen: Welke vragen probeert u te beantwoorden door een experiment uit te voeren? Waar moet u een experiment op uitvoeren? Waarom? Waar begin je? Wat zijn enkele strategieën om te volgen op basis van de behoeften van uw bedrijf? Helpt dit experiment u onmiddellijk verbeteringen aan te brengen in de prestaties van uw toepassing of uw bedrijf?
Bepaal wat u wilt bereiken door een experiment uit te voeren vóór een volledige release. In dit stadium moet u uw plan documenteren. Wat zijn de variaties van de functie of functionaliteit waarop u wilt experimenteren? Wat zijn enkele metrische gegevens waarin u geïnteresseerd bent? Welke gebeurtenissen van gebruikers- of systeeminteractie kunnen worden gebruikt om gegevens vast te leggen om deze metrische gegevens te voeden voor meting?
Uw experiment is slechts zo goed als de gegevens die u hiervoor verzamelt. Voordat u het experiment start, moet u bepalen in welke variant u wilt gebruiken als het besturingselement (basislijnvariant) en in welke variant u wijzigingen wilt zien (vergelijkingsvariant).
Een conclusie trekken uit het experiment
Het tekenen van een conclusie (of meerdere conclusies indien nodig) is de laatste fase van uw experimentencyclus. U kunt de resultaten van het experiment controleren, waarin het resultaat en de impact van de vergelijkingsvariant ten opzichte van de controlevariant worden weergegeven. De resultaten tonen ook hun statistische significantie. Statsig-meting is afhankelijk van de telemetriegegevens en de steekproefgrootte.
De resultaten helpen u bij het afronden van de bevindingen en resultaten in bruikbare items die u onmiddellijk in productie kunt implementeren. Experimenten zijn echter een continu proces. Begin nieuwe experimenten om uw product continu te verbeteren.
Scenario's voor het gebruik van experimenten
Releasebeveiliging
Doelstelling: zorg voor soepele overgangen en onderhoud of verbeter belangrijke metrische gegevens bij elke release.
Aanpak: Gebruik experimenten om geleidelijk nieuwe functies uit te rollen, metrische prestatiegegevens te bewaken en feedback te verzamelen voor iteratieve verbeteringen.
Voordelen:
- Minimaliseert het risico op wijdverspreide problemen met behulp van metrische beveiligingsgegevens om problemen vroeg in de implementatie te detecteren en op te lossen.
- Helpt bij het onderhouden of verbeteren van belangrijke prestatie- en gebruikerstevredenheidsstatistieken door weloverwogen beslissingen te nemen op basis van realtime gegevens.
Hypothesen testen
Doelstelling: Valideer veronderstellingen en hypothesen om weloverwogen beslissingen te nemen over productfuncties, gebruikersgedrag of bedrijfsstrategieën.
Benadering: Gebruik experimenten om specifieke hypothesen te testen door verschillende functieversies of scenario's te maken en vervolgens gebruikersinteracties en metrische prestatiegegevens te analyseren om resultaten te bepalen.
Voordelen:
- Biedt op bewijs gebaseerde inzichten die onzekerheid verminderen en strategische besluitvorming begeleiden.
- Maakt snellere iteratie en innovatie mogelijk door hypothesen met echte gebruikersgegevens te bevestigen of weer te geven.
- Verbetert de productontwikkeling door zich te concentreren op ideeën die bewezen zijn te werken, wat uiteindelijk leidt tot succesvollere en door de gebruiker afgestemde functies.
A/B-tests
Doelstelling: Optimaliseer zakelijke metrische gegevens door verschillende ui-variaties te vergelijken en het meest effectieve ontwerp te bepalen.
Aanpak: A/B-tests uitvoeren met behulp van experimenten om UI-elementen te testen, interacties van gebruikers te meten en metrische prestatiegegevens te analyseren.
Voordelen:
- Verbetert de gebruikerservaring door ui-wijzigingen te implementeren op basis van empirisch bewijs.
- Verhoogt de conversiepercentages, betrokkenheidsniveaus en de algehele effectiviteit van digitale producten of services.
Voor intelligente toepassingen (bijvoorbeeld ai-functies)
Doelstelling: Versnelde acceptatie van AI (Gen AI) en optimaliseer AI-modellen en gebruiksvoorbeelden via snelle experimenten.
Benadering: Gebruik experimenten om snel te herhalen op AI-modellen, verschillende scenario's te testen en effectieve benaderingen te bepalen.
Voordelen:
- Verbetert de flexibiliteit bij het aanpassen van AI-oplossingen aan veranderende behoeften van gebruikers en markttrends.
- Vereenvoudigt inzicht in de meest effectieve benaderingen voor het schalen van AI-initiatieven.
- Verbetert de nauwkeurigheid en prestaties van AI-modellen op basis van echte gegevens en feedback.
Persoonlijke instellingen en gerichte experimenten
Doelstelling: Persoonlijke inhoud en ervaringen leveren die zijn afgestemd op gebruikersvoorkeuren en -gedrag.
Benadering: Gebruik experimenten om persoonlijke inhoud te testen, betrokkenheid te meten en persoonlijke strategieën te herhalen.
Voordelen:
- Verhoogt de betrokkenheid van gebruikers, conversiepercentages en klantloyaliteit via relevante en persoonlijke ervaringen.
- Stimuleert omzetgroei en klantretentie door doelgroepen te richten met op maat gemaakte berichten en aanbiedingen.
Experimenten voor prestatieoptimalisatie
Doelstelling: Verbeter de prestaties van toepassingen en gebruikerservaring door middel van experimenten voor prestatieoptimalisatie.
Aanpak: Voer experimenten uit om prestatieverbeteringen te testen, belangrijke metrische gegevens te meten en succesvolle optimalisaties te implementeren.
Voordelen:
- Verbetert de schaalbaarheid, betrouwbaarheid en reactiesnelheid van toepassingen door proactieve prestatieverbeteringen.
- Optimaliseert het resourcegebruik en de infrastructuurkosten door efficiënte optimalisaties te implementeren.
Experimentbewerkingen
Experiment maken: Experiment kan worden gemaakt op een variantfunctievlag die telemetrie verzendt. Zodra een experiment is gemaakt, wordt er ook een experimentversie gemaakt met het experiment. Verdere wijzigingen in de functievlag resulteren in een nieuwe experimentversie die voor dat experiment wordt gemaakt.
Archiefexperiment: als u een experiment archiveert, krijgt het een gearchiveerde status. Hoewel een experiment is gearchiveerd, worden er geen berekeningen uitgevoerd op het experiment. U kunt het experiment later altijd herstellen om de berekeningen te hervatten en terug te gaan naar de actieve status.
Experiment herstellen: als u een experiment herstelt, wordt een gearchiveerd experiment in een actieve status weergegeven en worden berekeningen voor het experiment hervat.
Experiment verwijderen: als u een experiment verwijdert, worden het experiment in Split en alle gerelateerde gegevens verwijderd. Het is een onherstelbare bewerking, dus er is geen herstel na het verwijderen.
Controleer de resultaten van het experiment: door de resultaten van een actief experiment te controleren, kunt u zien hoe elke variant in het experiment presteert.
Toegangsvereisten voor experimentbewerkingen
In de volgende secties worden de rollen beschreven die nodig zijn voor het uitvoeren van experimentgerelateerde bewerkingen met Microsoft Entra-id.
Experimenten instellen
Voor het instellen van experimenten met de vereiste resources, waaronder de werkruimte Split Experimentation, is de rol Eigenaar van het Azure-abonnement of de combinatie van de rollen Inzender en Beheerder voor gebruikerstoegang vereist.
Experiment maken of bijwerken
Als u een experiment wilt maken, bijwerken, archiveren of verwijderen, hebt u de rol App Configuration-gegevenseigenaar nodig in het App Configuration-archief. Het vereist ook de rol van ExperimentationDataOwner in de Enterprise-app die de gegevenstoegang tot de verbonden Split Experimentation-werkruimte beheert.
Experimentresultaten lezen
Als u experimenten, hun versies en resultaten wilt controleren, hebt u de rol App Configuration Data Reader nodig in het App Configuration-archief. Het vereist ook de rol van een ExperimentationDataReader of een ExperimentationDataOwner in de Enterprise-app die de gegevenstoegang tot de verbonden Split Experimentation-werkruimte beheert.
Overwegingen en limieten voor facturering
App Configuration factureert niet specifiek voor experimenten. Experimenten worden geleverd via een integratie met Split Experimentation Workspace (preview). Controleer het prijsplan voor Split Experimentation voor Azure-app Configuration.
De minimale steekproefgrootte die is vereist voor splitsexperimentatie is 30 per variant. Een experiment is vereist om de minimale grootte van de steekproef te hebben om de resultaten van het experiment of de resultaten 'Geen gegevens' in het resultaat weer te geven.