Experimentering (förhandsversion)

Experimentering är en process för att systematiskt testa hypoteser eller ändringar för att förbättra användarupplevelsen eller programvarufunktionerna. Den här definitionen gäller även för de flesta vetenskapliga områden, inklusive teknik, där alla experiment har fyra vanliga steg:

• Utveckla en hypotes för att dokumentera syftet med det här experimentet,
• Beskriva en metod för att utföra experimentet, inklusive installation, vad som mäts och hur,
• Observation av resultaten som mättes med måtten som definierades i föregående steg,
• Dra en slutsats om huruvida hypotesen har verifierats eller ogiltigförklarats.

I den här videon får du en snabb demonstration av experimentering i appkonfigurationen och markera användningsfallet för användarupplevelseoptimering för att öka dina affärsmått.

Experimentering i Azure App Configuration (förhandsversion)

I Azure App Configuration gör experimentfunktionen att utvecklare enkelt kan testa olika varianter av en funktion och övervaka effekten på funktionsnivå. När de har konfigurerats kan användarna analysera nya funktioner, jämföra olika varianter av en funktion och snabbt utvärdera relevanta mått för nya produktändringar. Den här funktionen ger utvecklingsteam mätbara insikter, vilket underlättar snabbare och säkrare produktdistributioner. Microsoft samarbetar med Split Software för att leverera experimenteringsfunktionen i Azure App Configuration. Arbetsytan Split Experimentation (förhandsversion) är en Azure Native ISV-resurs för integreringen mellan Microsoft och Split Software.

Dataflöde på hög nivå för experimentering i Azure.

För att starta ett experiment måste du först identifiera funktionen och dess variationer som du vill experimentera med. Härnäst är de mått som utgör grunden för funktionsutvärderingen. Kom igång med ditt första experiment i Azure genom att följa stegen som beskrivs i den här självstudien.

Begrepp som rör experimentering

• Variantfunktionsflaggor: Representerar olika versioner eller konfigurationer av en funktion. I ett experiment jämförs de variantfunktionsflaggor som är relevanta för de mått som du är intresserad av och den trafik som allokeras för programpubliken.

• Telemetri: Telemetri är data för varianter av en funktion och relaterade mått för att utvärdera funktionen. För konfigurationen i Azure flödar funktionsflaggans utvärderings-/tilldelningsdata till telemetriprovidern. Application Insights är telemetriprovidern för experimenteringskonfigurationen. Data för de definierade måtten flödar också till samma Application Insights-instans.

• A/B-testning: A/B-testning, även kallat delningstestning, är en branschstandardmetod för att utvärdera effekten av potentiella ändringar i en teknikstack.

• Samplingsstorlek: Samplingsstorleken är storleken på urvalet av användare under experiment. Det är antalet händelser som skickas för någon variant av funktionen som du experimenterar med.

• Minsta samplingsstorlek: är det minsta antal händelser som krävs per variant av funktionen för experimentet för att visa statistiskt signifikanta resultat. Ju större urvalsstorlek, desto bättre statistisk signifikans för experimentets resultat.

Tänk på följande exempel: du vill se om kunder på din e-handelswebbplats är mer benägna att klicka på utcheckningsknappen om den är gul i färg (variant A) eller blå i färg (variant B). För att konfigurera den här jämförelsen kan du dela trafik mellan de två varianterna av funktionsflaggan och använda antalet klick som mått för att mäta deras prestanda. Det är osannolikt att alla dina funktioner är så enkla att mäta och omedelbart utvärdera, och det är där experimentet kommer in. När du kör ett experiment måste du konfigurera en tidslinje för den här processen för att jämföra prestanda för varje variant som är relevant för de mått som du är intresserad av. Termerna "A/B-testning" och "experimentering" används ofta omväxlande, där experimentering i huvudsak är ett utökat A/B-test där du systematiskt testar hypoteser.

Konfigurera experimentet

Innan du börjar bör du överväga följande frågor i din hypotesidentifieringsfas: Vilka frågor försöker du besvara genom att köra ett experiment? Vad ska du köra ett experiment på? Varför? Var börjar du ens? Vilka är några strategier att följa efter dina affärsbehov? Kommer det här experimentet att hjälpa dig att göra omedelbara förbättringar av programmets eller ditt företags prestanda?

Identifiera vad du hoppas uppnå genom att köra ett experiment före en fullständig version, du bör dokumentera din plan i det här skedet. Vilka är varianterna av den funktion eller funktion som du vill experimentera med? Vilka mått är du intresserad av? Vilka händelser av användar- eller systeminteraktion kan användas för att samla in data för att driva dessa mått för mått?

Experimentet är bara lika bra som de data du samlar in för det. Innan du påbörjar experimentet måste du avgöra vilken variant du tänker använda som kontroll (baslinjevariant) och vilken som du tänker se ändringar i (jämförelsevariant).

Dra en slutsats från experimentet

Att dra en slutsats (eller flera slutsatser om det behövs) är det sista steget i experimenteringscykeln. Du kan kontrollera experimentresultatet, som visar resultatet och effekten av jämförelsevarianten mot kontrollvarianten. Resultaten visar också deras statistiska betydelse. Statsig-måttet beror på telemetridata och exempelstorlek.

Resultaten hjälper dig att slutföra de lärdomar och resultat i användbara objekt som du omedelbart kan implementera i produktion. Experimentering är dock en kontinuerlig process. Påbörja nya experiment för att kontinuerligt förbättra din produkt.

Scenarier för att använda experimentering

• Intelligenta program (t.ex. AI-baserade funktioner) Påskynda implementeringen av generell AI (Gen AI) och optimera AI-modeller och användningsfall genom snabba experiment. Använd Experimentation för att iterera snabbt på AI-modeller, testa olika scenarier och fastställa effektiva metoder. Det hjälper till att förbättra flexibiliteten i anpassningen av AI-lösningar till föränderliga användarbehov och marknadstrender och underlättar förståelse för de mest effektiva metoderna för skalning av AI-initiativ.

• CI, CD och kontinuerlig experimentering (gradvisa funktionsdistributioner och versionsuppdateringar) Säkerställ sömlösa övergångar och underhålla eller förbättra viktiga mått med varje versionsuppdatering vid hantering av funktionsutgåvor. Använd experimentering för att gradvis distribuera nya funktioner till delmängder av användare med hjälp av funktionsflaggor, övervaka prestandamått och samla in feedback för iterativa förbättringar. Det är fördelaktigt att minska risken för buggar eller prestandaproblem för hela användarbasen. Det möjliggör datadrivet beslutsfattande under versionsdistributioner och hantering av funktionsflagga, vilket leder till förbättrad produktkvalitet och användarnöjdhet.

• Optimering av användarupplevelse (UI A/B-testning) Optimera affärsmått genom att jämföra olika gränssnittsvariationer och fastställa den mest effektiva designen. Utför A/B-tester med experimentering för att testa användargränssnittselement, mäta användarinteraktioner och analysera prestandamått. Den bästa avkastningen här är förbättrad användarupplevelse genom att implementera ändringar i användargränssnittet baserat på empiriska bevis.

• Anpassnings- och målexperiment Leverera personligt innehåll och upplevelser som är skräddarsydda för användarinställningar och beteenden. Använd experimentering för att testa personligt innehåll, mäta engagemang och iterera på anpassningsstrategier. Resultatet är ökat användarengagemang, konverteringsfrekvenser och kundlojalitet genom relevanta och anpassade upplevelser. Dessa resultat ökar i sin tur intäktstillväxten och kundkvarhållningen genom att rikta in sig på målgrupper med skräddarsydda meddelanden och erbjudanden.

• Prestandaoptimeringsexperiment Förbättra programmets prestanda och ge en effektiv användarupplevelse genom prestandaoptimeringsexperiment. Utför experiment för att testa prestandaförbättringar, mäta viktiga mått och implementera lyckade optimeringar. Här förbättrar experimenteringen programmets skalbarhet, tillförlitlighet och svarstider genom proaktiva prestandaförbättringar. Den optimerar resursutnyttjande och infrastrukturkostnader genom att implementera effektiva optimeringar.

Experimentåtgärder

• Skapa experiment: Experiment kan skapas på en variantfunktionsflagga som genererar telemetri. När ett experiment har skapats skapas även en experimentversion med experimentet. Eventuella ytterligare ändringar av funktionsflaggan resulterar i att en ny experimentversion skapas för experimentet.

• Arkivexperiment: Om du arkiverar ett experiment hamnar det i ett arkiverat tillstånd. Medan ett experiment arkiveras utförs inga beräkningar på experimentet. Du kan alltid återställa experimentet senare för att återuppta beräkningarna och återgå till aktivt tillstånd.

• Återställningsexperiment: Återställning av ett experiment försätter ett arkiverat experiment i ett aktivt tillstånd och beräkningarna återupptas för experimentet.

• Ta bort experiment: Om du tar bort ett experiment tas experimentet bort i Split och alla dess relaterade data. Det är en oåterkallelig åtgärd så det finns ingen återställning efter borttagningen.

• Kontrollera experimentresultat: Om du kontrollerar resultatet av ett aktivt experiment kan du se hur varje variant i experimentet presterar.

Åtkomstkrav för experimentåtgärder

I följande avsnitt beskrivs de roller som krävs för att utföra experimentrelaterade åtgärder med Microsoft Entra-ID.

Konfigurera experimentering

Om du vill konfigurera experimentering med de resurser som krävs, inklusive arbetsytan Dela experimentering, krävs antingen rollen Ägare för Azure-prenumeration eller en kombination av rollen deltagare och administratör för användaråtkomst.

Skapa eller uppdatera experiment

Om du vill skapa, uppdatera, arkivera eller ta bort ett experiment behöver du rollen App Configuration Data Owner i App Configuration Store. Det kräver också rollen ExperimentationDataOwner i Enterprise-appen som hanterar dataåtkomsten till den anslutna arbetsytan Dela experimentering.

Läs experimentresultat

Om du vill kontrollera experiment, deras versioner och resultat behöver du rollen App Configuration Data Reader i App Configuration Store. Det kräver också rollen som en ExperimentationDataReader eller en ExperimentationDataOwner i Enterprise-appen som hanterar dataåtkomsten till den anslutna arbetsytan Dela experimentering.

Överväganden och gränser för fakturering

Appkonfiguration faktureras inte specifikt för experiment. Experimentering tillhandahålls via en integrering med Split Experimentation Workspace (förhandsversion). Kontrollera prisplanen för delningsexperiment för Azure App Configuration.

Minsta urvalsstorlek som krävs för split-experimentering är 30 per variant. Ett experiment krävs för att ha den minsta urvalsstorleken för att få experimentresultatet eller resultaten att visa "Inga data" i resultatet.

Nästa steg

Köra experiment med variantfunktionsflaggor

Snabbstart för dela experimentering