Experimentování (Preview)

Experimentování je proces systematicky testovat hypotézy nebo změny, které zlepšují uživatelské prostředí nebo softwarové funkce. Tato definice platí také pro většinu vědeckých polí včetně technologií, kde všechny experimenty mají čtyři společné kroky:

• Vývoj hypotézy pro zdokumentování účelu tohoto experimentu,
• Stanovení metody provádění experimentu, včetně nastavení, měření a způsobu,
• Pozorování výsledků měřených metrikami definovanými v předchozím kroku,
• Na základě závěru , zda byla hypotéza ověřena nebo zneplatněná.

V tomto videu najdete rychlou ukázku experimentování v konfiguraci aplikace a zvýrazněte případ použití optimalizace uživatelského prostředí ke zvýšení obchodních metrik.

Experimentování v konfiguraci Aplikace Azure (Preview)

V konfiguraci Aplikace Azure umožňuje vývojářům snadno testovat různé varianty funkce a monitorovat dopad na úrovni funkce. Po nakonfigurování můžou uživatelé analyzovat nové funkce, porovnat různé varianty funkce a rychle vyhodnotit relevantní metriky pro nové změny produktu. Tato schopnost umožňuje vývojovým týmům měřitelné přehledy, což usnadňuje rychlejší a bezpečnější nasazení produktů. Společnost Microsoft spolupracuje se split softwarem a poskytuje funkci experimentování v konfiguraci Aplikace Azure. Pracovní prostor rozděleného experimentování (Preview) je nativním prostředkem isV Azure pro integraci mezi Microsoftem a Split Software.

Tok dat vysoké úrovně pro experimentování v Azure

Pokud chcete zahájit experimentování, musíte nejprve identifikovat funkci a její varianty, se kterými chcete experimentovat. Dále jsou metriky, které tvoří základ vyhodnocení funkce. Pokud chcete začít s prvním experimentem v Azure, postupujte podle kroků uvedených v tomto kurzu.

Koncepty související s experimentováním

• Příznaky variant funkce: Představují různé verze nebo konfigurace funkce. V experimentu se příznaky variantní funkce porovnávají v relevance s metrikami, které vás zajímají, a přenosy přidělené cílové skupině aplikací.

• Telemetrie: Telemetrie je data pro varianty funkce a související metriky pro vyhodnocení funkce. Pro nastavení v Azure tok dat vyhodnocení/přiřazení příznakem funkce poskytovateli telemetrie. Application Insights je zprostředkovatel telemetrie pro nastavení experimentování. Data pro definované metriky také proudí do stejné instance Application Insights.

• Testování A/B: Testování A/B, označované také jako rozdělené testování, je standardní metoda pro vyhodnocení dopadu potenciálních změn v technologickém zásobníku.

• Velikost vzorkování: Velikost vzorkování je velikost vzorku uživatelů v experimentu. Jedná se o počet událostí odeslaných pro libovolnou variantu funkce, se kterou experimentujete.

• Minimální velikost vzorkování: je minimální počet událostí požadovaných pro jednotlivé varianty funkce pro experiment, aby se zobrazily statisticky významné výsledky. Čím větší je velikost vzorku, lepší statistická významnost výsledků experimentu.

Podívejte se na následující příklad: Chcete zjistit, jestli zákazníci vašeho webu elektronického obchodování budou pravděpodobněji kliknout na tlačítko pokladny, pokud je žlutá barva (varianta A) nebo modrá barva (varianta B). Pokud chcete toto porovnání nastavit, pravděpodobně rozdělíte provoz mezi dvě varianty příznaku funkce a jako metriku použijete počet kliknutí k měření jejich výkonu. Je nepravděpodobné, že by všechny funkce byly stejně jednoduché měřit a okamžitě vyhodnocovat, a to je místo, kde experimentování přichází. Spuštění experimentu zahrnuje nastavení časové osy pro tento proces porovnání výkonu jednotlivých variant relevantních pro metriky, které vás zajímají. Termíny "testování A/B" a "experimentování" se často používají zaměnitelně, kde experimentování je v podstatě rozšířený test A/B, kde systematicky testujete hypotézy.

Nastavení experimentu

Než začnete, zvažte následující otázky ve fázi zjišťování hypotéz: Na jaké otázky se pokoušíte odpovědět spuštěním experimentu? Na čem byste měli experiment spustit? Proč? Kde vůbec začínáte? Jaké strategie je třeba dodržovat podle vašich obchodních potřeb? Pomůže vám tento experiment okamžitě vylepšit výkon vaší aplikace nebo vaší firmy?

Určete, čeho chcete dosáhnout spuštěním experimentu před úplnou verzí, měli byste plán zdokumentovat v této fázi. Jaké jsou varianty funkce, se kterou chcete experimentovat? Jaké metriky vás zajímají? Jaké události interakce s uživatelem nebo systémem je možné použít k zaznamenání dat za účelem měření těchto metrik?

Experiment je stejný jako data, která za něj shromažďujete. Než začnete s experimentem, musíte určit, jakou variantu chcete použít jako ovládací prvek (variantu směrného plánu) a kterou variantu, ve které chcete vidět změny (varianta porovnání).

Nakreslení závěru experimentu

Nakreslení závěru (nebo více závěrů v případě potřeby) je poslední fází cyklu experimentování. Můžete zkontrolovat výsledky experimentu, které ukazují výsledek a dopad varianty porovnání proti řídicí variantě. Výsledky také ukazují jejich statistickou významnost. Míra Statsig závisí na telemetrických datech a velikosti vzorku.

Výsledky vám pomůžou uzavřít poznatky a výsledky do položek s akcemi, které můžete okamžitě implementovat do produkčního prostředí. Experimentování je ale průběžný proces. Začněte s novými experimenty, abyste mohli produkt průběžně vylepšovat.

Scénáře použití experimentování

• Inteligentní aplikace (např. funkce založené na umělé inteligenci) Urychlují přijetí obecné umělé inteligence (Gen AI) a optimalizují modely AI a případy použití prostřednictvím rychlého experimentování. Pomocí experimentování můžete rychle iterovat modely AI, testovat různé scénáře a určit efektivní přístupy. Pomáhá zlepšit flexibilitu při přizpůsobování řešení AI pro vývoj potřeb uživatelů a trendů na trhu a usnadňuje pochopení nejúčinnějších přístupů pro škálování iniciativ umělé inteligence.

• CI, CD a průběžné experimentování (postupné zavádění funkcí a aktualizace verzí) Zajistěte bezproblémové přechody a udržujte nebo vylepšete klíčové metriky s každou aktualizací verzí při správě verzí. Využijte experimentování k postupnému zavedení nových funkcí pro podmnožinu uživatelů pomocí příznaků funkcí, monitorování metrik výkonu a shromažďování názorů na iterativní vylepšení. Je výhodné snížit riziko zavedení chyb nebo problémů s výkonem do celé uživatelské základny. Umožňuje rozhodování řízené daty během zavádění verzí a správy příznaků funkcí, což vede ke zlepšení kvality produktu a spokojenosti uživatelů.

• Optimalizace uživatelského prostředí (uživatelské rozhraní A/B testování) Optimalizujte obchodní metriky porovnáním různých variant uživatelského rozhraní a určením nejúčinnějšího návrhu. Testování A/B pomocí experimentování otestujte prvky uživatelského rozhraní, změřte interakce uživatelů a analyzujte metriky výkonu. Nejlepším návratem je vylepšené uživatelské prostředí implementací změn uživatelského rozhraní na základě empirických důkazů.

• Přizpůsobení a cílení experimentů Poskytuje přizpůsobený obsah a prostředí přizpůsobená uživatelským preferencím a chováním. Pomocí experimentování můžete testovat přizpůsobený obsah, měřit zapojení a iterovat strategie přizpůsobení. Výsledky jsou zvýšeny zapojení uživatelů, míry konverze a věrnosti zákazníků prostřednictvím relevantních a přizpůsobených prostředí. Tyto výsledky pak můžou zvýšit výnosy a udržení zákazníků tím, že cílí na cílové skupiny s přizpůsobenými zprávami a nabídkami.

• Experimenty optimalizace výkonu zlepšují výkon aplikací a poskytují efektivní uživatelské prostředí prostřednictvím experimentů optimalizace výkonu. Proveďte experimenty s testováním vylepšení výkonu, měřením klíčových metrik a implementací úspěšných optimalizací. V tomto případě experimentování vylepšuje škálovatelnost, spolehlivost a odezvu aplikací prostřednictvím proaktivních vylepšení výkonu. Optimalizuje využití prostředků a náklady na infrastrukturu implementací efektivních optimalizací.

Operace experimentu

• Vytvoření experimentu: Experiment lze vytvořit v příznaku varianty, který generuje telemetrii. Po vytvoření experimentu se vytvoří také verze experimentu. Jakékoli další úpravy příznaku funkce způsobí vytvoření nové verze experimentu pro tento experiment.

• Archivní experiment: Archivace experimentu umístí do archivovaného stavu. Při archivaci experimentu se v experimentu neprovedou žádné výpočty. Experiment můžete kdykoli obnovit později, abyste mohli pokračovat ve výpočtech a vrátit se do aktivního stavu.

• Obnovení experimentu: Obnovení experimentu vloží archivovaný experiment do aktivního stavu a výpočty se pro experiment obnoví.

• Odstranit experiment: Odstraněním experimentu odstraníte experiment v rozdělení a všechna související data. Jedná se o nevratnou operaci, takže po odstranění nedojde k žádnému obnovení.

• Kontrola výsledků experimentu: Kontrola výsledků aktivního experimentu umožňuje zjistit, jak každá varianta experimentu funguje.

Požadavky na přístup pro operace experimentu

Následující části podrobně uvádějí role potřebné k provádění experimentů souvisejících s ID Microsoft Entra.

Nastavení experimentování

K nastavení experimentování s požadovanými prostředky, včetně pracovního prostoru Rozdělené experimentování, je vyžadována role Vlastník předplatného Azure nebo kombinace rolí Přispěvatel předplatného a Správce uživatelských přístupů.

Vytvoření nebo aktualizace experimentu

K vytvoření, aktualizaci, archivaci nebo odstranění experimentu byste potřebovali roli Vlastník dat konfigurace aplikace v App Configuration Storu. Vyžaduje také roli ExperimentationDataOwner v podnikové aplikaci, která spravuje přístup k datům připojeného pracovního prostoru rozděleného experimentování.

Čtení výsledků experimentu

Ke kontrole experimentů, jejich verzí a výsledků byste potřebovali roli Čtenář dat konfigurace aplikace v App Configuration Storu. Vyžaduje také roli ExperimentationDataReader nebo ExperimentationDataOwner v podnikové aplikaci, která spravuje přístup k datům připojeného pracovního prostoru rozděleného experimentování.

Aspekty a limity fakturace

App Configuration neúčtuje konkrétně za experimenty. Experimentování se poskytuje prostřednictvím integrace s pracovním prostorem rozděleného experimentování (Preview). Zkontrolujte cenový plán rozděleného experimentování pro konfiguraci Aplikace Azure.

Minimální velikost vzorku požadovaná pro rozdělení experimentování je 30 na variantu. K získání výsledků experimentu nebo výsledkům se ve výsledku vyžaduje minimální velikost vzorku, aby se ve výsledku zobrazila žádná data.

Další kroky

Spouštění experimentů s příznaky variant funkcí

Rychlý start k rozdělení experimentů