Kísérletezés (előzetes verzió)

A kísérletezés a hipotézisek vagy módosítások szisztematikus tesztelésének folyamata a felhasználói élmény vagy a szoftverfunkció javítása érdekében. Ez a definíció a legtöbb tudományos területre, köztük a technológiára is igaz, ahol minden kísérletnek négy gyakori lépése van:

• A kísérlet céljának dokumentálására szolgáló hipotézis kidolgozása,
• A kísérlet végrehajtásának módszerének felvázolása, beleértve a beállítást, a mért értékeket és a
• Az előző lépésben meghatározott metrikák által mért eredmények megfigyelése ,
• Következtetés levonása a hipotézis érvényesítéséről vagy érvénytelenítéséről.

Ebben a videóban gyorsan bemutathatja az alkalmazáskonfiguráció kísérletezését, kiemelve a felhasználói élmény optimalizálási használati esetét az üzleti metrikák növeléséhez.

Kísérletezés Azure-alkalmazás konfigurációban (előzetes verzió)

A Azure-alkalmazás Konfigurációban a kísérletezési funkció lehetővé teszi a fejlesztők számára, hogy egyszerűen teszteljék a funkció különböző változatait, és megfigyeljék a funkciószintű hatást. A konfigurálás után a felhasználók elemezhetik az új funkciókat, összehasonlíthatják a funkció különböző változatait, és azonnal felmérhetik a releváns metrikákat az új termékmódosításokhoz. Ez a képesség mérhető elemzéseket biztosít a fejlesztői csapatok számára, ami megkönnyíti a gyorsabb és biztonságosabb terméktelepítést. A Microsoft a Split Software-lel együttműködve biztosítja a kísérletezési funkciót Azure-alkalmazás konfigurációban. A Split Experimentation Workspace (előzetes verzió) egy Azure Native ISV-erőforrás a Microsoft és a Split Software integrációjához.

Magas szintű adatfolyam kísérletezéshez az Azure-ban.

A kísérletezés megkezdéséhez először azonosítania kell a kísérletezni kívánt funkciót és annak változatait. A következő a funkcióértékelés alapját képező metrikák. Az első Azure-beli kísérlet megkezdéséhez kövesse az oktatóanyagban ismertetett lépéseket.

A kísérletezéssel kapcsolatos fogalmak

• Variant feature Flags: A funkció különböző verzióit vagy konfigurációit jelöli. Egy kísérletben a variációs funkciójelzők a releváns metrikák és az alkalmazás célközönsége számára lefoglalt forgalom szempontjából vannak összehasonlítva.

• Telemetria: A telemetria a funkció változatainak és a kapcsolódó metrikáknak a funkció kiértékeléséhez szükséges adatai. Az Azure-beli beállításhoz a funkciójelző kiértékelési/hozzárendelési adatfolyamai a telemetriai szolgáltatóhoz érkeznek. Az Application Insights a kísérletezés beállításának telemetriai szolgáltatója. A meghatározott metrikák adatai ugyanahhoz az Application Insights-példányhoz is áramlanak.

• A/B tesztelés: Az A/B tesztelés, más néven split tesztelés iparági szabványnak számító módszer a technológiai verem lehetséges változásainak hatásának kiértékelésére.

• Mintavételezési méret: A mintavételezési méret a kísérleti felhasználók mintájának mérete. Ez azoknak az eseményeknek a száma, amelyeken kísérletezik.

• Minimális mintavételezési méret: a statisztikailag jelentős eredmények megjelenítéséhez szükséges minimális számú esemény, amely a kísérlet funkciójának variációja szerint szükséges. Minél nagyobb a mintaméret, annál nagyobb a kísérlet eredményeinek statisztikai jelentősége.

Vegye figyelembe a következő példát: szeretné megtudni, hogy az e-kereskedelmi webhely ügyfelei nagyobb valószínűséggel kattintanak-e a pénztár gombra, ha sárga (A) vagy kék színű (B változat). Az összehasonlítás beállításához valószínűleg elosztja a forgalmat a funkciójelző két változata között, és a kattintások számát metrikaként használja a teljesítmény méréséhez. Nem valószínű, hogy az összes funkciója olyan egyszerű, hogy mérni és azonnal kiértékelni, és itt jön létre a kísérletezés. A kísérlet futtatásához be kell állítani egy ütemtervet ehhez a folyamathoz, amely összehasonlítja az egyes változatok teljesítményét az Önt érdeklő metrikákkal. Az "A/B tesztelés" és a "kísérletezés" kifejezés gyakran felcserélhető, ahol a kísérletezés lényegében egy kiterjesztett A/B-teszt, ahol szisztematikusan teszteli a hipotéziseket.

A kísérlet beállítása

Mielőtt hozzákezdene, fontolja meg a következő kérdéseket a hipotézis felderítési szakaszában: Milyen kérdésekre próbál választ adni egy kísérlet futtatásával? Mit kell futtatnia egy kísérleten? Miért? Hol kezdi? Milyen stratégiákat kell követnie az üzleti igényeinek megfelelően? Segít ez a kísérlet az alkalmazás vagy a vállalkozás teljesítményének azonnali javításában?

A teljes kiadás előtt egy kísérlet futtatásával azonosíthatja, hogy mit szeretne elérni, ebben a szakaszban dokumentálnia kell a tervet. Melyek a kísérletezni kívánt funkció vagy funkciók variációi? Milyen metrikák érdeklik? Milyen felhasználói vagy rendszer-interakciós események használhatók az adatok rögzítésére a metrikák méréséhez?

A kísérlet csak olyan jó, mint a begyűjtött adatok. A kísérlet megkezdése előtt meg kell határoznia, hogy melyik változatot kívánja használni vezérlőként (alapvariánsként), és hogy melyikben szeretné látni a változásokat (összehasonlító változat).

Következtetés levonása kísérletből

A következtetés (vagy szükség esetén több következtetés) a kísérletezés ciklusának utolsó szakasza. Ellenőrizheti a kísérlet eredményeit, amelyek az összehasonlító változat eredményét és hatását mutatják a vezérlővariánsra. Az eredmények statisztikai pontosságukat is mutatják. A Statsig mértéke a telemetriai adatoktól és a minta méretétől függ.

Az eredmények segítenek abban, hogy a tanulságokat és az eredményeket végrehajtható elemekké zárhassa, amelyeket azonnal megvalósíthat az éles környezetben. A kísérletezés azonban folyamatos folyamat. Kezdjen új kísérleteket a termék folyamatos fejlesztésére.

A kísérletezés használatának forgatókönyvei

• Az intelligens alkalmazások (pl. AI-alapú funkciók) felgyorsítják az általános AI-(Gen AI-) bevezetést, és gyors kísérletezéssel optimalizálják az AI-modelleket és a használati eseteket. A Kísérletezéssel gyorsan iterálhat AI-modelleken, tesztelhet különböző forgatókönyveket, és meghatározhatja a hatékony megközelítéseket. Segít javítani az AI-megoldásoknak a változó felhasználói igényekhez és piaci trendekhez való igazításának rugalmasságát, és megkönnyíti az AI-kezdeményezések skálázásának leghatékonyabb megközelítéseinek megértését.

• CI, CD és folyamatos kísérletezés (Fokozatos funkciók bevezetése és verziófrissítések) Zökkenőmentes áttűnés biztosítása, valamint a főbb metrikák karbantartása vagy javítása az egyes verziófrissítésekkel a funkciókiadások kezelése során. Kísérletezéssel fokozatosan hozhat létre új funkciókat a felhasználók részhalmazaihoz funkciójelzők használatával, figyelheti a teljesítménymetrikákat, és visszajelzéseket gyűjthet az iteratív fejlesztésekről. Érdemes csökkenteni annak a kockázatát, hogy hibákat vagy teljesítményproblémákat vezessen be a teljes felhasználói bázisra. Lehetővé teszi az adatvezérelt döntéshozatalt a verzió bevezetése és a funkciójelző kezelése során, ami jobb termékminőséget és felhasználói elégedettséget eredményez.

• Felhasználói élmény optimalizálása (felhasználói felületI A/B tesztelés) Az üzleti metrikák optimalizálása a különböző felhasználói felületi változatok összehasonlításával és a leghatékonyabb kialakítás meghatározásával. A/B-teszteket végezhet kísérletezéssel a felhasználói felület elemeinek teszteléséhez, a felhasználói interakciók méréséhez és a teljesítménymetrikák elemzéséhez. Az itt legjobban visszaadott jobb felhasználói élmény a felhasználói felület változásainak empirikus bizonyítékokon alapuló implementálásával.

• Személyre szabási és célzási kísérletek Személyre szabott tartalmakat és felhasználói viselkedéseket biztosít. Kísérletezéssel tesztelheti a személyre szabott tartalmakat, mérheti az előjegyzést, és iterálhat a személyre szabási stratégiákon. Az eredmények a felhasználói aktivitás, a konverziós arányok és az ügyfelek lojalitásának növelése releváns és személyre szabott szolgáltatásokon keresztül. Ezek az eredmények a bevétel növekedését és az ügyfelek megtartását eredményezik azáltal, hogy személyre szabott üzenetekkel és ajánlatokkal célzják meg a célközönségeket.

• Teljesítményoptimalizálási kísérletek Az alkalmazás teljesítményének javítása és hatékony felhasználói élmény biztosítása teljesítményoptimalizálási kísérletek révén. Végezzen kísérleteket a teljesítménybeli fejlesztések tesztelésére, a fő metrikák mérésére és a sikeres optimalizálások megvalósítására. Itt a kísérletezés proaktív teljesítményjavításokkal javítja az alkalmazások méretezhetőségét, megbízhatóságát és válaszkészségét. Hatékony optimalizálással optimalizálja az erőforrás-kihasználtságot és az infrastruktúra költségeit.

Kísérletműveletek

• Kísérlet létrehozása: A kísérlet létrehozható egy telemetriát kibocsátó változatfunkció-jelzőn. A kísérlet létrehozása után a kísérlet verziója is létrejön a kísérlettel együtt. A funkciójelölő további módosításai egy új kísérletverzió létrehozását eredményezik a kísérlethez.

• Archiválási kísérlet: A kísérlet archiválása archivált állapotba helyezi. A kísérlet archiválása közben a rendszer nem végez számításokat a kísérleten. Később bármikor visszaállíthatja a kísérletet a számítások folytatásához, és visszatérhet az aktív állapotba.

• Kísérlet helyreállítása: A kísérlet helyreállítása aktív állapotba helyezi az archivált kísérletet, és a kísérletek számításai folytatódnak.

• Kísérlet törlése: A kísérlet törlése törli a spliti kísérletet és annak összes kapcsolódó adatát. Ez egy visszafordíthatatlan művelet, ezért a törlés után nincs visszaállítás.

• A kísérlet eredményeinek ellenőrzése: Egy aktív kísérlet eredményeinek ellenőrzése lehetővé teszi, hogy lássa, hogyan teljesít a kísérlet egyes változatai.

A kísérletműveletek hozzáférési követelményei

A következő szakaszok a Microsoft Entra ID azonosítóval végzett kísérletekkel kapcsolatos műveletek végrehajtásához szükséges szerepköröket ismertetik.

Kísérletezés beállítása

A szükséges erőforrásokkal való kísérletezéshez, beleértve a felosztási kísérletezés munkaterületét, az Azure-előfizetés tulajdonosi szerepkörét, vagy az előfizetés közreműködői és felhasználói hozzáférés-rendszergazdai szerepköreinek kombinációját kell beállítani.

Kísérlet létrehozása vagy frissítése

Kísérlet létrehozásához, frissítéséhez, archiválásához vagy törléséhez alkalmazáskonfigurációs adattulajdonosi szerepkörre van szükség az Alkalmazáskonfigurációs áruházban. Ehhez az ExperimentationDataOwner szerepkörre is szükség van a csatlakoztatott Split Experimentation-munkaterülethez való adathozzáférést kezelő Vállalati alkalmazásban.

Kísérlet eredményeinek olvasása

A kísérletek, azok verzióinak és eredményeinek ellenőrzéséhez alkalmazáskonfigurációs adatolvasó szerepkörre lenne szükség az Alkalmazáskonfigurációs áruházban. Emellett szükség van egy ExperimentationDataReader vagy egy ExperimentationDataOwner szerepkörre a nagyvállalati alkalmazásban, amely a csatlakoztatott Split Experimentation-munkaterülethez való adathozzáférést kezeli.

Számlázási szempontok és korlátok

Az alkalmazáskonfiguráció nem számláz kifejezetten kísérletekért. A kísérletezést a Split Experimentation Workspace (előzetes verzió) integrációja biztosítja. A Azure-alkalmazás konfigurációhoz tekintse meg a Split Experimentation díjszabási csomagját.

A felosztásos kísérletezéshez szükséges minimális mintaméret variánsonként 30. A kísérlethez a minimális mintaméretre van szükség a kísérlet eredményeinek lekéréséhez, vagy az eredmények "Nincs adat" értéket mutatnak az eredményben.

Következő lépések

Kísérletek futtatása variánsfunkció-jelzőkkel

Split Experimentation – rövid útmutató