Analýza smyčky učení pomocí offline vyhodnocení

  • Článek

Důležité

Od 20. září 2023 nebudete moct vytvářet nové prostředky personalizace. Služba Personalizace se vyřadí z provozu 1. října 2026.

Zjistěte, jak vytvořit offline vyhodnocení a interpretovat výsledky.

Offline vyhodnocení umožňují měřit, jak efektivní personalizace je v porovnání s výchozím chováním vaší aplikace v průběhu období protokolovaných (historických) dat, a posoudit, jak dobře mohou pro váš model fungovat jiná nastavení konfigurace modelu.

Když vytvoříte offline vyhodnocení, možnost zjišťování optimalizace spustí offline vyhodnocení v různých hodnotách zásad učení, abyste našli hodnoty, které můžou zlepšit výkon vašeho modelu. Můžete také poskytnout další zásady pro posouzení v offline hodnocení.

Další informace najdete v tématu o offline vyhodnoceních .

Předpoklady

  • Nakonfigurovaný prostředek Personalizace
  • Prostředek Personalizace musí mít reprezentativní množství protokolovaných dat – jako obrázek ballparku doporučujeme alespoň 50 000 událostí v protokolech pro smysluplné výsledky vyhodnocení. Volitelně můžete mít také dříve exportované soubory zásad výuky, které chcete otestovat a porovnat v tomto vyhodnocení.

Spuštění offline vyhodnocení

  1. Na webu Azure Portal vyhledejte prostředek Personalizace.

  2. Na webu Azure Portal přejděte do části Vyhodnocení a vyberte Vytvořit vyhodnocení. In the Azure portal, go to the Evaluations section and select Create Evaluation.

  3. Vyplňte možnosti v okně Vytvořit vyhodnocení :

    • Název vyhodnocení.
    • Počáteční a koncové datum – jedná se o kalendářní data, která určují rozsah dat, který se má použít při vyhodnocení. Tato data musí být obsažena v protokolech, jak je uvedeno v hodnotě Uchovávání dat.
    • Pokud chcete, aby se personalizace pokusila najít optimální zásady výuky, nastavte zjišťování optimalizace na ano.
    • Přidání nastavení výuky – nahrání souboru zásad výuky, pokud chcete vyhodnotit vlastní nebo dříve exportovanou zásadu.l

    Choose offline evaluation settings

  4. Spusťte vyhodnocení výběrem možnosti Zahájit vyhodnocení.

Kontrola výsledků vyhodnocení

Vyhodnocení může trvat dlouhou dobu, v závislosti na množství dat ke zpracování, počtu zásad učení, které se mají porovnat a jestli byla požadována optimalizace.

  1. Po dokončení můžete vybrat vyhodnocení ze seznamu vyhodnocení a pak vybrat Porovnat skóre aplikace s dalšími možnými nastaveními učení. Tuto funkci vyberte, pokud chcete zjistit, jak vaše aktuální zásady výuky fungují v porovnání s novými zásadami.

  2. Dále zkontrolujte výkon zásad výuky.

    Review evaluation results

V grafu uvidíte různé zásady výuky spolu s odhadovanou průměrnou odměnou, intervaly spolehlivosti a možnostmi stažení nebo použití konkrétní zásady.

  • "Online" – Aktuální zásady personalizace
  • Směrný plán 1 – zásady směrného plánu vaší aplikace
  • "BaselineRand" – zásada provádění náhodných akcí
  • "Inter-len# nebo "Hyper#" – zásady vytvořené zjišťováním optimalizace.

Vyberte Použít , pokud chcete použít zásadu, která vylepšuje nejlepší model pro vaše data.

Další kroky