Charakteristiky a omezení personalizace
Důležité
Od 20. září 2023 nebudete moct vytvářet nové prostředky personalizace. Služba Personalizace se vyřadí z provozu 1. října 2026.
Personalizace Azure AI může fungovat v mnoha scénářích. Pokud chcete zjistit, kde můžete použít personalizaci, ujistěte se, že požadavky vašeho scénáře splňují očekávání, aby personalizace fungovala. Informace o tom, jestli se má personalizace používat a jak ji integrovat do vašich aplikací, najdete v tématu Případy použití personalizace. Najdete kritéria a pokyny k výběru případů použití, návrhu funkcí a odměn pro vaše použití personalizace.
Než si přečtete tento článek, je užitečné pochopit některé základní informace o tom, jak personalizace funguje.
Výběr funkcí pro personalizaci
Přizpůsobení obsahu závisí na tom, že máte užitečné informace o obsahu a uživateli. U některých aplikací a odvětví mohou být některé uživatelské funkce přímo nebo nepřímo považovány za nediskriminační a potenciálně nezákonné. Prohlédni si pokyny pro integraci personalizace a zodpovědné používání funkcí pro posouzení funkcí, které se mají používat s personalizátorem.
Výpočetní odměny pro personalizaci
Personalizace se učí zlepšovat volby akcí na základě skóre odměny poskytované vaší obchodní logikou vaší aplikace. Dobře sestavené skóre odměny bude fungovat jako krátkodobý proxy pro obchodní cíl, který je svázaný s posláním organizace. Například odměna na kliknutí způsobí, že personalizace hledá kliknutí na úkor všeho ostatního, i když to, na co kliknete, je rušivé pro uživatele nebo není svázané s obchodním výsledkem. Naproti tomu příspěvek může chtít nastavit odměny vázané na něco smysluplnějšího než kliknutí, například "Strávil uživatel dostatek času ke čtení obsahu?" nebo "Klikl uživatel na relevantní články nebo odkazy?". Díky personalizaci je snadné svázat metriky s odměnami. Budete ale muset dávat pozor, abyste krátkodobé zapojení uživatelů nepředcháli požadovanými výsledky.
Nezamýšlené důsledky z skóre odměny
I když jsou vytvořené s nejlepším záměrem skóre odměny, můžou mít neočekávané důsledky nebo neočekávané výsledky z důvodu toho, jak Personalizace řadí obsah.
Zvažte následující příklady:
- Přizpůsobení obsahu videa odměnou procentem délky videa, na které jste se dívali, bude pravděpodobně řadit kratší videa vyšší než delší videa.
- Odměňování sdílení sociálních médií bez analýzy mínění o tom, jak se sdílí, nebo samotný obsah, může vést k urážlivému, nemoderifikovanému nebo zánětlivému obsahu. Tento typ obsahu má tendenci vytěsnit spoustu zapojení, ale často je poškozen.
- Odměna za akci prvků uživatelského rozhraní, které uživatelé neočekávají, by mohla ovlivnit použitelnost a předvídatelnost uživatelského rozhraní. Například tlačítka, která mění umístění nebo účel bez upozornění, můžou určitým skupinám uživatelů znesnadnit produktivitu.
Implementujte tyto osvědčené postupy:
- Spusťte offline experimenty s vaším systémem pomocí různých přístupů k odměnám, abyste porozuměli dopadu a vedlejším účinkům.
- Vyhodnoťte své funkce odměny a zeptejte se, jak může naïve osoba změnit svou interpretaci, což může vést k neúmyslným nebo nežádoucím výsledkům.
- Archivujte informace a prostředky, jako jsou modely, zásady výuky a další data, která personalizace používá k fungování, aby výsledky mohly být reprodukovatelné.
Obecné pokyny pro pochopení a zlepšení výkonu
Vzhledem k tomu, že personalizace je založená na Učení posílení a učí se od odměn, aby se v průběhu času lépe rozhodoval, výkon se neměří v tradičních termínech učení pod dohledem používaných v klasifikátorech, jako je přesnost a úplnost. Výkon personalizace se přímo měří jako součet skóre odměny, které obdrží z vaší aplikace prostřednictvím rozhraní API odměny.
Když používáte personalizaci, uživatelské rozhraní produktu na webu Azure Portal poskytuje informace o výkonu, abyste je mohli monitorovat a pracovat s ním. Výkon můžete vidět následujícími způsoby:
- Pokud je personalizace v režimu Online Učení, můžete provést offline vyhodnocení.
- Pokud je personalizace v režimu Apprentice, můžete zobrazit metriky výkonu (události napodobené a odměny napodobované) v podokně Vyhodnocení na webu Azure Portal.
Doporučujeme provádět časté hodnocení offline, abyste zachovali dohled. Tento úkol vám pomůže sledovat trendy a zajistit efektivitu. Můžete se například rozhodnout dočasně umístit Personalizace do režimu Apprentice, pokud výkon odměny má pokles.
Odhady výkonu personalizace zobrazené v offline vyhodnocení: Omezení
"Výkon" personalizace definujeme jako celkový počet odměn, které získá během používání. Odhady výkonu personalizace zobrazené v offline vyhodnocení se místo měření počítají. Je důležité pochopit omezení těchto odhadů:
- Odhady vycházejí z minulých dat, takže budoucí výkon se může lišit podle toho, jak se svět a vaši uživatelé mění.
- Odhady základního výkonu se počítají probabilisticky. Z tohoto důvodu je důležitá skupina spolehlivosti pro průměrnou odměnu podle směrného plánu. Odhad bude přesnější s více událostmi. Pokud použijete menší počet akcí v každém volání pořadí, odhad výkonu může zvýšit důvěru, protože existuje vyšší pravděpodobnost, že Personalizace může pro každou událost zvolit některou z nich (včetně základní akce).
- Personalizace neustále trénuje model téměř v reálném čase, aby se zlepšily akce vybrané pro každou událost a v důsledku toho ovlivní celkové získané odměny. Výkon modelu se bude v průběhu času lišit v závislosti na nedávných minulých trénovacích datech.
- Volba průzkumu a akce jsou stochastické procesy řízené modelem Personalizace. Náhodná čísla použitá pro tyto stochastické procesy jsou sesazena z ID události. Pokud chcete zajistit reprodukovatelnost zneužití zkoumání a dalších stochastických procesů, použijte stejné ID události.
- Online výkon může být omezen průzkumem. Snížení nastavení průzkumu omezí množství informací, aby zůstaly nad změnou trendů a vzorů využití, takže zůstatek závisí na každém případu použití. Některé případy použití si zaslouží začátek s vyšším nastavením zkoumání a jejich zkrácení v průběhu času (např. začněte s 30 % a snížením na 10 %).
Kontrola existujících modelů, které by mohly neúmyslně ovlivnit personalizaci
Stávající doporučení, segmentace zákazníků a výstupy modelu pro náchylnost je možné ve vaší aplikaci používat jako vstupy pro personalizaci. Personalizace se naučí ignorovat funkce, které nepřispívají k odměnám. Zkontrolujte a vyhodnoťte všechny modely propenze, abyste zjistili, jestli jsou dobré při předpovídání odměn a obsahují silné předsudky, které by mohly generovat škodu jako vedlejší účinek. Hledejte například doporučení, která by mohla být založena na škodlivých stereotypech. Zvažte použití nástrojů, jako je FairLearn k usnadnění procesu.
Proaktivní hodnocení během životního cyklu projektu
Zvažte vytvoření metod pro členy týmu, uživatele a vlastníky firmy, které hlásí obavy týkající se zodpovědného použití a procesu, který upřednostňuje jejich řešení. Zvažte zacházení s úlohami zodpovědného použití stejně jako s jinými křížovými úlohami v životním cyklu aplikace, jako jsou úlohy související s uživatelským prostředím, zabezpečením nebo DevOps. Úkoly související s zodpovědným používáním a jejich požadavky by neměly být po dokončení. Zodpovědné použití by se mělo probírat a implementovat v průběhu životního cyklu aplikace.