Egenskaper och begränsningar för Personanpassning
Viktigt!
Från och med den 20 september 2023 kommer du inte att kunna skapa nya personaliseringsresurser. Personanpassningstjänsten dras tillbaka den 1 oktober 2026.
Azure AI Personalizer kan fungera i många scenarier. För att förstå var du kan använda Personanpassning kontrollerar du att kraven i ditt scenario uppfyller förväntningarna för att Personanpassning ska fungera. Information om huruvida Personanpassning ska användas och hur du integrerar den i dina program finns i Användningsfall för personanpassning. Du hittar kriterier och vägledning om hur du väljer användningsfall, utformar funktioner och belöningsfunktioner för din användning av Personalizer.
Innan du läser den här artikeln är det bra att förstå lite bakgrundsinformation om hur Personanpassning fungerar.
Välj funktioner för Personanpassning
Anpassning av innehåll beror på att du har användbar information om innehållet och användaren. För vissa program och branscher kan vissa användarfunktioner direkt eller indirekt betraktas som diskriminerande och potentiellt olagliga. Se riktlinjerna för anpassningsintegrering och ansvarsfull användning för att utvärdera funktioner som ska användas med Personanpassning.
Beräkningsbelöningar för personanpassning
Personalizer lär sig att förbättra åtgärdsalternativ baserat på belöningspoängen som tillhandahålls av ditt program affärslogik. En välbyggd belöningspoäng fungerar som en kortsiktig proxy till ett affärsmål som är knutet till en organisations uppdrag. Till exempel kommer givande av klick att göra att Personanpassning söker klick på bekostnad av allt annat, även om det som klickas distraherar användaren eller inte är kopplat till ett affärsresultat. Däremot kanske en nyhetswebbplats vill ange belöningar kopplade till något mer meningsfullt än klick, till exempel "Spenderade användaren tillräckligt med tid för att läsa innehållet?" eller "Klickade användaren på relevanta artiklar eller referenser?" Med Personalizer är det enkelt att knyta mått nära till belöningar. Du måste dock vara noga med att inte blanda ihop kortsiktiga användarengagemang med önskade resultat.
Oavsiktliga konsekvenser av belöningspoäng
Även om de skapas med bästa avsikter kan belöningspoäng skapa oväntade konsekvenser eller oavsiktliga resultat på grund av hur Personanpassning rangordnar innehåll.
Föreställ dig följande exempel:
- Att belöna videoinnehållsanpassning på procentandelen av videolängden som ses tenderar förmodligen att rangordna kortare videor högre än längre videor.
- Att belöna sociala medieresurser, utan attitydanalys av hur det delas eller själva innehållet, kan leda till rangordning av stötande, omodererat eller inflammatoriskt innehåll. Den här typen av innehåll tenderar att väcka mycket engagemang men är ofta skadligt.
- Att belöna åtgärden för användargränssnittselement som användarna inte förväntar sig att ändra kan störa användargränssnittets användbarhet och förutsägbarhet. Till exempel kan knappar som ändrar plats eller syfte utan varning göra det svårare för vissa grupper av användare att förbli produktiva.
Implementera dessa metodtips:
- Kör offlineexperiment med systemet med hjälp av olika belöningsmetoder för att förstå påverkan och biverkningar.
- Utvärdera dina belöningsfunktioner och fråga dig själv hur en naiv person kan ändra sin tolkning, vilket kan leda till oavsiktliga eller oönskade resultat.
- Arkivera information och tillgångar, till exempel modeller, inlärningsprinciper och andra data, som Personanpassning använder för att fungera, så att resultaten kan återskapas.
Allmänna riktlinjer för att förstå och förbättra prestanda
Eftersom Personanpassning baseras på förstärkningsinlärning och lär sig av belöningar för att göra bättre val över tid mäts inte prestanda i traditionella övervakade inlärningstermer som används i klassificerare, till exempel precision och återkallande. Prestanda för Personanpassning mäts direkt som summan av belöningspoängen som den får från ditt program via Reward-API:et.
När du använder Personanpassning tillhandahåller produktanvändargränssnittet i Azure-portalen prestandainformation så att du kan övervaka och agera på den. Prestandan kan ses på följande sätt:
- Om Personanpassning är i onlineinlärningsläge kan du utföra offlineutvärderingar.
- Om personanpassningen är i lärlingsläge kan du se prestandamåtten (händelser imiterade och belöningar imiterade) i fönstret Utvärdering i Azure-portalen.
Vi rekommenderar att du utför frekventa offlineutvärderingar för att upprätthålla tillsyn. Den här uppgiften hjälper dig att övervaka trender och säkerställa effektivitet. Du kan till exempel välja att tillfälligt placera Personanpassning i lärlingsläge om belöningsprestandan har en dipp.
Prestandauppskattningar för personanpassning som visas i offlineutvärderingar: Begränsningar
Vi definierar "prestanda" för Personanpassning som de totala belöningar som den får under användning. Prestandauppskattningar för personanpassning som visas i Offlineutvärderingar beräknas i stället för att mätas. Det är viktigt att förstå begränsningarna i dessa uppskattningar:
- Uppskattningarna baseras på tidigare data, så framtida prestanda kan variera alltefter som världen och användarna förändras.
- Uppskattningarna för baslinjeprestanda beräknas probabilistically. Därför är konfidensbandet för den genomsnittliga baslinjebelöningen viktigt. Uppskattningen blir mer exakt med fler händelser. Om du använder ett mindre antal åtgärder i varje rankningsanrop kan prestandauppskattningen öka i förtroende eftersom det finns en högre sannolikhet att Personanpassning kan välja någon av dem (inklusive baslinjeåtgärden) för varje händelse.
- Personanpassning tränar ständigt en modell i nära realtid för att förbättra de åtgärder som valts för varje händelse, och som ett resultat kommer det att påverka de totala belöningar som erhålls. Modellprestandan varierar över tid, beroende på de senaste träningsdata.
- Utforskning och åtgärdsval är stokastiska processer som styrs av personanpassningsmodellen. De slumpmässiga tal som används för dessa stokastiska processer seedas från händelse-ID:t. Använd samma händelse-ID för att säkerställa reproducerbarheten för utforska-utnyttja och andra stokastiska processer.
- Onlineprestanda kan begränsas av utforskning. Om du sänker inställningarna för utforskning begränsas hur mycket information som samlas in för att hålla koll på föränderliga trender och användningsmönster, så saldot beror på varje användningsfall. Vissa användningsfall förtjänar att börja med högre utforskningsinställningar och minska dem över tid (t.ex. börja med 30 % och minska till 10 %).
Kontrollera befintliga modeller som oavsiktligt kan fördomsanpassa personanpassning
Befintliga rekommendationer, kundsegmentering och utdata från propensity-modellen kan användas av ditt program som indata till Personanpassning. Personalizer lär sig att bortse från funktioner som inte bidrar till belöningar. Granska och utvärdera eventuella benägenhetsmodeller för att avgöra om de är bra på att förutsäga belöningar och innehåller starka fördomar som kan generera skada som en bieffekt. Leta till exempel efter rekommendationer som kan baseras på skadliga stereotyper. Överväg att använda verktyg som FairLearn för att underlätta processen.
Proaktiva utvärderingar under projektets livscykel
Överväg att skapa metoder för teammedlemmar, användare och företagare för att rapportera problem med ansvarsfull användning och en process som prioriterar deras lösning. Överväg att behandla uppgifter för ansvarsfull användning precis som andra korsningsuppgifter i programmets livscykel, till exempel uppgifter som rör användarupplevelse, säkerhet eller DevOps. Uppgifter som rör ansvarsfull användning och deras krav bör inte vara eftertanke. Ansvarsfull användning bör diskuteras och implementeras under hela programmets livscykel.