Analysera din inlärningsloop med en offlineutvärdering
Viktigt!
Från och med den 20 september 2023 kommer du inte att kunna skapa nya personaliseringsresurser. Personanpassningstjänsten dras tillbaka den 1 oktober 2026.
Lär dig hur du skapar en offlineutvärdering och tolkar resultaten.
Med offlineutvärderingar kan du mäta hur effektiv personanpassning är jämfört med programmets standardbeteende under en period av loggade (historiska) data och utvärdera hur väl andra modellkonfigurationsinställningar kan fungera för din modell.
När du skapar en offlineutvärdering körs optimeringsidentifieringsalternativet offlineutvärderingar över en mängd olika inlärningsprincipvärden för att hitta en som kan förbättra modellens prestanda. Du kan också ange ytterligare principer för utvärdering i offlineutvärderingen.
Läs mer om offlineutvärderingar .
Förutsättningar
- En konfigurerad personanpassningsresurs
- Personalizer-resursen måste ha en representativ mängd loggade data – som en bollplansfigur rekommenderar vi minst 50 000 händelser i loggarna för meningsfulla utvärderingsresultat. Du kan också tidigare ha exporterat filer för inlärningsprinciper som du vill testa och jämföra i den här utvärderingen.
Kör en offlineutvärdering
Leta reda på din Personalizer-resurs i Azure-portalen.
I Azure-portalen går du till avsnittet Utvärderingar och väljer Skapa utvärdering.
Fyll i alternativen i fönstret Skapa en utvärdering :
- Ett utvärderingsnamn.
- Start- och slutdatum – det här är datum som anger vilket dataintervall som ska användas i utvärderingen. Dessa data måste finnas i loggarna enligt vad som anges i datakvarhållningsvärdet.
- Ställ in optimeringsidentifiering på ja, om du vill att Personanpassning ska försöka hitta mer optimala inlärningsprinciper.
- Lägg till utbildningsinställningar – ladda upp en utbildningsprincipfil om du vill utvärdera en anpassad eller tidigare exporterad princip.l
Starta utvärderingen genom att välja Starta utvärdering.
Granska resultatet från utvärderingen
Utvärderingar kan ta lång tid att köra, beroende på mängden data som ska bearbetas, antalet utbildningsprinciper att jämföra och om en optimering begärdes.
När du är klar kan du välja utvärderingen i listan över utvärderingar och sedan välja Jämför poängen för ditt program med andra potentiella inlärningsinställningar. Välj den här funktionen när du vill se hur din aktuella inlärningsprincip fungerar jämfört med en ny princip.
Granska sedan prestandan för inlärningsprinciperna.
Du ser olika inlärningsprinciper i diagrammet, tillsammans med deras uppskattade genomsnittliga belöning, konfidensintervall och alternativ för att ladda ned eller tillämpa en specifik princip.
- "Online" – Personanpassningens aktuella princip
- "Baseline1" – programmets baslinjeprincip
- "BaselineRand" – en princip för att vidta åtgärder slumpmässigt
- "Inter-len#" eller "Hyper#" – principer som skapats av optimeringsidentifiering.
Välj Använd för att tillämpa principen som förbättrar modellen bäst för dina data.
Nästa steg
- Läs mer om hur offlineutvärderingar fungerar.