Metodtips för UX-utvärderingar

  • Artikel

När man aktiverar en ny tjänst tycker många att de bör vänta tills slutet på utvärderingen av resultat och förväntningar. Oavsett var du befinner dig i registreringscykeln är det aldrig för tidigt att börja fundera på olika experiment och utvärderingsmetoder. Det lönar sig att ha en väletablerad och tydlig experiment- och utvärderingsplan för verksamheten.

Den här artikeln innehåller bland annat information om hur man lyckas med en utvärdering med Intelligent Recommendations. Genom att följa vår bästa praxis säkerställer du att ditt företag utvärderar kvalitetsresultat och minskar omsättning längs vägen.

Våra metodtips är uppdelade i expertområden. Välj ett om du vill veta mer:

  1. Indatakvalitet
  2. Algoritmkompetens
  3. Experimenterande
  4. Klientsidans telemetri
  5. Systemarkitektur
  6. Slutanvändarerfarenhet (UX/UI)

Metodtips för indata

Innan du utlöser den första modellcykeln bör du tänka på att fundera över vilken information du delar med rekommendationstjänsten. Här följer några exempel på metodtips och dra nytta av att arbeta med företag från olika domäner när de konfigurerar sina datakontrakt:

  1. Kontrollera att de data du lägger i överensstämmer med de scenarier som du vill visa för slutanvändaren.
    1. Om du vill se "Personer också" rekommendationer för produkter måste du ha information om interaktion. Ju mer du matar modellen, desto mer kan tjänsten lära dig och skapa korrekta relationer mellan produkter och användare. Läs vår guide över modellering & guide och frågor och svar om maskininlärning tillgängliga och hur du väljer vilka som passar bäst för dina affärsscenarier.
    2. Om du vill se visuellt liknande rekommendationer måste du ha bilddata av hög kvalitet för objekten. Mer information finns i Bild till objektdataenhet
    3. Om du vill ha textuellt liknande rekommendationer måste du se till att befintliga beskrivningar och titlar skrivs tydligt och enhetligt datauppsättning.
      1. För den här gången har vår service endast utbildat modellen på engelska. Kunderna kan prova modellen på andra språk och utvärdera modellens prestanda separat och kontakta oss med eventuella frågor. Kunderna har översatt beskrivningarna och titlarna för sina produkter till engelska innan de inkluderas i datakontraktet. Vi rekommenderar därför att du och din verksamhet försöker hitta rätt metod.
      2. Beskrivningarna som används för modellering visas aldrig i API-begäran för det här scenariot, så någon beskrivning du använder för produkterna i datakontraktet kommer aldrig att visas för kunder.
  2. Dålig data kommer att resultera i dåliga resultat! Kvalitets- och rensningsmetadata gör affärerna framgångsrika. De flesta misstag åtgärdas ofta på grund av användarfel när du konfigurerar datakontraktet. Här är några saker att tänka på:
    1. Innan du aktiverar modellprocessen kan du prova instrumentpanelen för signaler för Intelligent Recommendations – en Power BI-rapport som tar sig an ett användarkontrakt och identifierar problem med datakvaliteten och potentiella utmaningar för modellutbildning. För en översikt över den här instrumentpanelen.
    2. Modellprocessen misslyckas om det finns problem med konfigurationen av dataentiteterna i datakontraktet. Aktivera felloggning lösningen så att du snabbt kan identifiera dubbletter eller skrivfel som kan finnas som en del av dataöverföringsprocessen inifrån ditt Azure-portalkonto. Mer information om hur du konfigurerar loggning för tillbakaskrivning finns i Konfigurera felloggning i Azure Data Lake Storage.

Rekommendationer för Algoritmkompetens

Tjänsten Intelligent Recommendations är en allmän rekommenderare med uppdrag att för allas bästa, oavsett teknisk bakgrund, göra rekommendationer för AI-ML. Med hjälp av tjänstalgoritmer får kunderna en bättre maskininlärning sin förståelse av olika metoder och kan kontrollera vilka algoritmer som passar bäst för ett visst affärsbehov.

  1. Telemetri som delas med modeller för Intelligent Recommendations kan påverka de typer av resultat som returneras av motorn. Med den här sortens modellflexibilitet kan företag ha flera alternativa versioner av modeller för testning och experiment med olika typer av data. Några enkla exempel på vad som händer när du ändrar standardmodellen innan du anropar API-resultaten visas i följande tabell:
Exempel på indata i modellen Exempel på utdatascenario
Inköpstransaktioner Personer som köpt denna artikel har också köpt
Klickflöde/vyer Personer som visade denna artikel visade också
Användning Personer som använde X timmar använde också
Video som tittar på telemetri Personer som tittade på detta har också tittat på
  1. Det är viktigt att tänka på vilken påverkan resultatet har på modelleringsresultatet och att det är viktigt att tänka på vilken upplevelse man försöker skapa för slutanvändarna. Att utvärdera och ändra testerna i datakontraktet är en effektivare utgångspunkt för att fastställa utvärderingsresultat i stället för att behöva anpassa eller använda ytterligare affärslogik i en modell.
  2. Ytterligare affärslogik kan användas i form av formulär och kan ändra resultatet av rekommendationerna till exempel:
    1. Fästa produkter framför listor (utskick/externa listor)
    2. Redaktionellt modererat innehåll (externa listor)
    3. Anpassningsbar filtrering
    4. Taggning och behållare
  3. Se Modellering & guide med frågor och svar för djupgående översikter av modeller och algoritmer, se de vanligaste frågorna om algoritmer och avgör om nya scenarier kan påverka dina affärsappar.

Metodtips för experimentering

I det här avsnittet tar du upp några olika sätt att utvärdera resultaten av Intelligent Recommendations.

Några frågor att ställa när du planerar utvärderingen:

  1. Hur mäter jag framgång? Hur ser framgång ut för mitt företag?
  2. Du bör fundera på vad som passar och vad som är relevant enligt följande:
    1. Passar den befintliga identifieringen bra för slutanvändaren?
    2. Matchar resultatet av rekommendationstjänstens resultat med de förväntningar som experterna på ämnet har?
    3. Vad har du för förväntningar på rekommendationerna? Vad ska en slutanvändare se eller inte se? Anonym eller inloggad?
  3. Hur ser en användarupplevelse ut eller hur ser upptäcktsresan ut för en användare från början till slut?
  4. Var ska vi utvärdera? Produktdetaljsidor, profiler, startsida eller kategorisöksidor?

Så här mäter du relevans

När vi mäter relevansen för resultaten av dina rekommendationer föreslår vi några typer av utvärderingsmetoder:

  1. Granska medelvärdet för dina produkter. Tjänsten Intelligent Recommendations ger instrumentpaneler förser dig med information om ditt datakontrakt och dina modeller innan resultatet returneras. Mer information finns i Översikten av Power BI-instrumentpanelen.
  2. Skapa ämnesutvärderingar offline. Med andra ord kan du identifiera någon som har erfarenhet av affärsdomänen (d.v.s. en ämnesexpert eller "SME") och be dem granska resultaten utifrån ett perspektiv från en slutanvändare/användare.
    1. Innan du börjar utvärdera bör du fråga SME vad de har för förväntningar när de granskar resultaten av rekommendationerna. Ge SME möjlighet att ringa och diskutera varför resultatet inte kunde uppfylla deras förväntningar. Du kanske upptäcker att det finns inkonsekvenser i resultatet som kräver vissa konfigurationsändringar i datakontraktet.
    2. Kan till exempel resultaten som returneras vara meningsfulla för slutanvändarna/kunder? Returneras produkter som jag som kund förväntar mig att se? I ett scenario med en livsmedelsbutik, om klorin ständigt rekommenderas med frukt, kan det finnas ett behov av att titta noga på dina interaktioner och korrigera datakontraktet innan du försöker igen. På samma sätt kanske det inte är meningsfullt om jeans rekommenderas med studentbalklänning.
  3. Utför online experiment. Den vanligaste typen av experiment för rekommendationer är att ge A/B-testning med en faktisk population. Låt rekommendationerna presenteras för slutanvändarna i några veckor. När tiden är över granskar du listornas resultat på sidan för att se om det lyckas eller inte.
    1. Du kan köra A/B-experiment mellan rekommendationslistor för att se vilka listor som fungerar bäst på en viss plats i din butik eller på din webbplats.
    2. Om du ändrar upplevelsen på webbsidan för slutanvändaren kan det också påverka prestandan för dina rekommendationer. Du kan ha de mest intelligenta modeller i världen, men om slutanvändarna inte hittar rekommendationerna eller går förlorade på att utforska webbplatsen misslyckas din misslyckande. Mer information finns i Slutanvändarupplevelsen.

Metodtips för utvärdering av telemetri på klientsidan

Som en del av utvärderingsprocessen bör du också överväga hur du granskar telemetriresultat. Precis som med experiment ger telemetri djupare insikter om slutanvändarna när de interagerar med listorna med rekommendationer. Genom att använda experiment och telemetri tillsammans får du den bästa utvärderingen av dina rekommendationer.

Några frågor att ställa när du granskar telemetri efter ett experiment:

  1. Köpte kunderna produkten på grund av den här listan? Eller valde den fler? Köpte mer?
  2. Interagerade kunderna mer med webbplatsen? Utforskade mer?
  3. Lade kunderna till produkter i sin kundvagn? Hur många kundvagnar övergavs?
  4. Skapade anonyma användare ett konto/en prenumeration?
  5. Hur kunde det förbättra prestanda om det finns e-postkampanjer med rekommendationer?
  6. Finns det fler sidvisningar?

Obs! Utvärdering av telemetri är inte begränsat till åtgärder, utan kan även spåras som explicita interaktioner. Shoppare som interagerar med en explicit "inte intresserad"-knapp kan vara bra för underhållningsdomäner men kanske inte har någon större inverkan på detaljhandels- eller kläddomäner. Alla telemetrier är inte meningsfulla för varje scenario, men det är en bra plats att starta utvärderingsprocessen på eftersom rekommendationerna har för kundernas åtaganden.

Metodtips för systemarkitektur

En bra utvärdering beror också på hur data i datakontraktet är konfigurerade. Hur du konfigurerar data påverkar din övergripande prestanda. Som vi tidigare nämnt är datakvaliteten viktig eftersom dåliga resultat i indata resulterar i fel utdata!

Här är några tips som garanterar att systemet är konfigurerat och redo att ge rekommendationer:

  1. När du inställningarna för Reco-interaktioner och katalogdataentiteter – Kontrollera att data i ditt lagringskonto innehåller kvalitetsdata. Vi tillhandahåller även instrumentpaneler som kan tolka och förbättra kvaliteten på dina data. Mer information finns i Översikten av Power BI-instrumentpanelen.
  2. Ta reda på en metod för att uppdatera datakontraktet med nya data. Det är upp till företagen att välja att hantera och underhålla den information de delar med tjänsten. Vi uppmanar företag att se till att det finns en process för att uppdatera data utan att skriva över den. En metod är att det alltid finns tre typer av rotmappar för data.
    1. Senast använda – Den äldre versionen av datakontraktet. Att hålla reda på dessa tidigare utgåvor är till hjälp när du felsöker problem eller vill återkalla gammal information.
    2. Aktuell (vad datorn läser för tillfället) – En rotmapp som har konfigurerats att läsas av tjänsten Intelligent Recommendations och vilka modeller som rekommendationerna resulterar i.
    3. Root_Next – Testplatsen där tjänsten läser och samlar in data. När kontraktet är klart kan du föra in det i mappen Aktuell och flytta aktuell information till det senaste kända kontraktet.
  3. Förstå hur pipelines ska konfigureras för funktion.
    1. Tänk på dina lösningar för API-samtalsmönster – Hur ofta ska du anropa tjänst-API:erna? Cachelagrar du resultat eller ringer du tjänsten i realtid? Hur är det med kända användare? Anonyma användare?
    2. Om du har frågor om hur du konfigurerar dina pipelines kontaktar du oss så kan vi ge ytterligare information.
  4. Hur förbereder du tjänsten för experiment?
    1. Ha en väletablerad experimenteringsplan och ställ klara förväntningar på framgång.
      1. Använder du ett separat IR-konto och en separat modell för dina experimentdata? Hur spårar du ändringarna i resultatet?
      2. Kontrollera att den modell du använder är felfri. Felloggarna bör hålla dig uppdaterad om eventuella dataproblem som kan lösas.

Metodtips för slutanvändarupplevelsen

Det finns ingen "en lista för att styra alla". Dina data och telemetri är unika för din verksamhet. Upptäckten för slutanvändare som kommer till butiken eller utforskar dina webbplatser kommer också att vara unik.

Några tips för företag som vill uppdatera sin webbupplevelser:

  1. Att placera listan "Andra gillar också" ovanför mitten är bättre än nedanför mitten.
    1. "Vikning" är den punkt på en webbsida där du måste bläddra för att se mer innehåll. Listor under tröskelvärdet visas vanligtvis inte för kunder som inte är intresserade av att bläddra. Du kan ha den maskininlärning bästa algoritmen i världen, men om de sitter fast längst ned på sidan ser ingen det!
    2. Var avsiktlig om listorna som går över listorna på varje webbsida och uppmuntra alla att köra för att se vilka listor som fungerar bäst för din lagring. (Experimenttips: Om du placerar flera listor på en sida kan du prova ett experiment med A/B för att se vilka listor som kan fungera bättre på en viss plats)
  2. Det är bättre att göra erfarenheter tillgängliga med färre urval.
    1. När du utformar lagringsbutiken bör du se till att du alltid har åtkomst till den information du behöver. Ibland är mindre mer när det gäller att presentera resultat för slutanvändarna. För många loopar för att se relevanta rekommendationer, eller ändlös bläddring, kan ta ut slutanvändarna ur flödet av utforskning eller upptäckt.
  3. Visa innehåll högre upp i listan.
    1. Intelligent Recommendations innehåller funktioner som förbättrar produktens relevans och identifiering genom att tillåta företag att lägga till/ta bort/placera produkter i befintliga listor. Om en ny produkt kommer ut och det tar tid att hämta interaktionsdata kan du överväga att lägga till produkten manuellt överst i Trend för att underlätta insamling och synlighet.
  4. Förhindra att sidor med listor visas.
    1. Kom ihåg att vara avsiktlig om upptäcktsresan du presenterar för våra kunder. Att oändligt kasta innehåll på shoppare utan hänsyn till trevlig design skrämmer fler shoppare och gör dem mindre engagerade (och möjligen mer överväldigade). Rekommendationer avser relevanta val över oändliga öarna.
  5. Jämföra listor för att se vilka som gör bäst?
    1. Experimentera med resultat och se vilka listor som fungerar för vilka sidor. Du kanske tycker att "Nya produkter" är relevanta för scenarier eller underhållning i återförsäljningsbranschen, men inte så kraftfulla som "Baserade på senaste aktivitet" eller "liknande artiklar" för en utgivare av kollegialt granskad produkt.
  6. Det finns inte en lista för att styra alla.
    1. Företag letar ständigt efter "den bästa listan", när ingen egentligen vet vad användarna vill ha med på en lista förrän experimenteringen börjar. Intelligent Recommendations innehåller flexibla funktioner som gör att slutanvändarna kan upptäcka sina upptäckter på sina egna villkor.
    2. Genom att ha Andra gillar också, Köp liknande utseende och Handla liknande efter beskrivning på en sida kan användarna välja bland dem. Även om resultaten är ungefär lika är det ok om en enskild lista minskar lite i prestanda om det övergripande sidintrycket förbättras, vilket är vad företag bör leta efter. Ju större valfrihet slutanvändaren har, desto mer vill de utforska.

Har du fortfarande frågor eller ser något som saknas?

Om du någon gång har frågor eller ser något som inte ingår ovan kontaktar du teamet för Intelligent Recommendations.

Se även

Snabbstartsguide
Översikt över datakontrakt
Felsökningsguide
Frågor och svar om modellering
Mappningstabell för dataenheter