Best practices voor UX-evaluaties

  • Artikel

Bij het inschakelen van een nieuwe service denkt u misschien dat u tot het einde moet wachten met het evalueren van resultaten en verwachtingen. Ongeacht uw huidige fase in de onboardingcyclus, het is nooit te vroeg om na te denken over experimenten en evaluatiebenaderingen. Het loont echter om een vastgesteld en duidelijk experiment- en evaluatieplan voor uw bedrijf te hebben.

Dit artikel behandelt enkele Best Practices-benaderingen voor het slagen van een evaluatie met Intelligent Recommendations. Door onze best practices te volgen, zorgt u ervoor dat uw bedrijf kwaliteitsresultaten evalueert en het verloop vermindert.

Onze best practices zijn onderverdeeld in expertisegebieden. Selecteer een van de gebieden voor meer informatie:

  1. Kwaliteit van invoergegevens
  2. Algoritmevaardigheden
  3. Experimenten
  4. Telemetrie aan clientzijde
  5. Systeemarchitectuur
  6. Ervaring van eindgebruikers (UX/UI)

Best practices voor invoergegevens

Voordat u uw eerste modelleringscyclus start, moet u kritisch nadenken over de gegevens die u deelt met de aanbevelingsservice. Enkele best practices en lessen die zijn geleerd uit het werken met bedrijven uit verschillende domeinen bij het configureren van de gegevenscontracten ervan, worden als volgt weergegeven:

  1. Zorg ervoor dat de gegevens die u invoert, overeenkomen met de scenario's die u wilt laten zien in uw eindgebruikerservaring.
    1. Als u aanbevelingen 'Wat anderen ook leuk vinden' voor producten wilt zien, hebt u een arsenaal aan interactiesignalen nodig. Hoe meer u het model voedt, hoe meer de service kan leren en nauwkeurige relaties kan opbouwen tussen producten en gebruikers. Bekijk onze Q&A-gids voor modellering voor een diepgaand overzicht van welke Machine Learning-modellen beschikbaar zijn en hoe u kunt kiezen welke het beste is voor uw bedrijfsscenario's.
    2. Als u visueel vergelijkbare aanbevelingen wilt zien, moet u beschikken over hoogwaardige afbeeldingsgegevens voor uw artikelen. Zie voor meer informatie Gegevensentiteit Afbeelding-aan-artikel.
    3. Als u tekstueel vergelijkbare aanbevelingen wilt, moet u ervoor zorgen dat bestaande beschrijvingen en titels duidelijk en consistent zijn geschreven in de gegevensset.
      1. Op dit moment heeft onze service het model alleen in de Engelse taal getraind. Klanten zijn welkom om het model in andere talen te proberen en de prestaties van het model afzonderlijk te evalueren en contact met ons op te nemen bij eventuele problemen of vragen. Klanten hebben de beschrijvingen en titels van hun producten in het Engels vertaald vóór opname ervan in het gegevenscontract. We moedigen u en uw bedrijf dus aan om een van beide benaderingen te proberen.
      2. De beschrijvingen die voor modellering worden gebruikt, verschijnen nooit in de API-aanvragen voor dit scenario, dus elke beschrijving die u gebruikt voor de producten in het gegevenscontract zal nooit door klanten worden gezien.
  2. Slechte gegevens resulteren in slechte resultaten! Kwaliteitssignalen en schone metagegevens vormen een waarborg voor succes voor uw bedrijf. De meeste fouten worden vaak opgelost vanwege een gebruikersfout bij het configureren van het gegevenscontract. Hier volgen enkele zaken waarmee u rekening moet houden:
    1. Voordat u het modelleringsproces activeert, kunt u proberen het Intelligent Recommendations Signals-dashboard te gebruiken: dit is een Power BI-rapport dat is gekoppeld aan het gegevenscontract van een gebruiker en problemen met de gegevenskwaliteit en mogelijke uitdagingen voor modeltraining identificeert. Voor een overzicht van dit dashboard.
    2. Het modelleringsproces mislukt als er problemen zijn met de configuratie van de gegevensentiteiten binnen het gegevenscontract. Schakel de oplossing voor foutregistratie in, zodat u snel eventuele duplicaties of typefouten kunt identificeren die kunnen bestaan als onderdeel van het gegevensoverdrachtproces vanuit uw Azure-portalaccount. Zie Foutregistratie instellen in Azure Data Lake Storage voor meer informatie over het configureren van logboekregistratie voor terugschrijven.

Best practices voor algoritmevaardigheden

De Intelligent Recommendations-service is een aanbeveling voor algemene doeleinden met als missie AI-ML voor iedereen te democratiseren, ongeacht hun technische achtergrond. De service-algoritmen helpen klanten hun begrip van Machine Learning-benaderingen te verbeteren en controle te krijgen over welke algoritmen het beste passen bij een bepaalde zakelijke behoefte.

  1. Telemetrie die wordt gedeeld met Intelligent Recommendations-modellen kan van invloed zijn op de typen resultaten die door de engine worden geretourneerd. Met dit soort modelflexibiliteit kunnen bedrijven meerdere alternatieve versies van modellen hebben voor het testen en experimenteren met verschillende soorten signaalgegevens. Enkele eenvoudige voorbeelden van wat er gebeurt als u het signaal van een model wijzigt voordat u de API-resultaten aanroept, worden weergegeven in de volgende tabel:
Voorbeeldsignalen ingevoerd in model Voorbeelduitvoerscenario
Aankoop/transacties Mensen die dit item kochten, kochten ook
Klikstream/weergaven Mensen die dit item bekeken, bekeken ook
Gebruik Mensen die dit X uur gebruikten, gebruikten ook
Telemetrie voor kijken van video Mensen die dit keken, keken ook
  1. Gezien de impact die signalen hebben op het modelleren van resultaten en uitkomsten, is het belangrijk om kritisch na te denken over de ervaring die u probeert te creëren voor eindgebruikers. Het evalueren en wijzigen van de signalen in het gegevenscontract is een effectiever startpunt voor het corrigeren van slechte evaluatieresultaten in plaats van de instinctieve benadering om een model aan te passen of aanvullende bedrijfslogica op een model toe te passen.
  2. Aanvullende bedrijfslogica is er in een groot aantal vormen en kan de resultaten van aanbevelingen in verschillende mate veranderen, zoals:
    1. Producten aan de voorkant van lijsten vastzetten (verrijkingen/externe lijsten)
    2. Redactioneel beheerde inhoud (externe lijsten)
    3. Aanpasbare filtering
    4. Taggen en bucketing
  3. Bekijk de Q&A-gids voor modellering voor diepgaande overzichten van modellen en algoritmen, bekijk de meest gestelde vragen over algoritmen en beslis of nieuwe scenario's invloed kunnen hebben op uw zakelijke toepassingen.

Best practices voor experimenten

In deze sectie behandelt u enkele creatieve manieren om uw resultaten voor Intelligent Recommendations te evalueren.

Enkele vragen die u zich kunt stellen bij het plannen van uw evaluatie:

  1. Hoe kan ik succes meten? Hoe ziet succes eruit voor mijn bedrijf?
  2. U moet de overeenkomst en relevantie als volgt in overweging nemen:
    1. Past de bestaande ontdekkingservaring goed bij de eindgebruiker?
    2. Komen de resultaten van de aanbevelingsservice overeen met de verwachtingen van uw materiedeskundigen?
    3. Wat zijn uw verwachtingen voor aanbevelingen? Wat moet een eindgebruiker wel of niet zien? Anoniem versus aangemeld?
  3. Hoe ziet een nep-gebruikerservaring eruit of wat is de ontdekkingsreis die een gebruiker van begin tot eind doorloopt?
  4. Waar moeten we evalueren? Productdetailpagina's, profielen, startpagina of categoriezoekpagina's?

Hoe u relevantie kunt meten

Bij het meten van de relevantie van de resultaten van uw aanbevelingen, stellen we enkele soorten evaluatiebenaderingen voor:

  1. Bekijk de gemiddelde percentielpositie van uw producten. De service Intelligent Recommendations biedt dashboards met pre-release-inzichten in uw gegevenscontract en modellen voordat resultaten worden geretourneerd. Zie voor meer informatie het Power BI Dashboardoverzicht.
  2. Maak offline subjectieve evaluaties. Met andere woorden: identificeer iemand die bekend is met het zakelijke domein (d.w.z. een vakexpert of materiedeskundige) en vraag deze persoon om de resultaten te bekijken vanuit het perspectief van een eindgebruiker/klant.
    1. Vraag voordat u met de evaluatie begint de materiedeskundige wat de verwachtingen zijn bij het beoordelen van de resultaten van de aanbevelingen. Laat uw materiedeskundige een oordeel vellen over de geretourneerde suggesties en bespreek waarom de resultaten wel/niet aan de verwachtingen voldeden. Het kan zijn dat er inconsistenties zijn in de resultaten die enkele configuratiewijzigingen in uw gegevenscontract vereisen.
    2. Zijn de geretourneerde resultaten bijvoorbeeld logisch voor eindgebruikers/klanten? Worden producten geretourneerd die ik als klant verwacht te zien? In een supermarktscenario: als bleekmiddel constant wordt aanbevolen voor fruit, kan het nodig zijn om goed naar uw interacties te kijken en het gegevenscontract te herstellen voordat u het opnieuw probeert. Evenzo is het misschien niet logisch als spijkerbroeken worden aanbevolen voor galakleding.
  3. Voer online experimenten uit. Het meest gebruikelijke type experiment voor aanbevelingen is het bieden van A/B-tests met een werkelijke populatie. Zorg ervoor dat de aanbevelingen een paar weken aan live eindgebruikers worden gepresenteerd. Bekijk na verloop van tijd de prestaties van de lijsten op de pagina om te zien of het succesvol is of niet.
    1. U kunt A/B-experimenten uitvoeren tussen aanbevelingslijsten om te zien welke lijsten het beste presteren op een bepaalde positie in uw winkel of op uw website.
    2. Het aanpassen van de eindgebruikerservaring van de webpagina kan ook van invloed zijn op de prestaties van uw aanbevelingen. U kunt de meest intelligente modellen ter wereld hebben, maar als eindgebruikers de aanbevelingen niet kunnen vinden of verdwalen bij het verkennen van de website, dan mislukken uw experimenten. Zie de sectie Eindgebruikerservaring voor meer informatie.

Best practices voor het evalueren van telemetrie aan de clientzijde

Als onderdeel van het evaluatieproces moet u ook overwegen hoe u de telemetrieprestaties kunt beoordelen. Net als experimenteren biedt telemetrie diepere inzichten in de conversiepercentages en het gedrag van uw eindgebruikers bij interactie met de aanbevelingenlijsten. Door experimenten en telemetrie samen te gebruiken, krijgt u de meest holistische evaluatie van uw aanbevelingen.

Enkele vragen die u kunt stellen bij het beoordelen van telemetrie na een experiment:

  1. Hebben klanten dit product gekocht vanwege deze lijst? Of meer geselecteerd? Meer gekocht?
  2. Hebben klanten meer interactie gehad op de website? Meer verkend?
  3. Hebben klanten producten aan hun winkelwagen toegevoegd? Hoeveel winkelwagens zijn verlaten?
  4. Hebben anonieme gebruikers een account/abonnement aangemaakt?
  5. Als er e-mailcampagnes met aanbevelingen zijn, hoe heeft dat de prestaties verbeterd?
  6. Zijn er meer pagina-indrukken?

Opmerking: het evalueren van telemetrie is niet beperkt tot impliciete acties. Het kan ook worden bijgehouden als expliciete interacties. Klanten die interactie hebben met een expliciete "niet geïnteresseerd"-knop kunnen logisch zijn voor entertainmentdomeinen, maar hebben misschien niet veel impact in detailhandels- of kledingdomeinen. Niet alle telemetrie is zinvol voor elk scenario, maar het onderzoeken van de impact die aanbevelingen hebben op uw klantbetrokkenheid is een goede plek om uw evaluatieproces te starten.

Best practices voor systeemarchitectuur

Een goede evaluatie hangt ook af van hoe de gegevens in het gegevenscontract zijn geconfigureerd. Hoe u uw gegevens instelt, is van invloed op uw algehele prestaties. Zoals we eerder vermeldden, is de kwaliteit van uw gegevens belangrijk: slechte gegevensinvoer resulteert in slechte gegevensuitvoer!

Hier zijn enkele tips om ervoor te zorgen dat uw systeem is geconfigureerd en klaar is voor aanbevelingen:

  1. Bij het instellen van de aanbevelingsinteracties en catalogusgegevensentiteiten: zorg ervoor dat de gegevens in uw opslagaccount kwaliteitsgegevens bevatten. We bieden dashboards die ook de kwaliteit van uw gegevens interpreteren en voorspellen. Zie voor meer informatie het Power BI Dashboardoverzicht.
  2. Bepaal een methode om uw gegevenscontract bij te werken met nieuwe gegevens. Hoe bedrijven er uiteindelijk voor kiezen om de gegevens die ze met de service delen te beheren en te onderhouden, is aan hun. We waarschuwen bedrijven ervoor te zorgen dat er een proces is om gegevens incrementeel bij te werken, zonder eroverheen te schrijven. Eén benadering is om altijd drie soorten hoofdmappen voor gegevens te hebben.
    1. Laatst bekende juiste : de oudere versie van het gegevenscontract. Het bijhouden van deze vorige edities is handig bij het oplossen van problemen of het terughalen van oude informatie.
    2. Huidig (wat de machine momenteel leest) - Een hoofdmap die is geconfigureerd om te worden gelezen door de service Intelligent Recommendations en waarop de modellen hun gerangschikte aanbevelingen baseren.
    3. Root_Next: de verzamelplaats waar uw service gegevens leest en verzamelt. Zodra dit contract gereed is, kunt u het in de map Huidig wisselen en het huidige contract naar het laatst bekende juiste verplaatsen.
  3. Inzicht in het instellen van uw pijplijnen voor functie.
    1. Denk na over uw oplossingen voor API-aanroeppatronen: hoe vaak gaat u de service-API's aanroepen? Gaat u de resultaten cachen of de service in realtime aanroepen? Hoe zit het met bekende gebruikers? Anonieme gebruikers?
    2. Als u vragen hebt over het configureren van uw pijplijnen, neem dan contact met ons op. We kunnen u dan aanvullende inzichten verschaffen.
  4. Hoe bereidt u uw service voor op experimenten?
    1. Zorg voor een vastgesteld plan voor experimenten en stel duidelijke verwachtingen ten aanzien van succes.
      1. Gebruikt u een afzonderlijk IR-account en -model voor uw experimentgegevens? Hoe gaat u de wijzigingen in de resultaten bijhouden?
      2. Zorg ervoor dat het model dat u gebruikt foutloos is. De foutenlogboeken moeten u op de hoogte houden van eventuele gegevensproblemen die kunnen worden opgelost.

Best practices voor de eindgebruikerservaring

Er bestaat niet zoiets als één lijst die alle best practices bevat. Uw gegevens en telemetrie zijn uniek voor uw bedrijf. De ontdekkingsreis voor eindgebruikers die komen winkelen of uw websites verkennen, is ook uniek.

Enkele snelle tips voor bedrijven die hun browse-ervaring op hun website willen vernieuwen:

  1. De lijst "Wat anderen ook leuk vinden" boven de vouw plaatsen is beter dan eronder.
    1. "De vouw" is het punt op een webpagina waar u moet scrollen om meer inhoud te zien. Lijsten onder deze drempel worden doorgaans niet gezien door klanten die niet eindeloos willen scrollen. U kunt de beste Machine Learning-algoritmen ter wereld hebben, maar als ze onder aan de pagina blijven hangen, ziet niemand het!
    2. Wees bewust met de lijsten die op elke webpagina boven de vouw komen en moedig iedereen aan om experimenten uit te voeren om te zien welke lijsten het beste werken voor uw winkel. (Experimenttip: als u meerdere lijsten op een pagina plaatst, probeer dan een A/B-experiment om te zien welke lijsten beter presteren op een specifieke positie)
  2. Het is beter om ervaringen toegankelijk te maken met minder keuze.
    1. Zorg er bij het ontwerpen van uw winkel voor dat toegankelijkheid voorop staat. Soms levert minder meer op als het gaat om het presenteren van resultaten aan eindgebruikers. Te veel lussen om relevante aanbevelingen te zien of eindeloos scrollen kan ervoor zorgen dat eindgebruikers tijdens verkenning of ontdekking de weg kwijtraken.
  3. Geef inhoud hoger in de lijst weer.
    1. Intelligent Recommendations biedt functionaliteit om de relevantie en ontdekking van producten te verbeteren door bedrijven in staat te stellen producten toe te voegen/te verwijderen/te plaatsen in bestaande lijsten. Als er een nieuw product uitkomt en het tijd kost om interactiegegevens te verzamelen, overweeg dan om het product handmatig toe te voegen boven aan Trending om acquisitie en zichtbaarheid te bevorderen.
  4. Voorkom dat een pagina vol komt te staan met lijsten.
    1. Vergeet niet om bewust om te gaan met de ontdekkingsreis die u aan klanten presenteert. Eindeloos content aanbieden aan klanten zonder rekening te houden met een aangenaam ontwerp, heeft een afschrikkende werking en maakt klanten minder betrokken (en mogelijk meer overweldigd). Aanbevelingen betreffen relevante keuzes uit eindeloze mogelijkheden.
  5. Lijsten vergelijken om te zien welke beter presteren?
    1. Experimenteer met resultaten om te zien welke lijsten voor welke pagina's goed werken. Het kan zijn dat 'Nieuwe producten' relevant is voor winkelscenario's of amusement, maar niet zo krachtig als 'Gebaseerd op recente activiteit' of 'Vergelijkbare artikelen' voor een uitgever van wetenschappelijke tijdschriften.
  6. Er is niet één lijst die alles bevat.
    1. Bedrijven zijn constant op zoek naar "de beste lijst", terwijl in werkelijkheid niemand weet wat gebruikers op een lijst willen hebben totdat het experimenteren begint. Intelligent Recommendations biedt flexibele mogelijkheden waarmee uw eindgebruikers op hun eigen voorwaarden hun ontdekkingsreis kunnen maken.
    2. Door Wat anderen ook leuk vinden, Vergelijkbare artikelen en Vergelijkbare artikelen op beschrijving allemaal op een pagina te plaatsen, biedt u keuzemogelijkheden aan gebruikers. Zelfs als de resultaten deels vergelijkbaar zijn, is het geen probleem als een individuele lijst wat minder presteert wanneer de algehele pagina-indruk wordt verbeterd. Dit is precies waar bedrijven naar op zoek moeten zijn. Hoe meer keuze een eindgebruiker heeft, hoe meer hij wil ontdekken.

Hebt u nog vragen of mist u iets?

Als u ooit vragen hebt of iets tegenkomt dat niet eerder is vermeld, neem dan contact op met het Intelligent Recommendations-team.

Zie ook

Snelstartgids
Overzicht van gegevenscontracten
Probleemoplossingshandleiding
Veelgestelde vragen over modellering
Toewijzingstabel voor gegevensentiteiten