Melhores práticas para Avaliações da Experiência do Usuário

  • Artigo

Ao habilitar um novo serviço, você pode pensar que deve esperar até o final para avaliar resultados e expectativas. Independentemente do seu estágio atual no ciclo de integração, nunca é cedo demais para começar a pensar em abordagens de experimentação e avaliação. No entanto, vale a pena ter um plano de experimentação e avaliação estabelecido e claro para o seu negócio.

Este artigo inclui algumas abordagens de Melhores Práticas para o sucesso de uma avaliação com Recomendações Inteligentes. Seguir nossas melhores práticas garante que sua empresa avalie resultados de qualidade e reduza a rotatividade ao longo do caminho.

Nossas Melhores Práticas são divididas em áreas de especialização. Selecione uma para saber mais:

  1. Qualidade dos Dados de Entrada
  2. Formação de Algoritmo
  3. Experimentação
  4. Telemetria no Lado do Cliente
  5. Arquitetura do Sistema
  6. Experiência do Usuário Final (UX/UI)

Melhores práticas para dados de entrada

Antes de disparar seu primeiro ciclo de modelagem, pense criticamente sobre os dados que você está compartilhando com o serviço de recomendações. Algumas melhores práticas e lições aprendidas ao trabalhar com empresas de diferentes domínios na configuração de seus contratos de dados são listadas a seguir:

  1. Certifique-se de que os dados que você esteja inserindo correspondam aos cenários que deseja mostrar na experiência do usuário final.
    1. Se você quiser ver as recomendações de produtos "Pessoas também", precisará ter um arsenal de sinais de interação. Quanto mais você alimenta o modelo, mais o serviço pode aprender e criar relacionamentos precisos entre produtos e usuários. Revise nosso guia de P&A de modelagem para uma análise detalhada de quais modelos de machine learning estão disponíveis e como escolher qual pode ser o melhor para seus cenários de negócios.
    2. Se desejar ver recomendações visualmente semelhantes, precisará ter dados de imagem de qualidade para seus itens. Para obter mais informações, consulte Entidade de Dados de Imagem para Item.
    3. Se você desejar recomendações textualmente semelhantes, precisará garantir que as descrições e os títulos existentes sejam escritos de forma clara e consistente em todo o conjunto de dados.
      1. No momento, nosso serviço treinou apenas o modelo usando o idioma inglês - os clientes podem experimentar o modelo usando outros idiomas e avaliar o desempenho do modelo separadamente e entre em contato conosco com quaisquer preocupações ou perguntas. Os clientes traduziram as descrições e os títulos de seus produtos para o inglês antes de incluí-los no Contrato de Dados, portanto, incentivamos você e sua empresa a tentar qualquer uma das abordagens.
      2. As descrições usadas para modelagem nunca aparecem nas solicitações de API para este cenário; portanto, qualquer descrição que você usar para os produtos no contrato de dados nunca será vista pelos clientes.
  2. Dados ruins resultarão em resultados ruins! Sinais de qualidade e metadados limpos preparam seu negócio para o sucesso. A maioria dos erros geralmente é resolvida devido a erros do usuário na configuração do Contrato de Dados. Veja a seguir algumas questões a serem consideradas:
    1. Antes de disparar o processo de modelagem, tente usar o Painel de Sinais de Recomendações Inteligentes – um Relatório do Power BI que se conecta a um Contrato de Dados do Usuário e identifica problemas de qualidade de dados e possíveis desafios para o treinamento do modelo. Clique aqui para ter uma visão geral desse Painel.
    2. O processo de Modelagem falhará se houver problema na configuração das Entidades de Dados no Contrato de Dados. Habilite a solução de registro de erros para que você possa identificar rapidamente quaisquer duplicações ou erros de digitação que possam existir como parte do processo de transferência de dados de sua Conta do portal do Azure. Para saber mais sobre como configurar o registro de write-back, consulte Configurar o registro em log de erros no Azure Data Lake Storage.

Melhores práticas para formação de algoritmos

O serviço Recomendações Inteligentes é um recomendador de uso geral com a missão de democratizar o AI-ML para todos, independentemente de sua formação em engenharia. Os algoritmos de serviço ajudam os clientes a melhorar sua compreensão das abordagens de machine learning e a assumir o controle de quais algoritmos podem atender melhor a uma necessidade comercial específica.

  1. A telemetria compartilhada com modelos de Recomendações Inteligentes pode influenciar os tipos de resultados retornados pelo mecanismo. Com esse tipo de flexibilidade de modelo, as empresas podem ter várias versões alternativas de modelos para teste e experimentação com diferentes tipos de dados de sinais. Alguns exemplos simples do que acontece quando você altera o sinal de um modelo antes de chamar os resultados da API são mostrados na tabela a seguir:
Exemplo de entrada de sinais no modelo Exemplo de cenário de saída
Compra/Transações As pessoas que compraram este item, também compraram
Fluxo de cliques/Exibições Quem viu este item, também viu
Uso As pessoas que usaram essas X horas, também usaram
Telemetria de exibição de vídeo Quem assistiu isso, também assistiu
  1. Reconhecendo o impacto que os sinais têm nos resultados e resultados da modelagem, é importante pensar criticamente sobre a experiência que você está tentando criar para os usuários finais. Avaliar e alterar os sinais no contrato de dados é um ponto de partida mais eficaz para corrigir resultados de avaliação insatisfatórios, em vez da abordagem instintiva de precisar personalizar ou aplicar lógica de negócios adicional a um modelo.
  2. A Lógica de Negócios adicional vem em várias formas e pode alterar os resultados das recomendações em vários graus, como:
    1. Fixação de produtos na frente das listas (Enriquecimentos/Listas Externas)
    2. Conteúdo com curadoria editorial (Listas Externas)
    3. Filtragem Personalizável
    4. Marcação e Particionamento
  3. Confira o Guia de P&R de modelagem para uma visão geral detalhada de modelos e algoritmos, veja as perguntas mais comuns sobre algoritmos e decida se novos cenários podem afetar seus aplicativos de negócios.

Melhores práticas para experimentação

Nesta seção, você aborda algumas formas criativas de avaliar os resultados de Recomendações Inteligentes.

Algumas perguntas a serem feitas ao planejar sua avaliação:

  1. Como posso medir o sucesso? Como é o sucesso para o meu negócio?
  2. Você deve considerar o ajuste e a relevância da seguinte forma:
    1. A experiência de descoberta existente é adequada para o usuário final?
    2. Os resultados retornados pelo serviço de recomendações correspondem às expectativas de seus especialistas no assunto?
    3. Quais são suas expectativas para as recomendações? O que um usuário final deve ou não ver? Anônimo ou conectado?
  3. Como é uma experiência de usuário simulado ou qual é a jornada de descoberta pela qual um usuário passa do início ao fim?
  4. Onde devemos avaliar? Páginas de Detalhes do Produto, Perfis, Página Inicial ou páginas de pesquisa de Categoria?

Como medir a relevância

Ao medir a relevância dos resultados de suas recomendações, sugerimos alguns tipos de abordagens de avaliação:

  1. Revise a classificação por percentil média de seus produtos. O serviço Recomendações Inteligentes fornece painéis com insights de pré-lançamento em seu contrato de dados e modelos antes do retorno de resultados. Para saber mais, consulte a Visão geral do painel do Power BI.
  2. Crie avaliações subjetivas offline. Em outras palavras, identifique alguém que esteja familiarizado com o domínio de negócios (ou seja, um especialista no assunto, ou "SME") e peça a eles que analisem os resultados da perspectiva de um usuário final/comprador.
    1. Antes de iniciar a avaliação, pergunte ao SME quais são suas expectativas ao revisar os resultados das recomendações. Permita que seu SME julgue as sugestões retornadas e discuta por que os resultados atenderam ou não às suas expectativas. Você pode descobrir que há inconsistências nos resultados que exigem algumas alterações de configuração em seu contrato de dados.
    2. Por exemplo, os resultados retornados farão sentido para os usuários finais/compradores? Estão sendo devolvidos produtos que eu, como comprador, esperaria ver? Em um cenário de mercearia, se a Água Sanitária estiver sendo constantemente recomendada com frutas, pode ser necessário examinar atentamente suas interações e corrigir o contrato de dados antes de tentar novamente. Da mesma forma, pode não fazer sentido se o jeans estiver sendo recomendado com roupas de baile de formatura.
  3. Realize experimentos online. O tipo mais comum de experimento para recomendações é fornecer Teste A/B com uma população real. Permita que as recomendações sejam apresentadas aos usuários finais ativos por algumas semanas. Depois de um tempo, revise o desempenho das listas na página para ver se foi bem-sucedido ou não.
    1. Você pode executar experimentos A/B entre as listas de recomendações para ver quais listas têm o melhor desempenho em uma posição específica em sua loja ou site.
    2. Ajustar a experiência do usuário final da página da Web também pode afetar o desempenho de suas recomendações. Você pode ter os modelos mais inteligentes do mundo, mas se os usuários finais não conseguirem encontrar as recomendações ou se perderem explorando o site, seus experimentos falharão. Para obter mais informações, consulte a seção Experiência do usuário final.

Melhores práticas para avaliar a telemetria do lado do cliente

Como parte do processo de avaliação, você também deve considerar como revisar o desempenho da telemetria. Assim como a experimentação, a telemetria fornece informações mais profundas sobre as taxas de conversão e o comportamento de usuários finais ao interagir com as listas de recomendações. O uso de experimentação e telemetria juntos fornece a avaliação mais holística de suas recomendações.

Algumas perguntas a serem feitas ao revisar a telemetria após um experimento:

  1. Os compradores compraram este produto por causa desta lista? Ou selecionam mais? Compram mais?
  2. Os compradores interagiram mais com o site? Exploraram mais?
  3. Os compradores adicionaram produtos ao carrinho? Quantos carrinhos foram abandonados?
  4. Os usuários anônimos criaram uma conta/assinatura?
  5. Se houver campanhas de email com recomendações, como isso melhorou o desempenho?
  6. Há mais impressões de página?

!Observação: a avaliação da telemetria não se limita a ações implícitas, ela também pode ser rastreada como interações explícitas. Os compradores que interagem com um botão explícito "não estou interessado" podem fazer sentido para domínios de entretenimento, mas podem não ter muito impacto em domínios de Varejo ou vestuário. Nem toda telemetria faz sentido para cada cenário, mas investigar o impacto que as recomendações têm sobre o envolvimento de seus clientes é um ótimo lugar para iniciar seu processo de avaliação.

Melhores práticas para Arquitetura de Sistemas

Uma boa avaliação também depende de como os dados no Contrato de dados estão configurados. A forma como você configura seus dados afeta o desempenho geral. Como mencionamos anteriormente, a qualidade dos dados é importante - entradas de dados ruins resultam em saídas de dados ruins!

Aqui estão algumas dicas para garantir que seu sistema esteja configurado e pronto para recomendações:

  1. Ao configurar as interações de Recomendações e as entidades de dados do Catálogo - certifique-se de que os dados em sua conta de armazenamento contenham dados de qualidade. Fornecemos painéis que interpretam e preveem a qualidade de seus dados também. Para saber mais, consulte a Visão geral do painel do Power BI.
  2. Determine um método para atualizar seu Contrato de Dados com dados novos. Em última análise, como as empresas optam por gerenciar e manter os dados que compartilham com o serviço, fica a seu critério. Alertamos as empresas para garantir que haja um processo para atualizar os dados de forma incremental, sem sobrescrevê-los. Uma abordagem é sempre ter três tipos de pastas raiz para dados.
    1. Última configuração válida - a versão mais antiga do contrato de dados. Manter o controle dessas edições anteriores é útil ao depurar problemas ou desejar recuperar informações antigas.
    2. Atual (o que a máquina lê atualmente) - uma pasta raiz configurada para ser lida pelo serviço de Recomendações Inteligentes, em que os modelos baseiam resultados de recomendações classificadas.
    3. Root_Next – o local de preparação onde seu serviço está lendo e coletando dados. Assim que este Contrato estiver pronto, você pode trocá-lo para a pasta Atual e mover o atual para o último bem conhecido.
  3. Noções básicas sobre como configurar seus pipelines para função.
    1. Pense em suas soluções de padrão de chamada de API - com que frequência você chamará as APIs de serviço? Você armazenará os resultados em cache ou chamará o serviço em tempo real? E os usuários conhecidos? Usuários anônimos?
    2. Se você tiver dúvidas sobre como configurar seus pipelines, entre em contato conosco e poderemos fornecer informações adicionais.
  4. Como você prepara seu serviço para experimentação?
    1. Tenha um plano de experimentação estabelecido e defina expectativas claras de sucesso.
      1. Você usará uma conta e um modelo de IR separados para os dados do seu experimento? Como você acompanhará as alterações nos resultados?
      2. Certifique-se de que o modelo que você está usando esteja livre de erros. Os logs de erro devem mantê-lo atualizado com quaisquer problemas de dados que possam ser resolvidos.

Melhores práticas para a experiência do usuário final

Não existe "uma lista para governar a todos". Seus dados e telemetria são exclusivos do seu negócio; a jornada de descoberta para os usuários finais que vêm para comprar ou explorar seus sites também será única.

Algumas dicas rápidas para empresas que desejam atualizar suas experiências de navegação no site:

  1. Colocar a lista "As pessoas também gostam" acima da dobra é melhor do que abaixo da dobra.
    1. "A Dobra" é o ponto em uma página da Web onde você deve rolar para ver mais conteúdo. As listas abaixo desse limite geralmente não são vistas por clientes que não estão interessados em rolar sem parar. Você pode ter os melhores algoritmos Machine Learning do mundo, mas se eles ficarem presos no final da página, ninguém verá!
    2. Seja intencional sobre as listas que ficam acima da dobra em cada página da Web e incentive todos a realizar experimentos para ver quais listas funcionam melhor para sua vitrine. (Dica de experimento: se você estiver colocando várias listas em uma página, tente um experimento A/B para ver quais listas podem ter um desempenho melhor em uma posição específica)
  2. Tornar as experiências acessíveis com menos seleção é melhor.
    1. Ao projetar sua vitrine, mantenha a acessibilidade em primeiro plano. Às vezes, menos é mais quando se trata de apresentar resultados aos usuários finais. Muitos loops para ver recomendações relevantes, ou rolagem sem fim, podem tirar completamente os usuários finais do fluxo de exploração ou descoberta.
  3. Mostrar conteúdo mais alto na lista.
    1. O Recomendações Inteligentes fornece funcionalidade para melhorar a relevância e a descoberta do produto, permitindo que as empresas adicionem/remover/coloquem produtos em listas existentes. Se houver um novo produto lançado e demorar para obter dados de interação, considere adicionar manualmente o produto sobre Tendências para ajudar na aquisição e visibilidade.
  4. Evite encher uma página com listas.
    1. Lembre-se de ser intencional sobre a jornada de descoberta que você está apresentando aos compradores. Lançar conteúdo indefinidamente para os compradores com pouca consideração pelo design agradável assusta mais os compradores e os torna menos engajados (e possivelmente mais sobrecarregados). As recomendações dizem respeito a escolhas relevantes em ilhas infinitas.
  5. Comparando listas para ver quais se saem melhor?
    1. Experimente os resultados para ver quais listas funcionam para quais páginas. Você pode achar que "Novos Produtos" é relevante para cenários de loja de varejo ou entretenimento, mas não tão poderoso quanto "Baseado em Atividades Recentes" ou "Artigos Semelhantes" para um Editor de Periódicos Revisados por Pares.
  6. Não há uma lista para governá-los todos.
    1. As empresas estão constantemente em busca da "melhor lista", quando na realidade ninguém sabe o que os usuários querem ter em uma lista até que a experimentação comece. O Recomendações Inteligentes fornece recursos flexíveis que permitem aos usuários finais o prazer fortuito da descoberta em seus próprios termos.
    2. Ao ter As Pessoas Também Gostam, Comprar Looks Semelhantes e Comprar Semelhantes por Descrição tudo em uma página, você está fornecendo opções para os usuários. Mesmo que os resultados sejam meio semelhantes, tudo bem se uma lista individual cair um pouco no desempenho se a impressão geral da página melhorar, que é o que as empresas devem procurar. Quanto mais opções um usuário final tiver, mais ele desejará explorar.

Ainda tem dúvidas ou vê algo faltando?

Se você tiver dúvidas ou ver algo não incluído acima, entre em contato com a equipe de Recomendações Inteligentes.

Consulte também

Guia de início rápido
Visão geral do Contrato de Dados
Guia de solução de problemas
Perguntas frequentes sobre modelagem
Tabela de Mapeamento de Entidades de Dados