Meça e melhore o desempenho dos agentes com KPIs e análises

Compreender o desempenho de um agente é importante para melhorar a experiência do usuário e alcançar objetivos de negócios. Os agentes do Copilot Studio incluem análises e KPIs integrados, além da opção de criar análises e relatórios personalizados. Você pode otimizar continuamente o desempenho do agente ao longo do tempo, revisando regularmente essas métricas e identificando lacunas.

Medir as taxas de participação

A taxa de participação dos agentes conversacionais mede qual porcentagem das sessões de análise são classificadas como engajadas. Uma sessão começa em um estado não engajado quando o usuário inicia uma interação com o agente ou quando o agente envia uma mensagem inicial ao usuário. A sessão é ativada quando um tópico engajado é disparado, ou quando a conversa entra em um dos seguintes tópicos do sistema: Reforço conversacional, Escalonamento ou Fallback.

Uma alta taxa de participação indica que o agente direciona com sucesso os usuários para tópicos. Uma baixa taxa de participação indica lacunas na cobertura dos tópicos ou que os usuários não têm clareza sobre as capacidades do agente. Você pode acompanhar a taxa de participação no painel de análises do agente.

Saiba mais em Medir participação do agente.

Acompanhar os resultados das sessões

Os resultados das sessões determinam em que estado a conversa terminou. O resultado de uma sessão com interação pode ser resolvido, abandonado ou escalonado.

  • As sessões resolvidas são encerradas com sucesso.

    • Um resultado resolvido confirmado ocorre quando o tópico Fim de Conversa é acionado e o usuário confirma que sua dúvida foi respondida. O usuário tem a opção de preencher uma pontuação de satisfação do cliente (CSAT). Por esses motivos, recomenda-se planejar conversas para terminar com o tema Fim da Conversa.

    • Um resultado implícito resolvido ocorre quando a sessão termina sem confirmação do usuário, mas a lógica do agente determina que foi resolvido.

  • Sessões escalonadas ocorrem quando o agente entra no tópico Escalonar ou usa o nó Transferir conversa.

  • Sessões abandonadas ocorrem quando a sessão termina sem ser resolvida ou escalonada.

Você pode encontrar os resultados das conversas no painel de análise do agente.

Saiba mais em Medir resultados de agente.

Escolha uma estratégia de análise

O Copilot Studio disponibiliza análises detalhadas para cada agente, proporcionando insights sobre padrões de uso e outros indicadores-chave de desempenho. Saiba mais em Visão geral da análise. Você pode usar dados analíticos gerados pelo Copilot Studio em relatórios personalizados. Ao criar relatórios personalizados, planeje como e onde armazenar os dados. Saiba mais em Desenvolver uma estratégia de análise personalizada.

Definir uma estratégia de otimização

Melhore um agente criado com o Copilot Studio ao longo do tempo para aumentar o retorno do investimento e a satisfação do cliente.

Avalie o desempenho do agente mensalmente e concentre-se nos seguintes itens:

  • Taxa de deflexão: percentual de solicitações concluídas por autoatendimento.
  • Taxa de resolução: porcentagem de sessões que terminam solucionadas.
  • Taxa de participação: porcentagem de sessões engajadas.
  • Tópicos com baixa resolução: taxa de resolução para um tópico individual.
  • Enunciados não reconhecidos: frases que não ativaram nenhum tópico personalizado.
  • Análise por canal: métricas para identificar diferenças de desempenho em diferentes canais.

Saiba mais em Visão geral da deflexão.

Coletar feedback e comentários dos usuários, como “curtir” e “não curtir”

Os usuários podem reagir a qualquer mensagem enviada pelo agente usando os botões de “curtir” e “não curtir”. Quando um usuário selecionar um botão de reação, solicite por prompt que ele deixe um feedback mais detalhado em um comentário. Você pode visualizar todas as reações e comentários dos últimos 28 dias na guia Análise do agente dentro do Copilot Studio.

Saiba mais em Reações.

Analisar perguntas dos usuários por tema

O Copilot Studio analisa todas as perguntas dos usuários que desencadeiam uma resposta de IA generativa e as agrupa em temas comuns. Os temas ajudam os desenvolvedores a entender quais perguntas os usuários fazem e como o agente está atuando. Você pode visualizar todas as perguntas relacionadas e métricas de qualidade de resposta para cada tema.

Saiba mais em Analisar perguntas de usuários por tema.

Veja os indicadores-chave de desempenho de conversação no Copilot Studio Kit

Indicadores-chave de desempenho (KPIs) de conversação para monitorar o desempenho do agente também são fornecidos como parte do Copilot Studio Kit.

O Copilot Studio Kit oferece os seguintes benefícios:

  • Armazene métricas agregadas para agentes no Dataverse
  • Retenha dados de KPIs para acompanhamento de longo prazo
  • Defina variáveis específicas a serem acompanhadas como parte dos KPIs, como o Net Promoter Score (NPS)
  • Salve as transcrições completas das conversas junto com os registros de KPIs
  • Estenda os relatórios de exemplo do Power BI para criar relatórios personalizados

Saiba mais em Acompanhe o desempenho dos agentes com KPIs de conversação no Copilot Studio Kit.

Próxima etapa

Aprenda a interpretar sinais como volume de conversa, qualidade da sessão e padrões de uso e retorno para entender como os usuários estão interagindo com seu agente.

Medir a participação

  • Last updated on