Análise de escalonamento de tópico

O escalonamento é o fluxo da conversa durante o qual o bot não conseguiu lidar com a conversa e encaminhou para um agente humano. Quando um chatbot é capaz de responder à consulta do usuário sem precisar encaminhar para um agente humano, isso é considerado um desvio. A meta ideal é aumentar a taxa de desvio de um bot, reduzindo o número de escalonamentos.

O Power Virtual Agents tem várias maneiras de lidar com o escalonamento:

• A maneira direta de iniciar um escalonamento para o agente humano é por meio do tópico do sistema Escalonar. Este tópico do sistema é disparado quando o bot não consegue mais atender à solicitação do cliente e precisa encaminhar para um agente humano. Por meio do tópico Escalonar, pode-se permitir que o bot transfira a conversa para uma ferramenta de service desk do agente, como o Dynamics 365 Omnicanal para Customer Service para a transferência do agente ao vivo, ou uma experiência de suporte assíncrono, como criar um tíquete, agendar um retorno de chamada e assim por diante.
• Outra forma de disparar esse escalonamento é por meio do nó Transferir Conversa na tela de criação.

Tipos de escalonamento

O Power Virtual Agents tem dois tipos de escalonamentos:

1. Escalonamento direto: neste caso, o usuário chega ao bot e deseja falar diretamente com um agente humano. Esses tipos de escalonamentos não podem ser evitados, pois a intenção do usuário final é disparar o tópico Escalonar diretamente. Exemplos de consultas do usuário final:

• "posso falar com alguém"
• "falar com um agente humano"
• "falar com agente"
• "falar com um representante"

2. Escalonamento indireto: neste caso, o usuário é escalonado para um agente durante a conversa.

Eles podem ser agrupados em escalonamentos esperados x inesperados.

Escalonamentos esperados ocorrem quando o tópico é criado para escalonar em algum momento durante a conversa, ou o usuário opta por escalonar porque o bot não respondeu à consulta enquanto o escalonamento inesperado pode ocorrer quando o bot falha devido a outros problemas.

Análise de escalonamento de tópico

ETAPA 1: Monitore e analise o desempenho dos tópicos

A identificação e otimização dos impulsionadores de taxa de escalonamento podem ser feitas por meio da análise interna ou da análise personalizada.

Análise interna

Todas as sessões de bot que levaram a um escalonamento ou transferência para um agente são capturadas do início ao fim em nível de tópico. Os impulsionadores de escalonamento são os tópicos do bot.

O painel de análise tem uma seção para "Impulsionadores de taxa de escalonamento", que fornece detalhes sobre quais tópicos de bot foram escalonados para agentes humanos na maioria das vezes e por quê. Essas informações estão disponíveis do ponto de vista numérico e derivam das transcrições do chat.

Por exemplo, na captura de tela a seguir, na seção Impulsionadores de taxa de escalonamento, o tópico Devoluções, trocas… tem um valor Taxa de 75%. Isso significa que 75% de todas as sessões que dispararam o tópico Devoluções, trocas… foram encaminhadas para um agente humano. Como o bot não conseguiu resolver o problema do usuário, 75% das vezes em que o usuário perguntou sobre devoluções, o bot precisou encaminhar para um agente humano. Agora o autor do bot pode melhorar o tópico Devoluções, trocas... para reduzir o número de escalonamentos que ocorrem por meio desse tópico.

O gráfico também mostra o impacto como uma barra vermelha ou azul. A pontuação do impacto na taxa de escalonamento é a taxa geral de escalonamento, incluindo o tópico menos a taxa de escalonamento geral, excluindo o tópico. Em resumo, o impacto ajuda você a entender como este tópico está contribuindo para a taxa geral de escalonamento. Se o impacto for alto, você deverá focar este tópico porque, se você melhorar esse tópico, o impacto potencial sobre o escalonamento também melhorará.

Uma barra vermelha indica que a taxa de escalonamento do tópico é maior do que a taxa de escalonamento média, resultando em um impacto negativo na taxa de escalonamento geral. Uma barra azul indica que a taxa de escalonamento é menor, resultando em impacto positivo na performance da taxa de escalonamento geral. Reduzir a taxa de escalonamento para os tópicos em vermelho tem o maior impacto sobre a melhoria da taxa geral de escalonamento (a pontuação de impacto não é representada como um número, mas como um gráfico de barras).

Análise personalizada

Você também pode criar suas próprias análises personalizadas com base nos dados de transcrições de conversas. A Microsoft fornece um relatório do modelo de exemplo que pode ser reutilizado ou estendido para identificar os principais tópicos do impulsionador de escalonamento e adicionar detalhes personalizados específicos do seu negócio e contexto. Por exemplo, se você precisar do número de sessões escalonadas por tópico.

ETAPA 2: selecione os principais tópicos de escalonamento

A orientação geral é segmentar os 5 a 10 principais tópicos em Impulsionadores de taxa de escalonamento para começar, para otimização da taxa de desvio. Em uma estimativa aproximada, se você melhorar a taxa de escalonamento em 10% para cada um dos cinco principais tópicos, poderá melhorar o desvio geral em 1% para o chatbot.

ETAPA 3: Revise as conversas para os tópicos selecionados

Analisar as transcrições de conversas para os principais tópicos de escalonamento pode fornecer mais insights sobre os motivos do escalonamento. As transcrições da conversa capturam os detalhes, como "usuário diz" e "bot diz". Elas também capturam o nome do tópico que foi disparado e o resultado da sessão (por exemplo, Resolvido, Escalonado etc.).

Agora, você pode filtrar essas sessões com base no resultado para Principais tópicos escalonados e analisar alguns exemplos de conversas para ver o que causou o escalonamento. Isso ajuda a identificar o padrão que está causando o escalonamento. Este exercício pode ser repetido em cadência periódica para continuar melhorando a taxa de desvio e reduzindo as taxas de escalonamento.

Abaixo está a orientação passo a passo que você pode usar para dissecar as transcrições do chat e apresentar as recomendações certas para melhorar o desempenho do tópico:

1. Escolha um dos cinco principais tópicos para os quais você deseja fazer melhorias para reduzir o escalonamento.
2. Filtre as transcrições e classifique pelo resultado da sessão para Escalonamento.
3. Selecione o conjunto de amostras mais recente de transcrições de conversa (por exemplo, 10 sessões). O tamanho do conjunto de amostras depende do nível de precisão desejado. Para uma análise rápida, você pode começar com 10 sessões.
4. Leia cada uma das sessões e identifique os vários caminhos de diálogo repetidos que estão surgindo para essa conversa relacionada ao tópico.
5. Liste os caminhos de diálogo identificados para cada sessão e agrupe-os de acordo com o caminho do diálogo.
6. Para cada grupo de caminho de diálogo, crie uma recomendação de melhoria.
7. Implemente as recomendações nos tópicos do bot e observe a mudança na taxa de escalonamento e desvio.

A aplicação da abordagem acima para o exemplo de tópico Verificar o status do pedido descrito na próxima seção teria esta aparência:

Descrição do tópico

Verificar o status do pedido deve fornecer informações do pedido e do envio para o usuário.

Observação de transcrições

Depois de revisar várias transcrições de conversa para este tópico que terminaram com escalonamento, você pode descobrir que há vários caminhos de diálogo emergentes que estão levando o usuário a escalonar para um agente, mesmo que o bot tenha fornecido as informações do pedido conforme projetado.

Pode haver um caminho de diálogo nº 1 em que o bot fornece as informações do pedido quando o usuário pergunta sobre a remessa ausente. Também pode haver outro caminho de diálogo nº 2 em que o usuário procura o status de vários pedidos enquanto o bot fornece um status para apenas um pedido por vez. A recomendação para o caminho de diálogo nº 1 pode incluir um novo tópico abordando exclusivamente o cenário Pedido ausente, enquanto a recomendação para o caminho de diálogo nº 2 pode ser atualizar a ação de autoatendimento para fornecer status para vários pedidos em vez de apenas um.

Resumo da análise de transcrições de conversas

• Tamanho do conjunto de amostra: analise exemplos de conversas para sessões escalonadas das transcrições baixadas. Todos dispararam o tópico correto. Tudo foi escalonado no final.
• Caminho de diálogo esperado: vá para a ação OrderInfo e forneça o status do pedido ao usuário final.

Novos caminhos de diálogo identificados pela revisão de transcrições

• Caminho do diálogo 1: OrderInfo responde com cartão adaptável de informações do pedido mas a consulta do usuário está relacionada ao pacote ausente; então, o usuário decide escalonar (7 de 10 sessões).
• Caminho do diálogo 2: a ação OrderInfo responde com: "seu pedido contém várias remessas", mas não mostra informações de envio para todos os pedidos; então, o usuário decide escalonar (2 de 10 sessões).
• Caminho do diálogo 3: Outro (incompatibilidade de número do pedido), o usuário não sabia que estava inserindo um número de pedido incorreto; então, o usuário decide escalonar (1 de 10 sessões).

Recomendações para os grupos de caminho de diálogo

• Caminho 1: Adicione um novo tópico para lidar com pedidos ausentes.
• Caminho 2: aprimore a ação OrderInfo para dar suporte ao fornecimento de várias informações de envio de pedidos.
• Caminho 3: aprimore a ação OrderInfo para validar o formato de ID do pedido e fornecer uma mensagem de erro para IDs de pedido incorretas.

ETAPA 4: Faça melhorias direcionadas em tópicos selecionados

Com base no resultado da revisão das transcrições de conversas, agora você pode fazer melhorias direcionadas nos tópicos selecionados.

Algumas das técnicas que você pode aplicar para reduzir as taxas de escalonamento de nível de tópico incluem adicionar recursos de autoatendimento para que o usuário não precise depender de agentes humanos para uma ação (por exemplo, verificar o status do envio), melhorar o desempenho do acionamento para garantir que os tópicos certos sejam apresentados ao usuário em vez de precisar escalonar para um agente humano (isso inclui adicionar frases de gatilho ausentes e atualizar frases de gatilho existentes).

Análise de enriquecimento de tópico