Analisar agentes conversacionais

A página Analytics no Copilot Studio fornece uma visão agregada sobre a eficácia geral de seu agente em sessões de análise. A página é dividida em áreas principais que se concentram em diferentes contextos de desempenho. A página também exibe uma área de Visão Geral que fornece métricas de alto nível e indicadores-chave de desempenho (KPI) para seu agente, uma área de Poupança que analisa a economia de tempo e custos atribuída ao seu agente ou às ferramentas do seu agente, e uma área de Resumo que fornece insights analíticos importantes sobre o desempenho do seu agente.

Há quatro seções principais nas quais se concentrar ao revisar e melhorar a eficácia do agente de conversação.

• A seção Resumo, Visão Geral e Poupança mostra os principais insights de análise sobre seus agentes, juntamente com estatísticas de cobrança e economia de custos; consulte Resumo, Visão Geral e Poupança para saber mais sobre cada subseção.
• A seção Métricas personalizadas permite definir métricas específicas de negócios para casos de uso de seus agentes.
• A seção Eficácia ajuda você a avaliar a qualidade das experiências do usuário mostrando onde as conversas são bem-sucedidas, onde elas são interrompidas e como os usuários se sentem sobre os resultados.
• A seção Usar ajuda você a melhorar o desempenho operacional mostrando o quão bem seu agente responde a perguntas, como ferramentas confiáveis e fontes de conhecimento dão suporte a essas respostas e onde as atualizações direcionadas podem aumentar a cobertura e a consistência.

Você pode visualizar análises de eventos que ocorreram nos últimos 90 dias.

Métricas personalizadas

A seção Métricas personalizadas permite definir até três métricas específicas de negócios em linguagem natural e acompanhar a frequência com que cada resultado aparece em sessões de exemplo. Use essas métricas para complementar seus insights de análise padrão com indicadores que refletem as metas do agente e o uso de negócios. Para saber como criar, testar e refinar métricas personalizadas, consulte Analisar seu agente com métricas personalizadas.

Eficácia

A seção Eficácia mostra os comentários do usuário coletados de reações, respostas do agente, resultados da pesquisa e pontuação de sentimento para uma sessão. A eficácia é dividida entre muitas subseções:

• Resultados da conversa: saber o resultado final de uma conversa ajuda você a começar a identificar onde seu agente está tendo êxito e onde ele precisa de melhorias.
• Reações: respostas do usuário, incluindo feedback de positivo/negativo e comentários do usuário em respostas específicas do agente.
• Satisfação do cliente: exibição da pontuação de satisfação do cliente (CSAT).
• Sentimento (versão prévia): uma análise de sentimento baseada em IA para toda a sessão.
• Agentes: consulte métricas de volume de chamadas, taxas de êxito e status atual para agentes filho e conectados.

Os dados de comentários são armazenados na tabela de transcrição de conversa no Dataverse. Para obter uma lista de canais que dão suporte a esse recurso, consulte Detalhes do recurso.

Resultados da conversa

A seção Resultados da conversa mostra um gráfico que faz o acompanhamento do tipo de resultado de cada sessão entre o agente e os usuários.

O gráfico, seja exibido como um histograma empilhado ou um gráfico de área empilhado, visualiza os volumes relativos de resultados, codificados por cores e empilhados por tipo. Cada Resolvido, Escalonado, Abandonado e Não engajado é representado pelas respectivas cores de cada ponto de dados. O eixo y indica o número de sessões.

Para ver métricas sobre resultados individuais específicos de um ponto de dados (um dia específico), passe o mouse sobre uma área que representa a cor de um resultado de interesse (por exemplo, azul-petróleo para Abandonado) no dia em que você está interessado.

Para baixar dados de resultado da conversa (dados visualizados no grafo), selecione o ícone de menu e selecione Baixar CSV.

Note

Se algum resultado for removido do gráfico quando você baixar, os dados deles não serão exibidos no CSV.

Para abrir um painel lateral com informações detalhadas sobre os resultados da conversa, selecione Ver detalhes no gráfico. O painel lateral Resultados da conversa inclui:

• Uma análise do gráfico de setores dos resultados da sessão, mostrando a ponderação relativa (expressa como percentual) dos resultados Resolvidos, Escalonados e Abandonados.
• Um gráfico de barras empilhado mostrando a ponderação relativa (expressa em percentual) dos motivos de resultados Resolvidos confirmados e Resolvidos implícitos descrevendo todos os resultados das sessões resolvidas.
• Um gráfico de barras empilhado mostrando a ponderação relativa (expressa como percentual) dos motivos de resultados Desejados pelo sistema, Não desejados pelo sistema e Solicitados pelo usuário descrevendo todos os resultados da sessão escalonada.
• Os principais temas que levaram a cada resultado.

Note

Para ver uma dica de ferramenta com informações de contagem bruta, passe o cursor sobre qualquer um dos segmentos de gráfico de setores ou gráfico de barras empilhadas.

Uma sessão se enquadra em um dos dois estados a seguir:

• Não engajada: Uma sessão começa quando um usuário interage com o agente ou quando seu agente envia uma mensagem proativa para o usuário. A sessão começa em um estado não engajado.

• Envolvido: o usuário interage ativamente com o agente. Há uma diferença no comportamento com base no modo de orquestração do agente.

  • Orquestração clássica: uma sessão fica ativa quando um dos seguintes tópicos é acionado:

    • Tópico personalizado acionado diretamente pelo usuário
    • Priorizar tópico
    • Tópico alternativo
    • Tópico de Impulsionamento de Conversação

  • Orquestração de IA generativa: uma sessão se torna ativa quando um usuário aciona diretamente um plano e inclui um dos seguintes elementos:

    • Tópico que não seja do sistema
    • Priorizar tópico
    • Tópico alternativo
    • Uma fonte de conhecimento
    • Uma ferramenta

Uma sessão engajada tem um dos seguintes resultados:

Categoria de resultado	Resultado	Description
Resolvido		Uma sessão é encerrada com êxito. Há dois tipos de sessões resolvidas: resolvido confirmado e resolvido implícito.
	Resolvido confirmado	Uma sessão é considerada Resolvida confirmada quando o tópico Fim da conversa é disparado e o usuário confirma que a interação foi um êxito.
	Resolvido implícito	Uma sessão é Resolvida implicitamente quando é considerada concluída sem a confirmação do usuário, mas com base na lógica do agente. O estado Implícito Resolvido depende se o seu agente utiliza a orquestração de IA Clássica ou IA Generativa: - Orquestração clássica: uma sessão é considerada como Resolvida implicitamente quando o tópico Fim da conversa é disparado e o usuário permite que a sessão atinja o tempo limite sem fornecer uma confirmação. - Orquestração de IA generativa: uma sessão é considerada Resolvida por Implicação quando uma sessão atinge o tempo limite e não há planos ativos restantes. Um plano ativo é um plano que está aguardando a entrada de um usuário.
Escalonado		Uma sessão termina, mas é considerada Escalonada quando o tópico Escalonar é disparado ou um nó Transferir para agente é executado (a sessão de análise atual termina, independentemente da transferência da conversa para um agente humano ou não). Existem três tipos de sessões escalonadas: Desejada pelo sistema, Não desejada pelo sistema e Solicitada pelo usuário.
	Intencionado pelo sistema	Uma sessão é escalonada automaticamente por causa de um conjunto de regras de negócios automático por um criador. A escalada é um resultado esperado da conversa e não é algo que precise de investigação ou mudança. Exemplo: um usuário gostaria de transferir mais de US$ 25.000 para terceiros. Esse valor excede um limite em uma regra de negócios, e a sessão é escalonada automaticamente como resultado.
	Não desejado pelo sistema	Um escalonamento ocorre automaticamente quando uma sessão excede um ou mais limites estabelecidos por um usuário. Normalmente, esse resultado indica que o usuário está preso na conversa e precisa de ajuda. Exemplo: uma sessão é escalada após três falhas em realizar uma tarefa específica.
	Solicitado pelo usuário	Uma sessão é escalada porque houve uma solicitação do usuário explícita durante a conversa. Exemplo: um usuário insere Transfer me to an agent.
Abandonado		Uma sessão é encerrada e é considerada Abandonada quando uma sessão ativa expira após 30 minutos e não atingiu um estado resolvido ou escalonada.

Você também pode definir o resultado das ferramentas com o conversationOutcome parâmetro usando o editor de código da ferramenta. Por exemplo, conversationOutcome: ResolvedConfirmed para sucesso confirmado ou conversationOutcome: ResolvedImplied para sucesso implícito.

Consulte a documentação de orientação sobre como medir o engajamento para sugestões e melhores práticas sobre como medir e melhorar o engajamento.

Reações

A seção Reações mostra os comentários do usuário coletados das reações às respostas do agente. O gráfico conta o número de vezes que os usuários selecionaram os botões de positivo (polegar para cima) ou negativo (polegar para baixo) disponíveis em cada resposta que receberam do seu agente.

Note

• Os agentes publicados no canal do Microsoft 365 Copilot não dão suporte a reações.
• Para exibir comentários, você deve ter a função de segurança Visualizador de Transcrições do Bot.

O recurso Reações está ativado por padrão. Você poderá desativar esse recurso, se quiser. Você também pode adicionar ou editar um aviso de isenção de responsabilidade para usuários sobre como os comentários são usados:

1. Abra o agente, vá para Configurações e localize a seção Comentários do usuário.

2. Ative ou desative Coletar reações de usuários às mensagens do agente para Ligar ou Desligar.

3. Adicione ou edite um aviso de isenção de responsabilidade para que os usuários saibam como os comentários são usados. Você também pode fornecer informações de privacidade e dicas.

Os usuários com o privilégio visualizador de transcrição de bot podem fazer uma busca detalhada nas respostas do agente para reações individuais e filtrar por comentários do usuário.

Ver tendências de reação ao longo do tempo

Selecione Ver detalhes sobre o bloco Reações para abrir o painel lateral Reações . O painel mostra como as reações positivas e negativas (de Polegares para cima e Polegares para baixo) evoluem ao longo do tempo.

Satisfação do cliente

A seção satisfação do cliente mostra informações sobre a satisfação do usuário com base nos resultados da pesquisa do usuário:

• Pontuação de satisfação: uma pontuação de 5 calculada com base nas pontuações médias de satisfação do cliente (CSAT) para sessões em que os usuários responderam às solicitações de fim de sessão para fazer uma pesquisa.

  Note

  Pontuações de 1 e 2 mapeiam para Insatisfeito, uma pontuação de 3 é considerada Neutra e pontuações de 4 e 5 mapeiam para Satisfeito.

• Satisfação por sessão: Um gráfico de barras empilhadas que visualiza o peso relativo para cada uma das categorias de pontuação da pesquisa, sendo Dissatisfied, Neutral, e Satisfied. Passe o mouse sobre cada segmento do gráfico para ver o tamanho da amostra e o valor numérico da ponderação de cada categoria de pontuação. Para usuários com o privilégio de Visualizador de Transcrição de Bot, você pode aprofundar-se na lista de sessões de clientes filtradas com base na parte do segmento de barras selecionada.

Selecione Ver detalhes para exibir a tendência de pontuação de satisfação durante o período de tempo selecionado.

Sentimento (versão prévia)

[Esta seção é uma documentação de pré-lançamento e está sujeita a alterações.]

A análise de sentimento usa a IA para analisar mensagens de usuário de uma amostra de sessões para avaliar um sentimento geral do usuário para o agente. O valor numérico representa a porcentagem de sessões com sentimento negativo do usuário.

Important

Este artigo contém a documentação da versão preliminar do Microsoft Copilot Studio e está sujeito a alterações.

A versão prévia dos recursos não foi criada para uso em ambientes de produção e pode ter funcionalidade restrita. Esses recursos estão disponíveis antes de um lançamento oficial para que você possa obter acesso antecipado e fornecer comentários.

Se você estiver criando um agente pronto para produção, confira a visão geral do Microsoft Copilot Studio.

Selecione Ver detalhes para exibir os dados de sentimento para a ponderação relativa de cada uma das categorias de sentimento (sendo Positive, Neutrale Negative).

Você pode ativar e desativar a análise de sentimento do agente em Configurações. Quando a análise de sentimento é desativada, o sentimento do usuário não é analisado durante as sessões.

1. Vá para Configurações e selecione Avançado.

2. Ativar ou desativar a Análise de Sentimento.

   

Agentes

A lista de Agentes exibe métricas de volume, desempenho e status de alto nível para agentes conectados e agentes filhos do seu agente principal. A lista identifica o tipo de relacionamento que o agente listado tem com seu agente principal na coluna Tipo. Caso um agente seja considerado filho, seu tipo é Child. Os agentes conectados têm um tipo listado que reflete onde foram criados (por exemplo, Copilot Studio, Fábrica de IA do Azure). A métrica de Chamadas para cada agente listado descreve o volume de chamadas do agente principal para o agente conectado ou filho. A taxa de sucesso reflete a proporção de chamadas (em porcentagem de todas as chamadas) que foram concluídas com sucesso. Status indica o status administrativo individual de cada agente conectado e agente filho.

Por padrão, a lista de Agentes exibe os cinco (5) principais agentes conectados e filhos do seu agente principal, classificados do maior ao menor número total de perguntas. Se houver mais de cinco agentes, selecione Ver todos para exibir todos os agentes.

Note

O botão Ver tudo é visível apenas se houver mais de cinco agentes conectados ou subordinados ao seu agente principal.

Utilização

A seção Usar ajuda você a entender como os usuários interagem com seu agente e onde melhorar a confiabilidade da resposta. O uso é dividido entre muitas subseções:

• Temas: os temas ajudam você a obter insights de análise agrupando perguntas do usuário em categorias sugeridas por IA.
• Taxa de resposta e qualidade geradas: entender quando o agente se esforça para fornecer respostas às perguntas do usuário e como ele usa fontes de conhecimento pode ajudá-lo a encontrar maneiras de melhorar a taxa de resposta e a qualidade do agente.
• Uso de ferramentas: aprender com que frequência as ferramentas são usadas e com que frequência elas são bem-sucedidas pode ajudá-lo a entender se essas ferramentas são úteis e bem-sucedidas para os usuários.
• Uso da fonte de conhecimento: aprender com que frequência as fontes de conhecimento individuais são usadas e com que frequência elas retornam erros ajuda você a melhorar a qualidade e a cobertura das respostas do agente.

Taxa de resposta gerada e qualidade

Com respostas generativas, seu agente pode usar IA para gerar respostas às perguntas dos usuários usando fontes de conhecimento e as instruções que você fornece. No entanto, seu agente talvez não consiga responder todas as consultas dos usuários. A seção taxa de resposta gerada e qualidade rastreia, organiza e analisa consultas sem resposta e qualidade de resposta para fornecer orientação para melhorar o desempenho de resposta do agente.

A taxa de resposta mostra o número de perguntas respondidas e sem resposta dentro do período de tempo selecionado e a alteração percentual ao longo do tempo.

A qualidade da resposta mede a qualidade das respostas usando IA. O Copilot Studio analisa um conjunto de perguntas respondidas e avalia diferentes qualidades, incluindo integridade, relevância e nível de fundamentação de uma resposta. Se a resposta atender a um padrão definido, o Copilot Studio rotulará a resposta como Boa qualidade. O Copilot Studio rotula as respostas que não atendem a esse padrão como qualidade ruim. Para respostas de baixa qualidade, o Copilot Studio atribui um motivo para a classificação de qualidade e mostra a porcentagem de respostas atribuídas a cada categoria.

Focalize qualquer segmento de uma barra no gráfico para ver a ponderação relativa de um motivo individual para um rótulo de qualidade Boa ou Ruim. A dica de ferramenta também indica o número de respostas amostradas para chegar ao valor percentual calculado.

Na legenda abaixo do gráfico, focalize qualquer um motivos do rótulo de qualidade para realçar esse motivo no gráfico.

Selecione um segmento do gráfico de barras para abrir uma página de perguntas do usuário filtradas sobre essa qualidade de resposta. Selecione Ver perguntas para ver uma lista não filtrada de todas as perguntas dentro do período de tempo configurado.

Uso de ferramentas

A seção Uso de ferramentas mostra um gráfico e métricas que acompanham com que frequência suas ferramentas são iniciadas ao longo do tempo e com que frequência seu agente usou essas ferramentas com sucesso. Também mostra indicadores de tendência sobre a frequência com que seu agente usa cada ferramenta e a porcentagem de ferramentas chamadas usadas com sucesso.

O gráfico exibe as cinco principais ferramentas usadas durante o período de data definido na parte superior da página Análise .

Na legenda abaixo do gráfico, focalize qualquer uma das ferramentas para realçar essa ferramenta no gráfico.

Para abrir um painel lateral com uma lista de todas as ferramentas usadas no período especificado, junto com indicadores de tendência, selecione Ver detalhes no gráfico. No painel Uso de ferramentas, você pode exibir cálculos da porcentagem de perguntas usadas para cada ferramenta. Se seu agente tiver agentes filho, você pode escolher exibir os cálculos tanto para o agente principal quanto para os agentes filho (Todos), apenas para o Agente principal ou apenas para o Agente filho.

Uso da fonte de conhecimento

A seção uso da fonte de conhecimento fornece informações sobre como seu agente usa suas fontes de conhecimento e com que frequência essas fontes retornam erros. Para obter detalhes completos sobre as métricas disponíveis, a filtragem e os recursos de detalhamento, consulte o uso da fonte de conhecimento.