Monitorizar a eficácia do agente conversacional

Note

Este artigo descreve as funcionalidades usadas em agentes ou fluxos de agentes alimentados pelo arnês padrão.

Utilize a página Monitor no Copilot Studio para rever a eficácia do seu agente de conversação durante as sessões de análise. Identifique onde as conversas têm sucesso ou falham, analise o feedback dos utilizadores e encontre oportunidades para melhorar as respostas e o uso das ferramentas.

Analise as seguintes áreas:

• As áreas Resumo, Visão Geral e Poupanças apresentam informações-chave, indicadores-chave de desempenho (KPIs) e poupanças estimadas de tempo e custos.
• A secção de Métricas Personalizadas (pré-visualização) permite-lhe definir métricas específicas de negócio para os casos de uso do seu agente.
• A secção de Eficácia ajuda-o a avaliar a qualidade das experiências do utilizador, mostrando onde as conversas têm sucesso, onde se desfazem e como os utilizadores se sentem em relação aos resultados.
• A secção de Utilização ajuda-o a melhorar o desempenho operacional ao mostrar quão bem o seu agente responde às perguntas, como as ferramentas e fontes de conhecimento apoiam essas respostas de forma fiável, e onde as atualizações direcionadas podem aumentar a cobertura e a consistência.

Pode consultar análises de eventos que ocorreram nos últimos 360 dias.

Métricas personalizadas (pré-visualização)

[Esta secção é documentação de pré-lançamento e está sujeita a alterações.]

A secção de Métricas Personalizadas permite-lhe definir até três métricas específicas de negócio em linguagem natural e acompanhar com que frequência cada resultado aparece em sessões amostradas. Use estas métricas para complementar os seus insights analíticos padrão com indicadores que reflitam os objetivos e a utilização do seu agente.

Importante

Este artigo contém documentação de pré-visualização do Microsoft Copilot Studio e está sujeito a alterações.

As funcionalidades de pré-visualização não se destinam a ser utilizadas em ambiente de produção e podem ter funcionalidades restritas. Esses recursos estão disponíveis antes de um lançamento oficial para que você possa obter acesso antecipado e fornecer feedback.

Se você estiver criando um agente pronto para produção, consulte Visão geral do Microsoft Copilot Studio.

Os utilizadores com o privilégio Bot Transcript Viewer podem aprofundar para uma lista de sessões de clientes filtradas com base no segmento selecionado do gráfico em anel. Selecione uma sessão individual para ver a razão por trás da métrica e aceda à sua transcrição.

Saiba mais sobre como criar, testar e refinar métricas em Monitorize o seu agente com métricas personalizadas (pré-visualização).

Eficácia

A secção de Eficácia mostra o feedback dos utilizadores recolhido a partir das reações, respostas dos agentes, resultados de inquéritos e pontuação de sentimento para uma sessão. A eficácia está dividida em várias subsecções:

• Resultados da conversa: Conhecer o resultado final de uma conversa ajuda-o a começar a identificar onde o seu agente está a ter sucesso e onde precisa de melhorias.
• Reações: Respostas dos utilizadores, incluindo reações positivas/negativas e comentários sobre respostas específicas do agente.
• Satisfação do cliente: Demonstração da pontuação de satisfação do cliente (CSAT).
• Sentiment (pré-visualização): Uma análise de sentimento baseada em IA para toda a sessão.
• Agentes: Consulte métricas do volume de chamadas, taxas de sucesso e o estado atual dos agentes filhos e conectados.

O sistema armazena dados de feedback na tabela de transcrições de conversas no Dataverse.

Resultados da conversa

A secção de Resultados da conversação mostra um gráfico que monitoriza o tipo de resultado de cada sessão entre o agente e os utilizadores.

O gráfico apresenta um histograma empilhado ou gráfico de área empilhada com os resultados das sessões. Resolvido, Escalonado, Abandonado e Sem interação têm, cada um, uma cor correspondente na legenda. O eixo Y indica o número de sessões.

Para visualizar métricas de um resultado num dia específico, use a legenda do gráfico para identificar o resultado e depois passe o rato sobre o segmento desse dia.

Para descarregar dados de resultados de conversa, abra o menu do gráfico e selecione Download CSV.

Note

Se remover algum resultado do gráfico ao descarregar, os dados deles não aparecem no CSV.

Para abrir um painel lateral com informações detalhadas sobre os resultados das conversações, selecione Ver detalhes no gráfico. O painel lateral Resultados da conversação inclui:

• Um gráfico circular dos resultados das sessões, mostrando a ponderação relativa (expressa em percentagem) dos resultados das sessões Resolvidas, Escaladas e Abandonadas.
• Um gráfico de barras empilhadas que mostra a ponderação relativa (expressa em percentagem) dos motivos dos resultados Resolvida com confirmação e Resolvida implicitamente que descrevem todos os resultados das sessões resolvidas.
• Um gráfico de barras empilhadas que mostra a ponderação relativa (expressa em percentagem) dos motivos de resultados de sessões Previstas pelo sistema, Não previstas pelo sistema e Pedidas pelo utilizador, que descrevem todos os resultados de sessões escaladas.
• Os tópicos principais que conduziram a cada resultado.

Note

Para ver uma descrição com informações de contagem não processadas, faça pairar o cursor sobre qualquer segmento do gráfico circular ou do gráfico de barras empilhadas.

Uma sessão enquadra-se num dos dois estados seguintes:

• Não engajado: uma sessão começa quando um usuário interage com seu agente ou o agente envia uma mensagem proativa para o usuário. A sessão começa em um estado inativo.

• Engajado: O usuário interage ativamente com o agente. Há uma diferença de comportamento com base no modo de orquestração do agente.

  • Orquestração clássica: Uma sessão é ativada quando um dos seguintes tópicos é acionado:

    • Tópico personalizado acionado diretamente pelo usuário
    • Escalar tópico
    • Tópico de alternativa
    • Tópico para impulsionar a conversação

  • Orquestração de IA generativa: Uma sessão torna-se ativada quando um utilizador aciona diretamente um plano e inclui um dos seguintes elementos:

    • Tópico não pertencente ao sistema
    • Escalar tópico
    • Tópico de alternativa
    • Uma fonte de conhecimento
    • Uma ferramenta

Uma sessão engajada tem um dos seguintes resultados:

Categoria dos resultados	Outcome	Description
Resolved		Uma sessão termina com êxito. Existem dois tipos de sessões resolvidas: Resolvido confirmado e Resolvido implícito.
	Resolvida com confirmação	Uma sessão é considerada Resolvida com confirmação quando o tópico Fim da conversação é acionado e o utilizador confirma que a interação foi um êxito.
	Resolvida de forma implícita	Uma sessão é Resolvida implicitamente quando a sessão é concluída sem confirmação do utilizador, mas com base na lógica do agente. O estado implícito Resolvido depende se o agente usa orquestração de IA clássica ou generativa: - Orquestração clássica: uma sessão é considerada Resolvida implicitamente quando o tópico Fim da conversação é acionado e o utilizador deixa a sessão expirar sem fornecer uma confirmação. - Orquestração de IA generativa: uma sessão é considerada Resolvida implicitamente quando uma sessão expira e não há planos ativos restantes. Um plano ativo é um plano que aguarda a entrada de um utilizador.
Escalonado		Uma sessão termina mas é considerada escalada quando o tópico Escalar é acionado ou é executado um nó Transferir para o agente (a sessão de análise atual termina, quer a conversação seja transferida para um agente ao vivo ou não). Existem três tipos de sessões escaladas: Prevista pelo sistema, Não prevista pelo sistema e Pedida pelo utilizador.
	Intenção do sistema	Uma sessão é escalada automaticamente como resultado de uma regra de negócio automática definida por um criador. A escalada é um resultado esperado da conversa e não é algo que precise de investigação ou mudança. Exemplo: um utilizador gostaria de transferir mais de 25.000 USD para um terceiro. Este valor ultrapassa um limiar numa regra de negócio e a sessão é automaticamente escalada como resultado.
	Não prevista pelo sistema	Uma escalada ocorre automaticamente quando uma sessão excede um ou mais limites definidos por um configurador. Normalmente, este resultado indica que o utilizador está preso na conversa e precisa de ajuda. Exemplo: uma sessão é escalada após três falhas na execução de uma determinada tarefa.
	Pedida pelo utilizador	Uma sessão é escalada porque houve um pedido explícito do utilizador durante a conversação. Exemplo: um utilizador introduz Transfer me to an agent.
Abandonado		Uma sessão termina e é considerada Abandonada quando uma sessão ativa expira após 30 minutos e não atinge um estado resolvido ou escalonado.

Você também pode definir o resultado para ferramentas com o conversationOutcome parâmetro usando o editor de código da ferramenta. Por exemplo, conversationOutcome: ResolvedConfirmed para sucesso confirmado ou conversationOutcome: ResolvedImplied para sucesso implícito.

Reações

A secção Reações mostra o feedback dos utilizadores recolhido a partir das reações às respostas dos agentes. O gráfico conta o número de vezes que os utilizadores selecionaram os botões de polegar para cima (positivo) ou polegar para baixo (negativo) disponíveis em cada resposta que receberam do seu agente.

Note

• Os agentes publicados no canal Microsoft Copilot requerem o consentimento do administrador no centro de administração do Microsoft 365 para partilhar feedback dos utilizadores, incluindo reações e comentários. Pode ver este feedback na página do Monitor . Saiba mais nas definições do Agente no centro de administração do Microsoft 365.
• As reações do canal Microsoft Copilot não são agregadas nem contadas na coluna Reações nas secções de Temas e Uso da fonte de Conhecimento.
• Para ver comentários, deve ter a Função de Segurança de Visualizador de Transcrição do Bot.

A funcionalidade de Reações vem Ativa por predefinição em todos os canais, exceto no canal Microsoft Copilot. Pode desligar esta funcionalidade, se quiser. Também pode adicionar ou editar uma declaração de exoneração de responsabilidade para os utilizadores sobre a forma como os seus comentários são utilizados:

1. Abre o agente, vai a Definições e encontra a secção de feedback do utilizador .

2. Ative ou Desative a opção Recolher reações dos utilizadores às mensagens do agente, Ligado ou Desligado.

3. Adicione ou edite uma declaração de exoneração de responsabilidade para que os utilizadores saibam como os seus comentários são utilizados. Você também pode fornecer informações de privacidade e dicas.

Os utilizadores com o privilégio Bot Transcript Viewer podem aprofundar as respostas dos agentes para reações individuais e filtrar pelos comentários dos utilizadores.

Veja as tendências de reação ao longo do tempo

Selecionar Ver detalhes no bloco Reações para abrir o painel lateral Reações . O painel mostra como as reações positivas e negativas (de Thumbs up e Thumbs down) tendem ao longo do tempo.

Satisfação do cliente

A secção de satisfação do cliente mostra informações sobre a satisfação dos utilizadores com base nos resultados dos inquéritos aos utilizadores:

• Pontuação de satisfação: Uma pontuação em 5 calculada a partir das médias de satisfação do cliente (CSAT) para sessões em que os utilizadores responderam a pedidos no final da sessão para responder a um inquérito.

  Note

  Pontuações de 1 e 2 mapear para Insatisfeito, uma pontuação de 3 é considerada Neutra, e pontuações de 4 e 5 mapear para Satisfeito.

• Satisfação por sessão: Um gráfico de barras empilhadas que visualiza a ponderação relativa para cada uma das categorias de pontuação do inquérito, sendo Dissatisfied, Neutral, e Satisfied. Passe o rato sobre cada segmento do gráfico para ver o tamanho da amostra e o valor numérico do peso de cada categoria de pontuação. Para utilizadores com o privilégio de Visualizador de Transcrições de Bot, pode explorar uma lista de sessões de clientes filtrada com base na parte selecionada do segmento da barra.

Selecione Ver detalhes para ver a tendência da pontuação de satisfação ao longo do período selecionado.

Sentimento (prévia)

[Esta secção é documentação de pré-lançamento e está sujeita a alterações.]

A análise de sentimento utiliza IA para analisar mensagens de utilizadores a partir de uma amostra de sessões, de modo a avaliar o sentimento global do utilizador em relação ao agente. O valor numérico representa a percentagem de sessões com sentimento negativo do utilizador.

Importante

Este artigo contém documentação de pré-visualização do Microsoft Copilot Studio e está sujeito a alterações.

As funcionalidades de pré-visualização não se destinam a ser utilizadas em ambiente de produção e podem ter funcionalidades restritas. Esses recursos estão disponíveis antes de um lançamento oficial para que você possa obter acesso antecipado e fornecer feedback.

Se você estiver criando um agente pronto para produção, consulte Visão geral do Microsoft Copilot Studio.

Selecione Ver detalhes para visualizar os dados de sentimento para a ponderação relativa de cada uma das categorias de sentimento (sendo Positive, Neutral, e Negative).

Pode ativar e desativar a análise de sentimento para o seu agente em Definições. Quando a análise de sentimento está desligada, o sentimento do utilizador não é analisado durante as sessões.

1. Vai a Definições e seleciona Avançado.

2. Ativa ou desativa a Análise de Sentimento.

   

Agents

A lista de Agentes mostra métricas de volume, desempenho e estado de alto nível para agentes ligados e subordinados do seu agente principal. A lista identifica o tipo de relação que o agente listado tem com o seu agente principal na coluna Tipo. Se um agente for um agente subordinado, o seu tipo é Child. Os agentes ligados têm um tipo listado que reflete onde foram criados (por exemplo, Copilot Studio, Azure AI Foundry). A métrica de Chamadas para cada agente listado descreve o volume de chamadas do agente principal para o agente ligado ou subordinado. A taxa de sucesso reflete a proporção de chamadas (em percentagem de todas as chamadas) que foram concluídas com sucesso. O Estado indica o estado administrativo individual de cada agente conectado e subordinado.

Por defeito, a lista Agents mostra os cinco principais agentes ligados e filhos do seu agente principal, classificados do maior ao menor número total de perguntas. Se houver mais de cinco agentes, selecione Ver todos para apresentar todos os agentes.

Note

O botão Ver tudo só é visível se houver mais de cinco agentes ligados ou subordinados ao seu agente principal.

Use

A secção de Utilização ajuda-o a perceber como os utilizadores interagem com o seu agente e onde melhorar a fiabilidade das respostas. O uso está dividido em várias subsecções:

• Temas: os temas ajudam você a obter insights analíticos agrupando as perguntas do usuário em categorias sugeridas pela IA.
• Taxa e qualidade das respostas geradas: Identifique quando o seu agente tem dificuldades em responder a perguntas e como utiliza fontes de conhecimento para melhorar a sua taxa e qualidade de resposta.
• Utilização de ferramentas: Aprender com que frequência as ferramentas são usadas e com que frequência têm sucesso pode ajudá-lo a perceber se essas ferramentas são úteis e bem-sucedidas para os utilizadores.
• Utilização da fonte de conhecimento: Saber com que frequência as fontes individuais de conhecimento são usadas e com que frequência devolvem erros ajuda-o a melhorar a qualidade e a cobertura das respostas do seu agente.

Taxa de resposta gerada e qualidade

Com respostas generativas, o seu agente pode usar IA para gerar respostas às perguntas dos utilizadores, utilizando fontes de conhecimento e as instruções que fornece. No entanto, o seu agente pode não conseguir responder a todas as perguntas dos utilizadores. A seção Taxa de resposta e qualidade geradas rastreia, organiza e analisa consultas não respondidas e qualidade de resposta para fornecer orientação para melhorar o desempenho de resposta do seu agente.

A taxa de resposta mostra o número de perguntas respondidas e não respondidas dentro do período de tempo selecionado e a variação percentual ao longo do tempo.

A qualidade da resposta mede a qualidade das respostas usando IA. O Copilot Studio analisa uma amostra de perguntas respondidas quanto à completude, relevância e fundamentação. Se uma resposta cumpre um padrão definido, o Copilot Studio classifica-a como sendo de qualidade Boa. As respostas que não cumprem esse padrão são rotuladas como de Má qualidade. Para respostas fracas, o Copilot Studio atribui uma razão para a classificação de qualidade e mostra a percentagem de respostas atribuídas a cada categoria.

Faça pairar o cursor sobre qualquer segmento de uma barra no gráfico para ver a ponderação relativa de um motivo individual para uma etiqueta de qualidade Boa ou Má. A descrição também indica o número de respostas analisadas para chegar ao valor percentual calculado.

Na legenda abaixo do gráfico, faça pairar o cursor sobre qualquer um dos motivos da etiqueta de qualidade para realçar esse motivo no gráfico.

Selecione um segmento do gráfico de barras para abrir uma página de perguntas dos utilizadores filtradas pela qualidade dessa resposta. Selecione Ver perguntas para visualizar uma lista sem filtros de todas as perguntas dentro do período de tempo configurado.

Utilização da ferramenta

A secção de Utilização de Ferramentas mostra um gráfico e métricas que acompanham com que frequência as suas ferramentas são iniciadas ao longo do tempo e com que frequência o seu agente as utiliza com sucesso. Também mostra indicadores de tendência sobre a frequência com que o seu agente usa cada ferramenta e a percentagem de ferramentas chamadas que são usadas com sucesso.

O gráfico mostra as cinco principais ferramentas utilizadas durante o período de datas definido no topo da página Monitor.

Na legenda por baixo do gráfico, passe o rato sobre qualquer uma das ferramentas para destacar essa ferramenta no gráfico.

Para abrir um painel lateral com uma lista de todas as ferramentas usadas no período especificado, juntamente com indicadores de tendência, selecione Ver detalhes no gráfico. No painel de Utilização de ferramentas, pode apresentar cálculos da percentagem de perguntas utilizadas para cada ferramenta. Se o seu agente tiver agentes subordinados, pode optar por apresentar os cálculos tanto para o agente principal como para os agentes subordinados (Tudo), apenas para o Agente principal ou apenas para o Agente subordinado.

Utilização da origem de conhecimento

A secção de uso de fontes de conhecimento fornece uma visão sobre como o seu agente utiliza as suas fontes de conhecimento e com que frequência essas fontes retornam erros. Saiba mais em Uso de fontes de conhecimento.