Monitorar o desempenho dos agentes no Copilot Studio

Note

Este artigo descreve recursos usados em agentes ou fluxos de agentes baseados no harness padrão.

Use análises para entender o desempenho do seu agente e identificar áreas de melhoria.

A página Monitor no Copilot Studio resume as principais métricas e fornece análises de uso para os componentes do seu agente. Abra métricas individuais para explorar os dados subjacentes.

A experiência Monitor é voltada para agentes conversacionais e para agentes autônomos.

O monitoramento está disponível em todas as geografias. Os dados do monitor estão disponíveis por até 360 dias. Os detalhes da sessão e as informações de transcrição estão disponíveis para os últimos 28 dias. Os carimbos de data e hora nas análises estão em Tempo Universal Coordenado (UTC). Os carimbos de data e hora incluem horários de início e término do dia, horários das sessões e quaisquer outros marcadores de tempo nos dados do seu corretor.

Note

A página Monitor não mostra análises para atividades que você realiza quando testa seu agente no Copilot Studio usando o painel de teste.

Conceder acesso limitado somente para visualização às análises

Se você é o proprietário do agente, compartilhe o agente com a função Analytics Viewer para conceder acesso apenas à página Monitor. Para acessar informações de transcrição de conversas, a pessoa também deve ter o papel de segurança do Visualizador de Transcrições do Bot .

Saiba mais em Análises de um agente.

Importante

Como proprietário de um agente, você só pode compartilhar a função de visualizador do Analytics com indivíduos e não com grupos de usuários.

Para acessar a página do Monitor do seu agente:

1. Abra seu agente no Copilot Studio.
2. Selecione Monitor na barra de menu superior.

Summary

A área Resumo usa o Copilot para gerar um resumo gerado por IA dos insights analíticos chave sobre seu agente. Selecione Exibir Mais para ver a lista completa resumida de insights.

Ele ajuda você a entender rapidamente temas e métricas comuns e identificar áreas de melhoria para seu agente resumindo-os em uma lista com marcadores para o período de relatório selecionado. Essa lista pode incluir métricas de engajamento, sentimento e feedback dos clientes, além de tendências desde o último período de relatório.

Resumo dos comentários dos clientes (prévia)

[Esta seção é uma documentação de pré-lançamento e está sujeita a alterações.]

O resumo dos comentários do cliente ajuda você a entender o sentimento geral do cliente sobre o agente a partir de feedback e comentários. Os insights são priorizados com base no volume de comentários relacionados e em sua significância geral. O resumo filtra comentários de baixo valor ou irrelevantes, e agrupa o feedback relacionado.

Importante

Este artigo contém a documentação da versão preliminar do Microsoft Copilot Studio e está sujeito a alterações.

Os recursos de versão prévia não se destinam ao uso em produção e podem ter funcionalidade restrita. Esses recursos estão disponíveis antes de um lançamento oficial para que você possa obter acesso antecipado e fornecer comentários.

Se você estiver criando um agente pronto para produção, confira a visão geral do Microsoft Copilot Studio.

Para fornecer feedback à Microsoft sobre esta seção, selecione Gostei ou Não gostei. Use o painel Enviar comentários à Microsoft para adicionar um comentário e escolher se deseja compartilhar arquivos relacionados.

1. No painel Enviar comentários para a Microsoft, descreva em linguagem natural o que você gosta e o que não gosta, dependendo do ícone que você selecionou para abrir o painel.
2. Escolha se deseja compartilhar prompts, respostas geradas, amostras de conteúdo relevantes e arquivos de log extras.
3. Selecione Enviar.

Overview

Consulte um resumo de desempenho de alto nível na área Visão Geral e depois explore métricas individuais com mais detalhes.

Usuários ativos

Métricas de usuários ativos mostram a adoção de um agente conversacional e como ela muda ao longo do tempo. Um usuário ativo é um usuário exclusivo que interagiu com o agente de conversa pelo menos uma vez durante o período do relatório. A página Monitor exibe usuários ativos diários (DAU) e usuários ativos mensais (MAU). A contagem diária cobre um dia completo de 24 horas em UTC. A contagem mensal segue o mês civil em UTC.

Importante

O recurso as métricas do usuário ativo só tem suporte se você configurar seu agente para exigir autenticação em Configurações>Segurança>Autenticação.

O DAU médio para o período selecionado, mais sua variação percentual em relação ao período anterior, aparece como um KPI (indicador de desempenho chave) na seção Visão geral .

Note

A fórmula para a métrica calculada média da DAU é: (sum of all full-day active user counts in the period) / (count of full days in the period).

Para ver mais detalhes sobre as contagens de usuários ativos diários e mensais ao longo do tempo, selecione o botão Ver usuários ativos no canto superior direito do painel de visão geral.

Somente sessões de conversa

Análises para agentes conversacionais no Copilot Studio acompanham o engajamento do usuário com seu agente e tentam capturar o quão bem seu agente lida com as tarefas dos usuários.

A análise de conversa usa os seguintes conceitos e termos:

• Conversas são uma interação contínua entre um usuário específico, ou grupo de usuários, em um canal e seu agente.

• As conversas podem pausar e retomar mais tarde ou ser transferidas para um representante do serviço de atendimento ao consumidor. A conversa pode ser unilateral, seja do cliente para o corretor, ou do agente para o cliente, mas é mais comum ser uma interação de vai e vem entre o cliente e o corretor.

• A conversa expira após 30 minutos de inatividade.

• Para agentes publicados para o canal de telefonia, as conversas têm um tempo limite de 3 minutos após um evento Encerrar Conversa.

• Uma única conversa pode conter uma ou mais sessões de análise.

• Uma sessão de análise alimentada pelo Standard harness está associada ao último tópico personalizado acionado por um usuário. Se a sessão não incluir tópicos personalizados, é o último tópico do sistema acionado diretamente pelo usuário.

Somente sessões de acionamento de evento

Um agente autônomo é um agente com um acionador de evento. Esses agentes dão suporte apenas à análise de agentes com gatilhos.

Uma sessão de análise para agentes com gatilhos acompanha o processo desde o momento em que um agente recebe uma carga útil de um gatilho até as ações que ele executa em resposta. Essas sessões de análise capturam a que seu agente está respondendo e o quão bem seu agente está desempenhando.

Note

Se um gatilho falhar e o agente não receber o payload do gatilho, uma sessão de analytics não poderá ser iniciada. A Análise rastreia somente as execuções acionadas com êxito.

Exibição híbrida - sessões tanto de conversação quanto disparadas por eventos

Quando os dados do seu agente incluem sessões para pelo menos uma conversa e pelo menos uma execução baseada em gatilhos no período do relatório, a página Monitor exibe uma visão híbrida de métricas relevantes tanto para sessões conversacionais quanto autônomas. Nessa visão, as seções de Visão Geral e Efetividade mostram métricas lado a lado tanto para as sessões conversacionais quanto para as que são desencadeadas por eventos. A seção Usar permite que você selecione entre Conversas ou Execuções, que exibe apenas dados relevantes. Selecionar Tudo mostra todos os dados relacionados ao uso. A seção Satisfação exibe métricas de satisfação para sessões de conversação.

Saiba mais em:

• Monitore a eficácia do agente conversacional para métricas de sessões conversacionais

• Monitore a saúde do agente autônomo para métricas de sessão desencadeadas por eventos

Baixar transcrições de conversa

Você pode baixar as transcrições das sessões no Copilot Studio para períodos nos últimos 28 dias. Pode levar até uma hora após o término de uma sessão de análise até que os dados relacionados apareçam no painel de análise. Saiba mais sobre disponibilidade, permissões e etapas de download em Baixar transcrições de conversas no Copilot Studio.

A retenção de transcrições do Dataverse é separada da janela de dados de sessão de 28 dias no Copilot Studio. Saiba mais em Baixar transcrições de conversas no Power Apps.

Análise de uso de tópicos

Em Copilot Studio, um tópico define como uma conversa de agente progride e representa uma parte de uma conversa entre um usuário e um agente. O painel de Monitorar de tópicos mostra como um tópico individual está se comportando, incluindo com que frequência ele é acionado, como as sessões que o incluem se resolvem e o quão satisfeitos os usuários estão com essas reuniões. Use esses insights para identificar temas que frequentemente são escalados ou são abandonados, e então priorize para melhorias. Saiba mais em Criar e editar tópicos.

Note

O Monitor de Tópicos está disponível apenas para agentes alimentados pelo Standard harness e para tópicos associados a uma sessão. Se seu agente usa orquestração generativa, use resultados da conversa e temas na página Monitor.

Para visualizar o painel Tópico Monitor:

1. Acesse a página Topics do seu agente no Copilot Studio.

2. Selecione o tópico que você deseja analisar. Se nenhum tópico estiver disponível, consulte Criar e editar tópicos.

3. No canto superior direito da página de Tópicos , selecione Mais (...) >Monitor.

O painel do tema Monitor mostra:

• Resultados do tópico: um gráfico de resultados da sessão, Escalated, Resolved e Abandoned, para sessões em que este tópico foi acionado. Use este gráfico para avaliar rapidamente a saúde do tópico. Uma elevada proporção de resultados Escalated ou Abandoned pode significar que o tópico precisa ser melhorado.
• Uso total de tópicos: um gráfico da tendência de resultados do tópico ao longo do tempo. Use isso para detectar regressões, por exemplo, um pico nas sessões abandonadas depois que um tópico foi editado ou para confirmar se as alterações recentes melhoraram as taxas de resolução.
• Pontuação de satisfação do cliente: uma pontuação com base nas respostas da pesquisa do usuário de sessões associadas a este tópico.
• Tendência de pontuação de satisfação: um gráfico que mostra como a pontuação de satisfação muda ao longo do tempo. Use essa tendência para identificar os períodos em que o sentimento do usuário diminuiu ou melhorou.

Para alterar o intervalo de tempo, selecione o menu suspenso no topo do painel de Monitorar do tópico.

Informações relacionadas

Medir o ROI (retorno sobre o investimento) e o valor comercial dos agentes de IA