Monitorizar o desempenho dos agentes no Copilot Studio

Note

Este artigo descreve as funcionalidades utilizadas em agentes ou fluxos de agentes com tecnologia de plataforma standard.

Use a análise para entender o desempenho do seu agente e identificar áreas para melhorias.

A página Monitor no Copilot Studio resume métricas-chave e fornece análises de utilização para os componentes do seu agente. Abra métricas individuais para explorar os dados subjacentes.

A experiência Monitor é adaptada para agentes conversacionais e para agentes autónomos.

A monitorização está disponível em todas as geografias. Os dados do monitor estão disponíveis até 360 dias. Os detalhes das sessões e a transcrição estão disponíveis para os últimos 28 dias. Os carimbos de data e hora na análise estão em Tempo Universal Coordenado (UTC). Os carimbos de hora e data incluem as horas de início e fim do dia, os horários das sessões e quaisquer outros marcadores de tempo nos dados do seu agente.

Note

A página Monitor não mostra análises para atividades que realiza quando testa o seu agente no Copilot Studio usando o painel de testes.

Conceder acesso limitado apenas de visualização à análise

Se for o proprietário do agente, partilhe-o com a função de partilha Visualizador de Análise para conceder acesso apenas à sua página Monitor. Para aceder à informação da transcrição da conversa, a pessoa deve também ter o papel de segurança do Bot Transcript Viewer.

Saiba mais em Partilhar as análises de um agente.

Importante

Como proprietário de agente, só pode partilhar o papel de visualizador de Analytics com indivíduos e não com grupos de utilizadores.

Para aceder à página do Monitor do seu agente:

1. Abra o seu agente no Copilot Studio.
2. Selecione Monitor na barra de menu superior.

Summary

A área Resumo utiliza Copilot para gerar um resumo de IA com os principais insights analíticos sobre o seu agente. Selecione Ver Mais para ver a lista resumida completa de informações.

Ajuda-o a compreender rapidamente temas e métricas comuns e a identificar áreas de melhoria para o seu agente, resumindo-as numa lista com pontos para o período de reporte selecionado. Esta lista pode incluir métricas de envolvimento, sentimento e feedback dos clientes, bem como tendências desde o último período de reporte.

Resumo dos comentários dos clientes (pré-visualização)

[Esta secção é documentação de pré-lançamento e está sujeita a alterações.]

O resumo dos comentários dos clientes ajuda-o a compreender o sentimento geral dos clientes em relação ao agente, a partir de feedback e comentários. Os insights são priorizados com base tanto no volume de comentários relacionados como na sua importância global. O resumo filtra comentários de baixo valor ou irrelevantes, e agrupa o feedback relacionado.

Importante

Este artigo contém documentação de pré-visualização do Microsoft Copilot Studio e está sujeito a alterações.

As funcionalidades de pré-visualização não se destinam a ser utilizadas em ambiente de produção e podem ter funcionalidades restritas. Esses recursos estão disponíveis antes de um lançamento oficial para que você possa obter acesso antecipado e fornecer feedback.

Se você estiver criando um agente pronto para produção, consulte Visão geral do Microsoft Copilot Studio.

Para dar feedback à Microsoft sobre esta secção, selecione Thumbs up ou Thumbs down. Utilize o painel Enviar feedback para a Microsoft para adicionar um comentário e escolher se partilha ficheiros relacionados.

1. No painel Submeter comentários à Microsoft, descreva em linguagem natural os seus gostos ou não gostos, dependendo do ícone que selecionou para abrir o painel.
2. Escolha se partilha o prompt, a resposta gerada, amostras de conteúdo relevantes e ficheiros de registo adicionais.
3. Selecione Submeter.

Overview

Consulte um resumo de desempenho de alto nível na área Overview e depois explore métricas individuais com mais detalhe.

Utilizadores ativos

Métricas de utilizadores ativos mostram a adoção de um agente conversacional e como esta evolui ao longo do tempo. Um usuário ativo é um usuário exclusivo que interagiu com o agente de conversação pelo menos uma vez durante o período do relatório. A página do Monitor mostra utilizadores ativos diários (DAU) e utilizadores ativos mensais (MAU). A contagem diária cobre um dia completo de 24 horas em UTC. A contagem mensal segue o mês civil em UTC.

Importante

O recurso Métricas de utilizador ativo só será suportado se definir o seu agente para exigir autenticação em Configurações>Segurança>Autenticação.

O DAU médio para o período selecionado, mais a sua variação percentual em relação ao período anterior, aparece como um indicador-chave de desempenho (KPI) na secção de Visão Geral .

Note

A fórmula para a métrica média calculada da DAU é: (sum of all full-day active user counts in the period) / (count of full days in the period).

Para ver mais detalhes sobre os números diários e mensais de utilizadores ativos à medida que evoluem ao longo do tempo, selecione o botão Ver utilizadores ativos no canto superior direito do painel de visão geral.

Apenas sessões de conversação

A Análise para agentes de conversação no Copilot Studio monitoriza o envolvimento dos utilizadores com o seu agente e tenta capturar até que ponto o agente processa as tarefas dos utilizadores.

A análise conversacional usa os seguintes conceitos e termos:

• As conversas são uma interação contínua entre um utilizador específico, ou grupo de utilizadores, num canal e o seu agente.

• As conversações podem ser pausadas e retomadas mais tarde ou transferidas para um representante de suporte ao cliente. A conversa pode ser unidirecional, seja do cliente para o agente, ou do agente para o cliente, mas é mais comum ser uma interação de vai e vem entre o cliente e o agente.

• Uma conversa expira após 30 minutos de inatividade.

• Para agentes publicados no canal Telefonia, as conversações excedem o limite de tempo 3 minutos após um evento de Fim de Conversação.

• Uma única conversação pode conter uma ou mais sessões de análise.

• Uma sessão de análise alimentada pelo harness Standard está associada ao último tópico personalizado desencadeado por um utilizador. Se a sessão não incluir tópicos personalizados, é o último tópico do sistema ativado diretamente pelo utilizador.

Apenas sessões de disparador de evento

Um agente autónomo é um agente com um disparador de eventos. Estes agentes suportam apenas análises para agentes com gatilhos.

Uma sessão de análise para agentes com acionadores rastreia desde quando um agente recebe um payload de um acionador até quaisquer ações que o agente executa em resposta. Estas sessões de análise capturam aquilo a que o seu agente está a responder e o nível de desempenho do seu agente.

Note

Se um disparador falhar e o agente não receber a carga útil do disparador, não poderá ser iniciada uma sessão de analítica. A análise monitoriza apenas execuções acionadas com êxito.

Vista híbrida - sessões tanto de conversação como acionadas por eventos

Quando os dados do seu agente incluem sessões para pelo menos uma conversação e pelo menos uma execução baseada em acionadores no período do relatório, a página Monitorizar apresenta uma vista híbrida de métricas relevantes tanto para sessões conversacionais como para sessões autónomas. Nesta perspetiva, as secções de Visão Geral e Eficácia mostram métricas lado a lado para as sessões conversacionais e desencadeadas por eventos. A seção Usar permite que você selecione entre Conversas ou Execuções, que exibe apenas dados relevantes. Selecionar Todos mostra todos os dados relacionados ao uso. A seção Satisfação exibe métricas de satisfação para sessões de conversação.

Saiba mais em:

• Monitorizar a eficácia do agente conversacional para métricas de sessões conversacionais

• Monitorizar a saúde do agente autónomo para métricas de sessão desencadeadas por eventos

Descarregar transcrições conversacionais

Pode descarregar as transcrições das sessões no Copilot Studio para períodos nos últimos 28 dias. Pode demorar até uma hora após o término de uma sessão de análise até que os dados relacionados apareçam no painel de análise. Saiba mais sobre disponibilidade, permissões e passos de download em Descarregar transcrições de conversas no Copilot Studio.

A retenção de transcrições no Dataverse é separada da janela de dados de sessão de 28 dias no Copilot Studio. Saiba mais em Descarregar transcrições de conversas no Power Apps.

Análise de utilização de tópicos

No Copilot Studio, um tópico define como a conversa de um agente progride e representa uma parte de uma conversa entre um utilizador e um agente. O painel de Monitorização de tópicos mostra como um tópico individual está a funcionar, incluindo com que frequência é ativado, como as sessões que o incluem resolvem e quão satisfeitos estão os utilizadores com essas sessões. Utilize estas informações para identificar tópicos que frequentemente são escalados ou abandonados e, em seguida, dar-lhes prioridade para que sejam melhorados. Saiba mais em Criar e editar tópicos.

Note

Monitorização do Tópico está disponível apenas para agentes com tecnologia da plataforma Standard e para tópicos associados a uma sessão. Se o seu agente utilizar orquestração generativa, utilize resultados da conversação e temas na página Monitorizar, em alternativa.

Para ver o painel de monitorização do tópico:

1. Vai à página de Tópicos do teu agente no Copilot Studio.

2. Selecione o tema que pretende analisar. Se não houver temas disponíveis, consulte Criar e editar tópicos.

3. No canto superior direito da página de Tópicos , selecione Mais (...) >Monitor.

O painel do tema Monitor mostra:

• Resultados de tópicos: Um gráfico dos resultados das sessões, Escalated, Resolved, e Abandoned, para sessões onde este tema foi desencadeado. Use este gráfico para avaliar rapidamente a saúde do tema. Uma elevada proporção de resultados Escalated ou Abandoned pode significar que o tema precisa de ser melhorado.
• Utilização total do tópico: Um gráfico da tendência dos resultados do tópico ao longo do tempo. Use isto para detetar regressões, por exemplo, um pico nas sessões Abandonadas após um tema ter sido editado ou para confirmar que mudanças recentes melhoraram as taxas de resolução.
• Pontuação de satisfação do cliente: Uma pontuação baseada nas respostas a inquéritos dos utilizadores em sessões associadas a este tema.
• Tendência da pontuação de satisfação: Um gráfico que mostra como a pontuação de satisfação muda ao longo do tempo. Utilize esta tendência para identificar períodos em que o sentimento dos utilizadores diminuiu ou melhorou.

Para alterar o intervalo de tempo, selecione a lista pendente de intervalo de tempo na parte superior do painel Monitorizar do tópico.

Informações relacionadas

Meça o retorno do investimento (ROI) e o valor empresarial dos agentes de IA