Monitorizar uma visão geral de um agente

O separador Monitor na nova experiência do agente permite-lhe acompanhar o desempenho e a atividade do seu agente após a implementação. Use-o para acompanhar sessões de conversa, rever análises, identificar erros e compreender como os utilizadores interagem com o seu agente.

Note

As funcionalidades deste artigo são utilizadas por agentes ou fluxos de trabalho suportados pela estrutura do GitHub Copilot.

A faturação baseada no uso aplica-se à utilização, construção, teste e avaliação de agentes. Estas ações podem consumir Créditos Copilot. Saiba mais em Gerir custos para agentes alimentados pelo harness GitHub Copilot.

Note

O separador Monitorizar não está disponível até que o agente seja publicado. Para o tornar disponível, selecione Publicar.

O que pode monitorizar?

O separador Monitor oferece uma visão geral do desempenho do seu agente. Métricas-chave incluem:

  • Sessões de conversa: O número total de conversas que o seu agente gere.
  • Envolvimento do utilizador: Quão ativamente os utilizadores interagem com o agente, incluindo o número de mensagens e a duração da sessão.
  • Acompanhamento de custos e faturação: Consumo de crédito Copilot durante o período selecionado e estimativas de poupança.
  • Reações totais: respostas dos utilizadores, incluindo comentários de polegar para cima e polegar para baixo e comentários sobre respostas específicas do agente.
  • Qualidade da resposta: Indicadores de quão eficazmente o agente responde aos pedidos dos utilizadores ao longo do tempo.

Filtre o painel por intervalo temporal para se focar na atividade recente ou tendências de longo prazo.

Resumo

A área Resumo utiliza Copilot para gerar um resumo de IA com os principais insights analíticos sobre o seu agente. Selecione Ver Mais para ver a lista completa de insights resumidos.

Ajuda-o a identificar rapidamente temas comuns, métricas-chave e áreas a melhorar para o período de reporte selecionado. Os insights podem incluir métricas de envolvimento, sentimento e feedback dos clientes, bem como tendências desde o período anterior de reporte.

Custo e faturação

As métricas de custo e faturação mostram o número de Créditos Copilot faturados para o período selecionado e fornecem estimativas de poupança em termos de tempo e custo.

Saiba mais sobre Faturação de tarifas e gestão.

Resultados da sessão (pré-visualização)

O gráfico de resultados da sessão mostra como terminaram as sessões e ajuda-o a identificar onde o seu agente responde às necessidades dos utilizadores ou precisa de melhorias. Os resultados podem incluir Resolvido, Não Resolvido, Escalado, Abandonado e Não Envolvido.

Para agentes no âmbito da classificação de resultados baseada em IA, o Copilot Studio avalia toda a sessão e atribui um resultado após o fim da reunião. Quando uma sessão contém múltiplos objetivos de utilizador, a classificação baseia-se no objetivo principal original ou, quando esse objetivo não pode ser determinado claramente, no primeiro objetivo significativo. Como a classificação é assíncrona, as sessões recentes podem não mostrar um resultado imediato.

Saiba mais em Monitorizar e analisar um agente.

Reações

A secção Reações mostra o feedback dos utilizadores sobre as respostas dos agentes. O gráfico indica com que frequência os utilizadores selecionam polegar para cima (positivo) ou polegar para baixo (negativo) em cada resposta que recebem do seu agente.

Recursos do agente

A secção de Capacidades ajuda-o a compreender como os utilizadores interagem com o seu agente e onde a fiabilidade das respostas pode melhorar. Inclui:

  • Utilização de ferramentas: Que ferramentas o agente invocou durante a sessão.

Acompanhamento de sessões

A lista de sessões mostra sessões individuais de conversa com o seu agente. Cada sessão inclui:

  • Estado: Se a sessão está concluída, falhada ou em curso.
  • Duração: Quanto tempo durou a sessão.
  • Mensagens do utilizador: O número de mensagens trocadas.
  • Ferramentas utilizadas: Que ferramentas o agente invocou durante a sessão.

Filtre as sessões por estado, como falhadas, concluídas ou em curso, para encontrar rapidamente as sessões que precisam de atenção.

Selecione uma sessão para visualizar a sua transcrição completa, incluindo as mensagens do utilizador, as respostas do agente e detalhes sobre invocações de ferramentas e utilização da fonte de conhecimento.

Monitorização de erros

O separador Monitor ajuda-o a identificar e diagnosticar problemas:

  • Filtre as sessões por estado de Falhado ou Rejeitado para encontrar interações problemáticas.
  • Revise as transcrições das sessões para perceber o que correu mal.
  • Verifique o estado da ligação à ferramenta e os erros de autenticação.
  • Procure padrões em sessões falhadas que possam indicar um problema de configuração.

Para orientações passo a passo sobre como usar o separador Monitorar, consulte Monitorizar um agente.

Descarregue as transcrições das sessões

Pode descarregar as transcrições das sessões alguns minutos após o fim da sessão. Pode descarregar qualquer período nos últimos 29 dias. Pode descarregá-las no Dataverse usando o portal Power Apps e como transcrições de conversas de sessão utilizando a aplicação Copilot Studio. Pode demorar até uma hora após o fim da sessão analítica até que os dados relacionados apareçam no separador Monitor.

Note

Não podes descarregar as transcrições das sessões no Dataverse na aplicação Copilot Studio no Teams. Para rever e exportar transcrições no Dataverse, é necessário inscrever-se na aplicação web Copilot Studio. Pode descarregar as transcrições do chat das sessões utilizando a aplicação Copilot Studio. Para obter mais informações, consulte Descarregar transcrições da sessão do agente.

  • Last updated on