Capturar telemetria com o Application Insights

Este artigo explica como capturar dados de telemetria de seu agente Copilot Studio para uso no Aplicativo Azure Insights.

Além dos recursos de análise nativa no Copilot Studio, você pode enviar dados de telemetria para o Application Insights. A telemetria oferece insights sobre seu agente rastreando:

• Mensagens registradas e eventos enviados de e para seu agente
• Tópicos a serem abordados durante conversas com o usuário
• Eventos de telemetria personalizados que você pode enviar de seus tópicos

Importante

O Application Insights é um recurso de Azure Monitor, uma ferramenta extensível de Gerenciamento de Desempenho de Aplicativos (APM) que você pode usar para monitorar seus aplicativos dinâmicos. Ele requer uma assinatura para Microsoft Azure.

Conectar seu agente do Copilot Studio ao Application Insights

Para conectar seu agente ao Application Insights, primeiro adicione sua chave de instrumentação à configuração do agente.

1. Acesse a página Configurações de seu agente e selecione Avançado.

2. Na seção Application Insights , insira a cadeia de conexão. Para saber como localizar seu cadeia de conexão, consulte a documentação Azure Monitor.

3. Opcionalmente, você pode habilitar uma das seguintes configurações.

   • Atividades de log: se habilitado, o sistema registra detalhes de mensagens e eventos de entrada e saída.

   • Registrar propriedades de atividades sensíveis: se habilitadas, os logs incluem os valores de determinadas propriedades que podem ser consideradas sensíveis em mensagens e eventos de entrada e saída. As propriedades consideradas potencialmente sensíveis são userid, nametexte speak (as propriedades text and speak só se aplicam a mensagens).

Analisar telemetria de bot com o Application Insights

Depois de conectar o bot ao Application Insights, ele registra os dados de telemetria quando os usuários interagem com o bot, inclusive durante o teste em Copilot Studio. Para ver os dados de telemetria registrados, acesse a seção Logs do recurso application insights em Azure.

Aqui, você pode usar consultas do Kusto para consultar e analisar dados. Veja consultas de exemplo.

Consultas de exemplo

Uma consulta pode ser tão simples quanto especificar uma única tabela, como customEvents, que mostra todos os eventos de telemetria personalizados registrados no Copilot Studio. Mas você também pode usar consultas Kusto para restringir ainda mais seus resultados, incluindo:

• Adicionar um intervalo de tempo
• Estendendo seus resultados usando dimensões personalizadas. Dimensões personalizadas são propriedades personalizadas que você registra junto com os campos predefinidos, como o carimbo de data/hora ou o nome do evento
• Adicionando uma cláusula where para limitar os dados retornados com base em uma condição
• Usar mais funções do Kusto internas para determinar quais e como as informações são mostradas

A consulta de exemplo a seguir resulta em um gráfico de linhas que mostra quantos usuários distintos se comunicaram com seu bot por dia nos últimos 14 dias.

let queryStartDate = ago(14d);
let queryEndDate = now();
let groupByInterval = 1d;
customEvents
| where timestamp > queryStartDate
| where timestamp < queryEndDate
| summarize uc=dcount(user_Id) by bin(timestamp, groupByInterval)
| render timechart

Importante

Os dados dentro de alguns campos variam e são mais ou menos aplicáveis, dependendo do canal que está sendo usado. Por exemplo, você só obterá uma contagem correta de usuários exclusivos na consulta se os usuários forem autenticados e suas IDs de usuário forem consistentes entre conversas. Em cenários anônimos em que uma ID de usuário aleatória é gerada em cada conversa, o campo ID do usuário é menos útil.

Excluir telemetria de conversas de teste em suas consultas

O bot registra a telemetria de todas as conversas, incluindo aquelas que ocorrem no Copilot Studio durante o teste. Se você quiser excluir a telemetria coletada durante o teste, estenda sua consulta usando a designMode dimensão personalizada que todos os eventos capturam e use uma cláusula where em sua consulta.

O exemplo a seguir mostra todos os eventos personalizados, excluindo aqueles capturados por meio da tela de teste.

customEvents
| extend isDesignMode = customDimensions['designMode']
| where isDesignMode == "False"

Dimensões Personalizadas

Grande parte dos dados de atividade específicos recebidos do Copilot Studio é armazenado no campo customDimensions. Você pode ver um campo de dimensão personalizada sendo usado em uma consulta para excluir a telemetria das conversas de teste.

Campo	Description	Valores de exemplo
tipo	Tipo de atividade	message, conversationUpdate, , eventinvoke
ID do canal	Identificador do canal	emulator, directline, , msteamswebchat
fromId	Identificador De	<id>
fromName	Nome de usuário do cliente	John Bonham, Keith Moon, , Steve SmithSteve Gadd
localidade	Localidade de origem do cliente	en-us, zh-cn, en-GB, , de-dezh-CN
recipientId	Identificador do destinatário	<id>
recipientName	Nome do destinatário	John Bonham, Keith Moon, , Steve SmithSteve Gadd
enviar SMS	Texto na mensagem	find a coffee shop
designMode	A conversa aconteceu dentro da tela de teste	True / False

Exibindo resultados de monitoramento (versão prévia)

Importante

Este artigo contém a documentação da versão preliminar do Microsoft Copilot Studio e está sujeito a alterações.

A versão prévia dos recursos não foi criada para uso em ambientes de produção e pode ter funcionalidade restrita. Esses recursos estão disponíveis antes de um lançamento oficial para que você possa obter acesso antecipado e fornecer comentários.

Se você estiver criando um agente pronto para produção, confira a visão geral do Microsoft Copilot Studio.

A exibição do dashboard Copilot Studio usa sinais do Azure Monitor Application Insights. Ele consulta o Application Insights por meio de pastas de trabalho Azure e cria visualizações.

Essas exibições trazem as principais métricas, como total de conversas, latência, exceções, uso de ferramentas e análise de tópicos, em uma única exibição. A exibição única fornece às equipes transparência para que elas possam acompanhar a integridade e a qualidade operacionais, entender tendências e avaliar continuamente para melhorar a aplicação.

Para acessar e usar o modo de exibição de monitoramento interno no Application Insights, siga estas etapas:

1. Acesse seu recurso do Application Insights.
2. Selecione a guia Monitoramento no painel de navegação esquerdo.
3. Na guia Monitoramento , selecione Pastas de Trabalho. Abra Painel Copilot Studio na galeria de pastas de trabalho.

Personalizar e compartilhar seu painel

O Application Insights é uma ferramenta poderosa para o APM (monitoramento de desempenho de aplicativos) que fornece insights sobre a integridade e o desempenho de seus aplicativos.

O painel é aberto como uma pasta de trabalho editável em que você pode personalizar a pasta de trabalho e salvá-la de acordo com suas necessidades.

1. Selecione Editar na barra de comandos.

   

2. Modifique os elementos conforme necessário para seu caso de uso. Selecione os três pontos (...) para que um elemento possa editar, adicionar, mover ou redimensionar, clonar ou removê-lo. Por exemplo, você pode adicionar um bloco que usa KQL para rastrear um atributo personalizado que você está coletando e que a visualização integrada não mostra.

   

3. Selecione Salvar para salvar suas alterações mais recentes e criar exibições diferentes conforme necessário.

   

4. Selecione o ícone Compartilhar na barra de comandos para compartilhar com sua equipe.

   Note

   Quando você compartilha esta pasta de trabalho com os membros da equipe, eles devem ter pelo menos a função Leitor no recurso do Application Insights conectado para visualizar as informações.