Intégration de l’observabilité pour Copilot Studio

Les assistants Microsoft Copilot Studio émettent automatiquement de la télémétrie vers le backend d’observabilité Microsoft Agent 365 — aucune instrumentation manuelle du SDK n’est requise. Cette observabilité automatique offre une visibilité sur l’activité, les performances et les erreurs des assistants dans le Centre d’administration Microsoft 365, Microsoft Defender et Microsoft Purview.

Cet article explique comment Copilot Studio gère automatiquement l’observabilité et où consulter les données de télémétrie.

Remarque

Pour connaître les concepts généraux de l’observabilité d’Agent 365 et l’instrumentation manuelle pour les  assistants pro-code, consultez Observabilité d’Agent. Cet article se concentre sur l’observabilité automatique pour les assistants de Copilot Studio.

Observabilité automatique

Les assistants Copilot Studio participent automatiquement au cadre d’observabilité Agent 365 :

  • Aucun SDK requis : à la différence des assistants pro-code qui nécessitent l’installation et la configuration du SDK OpenTelemetry, Copilot Studio prend en charge toute l’émission de télémétrie au sein de la plateforme.
  • Conformité OpenTelemetry : la télémétrie suit les conventions sémantiques OpenTelemetry, garantissant ainsi la cohérence avec les  assistants pro-code et d’autres plateformes.
  • Ingestion automatique : la télémétrie circule vers le backend d’observabilité de l’Agent 365 sans configuration supplémentaire.
  • Disponibilité immédiate : Les données d’observabilité apparaissent dans le Centre d’administration Microsoft 365 dans les minutes suivant l’activité des assistants.

Cette automatisation permet une surveillance centralisée, une analyse de sécurité et des rapports de conformité sans intervention des développeurs.

Quelle télémétrie est collectée

Copilot Studio émet automatiquement deux conventions sémantiques OpenTelemetry pour les étendues d’IA générative :

Remarque

  • La télémétrie est capturée uniquement pour les sessions authentifiées
  • Les assistants multitenant sont exclus de la collecte de télémétrie
  • Les assistants dont les noms dépassent 42 caractères ne sont pas journalisés
  • Les entrées et sorties volumineuses sont automatiquement tronquées dans les champs suivants :
    • Messages de sortie
    • Arguments d’outil
    • Réponse de l’outil (gen_ai.event.content)
    • Description de l’assistant

Invoquer l’assistant

Capture de l’activité d’invocation de l’assistant :

  • Identification de l’assistant : l’identification, le nom, l’identifiant Entra et le type de l’assistant invoqué
  • Identification de l’utilisateur : qui a interagi avec l’assistant (lors de l’utilisation d’un flux de substitution)
  • Message d’entrée : message utilisateur envoyé à l’assistant (données sensibles masquées)
  • Autres identifiants : identifiants de locataire et d’environnement
  • Horodatages de début et de fin : Quand l’invocation a commencé et s’est terminée

Exemple d’événement

{
  "Name": "InvokeAgent",
  "Attributes": {
    "gen_ai.operation.name": "invoke_agent",
    "gen_ai.agent.id": "a1b2c3d4-e5f6-7890-abcd-ef1234567890",
    "gen_ai.agent.name": "customer-support-agent",
    "gen_ai.agent.applicationid": "12345678-90ab-cdef-1234-567890abcdef",
    "gen_ai.agent.platformid": "Default-11111111-2222-3333-4444-555555555555_01234567-89ab-cdef-0123-456789abcdef",
    "gen_ai.agent.type": "CopilotStudio",
    "tenant.id": "11111111-2222-3333-4444-555555555555",
    "gen_ai.channel.name": "Copilot Studio Test Pane",
    "gen_ai.execution.type": "HumanToAgent",
    "gen_ai.conversation.id": "aaaaaaaa-bbbb-cccc-dddd-eeeeeeeeeeee",
    "gen_ai.caller.id": "99999999-8888-7777-6666-555555555555",
    "gen_ai.caller.upn": "alex.smith@contoso.com",
    "gen_ai.caller.name": "Alex Smith",
    "gen_ai.caller.client.ip": "192.168.1.100",
    "gen_ai.caller.tenantid": "11111111-2222-3333-4444-555555555555",
    "gen_ai.input.messages": "What's the weather in Seattle?",
    "env.id": "Default-11111111-2222-3333-4444-555555555555"
  },
  "StartTimeUnixNano": 1700000000000000000,
  "EndTimeUnixNano": 0,
  "SpanId": "aaaa1111-bbbb-2222-cccc-333333333333"
}

Message de sortie

Capture la sortie de l’assistant :

  • Message de sortie : Réponse de l’assistant à l’utilisateur (données sensibles masquées)

Remarque

Les messages d’erreur provenant des invocations d’assistant ou des exécutions d’outils sont enregistrés comme messages de sortie.

Voici un autre exemple d’événement.

{
  "Name": "OutputMessages",
  "Attributes": {
    "gen_ai.operation.name": "output_messages",
    "gen_ai.agent.id": "a1b2c3d4-e5f6-7890-abcd-ef1234567890",
    "gen_ai.agent.name": "customer-support-agent",
    "gen_ai.agent.applicationid": "12345678-90ab-cdef-1234-567890abcdef",
    "gen_ai.agent.platformid": "Default-11111111-2222-3333-4444-555555555555_01234567-89ab-cdef-0123-456789abcdef",
    "gen_ai.agent.type": "CopilotStudio",
    "tenant.id": "11111111-2222-3333-4444-555555555555",
    "gen_ai.output.messages": "The current weather in **Seattle, WA** is:\n\n- **Temperature:** 18°C (feels like 17°C)...",
    "gen_ai.conversation.id": "aaaaaaaa-bbbb-cccc-dddd-eeeeeeeeeeee",
    "gen_ai.channel.name": "Copilot Studio Test Pane",
    "gen_ai.caller.id": "99999999-8888-7777-6666-555555555555",
    "gen_ai.caller.upn": "alex.smith@contoso.com",
    "gen_ai.caller.name": "Alex Smith",
    "gen_ai.caller.client.ip": "192.168.1.100",
    "gen_ai.caller.tenantid": "11111111-2222-3333-4444-555555555555",
    "env.id": "Default-11111111-2222-3333-4444-555555555555"
  },
  "StartTimeUnixNano": 0,
  "EndTimeUnixNano": 1700000005000000000,
  "SpanId": "bbbb2222-cccc-3333-dddd-444444444444",
  "ParentSpanId": "aaaa1111-bbbb-2222-cccc-333333333333"
}

Exécution de l’outil

Capture de l’exécution d’un outil lorsque votre assistant utilise des connecteurs ou des actions :

  • Identification de l’assistant : l’identification, le nom, l’identifiant Entra et le type de l’assistant invoqué
  • Identification de l’outil : l’identifiant et le nom de l’outil exécuté
  • Arguments d’outil : quelles données ont été envoyées (données sensibles expurgées)
  • Identification de l’utilisateur : qui a interagi avec l’assistant (lors de l’utilisation d’un flux de substitution)
  • Autres identifiants : identifiants de locataire et d’environnement
  • Horodatages de début et de fin : quand l’exécution a commencé et s’est terminée

Voici un autre exemple d’événement.

{
  "Name": "ExecuteTool",
  "Attributes": {
    "gen_ai.operation.name": "execute_tool",
    "gen_ai.agent.id": "a1b2c3d4-e5f6-7890-abcd-ef1234567890",
    "gen_ai.agent.name": "customer-support-agent",
    "gen_ai.agent.applicationid": "12345678-90ab-cdef-1234-567890abcdef",
    "gen_ai.agent.platformid": "Default-11111111-2222-3333-4444-555555555555_01234567-89ab-cdef-0123-456789abcdef",
    "gen_ai.agent.type": "CopilotStudio",
    "tenant.id": "11111111-2222-3333-4444-555555555555",
    "gen_ai.tool.name": "msnweather:CurrentWeather",
    "gen_ai.tool.arguments": "{\"Location\":\"Seattle, WA\",\"units\":\"C\"}",
    "gen_ai.tool.call.id": "/providers/Microsoft.PowerApps/apis/shared_msnweather:CurrentWeather:abcdef12-3456-7890-abcd-ef1234567890",
    "gen_ai.tool.type": "Power Platform Connector",
    "gen_ai.conversation.id": "aaaaaaaa-bbbb-cccc-dddd-eeeeeeeeeeee",
    "gen_ai.event.content": "{ /* tool execution results */ }",
    "gen_ai.channel.name": "Copilot Studio Test Pane",
    "gen_ai.caller.id": "99999999-8888-7777-6666-555555555555",
    "gen_ai.caller.upn": "alex.smith@contoso.com",
    "gen_ai.caller.name": "Alex Smith",
    "gen_ai.caller.client.ip": "192.168.1.100",
    "gen_ai.caller.tenantid": "11111111-2222-3333-4444-555555555555",
    "env.id": "Default-11111111-2222-3333-4444-555555555555"
  },
  "StartTimeUnixNano": 1700000002000000000,
  "EndTimeUnixNano": 0,
  "SpanId": "cccc3333-dddd-4444-eeee-555555555555",
  "ParentSpanId": "aaaa1111-bbbb-2222-cccc-333333333333"
}

Toute télémétrie respecte les limites de la vie privée. Les données sensibles des utilisateurs dans les messages et les entrées et sorties d’outils sont expurgées et non visibles pour les administrateurs. La télémétrie est utilisée à des fins de surveillance interne de la sécurité et de conformité.

Étapes suivantes

  • Last updated on