Integrasi observabilitas untuk Copilot Studio

Agen Microsoft Copilot Studio secara otomatis mengirimkan telemetri ke backend observabilitas Microsoft Agent 365—tidak diperlukan instrumentasi SDK manual. Observabilitas otomatis ini memberikan visibilitas terhadap aktivitas, performa, dan kesalahan agen di seluruh pusat admin Microsoft 365, Microsoft Defender, dan Microsoft Purview.

Artikel ini menjelaskan bagaimana Copilot Studio menangani observabilitas secara otomatis dan di mana melihat data telemetri.

Catatan

Untuk konsep observabilitas umum Agent 365 dan instrumentasi manual untuk agen pro-kode, lihat Agent observability. Artikel ini berfokus pada observabilitas otomatis untuk agen Copilot Studio.

Observabilitas otomatis

Agen Copilot Studio berpartisipasi dalam kerangka kerja observabilitas Agent 365 secara otomatis:

  • Tidak diperlukan SDK: Tidak seperti agen pro-code yang memerlukan penginstalan dan konfigurasi OpenTelemetry SDK, Copilot Studio menangani semua emisi telemetri dalam runtime platform.
  • Kepatuhan OpenTelemetry: Telemetri mengikuti konvensi semantik OpenTelemetry, memastikan konsistensi dengan agen pro-kode dan platform lainnya.
  • Pemasukan otomatis: Telemetri dikirim ke backend observabilitas Agent 365 tanpa konfigurasi tambahan.
  • Ketersediaan langsung: Data observabilitas muncul di pusat admin Microsoft 365 dalam hitungan menit setelah aktivitas agen.

Otomatisasi ini memungkinkan pemantauan terpusat, analisis keamanan, dan pelaporan kepatuhan tanpa upaya pengembang.

Telemetri apa yang diambil?

Copilot Studio secara otomatis memancarkan dua konvensi semantik OpenTelemetry untuk span AI generatif:

Catatan

  • Telemetri hanya dicatat untuk sesi yang diautentikasi
  • Agen multi-tenant dikecualikan dari telemetri
  • Agen yang namanya lebih dari 42 karakter tidak dicatat
  • Input dan output berukuran besar secara otomatis dipangkas di bidang berikut:
    • Pesan keluaran
    • Argumen alat
    • Respons alat (gen_ai.event.content)
    • Deskripsi agen

Panggil agen

Mencatat aktivitas pemanggilan agen:

  • Identifikasi agen: ID, nama, ID Entra, dan jenis agen yang dipanggil
  • Identifikasi pengguna: Siapa yang berinteraksi dengan agen (saat menggunakan alur atas nama)
  • Pesan input: Pesan pengguna yang dikirim ke agen (data sensitif disamarkan)
  • Pengidentifikasi lain: ID penyewa dan ID lingkungan
  • Stempel waktu mulai dan akhir: Kapan pemanggilan dimulai dan berakhir

Contoh aktivitas

{
  "Name": "InvokeAgent",
  "Attributes": {
    "gen_ai.operation.name": "invoke_agent",
    "gen_ai.agent.id": "a1b2c3d4-e5f6-7890-abcd-ef1234567890",
    "gen_ai.agent.name": "customer-support-agent",
    "gen_ai.agent.applicationid": "12345678-90ab-cdef-1234-567890abcdef",
    "gen_ai.agent.platformid": "Default-11111111-2222-3333-4444-555555555555_01234567-89ab-cdef-0123-456789abcdef",
    "gen_ai.agent.type": "CopilotStudio",
    "tenant.id": "11111111-2222-3333-4444-555555555555",
    "gen_ai.channel.name": "Copilot Studio Test Pane",
    "gen_ai.execution.type": "HumanToAgent",
    "gen_ai.conversation.id": "aaaaaaaa-bbbb-cccc-dddd-eeeeeeeeeeee",
    "gen_ai.caller.id": "99999999-8888-7777-6666-555555555555",
    "gen_ai.caller.upn": "alex.smith@contoso.com",
    "gen_ai.caller.name": "Alex Smith",
    "gen_ai.caller.client.ip": "192.168.1.100",
    "gen_ai.caller.tenantid": "11111111-2222-3333-4444-555555555555",
    "gen_ai.input.messages": "What's the weather in Seattle?",
    "env.id": "Default-11111111-2222-3333-4444-555555555555"
  },
  "StartTimeUnixNano": 1700000000000000000,
  "EndTimeUnixNano": 0,
  "SpanId": "aaaa1111-bbbb-2222-cccc-333333333333"
}

Pesan keluaran

Mengambil output agen:

  • Pesan keluaran: Respons agen kepada pengguna (data sensitif disamarkan)

Catatan

Pesan kesalahan dari pemanggilan agen atau eksekusi alat dicatat sebagai pesan keluaran.

Berikut ini adalah contoh peristiwa lainnya.

{
  "Name": "OutputMessages",
  "Attributes": {
    "gen_ai.operation.name": "output_messages",
    "gen_ai.agent.id": "a1b2c3d4-e5f6-7890-abcd-ef1234567890",
    "gen_ai.agent.name": "customer-support-agent",
    "gen_ai.agent.applicationid": "12345678-90ab-cdef-1234-567890abcdef",
    "gen_ai.agent.platformid": "Default-11111111-2222-3333-4444-555555555555_01234567-89ab-cdef-0123-456789abcdef",
    "gen_ai.agent.type": "CopilotStudio",
    "tenant.id": "11111111-2222-3333-4444-555555555555",
    "gen_ai.output.messages": "The current weather in **Seattle, WA** is:\n\n- **Temperature:** 18°C (feels like 17°C)...",
    "gen_ai.conversation.id": "aaaaaaaa-bbbb-cccc-dddd-eeeeeeeeeeee",
    "gen_ai.channel.name": "Copilot Studio Test Pane",
    "gen_ai.caller.id": "99999999-8888-7777-6666-555555555555",
    "gen_ai.caller.upn": "alex.smith@contoso.com",
    "gen_ai.caller.name": "Alex Smith",
    "gen_ai.caller.client.ip": "192.168.1.100",
    "gen_ai.caller.tenantid": "11111111-2222-3333-4444-555555555555",
    "env.id": "Default-11111111-2222-3333-4444-555555555555"
  },
  "StartTimeUnixNano": 0,
  "EndTimeUnixNano": 1700000005000000000,
  "SpanId": "bbbb2222-cccc-3333-dddd-444444444444",
  "ParentSpanId": "aaaa1111-bbbb-2222-cccc-333333333333"
}

Menjalankan alat

Mencatat eksekusi alat saat agen Anda menggunakan konektor atau tindakan:

  • Identifikasi agen: ID, nama, ID Entra, dan jenis agen yang dipanggil
  • Identifikasi alat: ID dan nama alat yang dieksekusi
  • Argumen alat: Data apa yang dikirim (data sensitif disamarkan)
  • Identifikasi pengguna: Siapa yang berinteraksi dengan agen (saat menggunakan alur atas nama)
  • Pengidentifikasi lain: ID penyewa dan ID lingkungan
  • Stempel waktu mulai dan akhir: Kapan eksekusi dimulai dan berakhir

Berikut ini adalah contoh peristiwa lainnya.

{
  "Name": "ExecuteTool",
  "Attributes": {
    "gen_ai.operation.name": "execute_tool",
    "gen_ai.agent.id": "a1b2c3d4-e5f6-7890-abcd-ef1234567890",
    "gen_ai.agent.name": "customer-support-agent",
    "gen_ai.agent.applicationid": "12345678-90ab-cdef-1234-567890abcdef",
    "gen_ai.agent.platformid": "Default-11111111-2222-3333-4444-555555555555_01234567-89ab-cdef-0123-456789abcdef",
    "gen_ai.agent.type": "CopilotStudio",
    "tenant.id": "11111111-2222-3333-4444-555555555555",
    "gen_ai.tool.name": "msnweather:CurrentWeather",
    "gen_ai.tool.arguments": "{\"Location\":\"Seattle, WA\",\"units\":\"C\"}",
    "gen_ai.tool.call.id": "/providers/Microsoft.PowerApps/apis/shared_msnweather:CurrentWeather:abcdef12-3456-7890-abcd-ef1234567890",
    "gen_ai.tool.type": "Power Platform Connector",
    "gen_ai.conversation.id": "aaaaaaaa-bbbb-cccc-dddd-eeeeeeeeeeee",
    "gen_ai.event.content": "{ /* tool execution results */ }",
    "gen_ai.channel.name": "Copilot Studio Test Pane",
    "gen_ai.caller.id": "99999999-8888-7777-6666-555555555555",
    "gen_ai.caller.upn": "alex.smith@contoso.com",
    "gen_ai.caller.name": "Alex Smith",
    "gen_ai.caller.client.ip": "192.168.1.100",
    "gen_ai.caller.tenantid": "11111111-2222-3333-4444-555555555555",
    "env.id": "Default-11111111-2222-3333-4444-555555555555"
  },
  "StartTimeUnixNano": 1700000002000000000,
  "EndTimeUnixNano": 0,
  "SpanId": "cccc3333-dddd-4444-eeee-555555555555",
  "ParentSpanId": "aaaa1111-bbbb-2222-cccc-333333333333"
}

Semua telemetri menghormati batasan privasi. Data pengguna sensitif dalam pesan serta input dan output alat telah diredaksi dan tidak dapat dilihat oleh administrator. Telemetri digunakan untuk tujuan pemantauan keamanan internal dan kepatuhan.

Langkah berikutnya

  • Last updated on