การรวมความสามารถในการสังเกตการณ์สำหรับ Copilot Studio

เอเจนต์ของ Microsoft Copilot Studio จะส่งการวัดและส่งข้อมูลทางไกลไปยังแบ็กเอนด์ความสามารถในการสังเกตการณ์ของ Microsoft Agent 365 โดยอัตโนมัติ—ไม่ต้องติดตั้งเครื่องมือ SDK ด้วยตนเอง การสังเกตการณ์อัตโนมัตินี้ให้ความสามารถในการตรวจสอบกิจกรรม ประสิทธิภาพ และข้อผิดพลาดของเอเจนต์ในศูนย์การจัดการ Microsoft 365, Microsoft Defender และ Microsoft Purview

บทความนี้อธิบายวิธีที่ Copilot Studio จัดการกับความสามารถในการสังเกตการณ์โดยอัตโนมัติ และตำแหน่งที่จะดูข้อมูลการวัดและส่งข้อมูลทางไกล

หมายเหตุ

สำหรับแนวคิดทั่วไปเกี่ยวกับการสังเกตการณ์ของ Agent 365 และการอินสตรูเมนต์ด้วยตนเองสำหรับเอเจนต์แบบ pro-code โปรดดู ความสามารถในการสังเกตการณ์ของเอเจนต์ บทความนี้เน้นความสามารถในการสังเกตการณ์อัตโนมัติสำหรับเอเจนต์ Copilot Studio

การสังเกตการณ์อัตโนมัติ

เอเจนต์ Copilot Studio เข้าร่วมในเฟรมเวิร์กการสังเกตการณ์ของ Agent 365 โดยอัตโนมัติ:

  • ไม่จำเป็นต้องใช้ SDK: ในขณะที่เอเจนต์แบบ pro-code ต้องติดตั้งและกำหนดค่า OpenTelemetry SDK Copilot Studio จะจัดการการส่งข้อมูล telemetry ทั้งหมดในรันไทม์ของแพลตฟอร์ม
  • การปฏิบัตตามข้อกำหนด OpenTelemetry: Telemetry ปฏิบัติตามข้อกำหนดเชิงความหมายของ OpenTelemetry เพื่อให้มั่นใจถึงความสอดคล้องกับเอเจนต์ pro-code และแพลตฟอร์มอื่นๆ
  • การนำเข้าอัตโนมัติ: การวัดและส่งข้อมูลทางไกลจะไหลไปยังแบ็กเอนด์ของระบบการสังเกตการณ์ Agent 365 โดยไม่ต้องกำหนดค่าเพิ่มเติม
  • ความพร้อมใช้งานทันที: ข้อมูลการสังเกตการณ์จะปรากฏในศูนย์การจัดการ Microsoft 365 ภายในไม่กี่นาทีหลังจากกิจกรรมของเอเจนต์

ระบบอัตโนมัตินี้ช่วยให้สามารถตรวจสอบแบบรวมศูนย์ การวิเคราะห์ความปลอดภัย และการรายงานการปฏิบัติตามข้อกำหนดโดยไม่ต้องใช้ความพยายามของนักพัฒนา

มีการบันทึกการวัดและส่งข้อมูลทางไกลอะไรบ้าง

Copilot Studio จะปล่อยข้อตกลงความหมาย OpenTelemetry สองแบบโดยอัตโนมัติสำหรับช่วง AI สร้างสรรค์:

หมายเหตุ

  • จะจับการวัดและส่งข้อมูลทางไกลเฉพาะเซสชันที่รับรองความถูกต้องเท่านั้น
  • เอเจนต์แบบหลายผู้เช่าไม่ถูกเก็บการวัดและส่งข้อมูลทางไกล
  • เอเจนต์ที่มีชื่อยาวกว่า 42 อักขระจะไม่ถูกบันทึก
  • อินพุตและเอาต์พุตขนาดใหญ่จะถูกตัดทอนโดยอัตโนมัติในฟิลด์ต่อไปนี้:
    • ข้อความที่ส่งออก
    • พารามิเตอร์ของเครื่องมือ
    • การตอบสนองของเครื่องมือ (gen_ai.event.content)
    • คำอธิบายเอเจนต์

เรียกใช้เอเจนต์

บันทึกกิจกรรมการเรียกใช้เอเจนต์:

  • การระบุเอเจนต์: ID, ชื่อ, Entra ID และประเภทของเอเจนต์ที่เรียกใช้:
  • การระบุผู้ใช้: ผู้ที่โต้ตอบกับเอเจนต์ (ในกรณีใช้โฟลว์แทนผู้อื่น)
  • ข้อความอินพุต: ข้อความผู้ใช้ที่ส่งไปยังเอเจนต์ (ข้อมูลที่ละเอียดอ่อนถูกปกปิด)
  • ตัวระบุอื่นๆ: รหัสผู้เช่าและรหัสสภาพแวดล้อม
  • การประทับเวลาเริ่มต้นและสิ้นสุด: เมื่อการเรียกใช้เริ่มต้นและสิ้นสุด

ตัวอย่างเหตุการณ์

{
  "Name": "InvokeAgent",
  "Attributes": {
    "gen_ai.operation.name": "invoke_agent",
    "gen_ai.agent.id": "a1b2c3d4-e5f6-7890-abcd-ef1234567890",
    "gen_ai.agent.name": "customer-support-agent",
    "gen_ai.agent.applicationid": "12345678-90ab-cdef-1234-567890abcdef",
    "gen_ai.agent.platformid": "Default-11111111-2222-3333-4444-555555555555_01234567-89ab-cdef-0123-456789abcdef",
    "gen_ai.agent.type": "CopilotStudio",
    "tenant.id": "11111111-2222-3333-4444-555555555555",
    "gen_ai.channel.name": "Copilot Studio Test Pane",
    "gen_ai.execution.type": "HumanToAgent",
    "gen_ai.conversation.id": "aaaaaaaa-bbbb-cccc-dddd-eeeeeeeeeeee",
    "gen_ai.caller.id": "99999999-8888-7777-6666-555555555555",
    "gen_ai.caller.upn": "alex.smith@contoso.com",
    "gen_ai.caller.name": "Alex Smith",
    "gen_ai.caller.client.ip": "192.168.1.100",
    "gen_ai.caller.tenantid": "11111111-2222-3333-4444-555555555555",
    "gen_ai.input.messages": "What's the weather in Seattle?",
    "env.id": "Default-11111111-2222-3333-4444-555555555555"
  },
  "StartTimeUnixNano": 1700000000000000000,
  "EndTimeUnixNano": 0,
  "SpanId": "aaaa1111-bbbb-2222-cccc-333333333333"
}

ข้อความที่ส่งออก

บันทึกผลลัพธ์ของเอเจนต์:

  • ข้อความเอาต์พุต: การตอบของเอเจนต์ต่อผู้ใช้ (ข้อมูลที่ละเอียดอ่อนถูกปกปิด)

หมายเหตุ

ข้อความแสดงข้อผิดพลาดจากการเรียกใช้เอเจนต์หรือการดำเนินการของเครื่องมือจะถูกบันทึกเป็นข้อความเอาต์พุต

ต่อไปนี้เป็นตัวอย่างเหตุการณ์อีกหนึ่งรายการ

{
  "Name": "OutputMessages",
  "Attributes": {
    "gen_ai.operation.name": "output_messages",
    "gen_ai.agent.id": "a1b2c3d4-e5f6-7890-abcd-ef1234567890",
    "gen_ai.agent.name": "customer-support-agent",
    "gen_ai.agent.applicationid": "12345678-90ab-cdef-1234-567890abcdef",
    "gen_ai.agent.platformid": "Default-11111111-2222-3333-4444-555555555555_01234567-89ab-cdef-0123-456789abcdef",
    "gen_ai.agent.type": "CopilotStudio",
    "tenant.id": "11111111-2222-3333-4444-555555555555",
    "gen_ai.output.messages": "The current weather in **Seattle, WA** is:\n\n- **Temperature:** 18°C (feels like 17°C)...",
    "gen_ai.conversation.id": "aaaaaaaa-bbbb-cccc-dddd-eeeeeeeeeeee",
    "gen_ai.channel.name": "Copilot Studio Test Pane",
    "gen_ai.caller.id": "99999999-8888-7777-6666-555555555555",
    "gen_ai.caller.upn": "alex.smith@contoso.com",
    "gen_ai.caller.name": "Alex Smith",
    "gen_ai.caller.client.ip": "192.168.1.100",
    "gen_ai.caller.tenantid": "11111111-2222-3333-4444-555555555555",
    "env.id": "Default-11111111-2222-3333-4444-555555555555"
  },
  "StartTimeUnixNano": 0,
  "EndTimeUnixNano": 1700000005000000000,
  "SpanId": "bbbb2222-cccc-3333-dddd-444444444444",
  "ParentSpanId": "aaaa1111-bbbb-2222-cccc-333333333333"
}

เรียกใช้งานเครื่องมือ

บันทึกการดำเนินการของเครื่องมือเมื่อเอเจนต์ของคุณใช้ตัวเชื่อมต่อหรือการดำเนินการ:

  • การระบุเอเจนต์: ID, ชื่อ, Entra ID และประเภทของเอเจนต์ที่เรียกใช้:
  • การระบุเครื่องมือ: รหัสและชื่อของเครื่องมือที่ถูกเรียกใช้งาน
  • อาร์กิวเมนต์เครื่องมือ: ข้อมูลที่ส่ง (ข้อมูลที่ละเอียดอ่อนถูกปกปิด)
  • การระบุผู้ใช้: ผู้ที่โต้ตอบกับเอเจนต์ (เมื่อใช้โฟลว์ On-Behalf-Of)
  • ตัวระบุอื่นๆ: รหัสผู้เช่าและรหัสสภาพแวดล้อม
  • เวลาที่เริ่มต้นและสิ้นสุด: เมื่อการประมวลผลเริ่มต้นและสิ้นสุด

ต่อไปนี้เป็นตัวอย่างเหตุการณ์อีกหนึ่งรายการ

{
  "Name": "ExecuteTool",
  "Attributes": {
    "gen_ai.operation.name": "execute_tool",
    "gen_ai.agent.id": "a1b2c3d4-e5f6-7890-abcd-ef1234567890",
    "gen_ai.agent.name": "customer-support-agent",
    "gen_ai.agent.applicationid": "12345678-90ab-cdef-1234-567890abcdef",
    "gen_ai.agent.platformid": "Default-11111111-2222-3333-4444-555555555555_01234567-89ab-cdef-0123-456789abcdef",
    "gen_ai.agent.type": "CopilotStudio",
    "tenant.id": "11111111-2222-3333-4444-555555555555",
    "gen_ai.tool.name": "msnweather:CurrentWeather",
    "gen_ai.tool.arguments": "{\"Location\":\"Seattle, WA\",\"units\":\"C\"}",
    "gen_ai.tool.call.id": "/providers/Microsoft.PowerApps/apis/shared_msnweather:CurrentWeather:abcdef12-3456-7890-abcd-ef1234567890",
    "gen_ai.tool.type": "Power Platform Connector",
    "gen_ai.conversation.id": "aaaaaaaa-bbbb-cccc-dddd-eeeeeeeeeeee",
    "gen_ai.event.content": "{ /* tool execution results */ }",
    "gen_ai.channel.name": "Copilot Studio Test Pane",
    "gen_ai.caller.id": "99999999-8888-7777-6666-555555555555",
    "gen_ai.caller.upn": "alex.smith@contoso.com",
    "gen_ai.caller.name": "Alex Smith",
    "gen_ai.caller.client.ip": "192.168.1.100",
    "gen_ai.caller.tenantid": "11111111-2222-3333-4444-555555555555",
    "env.id": "Default-11111111-2222-3333-4444-555555555555"
  },
  "StartTimeUnixNano": 1700000002000000000,
  "EndTimeUnixNano": 0,
  "SpanId": "cccc3333-dddd-4444-eeee-555555555555",
  "ParentSpanId": "aaaa1111-bbbb-2222-cccc-333333333333"
}

การวัดและส่งข้อมูลทางไกลทั้งหมดเคารพขอบเขตความเป็นส่วนตัว ข้อมูลผู้ใช้ที่ละเอียดอ่อนในข้อความและอินพุตและเอาต์พุตของเครื่องมือจะถูกปกปิดและจะไม่ปรากฏแก่ผู้ดูแลระบบ การวัดและส่งข้อมูลทางไกลถูกนำไปใช้สำหรับการตรวจสอบความปลอดภัยภายในและวัตถุประสงค์ในการปฏิบัติตามข้อกำหนด

ขั้นตอนถัดไป

  • Last updated on