การประเมินเจ้าหน้าที่อัตโนมัติด้วย Power Platform API

Copilot Studio จัดหาเครื่องมือสําหรับประเมินประสิทธิภาพของตัวแทนอย่างต่อเนื่องโดยเรียกใช้การทดสอบอัตโนมัติกับชุดการทดสอบที่กําหนดไว้ล่วงหน้าโดยใช้ Power Platform REST API โดยการใช้ REST API คุณสามารถทริกเกอร์การประเมินผลตัวแทนโดยทางโปรแกรมเป็นส่วนหนึ่งของเวิร์กโฟลว์การพัฒนาของคุณ เช่น ในระหว่างการอัปเดตตัวแทน การตรวจสอบความถูกต้องการวางจําหน่าย หรือการทดสอบการถดถอย

การประเมินผลแบบอัตโนมัติช่วยให้คุณสามารถ:

• ตรวจสอบคุณภาพของตัวแทนหลังจากทําการเปลี่ยนแปลง
• ดำเนินการตรวจสอบประสิทธิภาพที่เกิดซ้ำกับเอเจนต์ที่ใช้งานจริงหรือที่กำลังจัดเตรียม
• รวมการทดสอบตัวแทนลงในไปป์ไลน์ CI/CD
• ตรวจหาการถดถอยในพฤติกรรมของตัวแทนในช่วงต้นของวงจรชีวิตการพัฒนา

ข้อกำหนดเบื้องต้น

• คุณมี ID บอทและ ID สภาพแวดล้อมสำหรับเอเจนต์เป้าหมาย
• ชุดtestสร้างขึ้นใน Copilot Studio สําหรับตัวแทนเป้าหมายของคุณ
• โทเค็นการเข้าถึงของผู้ใช้ที่ออกโดย Microsoft Entra ID (OAuth 2.0) หากต้องการรับโทเค็น ให้ดู การรับรองความถูกต้อง
  • รับโทเค็นการเข้าถึงโดยใช้ ID ไคลเอ็นต์ของการลงทะเบียนแอปที่มีขอบเขตที่เหมาะสมที่มอบให้ภายใต้ Power Platform API

ภาพรวมสําหรับการเรียกใช้การประเมินโดยใช้ REST API

หากต้องการเรียกใช้การประเมินโดยใช้ Power Platform API ให้ทําตามขั้นตอนทั่วไปเหล่านี้:

1. ดําเนินการ ข้อกําหนดเบื้องต้นให้เสร็จสมบูรณ์
2. ค้นหาและดึงข้อมูล รหัสชุดการทดสอบ ของชุดการทดสอบที่คุณต้องการใช้
3. เรียกใช้การประเมิน
4. ดึงข้อมูลผลลัพธ์ โดยใช้ ID การเรียกใช้การประเมิน

เมื่อคําขอเสร็จสมบูรณ์ การประเมินจะทํางานแบบอะซิงโครนัสและสร้างผลลัพธ์ที่คุณสามารถตรวจทานได้ใน Copilot Studio

การดําเนินการ API สําหรับการประเมินแบบอัตโนมัติ

Copilot Studio สนับสนุนการดําเนินการ REST API ที่คุณสามารถใช้เพื่อทริกเกอร์การประเมินผลกับตัวแทนของคุณโดยใช้ชุดการทดสอบที่มีอยู่ทางโปรแกรมได้

สําหรับข้อมูลเพิ่มเติมเกี่ยวกับวิธีการและเวลาที่ใช้ Power Platform API ดูที่:

• POWER Platform API และ SDK: จาก UX ก่อนเป็น API-first (บล็อกนักพัฒนาแพลตฟอร์ม Power)
• ภาพรวมความสามารถในการเขียนโปรแกรมและความสามารถในการขยาย
• เริ่มต้นใช้งาน POWER Platform API
• การดําเนินการ API ของแพลตฟอร์ม Power สําหรับตัวแทน Copilot Studio

รับชุดทดสอบของเอเจนต์

• จุดสิ้นสุด: GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testsets?api-version=2024-10-01
• วัตถุประสงค์: ดึงข้อมูลอาร์เรย์ของ ID ชุดการทดสอบและรายละเอียดอื่น ๆ สําหรับตัวแทนเฉพาะ
• การตอบสนอง: ส่งกลับรายการที่เรียกว่า value ชุดการทดสอบที่มีข้อมูลต่อไปนี้:
  • auditInfo: ประทับเวลาและรหัสผู้ใช้สําหรับการสร้างและปรับเปลี่ยนแต่ละชุดการทดสอบ
  • displayName: ชื่อของชุดการทดสอบ
  • id: รหัสของชุดการทดสอบ ใช้ใน เริ่มการประเมินผลเอเจนต์ เพื่อเลือกชุดทดสอบที่จะใช้
  • description: คําอธิบายของชุดการทดสอบ
  • state: สถานะของชุดการทดสอบ ชุดการทดสอบที่ใช้งานได้มีสถานะActive
  • totalTestCases: จํานวนของกรณีการทดสอบภายในชุดการทดสอบ

เรียนรู้เพิ่มเติมในชุดการทดสอบการประเมินผู้สร้างรายการ

รับรายละเอียดเกี่ยวกับชุดทดสอบสำหรับตัวแทน

• จุดสิ้นสุด: GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testsets/{TestSetId}?api-version=2024-10-01
• วัตถุประสงค์: ดึงข้อมูลรายละเอียดสําหรับชุดการทดสอบเฉพาะโดยใช้ ID ชุดการทดสอบ
• การตอบสนอง: ส่งกลับข้อมูลของรายการหนึ่งจากอาร์เรย์การตอบสนองใน ชุดการทดสอบตัวแทน

เรียนรู้เพิ่มเติมในชุดการทดสอบการประเมินผู้สร้างรายการ

เริ่มการประเมินผลตัวแทน

• จุดสิ้นสุด: POST https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testsets/{TestSetId}/run?api-version=2024-10-01
• วัตถุประสงค์: เรียกใช้การประเมินสำหรับชุดการทดสอบโดยใช้ id ของชุดการทดสอบ คุณยังสามารถรวมโปรไฟล์ผู้ใช้สําหรับการรับรองความถูกต้องการเชื่อมต่อในระหว่างการเรียกใช้การประเมิน ใช้ mcsConnectionId เพื่อระบุโปรไฟล์ผู้ใช้ ถ้าคุณไม่ได้เพิ่ม mcsConnectionId ในการเรียกใช้ของคุณ การประเมินจะดำเนินการโดยไม่มีการรับรองความถูกต้อง
• การตอบสนอง: ส่งกลับข้อมูลต่อไปนี้:
  • runId: ID สำหรับการรันการประเมิน ใช้ ID นี้เพื่อดึงข้อมูลการประเมิน
  • lastUpdatedAt: เมื่อมีการอัปเดตสถานะการรันครั้งล่าสุด
  • executionState: สถานะของการรันระหว่างที่การประเมินกำลังทำงาน
  • state: สถานะปัจจุบันของการเรียกใช้
  • totalTestCases: จํานวนรวมของกรณีการทดสอบในชุดการทดสอบที่ใช้สําหรับการประเมิน
  • testCasesProcessed: กรณีการทดสอบทั้งหมดที่มีการประเมินจากการอัปเดตล่าสุด

เรียนรู้เพิ่มเติมใน เรียกใช้ชุดการทดสอบการประเมินตัวสร้าง

การเรียกใช้งานการทดสอบเอเจนต์

• จุดสิ้นสุด: GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testruns?api-version=2024-10-01
• วัตถุประสงค์: เรียกใช้อาร์เรย์ของการเรียกใช้ก่อนหน้านี้ทั้งหมด
• การตอบสนอง: แต่ละรายการในอาร์เรย์ ประกอบด้วยค่าเดียวกันกับที่พบในรายละเอียดการเรียกใช้การทดสอบรับตัวแทน

เรียนรู้เพิ่มเติมได้ที่ การรันทดสอบการประเมินตัวสร้างรายการ

ขอรับรายละเอียดการรันทดสอบของเอเจนต์

• จุดสิ้นสุด: GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testruns/{TestRunId}?api-version=2024-10-01
• วัตถุประสงค์: ดึงข้อมูลรายละเอียดของการประเมินผลเป้าหมายของคุณโดยใช้ runId.
• การตอบสนอง: ส่งกลับข้อมูลต่อไปนี้:
  • id: ID สำหรับการรันการประเมิน ใช้ ID นี้เพื่อดึงข้อมูลการประเมิน
  • environmentId: รหัส ID สำหรับสภาพแวดล้อมของเอเจนต์ของคุณ
  • cdsBotId: ID สําหรับตัวแทนเป้าหมาย
  • ownerId: ID ของผู้ใช้ที่เริ่มต้นการเรียกใช้การประเมิน
  • testSetId: รหัสของชุดการทดสอบที่ใช้สําหรับการประเมิน
  • state: สถานะความคืบหน้าของการประเมิน
  • startTime: เมื่อการประเมินเริ่มต้น
  • endTime: เมื่อการประเมินเสร็จสิ้น หากมันเสร็จสิ้น
  • name: ชื่อของการประเมิน
  • totalTestCases: กรณีการทดสอบทั้งหมดในชุดการทดสอบ
  • mcsConnectionId: รหัสการเชื่อมต่อสำหรับการเชื่อมต่อของ Copilot Studio ในโปรไฟล์ผู้ใช้ที่ใช้สำหรับการรันการประเมิน null ถ้าไม่มีโปรไฟล์ผู้ใช้เชื่อมต่ออยู่
  • testCasesResults: รายการของกรณีทดสอบในการเรียกใช้การประเมินผล มี:
    • testCaseId: ID ของกรณีทดสอบ
    • state: สถานะความสมบูรณ์ของกรณีทดสอบ
    • metricsResults: รายละเอียดและผลลัพธ์สําหรับแต่ละวิธีการทดสอบที่ใช้สําหรับกรณีการทดสอบ ประกอบด้วยรายการต่อไปนี้:
      • type: วิธีการทดสอบ
      • result: ผลลัพธ์สุดท้ายของการทดสอบสําหรับกรณีการทดสอบนี้ ประกอบด้วยรายการต่อไปนี้:
        • data: รายละเอียดของผลลัพธ์ ค่าที่แน่นอนขึ้นอยู่กับวิธีทดสอบ เรียนรู้เพิ่มเติมในเอกสาร Power Platform API สําหรับการทดสอบ คุณภาพทั่วไป การตอบสนองประกอบด้วยสิ่งต่อไปนี้:
          • abstention: ตัวแทนตอบแบบสอบถามหรือไม่
          • relevance: คำตอบมีความเกี่ยวข้องหรือไม่
          • completeness: คำตอบเสร็จสมบูรณ์หรือไม่
      • status: สถานะของ กรณีทดสอบ
      • errorReason: ถ้ามีข้อผิดพลาดเกิดขึ้น สาเหตุของข้อผิดพลาด
      • aiResultReason: คําอธิบาย AI ของผลลัพธ์กรณีการทดสอบ

ดูข้อมูลเพิ่มเติมได้ที่ รับการทดสอบใช้งาน Maker Evaluation

ใช้ ID ตัวเชื่อมต่อ Microsoft Studio สําหรับการประเมิน

สําหรับ เริ่มการประเมินผลตัวแทน คุณสามารถเลือกที่จะเพิ่ม id ตัวเชื่อมต่อ Microsoft Studio ไปยังการเรียกเป็นโปรไฟล์ผู้ใช้สําหรับการประเมินได้ หากต้องการค้นหา mcsConnectionId:

1. ไปที่ Power Automate
2. เปิดหน้า การเชื่อมต่อ
3. เลือกการเชื่อมต่อ Microsoft Copilot Studio
4. mcsConnectionIdคัดลอก จาก URL:.../connections/shared_microsoftcopilotstudio/{mcsConnectionId}/details

บทความที่เกี่ยวข้อง

• เกี่ยวกับการประเมินตัวแทน
• การประเมินตัวแทนทริกเกอร์ด้วยตัวเชื่อมต่อ