Automatizace vyhodnocení agentů pomocí rozhraní API Power Platform

Note

Funkce v tomto článku jsou poháněny standardním kabelem, který využívá fakturační možnosti popsané v sekci Licencování pro agenty poháněné standardním kabelem. Naučte se, jak získat přístup ke standardním funkcím v části Přístup ke standardním agentům a tokům agentů.

Copilot Studio poskytuje tvůrcům nástroje pro průběžné vyhodnocování výkonu agenta spuštěním automatizovaných testů proti předdefinovaným testovacím sadám pomocí rozhraní REST API platformy Power Platform REST API. Pomocí rozhraní REST API můžete programově aktivovat vyhodnocení agenta jako součást vývojových pracovních postupů, jako jsou aktualizace agenta, ověření vydané verze nebo regresní testování.

Automatizace vyhodnocení vám pomůže:

  • Po provedení změn ověřte kvalitu agenta.
  • Spusťte opakované kontroly výkonu u produkčních nebo přípravných agentů.
  • Integrace testování agentů do kanálů CI/CD
  • V rané fázi životního cyklu vývoje detekujte regrese v chování agenta.

Předpoklady

  • Pro cílového agenta máte ID robota a ID prostředí.
  • Sada test vytvořená v Copilot Studio pro cílového agenta.
  • Přístupový token uživatele vydaný Microsoft Entra ID (OAuth 2.0). Token získáte v tématu Ověřování.
    • Získejte přístupový token pomocí ID klienta registrace aplikace, která má odpovídající rozsah udělený v rámci rozhraní API platformy Power Platform.

Přehled spouštění vyhodnocení pomocí rozhraní REST API

Pokud chcete spustit vyhodnocení pomocí rozhraní API Power Platform, postupujte podle těchto obecných kroků:

  1. Splňte předpoklady.
  2. Vyhledejte a načtěte ID testovací sady, kterou chcete použít.
  3. Spusťte vyhodnocení.
  4. Načtěte výsledky pomocí ID zkušebního spuštění.

Když je požadavek úspěšný, vyhodnocení se spustí asynchronně a vytvoří výsledky, které můžete zkontrolovat v Copilot Studio.

Operace rozhraní API pro automatizaci vyhodnocení

Copilot Studio podporuje operace rozhraní REST API, které můžete použít k programové aktivaci vyhodnocení agenta pomocí existující testovací sady.

Další informace o tom, jak a kdy používat rozhraní API Power Platform, najdete tady:

Získejte testovací sady agentů

  • Koncový bod:GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testsets?api-version=2024-10-01
  • Účel: Získejte pole ID testovacích sad a další podrobnosti pro konkrétního agenta.
  • Odpověď: Vrátí seznam s názvem value testovacích sad s následujícími informacemi:
    • auditInfo: Časové razítka a ID uživatelů pro vytváření a úpravy jednotlivých testovacích sad
    • displayName: Název testovací sady.
    • id: ID testovací sady. Pomocí možnosti Spustit vyhodnocení agenta vyberte, která testovací sada se má použít.
    • description: Popis testovací sady.
    • state: Stav testovací sady. Použitelná testovací sada má stav Active.
    • totalTestCases: Počet testovacích případů v testovací sadě.

Další informace najdete v testovacích sadách pro vyhodnocení List Maker.

Získejte podrobnosti testovací sady agentů

  • Koncový bod:GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testsets/{TestSetId}?api-version=2024-10-01
  • Účel: Načtěte podrobnosti pro konkrétní testovací sadu pomocí ID testovací sady.
  • Odpověď: Vrátí informace o jedné položce v matici odpovědí Get agent test set .

Další informace najdete v testovacích sadách pro vyhodnocení List Maker.

Zahájit vyhodnocení agenta

  • Koncový bod:POST https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testsets/{TestSetId}/run?api-version=2024-10-01
  • Účel: Spuštění vyhodnocení testovací sady pomocí testovací sady id. Můžete také zahrnout profil uživatele pro ověřování připojení během zkušebního spuštění. Slouží mcsConnectionId k zadání profilu uživatele. Pokud k hovoru nepřidáte mcsConnectionId, vyhodnocení se spustí bez ověřování.
  • Odpověď: Vrátí následující informace:
    • runId: ID zkušebního spuštění. Pomocí tohoto ID můžete načíst podrobnosti vyhodnocení.
    • lastUpdatedAt: Kdy byl stav spuštění naposledy aktualizován.
    • executionState: Stav běhu při spuštění vyhodnocení.
    • state: Aktuální stav spuštění.
    • totalTestCases: Celkový počet testovacích případů v testovací sadě použité pro vyhodnocení.
    • testCasesProcessed: Celkový počet testovacích případů k poslední aktualizaci.

Další informace najdete v Testovací sadě pro vyhodnocení v Run Makeru.

Získání testovacích běhů agenta

  • Koncový bod:GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testruns?api-version=2024-10-01
  • Účel: Načtěte pole všech předchozích spuštění.
  • Odpověď: Každá položka v poli obsahuje stejné hodnoty, jaké najdete v podrobnostech o testovacím spuštění agenta.

Další informace najdete v části Testovací běhy vyhodnocení List Makeru.

Získejte podrobnosti o testovacím spuštění agenta

  • Koncový bod:GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testruns/{TestRunId}?api-version=2024-10-01
  • Účel: Načtěte podrobnosti o vyhodnocení pomocí runId pro cílové spuštění vyhodnocení.
  • Odpověď: Vrátí následující informace:
    • id: ID zkušebního spuštění. Pomocí tohoto ID můžete načíst podrobnosti vyhodnocení.
    • environmentId: ID pro prostředí vašeho agenta.
    • cdsBotId: ID cílového agenta.
    • ownerId: ID uživatele, který spustil spuštění vyhodnocení.
    • testSetId: ID testovací sady použité pro vyhodnocení.
    • state: Stav průběhu vyhodnocení.
    • startTime: Když bylo zahájeno vyhodnocení.
    • endTime: Když bylo vyhodnocení dokončeno, pokud vůbec bylo dokončeno.
    • name: Název vyhodnocení.
    • totalTestCases: Celkový počet testovacích případů v testovací sadě.
    • mcsConnectionId: ID připojení pro připojení Copilot Studio u profilu uživatele použitého pro běh vyhodnocení. null pokud není připojený žádný profil uživatele.
    • testCasesResults: Seznam testovacích případů v testovacím spuštění. Zahrnuje:
      • testCaseId: ID testovacího případu.
      • state: Stav dokončení testovacího případu.
      • metricsResults: Podrobnosti a výsledky pro každou metodu testu použitou pro testovací případ. Zahrnuje následující položky:
        • type: Testovací metoda.
        • result: Konečný výsledek testu pro tento testovací případ. Zahrnuje následující položky:
          • data: Podrobnosti výsledku. Přesné hodnoty závisí na testovací metodě. Další informace najdete v dokumentaci k rozhraní API pro Power Platform. Pro obecný test kvality odpověď obsahuje následující:
            • abstention: Jestli agent odpověděl na dotaz.
            • relevance: Zda byla odpověď relevantní.
            • completeness: Zda je odpověď dokončena.
        • status: Stav testovacího případu.
        • errorReason: Pokud došlo k chybě, příčina chyby.
        • aiResultReason: Vysvětlení výsledku testovacího případu AI.

Další informace najdete v Get Maker Evaluation Test Run.

Použijte ID konektoru Microsoft Studio pro vyhodnocení

V případě Spustit vyhodnocení agenta můžete ke volání volitelně přidat ID konektoru Microsoft Studio jako uživatelský profil pro vyhodnocení. Jak najít svůj mcsConnectionId:

  1. Přejděte na Power Automate.
  2. Otevřete stránku Připojení .
  3. Vyberte připojení Microsoft Copilot Studio.
  4. mcsConnectionId Zkopírujte z adresy URL:.../connections/shared_microsoftcopilotstudio/{mcsConnectionId}/details
  • Last updated on