Power Platform API를 사용하여 에이전트 평가 자동화

Copilot Studio Power Platform REST API 사용하여 미리 정의된 테스트 집합에 대해 자동화된 테스트를 실행하여 에이전트 성능을 지속적으로 평가하는 도구를 제조업체에 제공합니다. REST API를 사용하면 에이전트 업데이트, 릴리스 유효성 검사 또는 회귀 테스트 중과 같은 개발 워크플로의 일부로 에이전트 평가를 프로그래밍 방식으로 트리거할 수 있습니다.

평가를 자동화하면 다음을 수행할 수 있습니다.

  • 변경 후 에이전트 품질을 검증합니다.
  • 프로덕션 또는 스테이징 에이전트에 대해 되풀이 성능 검사를 실행합니다.
  • 에이전트 테스트를 CI/CD 파이프라인에 통합합니다.
  • 개발 수명 주기 초기에 에이전트 동작의 회귀를 검색합니다.

필수 조건

  • 대상 에이전트에 대한 봇 ID 및 환경 ID가 있습니다.
  • Copilot Studio에서 대상 에이전트용으로 생성된 test set입니다.
  • Microsoft Entra ID(OAuth 2.0)에서 발급한 사용자 액세스 토큰입니다. 토큰을 가져오려면 인증을 참조하세요.
    • Power Platform API에 따라 적절한 범위가 부여된 앱 등록의 클라이언트 ID를 사용하여 액세스 토큰을 획득합니다.

REST API를 사용하여 평가 실행 개요

Power Platform API를 사용하여 평가를 실행하려면 다음 일반 단계를 수행합니다.

  1. 필수 구성 요소를 완료합니다.
  2. 사용하려는 테스트 집합의 테스트 집합 ID 를 찾아 검색합니다.
  3. 평가를 실행합니다.
  4. 평가 실행 ID를 사용하여 결과를 검색합니다.

요청이 성공하면 평가가 비동기적으로 실행되고 Copilot Studio 검토할 수 있는 결과를 생성합니다.

평가 자동화를 위한 API 작업

Copilot Studio 기존 테스트 집합을 사용하여 에이전트에 대한 평가를 프로그래밍 방식으로 트리거하는 데 사용할 수 있는 REST API 작업을 지원합니다.

Power Platform API를 사용하는 방법과 시기에 대한 자세한 내용은 다음을 참조하세요.

에이전트 테스트 집합 가져오기

  • 엔드포인트:GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testsets?api-version=2024-10-01
  • 목적: 특정 에이전트에 대한 테스트 집합 ID 및 기타 세부 정보의 배열을 검색합니다.
  • 응답: 다음 정보를 사용하여 테스트 집합이라는 value 목록을 반환합니다.
    • auditInfo: 각 테스트 집합을 만들고 수정하기 위한 타임스탬프 및 사용자 ID
    • displayName: 테스트 집합의 이름입니다.
    • id: 테스트 집합의 ID입니다. 에이전트 평가 시작에서 사용할 테스트 집합을 선택하는 데 사용합니다.
    • description: 테스트 집합에 대한 설명입니다.
    • state: 테스트 집합의 상태입니다. 사용 가능한 테스트 집합의 상태가 Active있습니다.
    • totalTestCases: 테스트 집합 내의 테스트 사례 수입니다.

List Maker 평가 테스트 집합에 대해 자세히 알아보세요.

에이전트 테스트 설정의 세부 정보 가져오기

  • 엔드포인트:GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testsets/{TestSetId}?api-version=2024-10-01
  • 목적: 테스트 집합 ID를 사용하여 특정 테스트 집합에 대한 세부 정보를 검색합니다.
  • 응답: 에이전트 가져오기 테스트 집합 응답 배열에서 한 항목의 정보를 반환합니다.

List Maker 평가 테스트 집합에 대해 자세히 알아보세요.

에이전트 평가 시작

  • 엔드포인트:POST https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testsets/{TestSetId}/run?api-version=2024-10-01
  • 목적: 테스트 집합을 사용하여 테스트 집합에 대한 평가를 실행합니다 id. 평가 실행 중에 연결을 인증하기 위한 사용자 프로필을 포함할 수도 있습니다. mcsConnectionId 지정하는 데 사용합니다. 호출에 mcsConnectionId 추가하지 않으면 인증 없이 평가가 실행됩니다.
  • 응답: 다음 정보를 반환합니다.
    • runId: 평가 실행의 ID입니다. 이 ID를 사용하여 평가 세부 정보를 검색합니다.
    • lastUpdatedAt: 실행 상태가 마지막으로 업데이트된 경우
    • executionState: 평가가 실행되는 동안의 실행 상태입니다.
    • state: 실행의 현재 상태입니다.
    • totalTestCases: 평가에 사용되는 테스트 집합의 총 테스트 사례 수입니다.
    • testCasesProcessed: 마지막 업데이트 기준으로 평가된 총 테스트 사례입니다.

Run Maker 평가 테스트 집합에 대해 자세히 알아보세요.

에이전트 테스트 실행 결과 가져오기

  • 엔드포인트:GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testruns?api-version=2024-10-01
  • 목적: 모든 이전 실행의 배열을 검색합니다.
  • 응답: 배열의 각 항목에는 에이전트 테스트 실행 세부 정보 가져오기에 있는 것과 동일한 값이 포함됩니다.

List Maker 평가 테스트 실행에서 자세히 알아보세요.

에이전트 테스트 실행 세부 정보 가져오기

  • 엔드포인트:GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testruns/{TestRunId}?api-version=2024-10-01
  • 목적: 대상 평가 실행을 위해 runId를 사용하여 평가의 세부 정보를 검색합니다.
  • 응답: 다음 정보를 반환합니다.
    • id: 평가 실행의 ID입니다. 이 ID를 사용하여 평가 세부 정보를 검색합니다.
    • environmentId: 에이전트 환경의 ID입니다.
    • cdsBotId: 대상 에이전트의 ID입니다.
    • ownerId: 평가 실행을 시작한 사용자의 ID입니다.
    • testSetId: 평가에 사용되는 테스트 집합의 ID입니다.
    • state: 평가의 진행 상태입니다.
    • startTime: 평가가 시작된 시점입니다.
    • endTime: 평가가 완료되었을 때, 완료되었다면.
    • name: 평가의 이름입니다.
    • totalTestCases: 테스트 집합의 총 테스트 사례입니다.
    • mcsConnectionId: 평가 실행에 사용되는 사용자 프로필의 Copilot Studio 연결에 대한 연결 ID입니다. null 사용자 프로필이 연결되어 있지 않은 경우
    • testCasesResults: 평가 실행의 테스트 사례 목록입니다. 포함 항목:
      • testCaseId: 테스트 사례의 ID입니다.
      • state: 테스트 사례의 완료 상태입니다.
      • metricsResults: 테스트 사례에 사용되는 각 테스트 메서드에 대한 세부 정보 및 결과입니다. 다음을 포함합니다.
        • type: 테스트 메서드입니다.
        • result: 이 테스트 사례에 대한 테스트의 최종 결과입니다. 다음을 포함합니다.
          • data: 결과의 세부 정보입니다. 정확한 값은 테스트 메서드에 따라 달라집니다. Power Platform API 문서에서 자세히 알아보세요. 일반적인 품질 테스트의 경우 응답에는 다음이 포함됩니다.
            • abstention: 에이전트가 쿼리에 응답했는지 여부입니다.
            • relevance: 대답이 관련되었는지 여부입니다.
            • completeness: 대답이 완료되었는지 여부입니다.
        • status: 테스트 사례의 상태입니다 .
        • errorReason: 오류가 발생한 경우 오류의 원인입니다.
        • aiResultReason: 테스트 사례 결과에 대한 AI 설명입니다.

Get Maker Evaluation Test Run에서 자세히 알아보세요.

평가에 Microsoft Studio 커넥터 ID 사용

에이전트 평가 시작 경우 필요에 따라 Microsoft Studio Connector ID를 평가의 사용자 프로필로 호출에 추가할 수 있습니다. mcsConnectionId을(를) 찾으려면:

  1. Power Automate 이동합니다.
  2. 연결 페이지를 엽니다.
  3. Microsoft Copilot Studio 연결을 선택합니다.
  4. URL에서 mcsConnectionId 복사합니다. .../connections/shared_microsoftcopilotstudio/{mcsConnectionId}/details
  • Last updated on