Power Platform API로 에이전트 평가를 자동화하세요

Copilot Studio는 Power Platform REST API를 사용하여 미리 정의된 테스트 세트에 대해 자동화된 테스트를 실행함으로써 에이전트 성능을 지속적으로 평가할 수 있는 도구를 제공합니다. REST API를 사용하면 에이전트 업데이트, 릴리스 검증 및 회귀 테스트 등 개발 워크플로의 일환으로 에이전트 평가를 프로그래밍 방식으로 트리거할 수 있습니다.

평가 자동화는 다음과 같은 도움을 줍니다.

  • 변경 후 에이전트 품질을 검증하세요.
  • 운영 또는 스테이징 에이전트에 대해 반복적인 성능 점검을 수행합니다.
  • CI/CD 파이프라인에 에이전트 테스트를 통합합니다.
  • 개발 수명 주기 초기에 에이전트 동작의 회귀를 감지하십시오.

필수 구성 요소

  • 대상 에이전트에 대한 봇 ID 및 환경 ID가 있습니다.
  • 목표 에이전트를 위해 Copilot Studio에서 만든 테스트 세트.
  • Microsoft Entra ID(OAuth 2.0)에서 발급된 사용자 액세스 토큰. 토큰을 받으려면 인증을 참조하세요.
    • Power Platform API에서 필요한 범위가 부여된 앱 등록의 클라이언트 ID를 사용하여 액세스 토큰을 획득하세요.

REST API를 통한 평가 실행 개요

Power Platform API를 사용하여 평가를 실행하려면 다음과 같은 일반적인 단계를 따라야 합니다.

  1. 전제 조건을 완료합니다.
  2. 사용하고 싶은 테스트 세트 ID를 조회하세요.
  3. 평가를 실행합니다.
  4. 평가 실행 ID를 사용하여 결과를 조회하세요.

요청이 성공하면 평가가 비동기식으로 실행되어 Copilot Studio에서 검토할 수 있는 결과를 생성합니다.

평가 자동화를 위한 API 작업

Copilot Studio는 기존 테스트 세트를 사용하여 에이전트에 대한 평가를 프로그래밍 방식으로 트리거할 수 있는 REST API 작업을 지원합니다.

Power Platform API 사용 방법 및 시기에 대한 자세한 내용은 다음을 참조하세요.

에이전트 테스트 세트 가져오기

  • 엔드포인트: GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testsets?api-version=2024-10-01
  • 목적: 특정 에이전트의 테스트 세트 ID 및 기타 세부 정보 목록을 가져옵니다.
  • 응답: value라는 이름의 테스트 세트 목록을 다음과 같은 정보와 함께 반환합니다.
    • auditInfo: 각 테스트 세트를 생성하고 수정하기 위한 타임스탬프와 사용자 ID
    • displayName: 테스트 세트의 이름.
    • id: 테스트 세트의 ID. 에이전트 평가 시작 시 사용할 테스트 세트를 선택하는 데 사용됩니다.
    • description: 테스트 세트에 대한 설명.
    • state: 테스트 세트의 상태. 사용 가능한 테스트 세트는 상태 Active를 가집니다.
    • totalTestCases: 테스트 세트 내 테스트 케이스 수.

자세한 내용은 제작자 평가 테스트 세트 목록에서 확인하세요.

에이전트 테스트 세트 세부 정보 확인

  • 엔드포인트: GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testsets/{TestSetId}?api-version=2024-10-01
  • 목적: 테스트 세트 ID를 사용하여 특정 테스트 세트의 세부 정보를 조회합니다.
  • 응답: 에이전트 테스트 세트 가져오기 응답 배열 내 하나의 항목 정보를 반환합니다.

자세한 내용은 제작자 평가 테스트 세트 목록에서 확인하세요.

에이전트 평가 실행

  • 엔드포인트: POST https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testsets/{TestSetId}/run?api-version=2024-10-01
  • 목적: 테스트 세트의 id를 사용하여 테스트 세트에 대한 평가를 수행합니다. 평가 실행 중 연결을 인증하기 위한 사용자 프로필을 포함할 수도 있습니다. mcsConnectionId를 사용하여 사용자 프로필을 지정하십시오. API 호출에 mcsConnectionId를 추가하지 않으면, 평가는 인증 없이 실행됩니다.
  • 응답: 다음 정보를 반환합니다.
    • runId: 평가 실행의 ID입니다 이 ID를 사용해 평가 정보를 조회하세요.
    • lastUpdatedAt: 실행 상태가 마지막으로 업데이트된 시점.
    • executionState: 평가가 진행 중인 동안 실행 상태입니다.
    • state: 현재 실행 상태.
    • totalTestCases: 평가에 사용된 테스트 세트의 총 테스트 케이스 수.
    • testCasesProcessed: 마지막 업데이트 기준으로 평가된 총 테스트 케이스 수.

더 자세한 내용은 제작자 평가 테스트 세트 실행에서 확인하세요.

에이전트 테스트 실행 가져오기

  • 엔드포인트: GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testruns?api-version=2024-10-01
  • 목적: 이전 모든 실행 배열을 가져옵니다.
  • 응답: 배열의 각 항목은 에이전트 테스트 실행 가져오기 세부 정보에 포함된 값과 동일합니다.

자세한 내용은 제작자 평가 테스트 실행 목록에서 확인하세요.

에이전트 테스트 실행 가져오기 세부 정보

  • 엔드포인트: GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testruns/{TestRunId}?api-version=2024-10-01
  • 목적: 대상 평가 실행을 위해 runId를 사용하여 평가의 세부 정보를 검색합니다.
  • 응답: 다음 정보를 반환합니다.
    • id: 평가 실행의 ID입니다 이 ID를 사용해 평가 정보를 조회하세요.
    • environmentId: 에이전트 환경의 ID.
    • cdsBotId: 대상 에이전트의 ID.
    • ownerId: 평가 실행을 시작한 사용자의 ID.
    • testSetId: 평가에 사용된 테스트 세트의 ID.
    • state: 평가의 진행 상황.
    • startTime: 평가가 시작된 시각.
    • endTime: 평가가 완료되었을 때, 완료된 경우.
    • name: 평가의 이름.
    • totalTestCases: 테스트 세트의 총 테스트 케이스 수.
    • mcsConnectionId: 평가 실행에 사용된 사용자 프로필의 Copilot Studio 연결 ID. null: 사용자 프로필이 연결되지 않은 경우.
    • testCasesResults: 평가 실행에 포함된 테스트 케이스 목록. 포함:
      • testCaseId: 테스트 케이스의 ID.
      • state: 테스트 케이스의 완료 상태.
      • metricsResults: 테스트 케이스에 사용된 각 테스트 방법의 상세 정보와 결과. 포함된 항목:
        • type: 테스트 메서드.
        • result: 이 테스트 케이스의 최종 결과. 포함된 항목:
          • data결과의 상세 정보. 정확한 값은 테스트 방법에 따라 다릅니다. Power Platform API 문서에서 더 자세히 알아보세요. 일반 품질 테스트의 경우, 응답에는 다음 항목이 포함됩니다.
            • abstention: 에이전트가 질문에 답했는지 여부.
            • relevance: 답변이 관련성이 있는지 여부.
            • completeness: 답변이 완전한지 여부.
        • status: 테스트 케이스의 상태.
        • errorReason: 오류가 발생했다면, 그 원인을 말합니다.
        • aiResultReason: 테스트 케이스 결과에 대한 AI 설명.

자세한 내용은 제작자 평가 테스트 실행 가져오기에서 확인하세요.

평가에는 Microsoft Studio Connector ID를 사용하세요

에이전트 평가 시작 시, 평가용 사용자 프로필로 Microsoft Studio Connector ID를 호출에 선택적으로 추가할 수 있습니다. mcsConnectionId를 찾으려면:

  1. Power Automate로 이동합니다.
  2. 연결 페이지를 엽니다.
  3. Microsoft Copilot Studio 연결을 선택합니다.
  4. URL: .../connections/shared_microsoftcopilotstudio/{mcsConnectionId}/details에서 mcsConnectionId를 복사합니다
  • Last updated on