Power Platform API'siyle aracı değerlendirmelerini otomatikleştirme

Note

Bu makaledeki özellikler, standart harness tarafından desteklenir ve standart harness tarafından desteklenen aracılar için lisanslama bölümünde açıklanan faturalama seçeneklerini kullanır. Standart özelliklere nasıl erişeceğinizi, Standart aracılara ve aracı akışlarına erişim bölümünde öğrenin.

Copilot Studio, oluşturuculara Power Platform REST API kullanarak önceden tanımlanmış test kümelerine karşı otomatikleştirilmiş testler çalıştırarak aracı performansını sürekli olarak değerlendirme araçları sağlar. REST API'yi kullanarak aracı güncelleştirmeleri, sürüm doğrulama veya regresyon testi gibi geliştirme iş akışlarınızın bir parçası olarak program aracılığıyla aracı değerlendirmelerini tetikleyebilirsiniz.

Değerlendirmeleri otomatikleştirmek şunları kullanmanıza yardımcı olur:

  • Değişiklik yaptıktan sonra agent kalitesini doğrulayın.
  • Üretim veya hazırlama aracılarına karşı yinelenen performans denetimleri çalıştırın.
  • Ajan testini CI/CD iş hatlarına entegre edin.
  • Geliştirme yaşam döngüsünün başlarında aracı davranışındaki regresyonları algılama.

Prerequisites

  • Hedef aracı için Bot Kimliği ve Ortam Kimliğine sahipsiniz.
  • Hedef aracınız için Copilot Studio oluşturulan test kümesi.
  • Microsoft Entra ID (OAuth 2.0) tarafından verilen kullanıcı erişim belirteci. Belirteci almak için Kimlik Doğrulama bölümüne bakın.
    • Power Platform API'si altında verilen uygun kapsama sahip bir uygulama kaydının istemci kimliğini kullanarak erişim belirtecini alın.

REST API kullanarak değerlendirme çalıştırmaya genel bakış

Power Platform API'sini kullanarak değerlendirme çalıştırmak için şu genel adımları izleyin:

  1. Önkoşulları tamamlayın.
  2. Kullanmak istediğiniz test kümesinin test kümesi kimliğini bulun ve alın.
  3. Değerlendirmeyi çalıştırın.
  4. Değerlendirme çalıştırma kimliğini kullanarak sonuçları alın.

İstek başarılı olduğunda değerlendirme zaman uyumsuz olarak çalışır ve Copilot Studio'da gözden geçirebileceğiniz sonuçlar üretir.

Değerlendirmeleri otomatikleştirmek için API işlemleri

Copilot Studio, mevcut bir test kümesini kullanarak aracınıza yönelik değerlendirmeleri program aracılığıyla tetikleme amacıyla kullanabileceğiniz REST API işlemlerini destekler.

Power Platform API'sinin nasıl ve ne zaman kullanılacağı hakkında daha fazla bilgi için bkz:

Temsilci test kümelerini al

  • Endpoint:GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testsets?api-version=2024-10-01
  • Amaç: Belirli bir aracının test kümesi kimliklerini ve diğer ayrıntılarını içeren bir dizi almak.
  • Yanıt: Aşağıdaki bilgileri içeren test kümeleri adlı value bir liste döndürür:
    • auditInfo: Her test kümesini oluşturmak ve değiştirmek için zaman damgaları ve kullanıcı kimlikleri
    • displayName: Test kümesinin adı.
    • id: Test kümesinin kimliği. Kullanılacak test kümesini seçmek için Aracı değerlendirmesi başlatma bölümünde kullanın.
    • description: Test kümesinin açıklaması.
    • state: Test kümesinin durumu. Kullanılabilir bir test kümesinin durumu Activevardır.
    • totalTestCases: Test kümesindeki test çalışmalarının sayısı.

Liste Oluşturucu Değerlendirme Test Kümeleri'nde daha fazla bilgi edinin.

Aracı test setinin ayrıntılarını al

  • Endpoint:GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testsets/{TestSetId}?api-version=2024-10-01
  • Amaç: Test kümesi kimliğini kullanarak belirli bir test kümesinin ayrıntılarını alın.
  • Yanıt: Get agent test sets response dizisindeki bir öğenin bilgilerini döndürür.

Liste Oluşturucu Değerlendirme Test Kümeleri'nde daha fazla bilgi edinin.

Temsilci değerlendirmesini başlatma

  • Endpoint:POST https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testsets/{TestSetId}/run?api-version=2024-10-01
  • Amaç: Test kümesini kullanarak test kümesi üzerinde bir değerlendirme yapınid. Değerlendirme çalıştırması sırasında bağlantıların kimliğini doğrulamak için bir kullanıcı profili de ekleyebilirsiniz. mcsConnectionId belirtmek için kullanın. Çağrınıza bir mcsConnectionId eklemezseniz, değerlendirme kimlik doğrulaması olmadan çalışır.
  • Yanıt: Aşağıdaki bilgileri döndürür:
    • runId: Değerlendirme çalıştırmasının kimliği. Değerlendirme ayrıntılarını almak için bu kimliği kullanın.
    • lastUpdatedAt: Çalıştırmanın durumu en son ne zaman güncelleştirildi?
    • executionState: Değerlendirme yürütülürken çalıştırmanın durumu.
    • state: Çalıştırmanın geçerli durumu.
    • totalTestCases: Değerlendirme için kullanılan test kümesindeki test çalışmalarının toplam sayısı.
    • testCasesProcessed: Son güncelleştirmeden itibaren değerlendirilen toplam test çalışması sayısı.

Oluşturma Değerlendirme Test Kümesini Çalıştır bölümünde daha fazla bilgi edinin.

Aracı test çalıştırmalarını al

  • Endpoint:GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testruns?api-version=2024-10-01
  • Amaç: Önceki tüm çalıştırmaların dizisini alma.
  • Yanıt: Dizideki her öğe , Aracı test çalıştırması ayrıntılarını alma bölümünde bulunan değerlerin aynısını içerir.

Liste Oluşturucu Değerlendirme Testi Çalıştırmaları bölümünde daha fazla bilgi edinin.

Ajan test çalışması detaylarını alma

  • Endpoint:GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testruns/{TestRunId}?api-version=2024-10-01
  • Amaç: Belirli bir değerlendirme çalıştırmanız için runId öğesini kullanarak değerlendirme ayrıntılarını alın.
  • Yanıt: Aşağıdaki bilgileri döndürür:
    • id: Değerlendirme çalıştırmasının kimliği. Değerlendirme ayrıntılarını almak için bu kimliği kullanın.
    • environmentId: Ajanınızın ortamının kimliği.
    • cdsBotId: Hedef temsilcinin kimliği.
    • ownerId: Değerlendirme çalıştırmasını başlatan kullanıcının kimliği.
    • testSetId: Değerlendirme için kullanılan test kümesinin kimliği.
    • state: Değerlendirmenin ilerleme durumu.
    • startTime: Değerlendirme başladığında.
    • endTime: Değerlendirme sona erdiğinde, eğer sona erdiyse.
    • name: Değerlendirmenin adı.
    • totalTestCases: Test kümesindeki toplam test çalışması.
    • mcsConnectionId: Değerlendirme çalıştırması için kullanılan kullanıcı profilinin Copilot Studio bağlantısının bağlantı kimliği. null hiçbir kullanıcı profili bağlı değilse.
    • testCasesResults: Değerlendirme çalıştırmasındaki test senaryoları listesi. Şunları içerir:
      • testCaseId: Test senaryosunun kimliği.
      • state: Test çalışması tamamlanma durumu.
      • metricsResults: Test çalışması için kullanılan her test yönteminin ayrıntıları ve sonuçları. Aşağıdakileri içerir:
        • type: Test yöntemi.
        • result: Bu test çalışması için testin nihai sonucu. Aşağıdakileri içerir:
          • data: Sonucun ayrıntıları. Tam değerler test yöntemine bağlıdır. Power Platform API belgeleri hakkında daha fazla bilgi edinin. Genel kalite testi için yanıt aşağıdakileri içerir:
            • abstention: Aracının bu soruyu yanıtlayıp yanıtlamadığı.
            • relevance: Yanıtın ilgili olup olmadığı.
            • completeness: Yanıtın tamamlanıp tamamlanmadığı.
        • status: Test çalışması durumu .
        • errorReason: Hata oluştuysa, hatanın nedeni.
        • aiResultReason: Test çalışması sonucunun yapay zeka açıklaması.

Oluşturma Değerlendirme Testi Çalıştırması Alma bölümünde daha fazla bilgi edinin.

Değerlendirmeler için Microsoft Studio Bağlayıcı Kimliği kullanma

Bir aracı değerlendirmesi başlatmak için, isteğe bağlı olarak çağrıya değerlendirme için kullanıcı profili olarak bir Microsoft Studio Bağlayıcı Kimliği ekleyebilirsiniz. mcsConnectionId'inizi bulmak için:

  1. Power Automate gidin.
  2. Bağlantılar sayfasını açın.
  3. Microsoft Copilot Studio bağlantısını seçin.
  4. URL'den kopyalayın mcsConnectionId : .../connections/shared_microsoftcopilotstudio/{mcsConnectionId}/details
  • Last updated on