Batchtestning af anmodninger (prøveversion)

Bemærkning

Denne artikel beskriver funktioner, der anvendes i agenter eller agentstrømme, drevet af standardledningsnettet.

[Dette emne er foreløbig dokumentation og kan ændres.]

Prompts giver dig mulighed for at oprette brugerdefinerede generative AI-værktøjer til virksomhedsautomatisering og agenter. Det er vigtigt at sikre nøjagtigheden, pålideligheden og effektiviteten af disse værktøjer. Batchtest af prompts er designet til at gøre det muligt for dig at validere og forbedre prompts, der bruges i AI-værktøjer på tværs af platformen.

Vigtigt!

• Dette er en produktionsklar forhåndsversion.
• Produktionsklare forhåndsversioner er underlagt supplerende vilkår for anvendelse.
• Prompts kører på GPT-modeller, der leveres af Azure OpenAI Service.
• Denne funktion er muligvis ikke tilgængelig i dit område endnu. Få mere at vide i afsnittet Prompts i Funktionstilgængelighed efter område eller US Government-miljø.
• Denne funktion kan være underlagt grænser for anvendelse eller kapacitet.

Kernefunktioner i batchtest

Batchtest giver en systematisk tilgang til validering af prompts på forskellige datasæt. Du kan gøre følgende:

• Upload eller generér testdatasæt til omfattende evaluering.
• Definer evalueringskriterier for at bedømme testresultaterne.
• Udfør batchtests for at vurdere promptfunktionsmåden på tværs af testdatasættet.
• Sammenlign resultater over tid for at sikre løbende forbedringer.
• Gennemse og juster automatiske evalueringer for at sikre, at de passer til dine specifikke behov.

Der beregnes en score for nøjagtighed baseret på testresultater, så du får empiriske data til at stole på dine AI-værktøjer.

Sådan bruger du batchtest

Brug følgende trin til at konfigurere og køre batchtest for dine prompter.

Definer testtilfælde

1. Log på Copilot Studio, Power Apps eller Power Automate.

2. Få adgang til listen over prompts:

   • I Copilot Studio skal du vælge Værktøjer og derefter filtrere efter prompter.
   • I Power Apps og Power Automate skal du vælge AI-hub.

3. Ved siden af promptens navn skal du vælge de tre prikker (...).

4. Vælg Testhub (prøveversion).

   Her er et eksempel på skærmen Tools i Copilot Studio:

   

   I Copilot Studio ser testhubben ud som følgende skærmbillede:

   

5. Tilføj dine testcases ved hjælp af en af de tilgængelige indstillinger:

   • Upload: Giver dig mulighed for at uploade testcases ved hjælp af en csv-fil. Hvis du vil kontrollere formatet af den fil, du skal overføre, skal du vælge Download testdataskema.
   • AI-generate: Giver dig mulighed for at generere testcases ved hjælp af AI baseret på din prompt.
   • Brug aktivitetsdata: Giver dig mulighed for at trække den seneste promptaktivitet for at hjælpe dig med at komme i gang.
   • Tilføj manuelt: Giver dig mulighed for at oprette testcases manuelt.

   En af indstillingerne hjælper dig med at oprette en liste over testcases, som du kan køre:

   

Angiv evalueringskriterier

1. Når du har oprettet testcasene, skal du vælge Konfigurer kriterier i konfigurationsafsnittet til højre:

   

2. Definer den afleveringsscore, som er den mindste score, der kræves, for at et svar kan bestå.

3. Vælg et af følgende færdigbyggede kriterier:

   • Svarkvalitet: Tester svar for klarhed, hjælpsomhed og tone
   • Svarresultater: Tester svar for bestemte ord og betydninger
   • JSON-korrekthed: Tester, at svar følger dit dataskema

   

   Disse kriterier og beståelsesscore bestemmer, hvordan testcases evalueres under evalueringsprocessen.

Kør batchtest

1. På skærmbilledet testcases skal du vælge Kør alle for at køre evaluering af alle testcases eller vælge de testcases, der skal køres, og vælge Kør valgt.

   

   Testhubben evaluerer resultater i forhold til de definerede kriterier og giver indsigt i promptens ydeevne.

2. Når evalueringen af testcases er udført, vises resultatskærmen:

   

3. Hvis du vil have adgang til tidligere evalueringskørsler, skal du vælge promptnavnet øverst på skærmen i Copilot Studio eller vælge Kørselshistorik i Power Apps eller Power Automate.

   

4. Hvis du vil have vist detaljer, skal du vælge evalueringskørslen.

Kørselshistorik giver dig mulighed for at overvåge og analysere testresultater over tid, herunder:

• Spor progression af score for nøjagtighed på tværs af flere testkørsler.
• Sammenlign resultater fra forskellige kørsler for at identificere tendenser eller regressioner.
• Få adgang til oplysninger om, hvorfor et bestemt testresultat blev klassificeret som bestået eller mislykket, hvilket giver flere oplysninger til diagnosticering.

Gentage evalueringen af testcases og overvåge eventuelle betydelige ændringer mellem evalueringskørsler.

Relaterede oplysninger

• Ofte stillede spørgsmål om muligheder for prompter og oprettelse af tekst