Evaluatie in Microsoft Foundry

Evaluatie helpt u bij het meten van de kwaliteit, veiligheid en betrouwbaarheid van modellen en agents tijdens de ontwikkeling en productie. In Microsoft Foundry kunt u bestaande uitvoer evalueren in een testgegevensset, antwoorden genereren met een model of agent met behulp van testinvoer of productietraceringen evalueren.

Bij een evaluatie worden een of meer beoordelaars toegepast op uw gegevens of toepassing. Evaluators produceren metrische gegevens en, indien ondersteund, uitleg die u helpen bij het vergelijken van versies, het vinden van kwaliteitsproblemen en het bepalen of een toepassing gereed is voor implementatie.

Een evaluatieworkflow maken

De meeste evaluatiewerkstromen volgen deze stappen:

  1. Kies wat u wilt evalueren. Selecteer een afzonderlijke beurt of een volledig gesprek en gebruik een bestaande gegevensset, gegenereerde antwoorden, gesimuleerde gesprekken of productietraceringen.
  2. Selecteer beoordelaars. Kies de metrics voor kwaliteit en veiligheid die van belang zijn voor uw toepassing, zoals taakvoltooiing, relevantie, feitelijke onderbouwing, gelijkenis of inhoudsveiligheid.
  3. Voer de evaluatie uit. Voer deze eenmaal uit tijdens de ontwikkeling, voeg deze toe aan CI/CD of configureer terugkerende evaluatie voor productie.
  4. Beoordeel en verbeter. Analyseer geaggregeerde metrieken en afzonderlijke resultaten, vergelijk versies en los terugkerende foutpatronen op.

Kies waar je begint

Note

Bekijk voordat u begint de machtigingen voor evaluatiewerkstromen, ondersteunde regio's en aanvraaglimieten en vereisten voor virtuele netwerken.

Een evaluatiebenadering kiezen

Kies de evaluatie-eenheid voordat u evaluators selecteert. Evaluatie op turn-level scoort afzonderlijke antwoorden. Evaluatie op gespreksniveau beoordeelt een volledige interactie met meerdere beurten en kan resultaten meten, zoals taakvoltooiing in meerdere stappen. Evaluators ondersteunen specifieke evaluatieniveaus.

Ik wil Begin hier
Een gehoste agent voor de eerste keer evalueren Quickstart: Uw gehoste agent evalueren
Bestaande query-antwoordtestgegevens evalueren Datasets voor query-antwoorden evalueren
Reacties genereren en evalueren op basis van testinvoer Model- en agentreacties evalueren
Afzonderlijke interacties evalueren die zijn vastgelegd van een geïmplementeerd model of agent Geïmplementeerde interacties evalueren
Een gegevensset met volledige gesprekken evalueren Conversatiedatasets evalueren
Volledige gesprekken evalueren die zijn vastgelegd in productietraces Uitgerolde gesprekken evalueren
Multi-turn agentgedrag simuleren vóór de implementatie Agentgesprekken simuleren
Scenario's en gesprekken genereren zonder testgegevens handmatig op te stellen Synthetische gesprekken genereren en evalueren
Adversarial safety and security testing uitvoeren Meer informatie over AI red teaming

Kies hoe u evaluaties uitvoert

Ik wil Begin hier
Een evaluatie uitvoeren in de Foundry-portal Evaluaties uitvoeren vanuit de Microsoft Foundry-portal
Evaluaties via code uitvoeren Inleiding tot cloudevaluatie met de Microsoft Foundry SDK
Agentevaluaties uitvoeren vanaf de opdrachtregel Agentevaluaties uitvoeren met de azd CLI
Productieverkeer regelmatig evalueren Agents bewaken en doorlopende evaluatie instellen
Evaluaties aan een implementatiepipeline toevoegen Evaluaties uitvoeren in GitHub Actions of Azure DevOps

Zoek de onderdelen die u nodig hebt

  • Laatst bijgewerkt om