Notebook voor de evaluatie van mozaïek-AI-agent (MLflow 2)

Belangrijk

Databricks raadt aan MLflow 3 te gebruiken voor het evalueren en bewaken van GenAI-apps. Op deze pagina wordt de evaluatie van MLflow 2-agent beschreven.

• Zie AI-agents evalueren en bewaken voor een inleiding tot evaluatie en bewaking op MLflow 3.
• Zie Migreren naar MLflow 3 vanuit agentevaluatie voor meer informatie over migreren naar MLflow 3.
• Zie AI-agents evalueren en bewaken voor informatie over MLflow 3 over dit onderwerp.

In het volgende notebook ziet u hoe u een gen AI-app evalueert met behulp van de eigen LLM-rechters, aangepaste metrische gegevens en labels van domeinexperts. Het demonstreert het volgende:

• Hoe productielogboeken in een evaluatiedataset te laden.
• Een evaluatie uitvoeren en hoofdoorzaakanalyse uitvoeren.
• Aangepaste metrische gegevens maken om kwaliteitsproblemen automatisch te detecteren.
• Productielogboeken verzenden voor KMO's om de evaluatiegegevensset te labelen en te ontwikkelen.

Als u uw agent klaar wilt maken voor preproductie, raadpleegt u het demo-notebook van de Mozaïek AI-agent. Zie Mosaic AI Agent Evaluation (MLflow 2) voor algemene informatie.

Notebook met aangepaste metriek, richtlijnen en labels van domeinexperts voor agenten-evaluatie

Notebook krijgen