MLflow 3 für GenAI

MLflow 3 für GenAI ist eine offene Plattform, die die Verfolgung, Auswertung und Observierbarkeit für GenAI-Apps und -Agenten während des gesamten Entwicklungs- und Produktionslebenszyklus vereint. Es umfasst echtzeitbasierte Ablaufverfolgungsprotokollierung, integrierte und benutzerdefinierte Scorer, Integration von menschlichem Feedback und Versionsnachverfolgung, die Ihnen helfen, die App-Qualität während der Entwicklung effizient zu bewerten und zu verbessern und die Überwachung und Verbesserung der Qualität in der Produktion fortzusetzen.

Managed MLflow auf Databricks erweitert das Open-Source-Projekt MLflow um Funktionen, die speziell für GenAI-Anwendungen im Produktivbetrieb entwickelt wurden, darunter unternehmensgerechte Governance, vollständig verwaltetes Hosting, Skalierung auf Produktionsebene sowie die Integration mit Ihren Daten im Databricks Lakehouse und im Unity Catalog.

Informationen zur Agentauswertung in MLflow 2 finden Sie unter Agent Evaluation (MLflow 2) und dem Migrationshandbuch. Für MLflow 3 wurden die Agent Evaluation SDK-Methoden in databricks-managed MLflow integriert.

Eine Reihe von Lernprogrammen für die ersten Schritte finden Sie unter "Erste Schritte".

Wie MLflow 3 hilft, die GenAI-App-Qualität zu optimieren

Die Auswertung von GenAI-Anwendungen und -Agents ist komplexer als die Auswertung herkömmlicher Software. Eingaben und Ausgaben sind häufig Freiformtext, und viele verschiedene Ausgaben können als richtig betrachtet werden. Qualität hängt nicht nur von der Korrektheit, sondern auch von Faktoren wie Genauigkeit, Länge, Vollständigkeit, Angemessenheit und anderen spezifischen Kriterien für den Anwendungsfall ab. Da LLMs inhärent nicht deterministisch sind und GenAI-Agents zusätzliche Komponenten wie Retriever und Tools enthalten, können ihre Antworten von Ausführung zu Ausführung variieren.

Entwickler benötigen konkrete Qualitätsmetriken, automatisierte Auswertungen und kontinuierliche Überwachung, um robuste KI-Apps zu erstellen und bereitzustellen. MLflow 3 für GenAI bietet diese Schlüsselelemente für effiziente Entwicklung, Bereitstellung und kontinuierliche Verbesserung:

Mithilfe von MLflow 3 auf Databricks können Sie KI zu Ihren Daten bringen, um Ihnen zu helfen, die Qualität zu verstehen und zu verbessern. Der Unity Catalog sorgt für eine einheitliche Verwaltung von Prompts, Apps und Ablaufverfolgungen. Mit jedem Modell oder Framework unterstützt MLflow Sie in der gesamten Entwicklungsschleife bis hin und in der Produktion.

Get started

Beginnen Sie mit der Erstellung besserer GenAI-Anwendungen mit umfassenden Beobachtbarkeits- und Evaluierungstools.

Aufgabe BESCHREIBUNG
Schnellstarthandbuch Mit den schrittweisen Anleitungen zur Instrumentierung Ihrer ersten Anwendung mit Ablaufverfolgung, laufender Auswertung und dem Sammeln von menschlichem Feedback können Sie in wenigen Minuten startklar sein.
Erste Schritte: MLflow-Ablaufverfolgung für GenAI (Databricks Notebook) Implementieren Sie eine einfache GenAI-App, um automatisch detaillierte Ablaufverfolgungen für die Fehlersuche und Optimierung zu erfassen.
Lernprogramm: Bewerten und Verbessern einer GenAI-Anwendung Führt Sie durch die Auswertung einer E-Mail-Generierungs-App, die Retrieval-Augmented Generation (RAG) verwendet.
10-minütige Demo: Sammeln von menschlichem Feedback Sammeln Sie Endbenutzerfeedback, fügen Sie Entwickleranmerkungen hinzu, erstellen Sie Expertenüberprüfungssitzungen, und verwenden Sie dieses Feedback, um die Qualität Ihrer GenAI-App zu bewerten.

-Ablaufverfolgung

MLflow Tracing sorgt für Transparenz und protokolliert die für die Auswertung und Überwachung erforderlichen Ablaufverfolgungsdaten.

Merkmal BESCHREIBUNG
MLflow-Ablaufverfolgung Umfassende Beobachtbarkeit für GenAI-Anwendungen, einschließlich komplexer agentenbasierter Systeme. Verfolgen Sie Eingaben, Ausgaben, Zwischenschritte und Metadaten, um ein vollständiges Bild davon zu erfahren, wie sich Ihre App verhält.
Was ist Nachverfolgung? Einführung in die Konzepte der Ablaufverfolgung.
Überprüfen des Verhaltens und der Leistung Ihrer App Durch die vollständige Sichtbarkeit der Ausführung können Sie Eingabeaufforderungen, Abrufe, Toolaufrufe, Antworten, Latenz und Kosten erfassen.
Beobachtbarkeit der Produktion Verwenden Sie die gleiche Instrumentierung in Entwicklungs- und Produktionsumgebungen für eine konsistente Auswertung.
Erstellen von Auswertungsdatensätzen Analysieren Sie Ablaufverfolgungen, um Qualitätsprobleme zu identifizieren, repräsentative Ablaufverfolgungen auszuwählen, Auswertungsdatensätze zu erstellen und Ihre Anwendung systematisch zu verbessern.
Verfolgungsintegrationen MLflow-Ablaufverfolgung ist in zahlreiche Bibliotheken und Frameworks für die automatische Ablaufverfolgung integriert, sodass Sie mit minimalem Einrichtungsaufwand sofort Einblick in Ihre GenAI-Anwendungen erhalten.
Genie-Code für die Überwachbarkeit und Bewertung von Agenten Verwenden Sie natürliche Sprache, um Spuren zu analysieren, Fehler zu debuggen, Auswertungsergebnisse zu überprüfen, Scoring-Modelle zu prüfen und direkt in Ihrem Experiment Instrumentierungsanleitungen zu erhalten.

Auswertung und Überwachung

Ersetzen Sie manuelle Tests durch automatisierte Auswertungen mit integrierten und benutzerdefinierten LLM-Richtern und Scorern, die mit menschlichem Fachwissen übereinstimmen und sowohl in der Entwicklung als auch in der Produktion angewendet werden können. Jede Produktionsinteraktion bietet die Möglichkeit, sich mit integrierten Feedback- und Auswertungs-Workflows zu verbessern.

Merkmal BESCHREIBUNG
Bewerten und Überwachen von GenAI-Agenten Übersicht über die Auswertung und Überwachung von Agents mit MLflow 3 auf Databricks.
LLM-Richter und Bewertungsrichter MLflow 3 umfasst integrierte LLM-Bewertungskomponenten für Sicherheit, Relevanz, Korrektheit, Abrufqualität und mehr. Sie können außerdem benutzerdefinierte LLM-Bewertungsfunktionen und codebasierte Bewertungsmodule für Ihre spezifischen geschäftlichen Anforderungen erstellen.
Auswertung Führen Sie die Auswertung während der Entwicklung oder als Teil eines Releaseprozesses aus.
Produktionsüberprüfung Überwachen Sie kontinuierlich eine Stichprobe des Produktionsdatenverkehrs mithilfe von LLM-Judges- und Scorern.
Sammeln von menschlichem Feedback Sammeln und verwenden Sie Feedback von Domänenexperten und Endbenutzern während der Entwicklung und während der Produktion zur kontinuierlichen Verbesserung.
Genie-Code für die Überwachbarkeit und Bewertung von Agenten Bitten Sie Genie Code, Bewertungsergebnisse zu überprüfen, Bewertungsdatensätze zu prüfen, Bewertungskonfigurationen zu überprüfen und die Auswertung für Ihren Agent mit natürlicher Sprache einzurichten.

Verwalten des GenAI-App-Lebenszyklus

Versionieren, verfolgen und überwachen Sie Ihre gesamte GenAI-Anwendung mit Verwaltungs- und Governance-Tools in Unternehmensqualität.

Merkmal BESCHREIBUNG
Prompt Registry Zentrale Verwaltung für die Versionierung und gemeinsame Nutzung von Prompts im gesamten Unternehmen mit A/B-Testfunktionen und Integration in den Unity Catalog.
Unternehmensintegration Unity-Katalog. Einheitliche Governance für alle KI-Ressourcen mit Unternehmenssicherheits-, Zugriffssteuerungs- und Compliancefeatures.
Datenintelligenz. Verbinden Sie Ihre GenAI-Daten mit Ihren Geschäftsdaten im Databricks Lakehouse und liefern Sie benutzerdefinierte Analysen an Ihre Geschäftsbeteiligten.
Agent-Bereitstellung. Stellen Sie Agents in der Produktionsumgebung bereit – mit Skalierbarkeit und operativer Disziplin.
  • Last updated on