Nutzung von Agent Bricks Benutzerdefiniertes LLM, um einen gen AI Agent für Text zu erstellen

Von Bedeutung

Dieses Feature befindet sich in der Betaversion.

In diesem Artikel wird beschrieben, wie Sie einen generativen KI-Agent für benutzerdefinierte textbasierte Aufgaben mithilfe von Agent Bricks: Custom LLM erstellen.

Agent Bricks bietet einen einfachen, codefreien Ansatz zum Erstellen und Optimieren von domänenspezifischen, qualitativ hochwertigen KI-Agent-Systemen für gängige KI-Anwendungsfälle.

Was können Sie mit benutzerdefiniertem LLM tun?

Verwenden Sie Agent Bricks: Benutzerdefinierte LLM, um qualitativ hochwertige Ergebnisse für alle domänenspezifischen Aufgaben zu generieren, z. B. Zusammenfassung, Klassifizierung, Texttransformation und Inhaltsgenerierung.

Agent Bricks: Custom LLM ist ideal für die folgenden Anwendungsfälle:

• Zusammenfassung des Problems und der Lösung von Kundenanrufen.
• Analysieren der Stimmung von Kundenrezensionen.
• Klassifizieren von Forschungsbeiträgen nach Thema.
• Generieren von Pressemitteilungen für neue Features.

Aufgrund von allgemeinen Anweisungen und Beispielen optimiert Agent Bricks: Custom LLM Prompts im Auftrag von Benutzern, leitet automatisch Bewertungskriterien ab, wertet das System aus bereitgestellten Daten aus und stellt das Modell als produktionsfähigen Endpunkt bereit.

Agent Bricks: Benutzerdefinierte LLM nutzt automatisierte Auswertungsfunktionen, einschließlich MLflow und Agent Evaluation, um eine schnelle Bewertung des Kostenqualitätskonflikts für Ihren spezifischen Extraktionsvorgang zu ermöglichen. Mit dieser Bewertung können Sie fundierte Entscheidungen über das Gleichgewicht zwischen Genauigkeit und Ressourceninvestitionen treffen.

Anforderungen

• Ein Arbeitsbereich, der Folgendes umfasst:
  • Mosaik AI Agent Bricks Preview (Beta) ist aktiviert. Siehe Verwalten von Azure Databricks Previews.
  • Serverloses Rechnen aktiviert Siehe "Serverloses Berechnen aktivieren".
  • Unity-Katalog aktiviert. Weitere Informationen finden Sie unter Aktivieren eines Arbeitsbereichs für Unity Catalog.
  • Partnergestützte KI-Hilfsfunktionen aktiviert.
  • Ein Arbeitsbereich in einem der unterstützten Regionen: eastus, , eastus2, , westus, centralusoder northcentralus.
  • Zugriff auf Mosaik AI Model Serving.
  • Zugriff auf Foundation-Modelle im Unity-Katalog über das system.ai Schema.
  • Zugriff auf eine serverlose Budgetrichtlinie mit einem Budget ungleich Null.
• Möglichkeit zum Verwenden der ai_query SQL-Funktion.
• Sie müssen über einsatzbereite Eingabedaten verfügen. Sie können eine der folgenden Optionen bereitstellen:
  • Eine Unity-Katalogtabelle. Der Tabellenname darf keine Sonderzeichen enthalten (z. B -. ).
  • Mindestens 3 Beispieleingaben und -ausgaben. Wenn Sie diese Option auswählen, müssen Sie einen Unity Catalog-Schemazielpfad für den Agent angeben, und Sie müssen ÜBER CREATE REGISTERED MODEL und CREATE TABLE Berechtigungen für dieses Schema verfügen.
• Wenn Sie Ihren Agent optimieren möchten, benötigen Sie mindestens 100 Eingaben (entweder 100 Zeilen in einer Unity-Katalogtabelle oder 100 manuell bereitgestellte Beispiele).

Erstellen eines benutzerdefinierten LLM-Agents

Gehe zu Agents im linken Navigationsbereich Ihres Arbeitsbereichs und klicken Sie auf Custom LLM.

Schritt 1: Konfigurieren Ihres Agents

Klicken Sie auf der Registerkarte "Konfigurieren" auf "Beispiel >anzeigen", um eine Beispieleingabe- und Modellantwort für einen benutzerdefinierten LLM-Agent zu erweitern.

Konfigurieren Sie im folgenden Bereich Ihren Agent:

1. Geben Sie unter "Beschreiben Ihrer Aufgabe" eine klare und detaillierte Beschreibung Ihrer Spezialisierungsaufgabe ein, einschließlich des Zwecks und des gewünschten Ergebnisses.

2. Stellen Sie ein beschriftetes Dataset, ein nicht bezeichnetes Dataset oder ein paar Beispiele bereit, mit deren Hilfe Sie Ihren Agent erstellen können.

   Die folgenden Datentypen werden unterstützt: string, , intund double.

   Beschriftetes Dataset

   Wenn Sie "Beschriftetes Dataset" auswählen:

   

   1. Klicken Sie unter Dataset als UC-Tabelle auswählen auf Durchsuchen, um die Tabelle im Unity-Katalog auszuwählen, die Sie verwenden möchten. Der Tabellenname darf keine Sonderzeichen enthalten (z. B -. ).

      Es folgt ein Beispiel:

      main.model_specialization.customer_call_transcripts

   2. Wählen Sie im Feld "Eingabespalte " die Spalte aus, die Sie als Eingabetext verwenden möchten. Das Dropdownmenü wird automatisch mit Spalten aus der ausgewählten Tabelle aufgefüllt.

   3. Wählen Sie in der Ausgabespalte (optional) die Spalte aus, die Sie als Beispielausgabe für die erwartete Transformation angeben möchten. Wenn Sie diese Daten bereitstellen, können Sie Ihren Agent so konfigurieren, dass er sich genauer an Ihre domänenspezifischen Anforderungen anpasst.

   Nicht bezeichnetes Dataset

   Wenn Sie "Nicht bezeichnetes Dataset" auswählen:

   1. Klicken Sie unter Dataset als UC-Tabelle auswählen auf Durchsuchen, um die Tabelle im Unity-Katalog auszuwählen, die Sie verwenden möchten. Der Tabellenname darf keine Sonderzeichen enthalten (z. B -. ).

   2. Wählen Sie im Feld "Eingabespalte " die Spalte aus, die Sie als Eingabetext verwenden möchten. Das Dropdownmenü wird automatisch mit Spalten aus der ausgewählten Tabelle aufgefüllt.

   Einige Beispiele

   Wenn Sie einige Beispiele auswählen:

   1. Stellen Sie mindestens drei Beispiele für Eingaben und erwartete Ausgaben für Ihre Spezialisierungsaufgabe bereit. Wenn Sie hochwertige Beispiele bereitstellen, können Sie Ihren Spezialisierungsagenten so konfigurieren, dass Sie Ihre Anforderungen besser verstehen.
   2. Wenn Sie weitere Beispiele hinzufügen möchten, klicken Sie auf +Hinzufügen.
   3. Wählen Sie unter "Agent-Ziel" das Unity-Katalogschema aus, in dem Sie Agent Bricks verwenden möchten, um eine Tabelle mit Auswertungsdaten zu erstellen. Sie müssen über CREATE REGISTERED MODEL und CREATE TABLE Berechtigungen für dieses Schema verfügen.

3. Benennen Sie Ihren Agenten.

4. Klicken Sie auf "Agent erstellen".

Schritt 2: Erstellen und Verbessern Ihres Agents

Auf der Registerkarte " Erstellen " können Sie Empfehlungen überprüfen, um Ihren Agent zu verbessern, die Ausgabe des Beispielmodells zu überprüfen und Ihre Aufgabenanweisungen und Bewertungskriterien anzupassen.

Im Empfehlungsbereich enthält Databricks Empfehlungen, mit denen Sie Auswertungsmetriken für Ihren Agent definieren und Beispielantworten als gut oder schlecht auswerten können.

1. Überprüfen Sie die Databricks-Empfehlungen zur Optimierung der Agentleistung.

2. Überprüfen Sie die vorgeschlagenen Bewertungskriterien. Diese empfohlenen Bewertungskriterien werden automatisch abgeleitet, damit Sie Ihren Agent optimieren können.

   

   Für jede Empfehlung:

   • Um die Empfehlung anzunehmen, wählen Sie "Ja" aus. Dadurch werden die Bewertungskriterien im Agent-Konfigurationsbereich hinzugefügt.
   • Um die Kriterien abzulehnen, wählen Sie "Nein" aus.
   • Sie können auch die Empfehlung ablehnen.

3. Unter Ergebnisse überprüfen können Sie Beispielmodelleingaben und -ausgaben prüfen und optional menschliches Feedback geben. Diese Auswertung hilft dabei, die Reponsen des Modells zu verbessern.

   

   Wählen Sie für jedes Beispiel aus, ob es sich um eine gute Antwort handelt. Wenn Nein, geben Sie optionales Feedback zur Antwort an, und klicken Sie auf "Speichern ", um zum nächsten zu wechseln.

4. Nachdem Sie die Überprüfung der Empfehlungen abgeschlossen haben, überprüfen Sie den Agent-Konfigurationsbereich .

   1. Sie können die Aufgabenanweisungen so anpassen, dass sie spezifischer sind, um die Leistung des Modells zu verbessern.
   2. Überprüfen Sie die Bewertungskriterien, die Sie aus den Empfehlungen hinzugefügt haben. Sie können Kriterien entfernen, indem Sie auf X klicken.
   3. Wenn Sie weitere Bewertungskriterien hinzufügen möchten, klicken Sie auf +Hinzufügen , um Eigene hinzuzufügen.

5. Klicken Sie auf "Agent aktualisieren", um diese Änderungen an Ihrem Agent zu speichern. Die Beispiele unter "Ergebnisse überprüfen " werden aktualisiert, um neue Beispielmodellausgaben anzuzeigen.

Schritt 3: Testen und Optimieren Ihres Agents

Probieren Sie Ihren Agent in Workflows über Databricks aus.

Auf der Registerkarte Verwenden

1. Klicken Sie auf "In SQL testen", um den SQL-Editor zu öffnen und nutzen Sie ai_query, um Anforderungen an Ihren neuen benutzerdefinierten LLM-Agent zu senden.

2. (Optional) Klicken Sie auf "Optimieren ", wenn Sie Ihren Agenten für Kosten optimieren möchten.

   • Die Optimierung erfordert mindestens 100 Eingaben. Wenn Sie ein Unity-Katalog-Dataset angegeben haben, muss die Tabelle mindestens 100 Zeilen enthalten. Wenn Sie kein Dataset bereitgestellt haben, müssen Sie mindestens 100 Beispiele angeben.
   • Die Optimierung kann etwa eine Stunde dauern.
   • Änderungen am aktuell aktiven Agent werden blockiert, wenn die Optimierung ausgeführt wird.

Wenn die Optimierung abgeschlossen ist, werden Sie zur Registerkarte "Überprüfen" geleitet, um einen Vergleich Ihres aktuell aktiven Agents und eines Agents anzuzeigen, der auf Kostenoptimierung ausgelegt ist. Siehe (Optional) Schritt 4: Überprüfen und Bereitstellen eines optimierten Agents.

1. (Optional) Wählen Sie "Pipeline erstellen" aus, um eine Pipeline bereitzustellen, die in geplanten Intervallen ausgeführt wird, um Ihren Agent für neue Daten zu verwenden. Weitere Informationen zu Pipelines finden Sie unter Lakeflow Declarative Pipelines .

(Optional) Schritt 4: Überprüfen und Bereitstellen eines optimierten Agents

Databricks empfiehlt mindestens 100 Eingaben (entweder 100 Zeilen in Ihrer Unity-Katalogtabelle oder 100 manuell bereitgestellte Beispiele), um Ihren Agent zu optimieren. Wenn Sie weitere Eingaben hinzufügen, erhöht sich die Wissensbasis, aus der der Agent lernen kann, wodurch die Agentqualität und die Reaktionsgenauigkeit verbessert werden.

Wenn Sie auf der Registerkarte "Verwenden" die Option "Optimieren" auswählen, vergleicht Databricks mehrere verschiedene Optimierungsstrategien, um einen optimierten Agent zu erstellen und bereitzustellen. Zu diesen Strategien gehören die Feinabstimmung von Foundation-Modellen, die Databricks Geos verwenden.

Auf der Registerkarte " Überprüfen "

1. In den Auswertungsergebnissen können Sie die Auswertungsmetriken für den optimierten Agent überprüfen. Um die Auswertung durchzuführen, verwendet Databricks Metriken basierend auf den Auswertungskriterien, die Sie auf der Registerkarte " Erstellen " definiert haben.
2. Klicken Sie auf eine Anforderung, um weitere Details zu öffnen. Hier sehen Sie eine detaillierte Bewertung der einzelnen Auswertungsmetrik, einschließlich der Begründung, warum sie bestanden hat oder fehlgeschlagen ist. Dies nutzt Databricks integrierte KI-Urteile. Sie können auch die Eingabe und Antwort prüfen.
3. Nachdem Sie diese Ergebnisse überprüft haben, wählen Sie das beste Modell unter "Optimales Modell bereitstellen" für einen Endpunkt aus, und klicken Sie auf "Bereitstellen".

Einschränkungen

• Databricks empfiehlt mindestens 100 Eingaben (entweder 100 Zeilen in Ihrer Unity-Katalogtabelle oder 100 manuell bereitgestellte Beispiele), um Ihren Agenten zu optimieren. Wenn Sie weitere Eingaben hinzufügen, erhöht sich die Wissensbasis, aus der der Agent lernen kann, wodurch die Agentqualität und die Reaktionsgenauigkeit verbessert werden.
• Wenn Sie eine Unity Catalog-Tabelle angeben, darf der Tabellenname keine Sonderzeichen enthalten (z.B. -).
• Nur die folgenden Datentypen werden als Eingaben unterstützt: string, , intund double.
• Die Nutzungskapazität ist derzeit auf 100k-Eingabe- und Ausgabetoken pro Minute beschränkt.
• Arbeitsbereiche, die Azure Private Link verwenden, einschließlich Speicher hinter Azure Private Link, werden nicht unterstützt.