Freigeben über

Verwenden Sie Agent Bricks: Wissensassistent, um einen qualitativ hochwertigen Chatbot über Ihre Dokumente zu erstellen

Auf dieser Seite wird beschrieben, wie der Wissensassistent Agent Bricks verwendet wird, um einen Fragen-und-Antwort-Chatbot für Ihre Dokumente zu erstellen und dessen Qualität auf Grundlage des Feedbacks von Experten für natürliche Sprache zu verbessern.

Agent Bricks bietet einen einfachen Ansatz zum Erstellen und Optimieren von domänenspezifischen, qualitativ hochwertigen KI-Agent-Systemen für gängige KI-Anwendungsfälle.

Was ist Agent Bricks: Wissensassistent?

Verwenden Sie Agent Bricks: Wissensassistent, um einen Chatbot zu erstellen, der Fragen zu Ihren Dokumenten beantworten und qualitativ hochwertige Antworten mit Zitaten bereitstellen kann. Der Wissensassistent verwendet erweiterte KI und folgt einem instruktierten Retriever-Ansatz , um Einschränkungen des herkömmlichen RAG-Ansatzes (Retrieval Augmented Generation) zu beheben und die höchsten Qualitätsantworten basierend auf der von Ihnen bereitgestellten Dokumentation zu liefern.

Agent Bricks: Wissensassistent ist ideal für die Unterstützung der folgenden Anwendungsfälle:

  • Beantworten Sie Benutzerfragen basierend auf der Produktdokumentation.
  • Beantworten Sie Mitarbeiterfragen im Zusammenhang mit Personalrichtlinien.
  • Beantworten Sie Kundenanfragen basierend auf Supportkenntnissen.

Der Wissens-Assistent ermöglicht es Ihnen, die Qualität des Chat-Agents zu verbessern und sein Verhalten basierend auf dem Feedback ihrer Experten in natürlicher Sprache anzupassen. Stellen Sie Fragen und Richtlinien direkt in der Benutzeroberfläche bereit, und teilen Sie Ihren Agenten mit, damit andere zusammenarbeiten und die Leistung des Agents verbessern können.

Agent Bricks: Der Knowledge Assistant erstellt einen Agenten-Endpunkt, den Sie weiterführend in Ihren Anwendungen verwenden können. Die folgende Abbildung zeigt beispielsweise, wie Sie mit dem Endpunkt interagieren können, indem Sie mit dem Endpunkt in AI Playground chatten. Stellen Sie den Agenten Fragen im Zusammenhang mit Ihren Dokumenten, und der Agent antwortt mit Zitaten.

Wissen-Assistent-Endpunkt im Playground.

Agent Bricks verwendet Standardspeicher, um temporäre Datentransformationen, Modell-Checkpoints und interne Metadaten zu speichern, die zur Unterstützung jedes Agenten dienen. Beim Löschen des Agents werden alle dem Agent zugeordneten Daten aus dem Standardspeicher entfernt.

Requirements

Erstellen eines Knowledge Assistant Agenten

Wechseln Sie zum Symbol Agents im linken Navigationsbereich Ihres Arbeitsbereichs. Klicken Sie auf der Kachel " Wissens-Assistent " auf "Erstellen".

Schritt 1: Konfigurieren Ihres Agents

Konfigurieren Sie auf der Registerkarte " Erstellen " Ihren Agent, und stellen Sie Wissensquellen bereit, mit deren Hilfe Sie Fragen beantworten können.

  1. Geben Sie im Feld "Name " einen Namen für Ihren Agent ein.

  2. Beschreiben Sie im Feld "Beschreibung ", was Ihr Agent tun kann.

  3. Fügen Sie im Wissensquellenbereich Ihre Wissensquelle hinzu. Sie können entweder Unity-Katalogdateien oder einen Vektorsuchindex bereitstellen.

    UC-Dateien

    Bei UC-Dateien werden die folgenden Dateitypen unterstützt: txt, pdf, md, ppt/pptx und doc/docx. Dateien, die größer als 50 MB sind, werden während der Aufnahme automatisch übersprungen und nicht in die Knowledge Base aufgenommen.

    1. Wählen Sie unter "Typ" die Option "UC-Dateien" aus.
    2. Wählen Sie im Feld "Quelle" das Speicher oder das Speicherverzeichnis des Unity-Katalogs aus, das Ihre Dateien enthält.
    3. Geben Sie im Feld "Name " einen Namen für Ihre Wissensquelle ein.
    4. Beschreiben Sie unter "Beschreiben des Inhalts", welche Inhalte die Wissensquelle enthält, um dem Agent zu helfen, zu verstehen, wann diese Datenquelle verwendet werden soll.

    Vektorsuchindex

    Note

    Vektorsuchindizes werden nur unterstützt, wenn der Index als eingebettetes Modell verwendet databricks-gte-large-en wird. Stellen Sie beim Erstellen des Vektorsuchindex sicher, dass Sie dieses Einbettungsmodell auswählen. Weitere Informationen finden Sie unter Erstellen eines Vektorsuchindex.

    1. Wählen Sie unter "Typ" die Option "Vektorsuchindex" aus.
    2. Wählen Sie im Feld "Quelle " den Vektorsuchindex aus, den Sie dem Agent bereitstellen möchten.
    3. Geben Sie im Feld "Name " einen Namen für Ihre Wissensquelle ein.
    4. Wählen Sie in der Dokument-URI-Spalte die Spalte mit einem Link oder Verweis darauf aus, von wo die Informationen stammen. Der Agent verwendet dies in seinen Zitaten.
    5. Geben Sie im Feld "Textspalte " die Spalte an, die den rohen Text enthält, den der Agent abrufen soll.
    6. Beschreiben Sie unter "Beschreiben des Inhalts", welche Inhalte die Wissensquelle enthält, um dem Agent zu helfen, zu verstehen, wann diese Datenquelle verwendet werden soll.

  4. (Optional) Wenn Sie weitere Wissensquellen hinzufügen möchten, klicken Sie auf "Wissensquelle hinzufügen". Sie können bis zu 10 Wissensquellen bereitstellen.

  5. (Optional) Geben Sie im Feld "Anweisungen " Richtlinien für die Reaktion des Agents an.

  6. Klicken Sie auf "Agent erstellen".

Es kann bis zu ein paar Stunden dauern, bis Sie Ihren Agent erstellen und die von Ihnen bereitgestellten Wissensquellen synchronisieren. Wenn der Agent bereit ist, zeigt der rechte Bereich die synchronisierten Wissensquellen an.

Important

Wenn Sie Dateien zu Ihren Wissensquellen aktualisieren oder hinzufügen, müssen Sie auf das Symbol Synchronisieren Sie den Agent, um die Änderungen zu übernehmen. Die Synchronisierung erfolgt inkrementell. Wenn Sie z. B. eine neue Datei zu einem zuvor synchronisierten Unity-Katalogvolume hinzufügen, verarbeitet die Synchronisierung nur die neu hinzugefügte Datei.

Nur der Ersteller des Wissensassistenten kann Wissensquellen synchronisieren.

Schritt 2: Testen des Agenten

Nachdem Ihr Agent die Erstellung abgeschlossen hat, testen Sie es, indem Sie mit ihr chatten. Der Agent sollte mit Zitaten für Fragen im Zusammenhang mit seinen Wissensquellen antworten.

  1. Beginnen Sie den Chat mit Ihrem Agenten direkt im Erstellen-Tab.
  2. (Optional) Sie können auch auf " In Playground öffnen" klicken, um mit ihr in AI Playground zu chatten. Wenn Sie KI-Hilfsfunktionen aktiviert haben, können Sie die Generierung von KI-Richtern und synthetischen Fragen aktivieren, damit Sie Ihren Agent auswerten können.
  3. Geben Sie eine Frage für Ihren Agenten ein.
  4. Bewerten Sie die Antwort:
    1. Klicken Sie auf " Gedanken anzeigen ", um zu sehen, wie Sich Ihr Agent der Frage näherte.
    2. Klicken Sie auf "Ablaufverfolgung anzeigen ", um die vollständige Ablaufverfolgung anzuzeigen. Sie können Labels zu Traces in der Benutzeroberfläche hinzufügen, um die Qualitätsbewertungen während des Entwicklungsprozesses zu verfolgen.
    3. Klicken Sie auf "Quellen anzeigen ", um zu sehen, welche Dateien der Agent als Verweise zitiert. Dadurch wird ein seitliches Panel mit einer Liste von Quellen geöffnet, die Sie überprüfen können.

Wenn Sie mit der Leistung Ihres Agents zufrieden sind, verwenden Sie den Agent as-is.

Schritt 3: Verbessern der Qualität

Agent Bricks: Der Wissensassistent kann das Verhalten des Agenten basierend auf dem Feedback der natürlichen Sprache anpassen. Sammeln Sie Feedback von Experten über die Konfigurationsseite, um die Qualität Ihres Agenten zu verbessern. Das Sammeln von bezeichneten Daten für Ihren Agenten kann die Qualität und das Verhalten verbessern.

Fügen Sie auf der Registerkarte "Beispiele" Fragen hinzu, die Ihre Benutzer stellen oder Fragen, bei denen Ihr Agent zuvor falsch geantwortet hat. Alternativ können Sie beschriftete Daten auch direkt aus einer Unity-Katalogtabelle importieren.

  1. Fügen Sie Fragen zum Etikett hinzu.

    1. Klicken Sie auf +Hinzufügen , um eine Frage hinzuzufügen.
    2. Geben Sie im Modal "Frage hinzufügen " Ihre Frage ein.
    3. Klicken Sie auf Hinzufügen. Die Frage sollte in der Benutzeroberfläche angezeigt werden.
    4. Wiederholen Sie diesen Vorgang, bis Sie alle Fragen hinzugefügt haben, die Sie auswerten möchten.
    5. Um eine Frage zu löschen, klicken Sie auf das Kebab-Menü und dann auf "Löschen".

  2. Nachdem Sie Ihre Fragen hinzugefügt haben, können Sie den Agenten zur Überprüfung durch andere freigeben, um die Erstellung eines hochwertigen beschrifteten Datasets zu unterstützen. Klicken Sie in der oberen rechten Ecke auf das Kebab-Menüsymbol. Zum Verwalten von Berechtigungen klicken Sie auf das Kebab-Menüsymbol.

    Damit Experten Zugriff auf die Inhalte erhalten und Feedback geben können, müssen Sie ihnen die folgenden Berechtigungen erteilen:

    • CAN_MANAGE Berechtigung auf der Agentkonfigurationsseite

  3. Teilen Sie einen Link zu Ihren Agent Bricks: Knowledge Assistant-Konfigurationsseite, um Feedback von Experten zu sammeln.

  4. Zum Bezeichnen von Daten klicken Sie auf eine Frage und fügen Sie Richtlinien im angezeigten Bereich hinzu. Richtlinien gelten sofort nach dem Speichern.

  5. Testen Sie den Agent erneut auf der Konfigurationsseite oder im AI-Playground, um seine verbesserte Leistung zu sehen. Fügen Sie bei Bedarf weitere Fragen und Richtlinien hinzu, um das Verhalten weiter zu verbessern.

(Optional) Importieren und Exportieren von beschrifteten Daten

So importieren Sie neue Fragen und Feedback direkt aus einer Unity-Katalogtabelle:

  1. Klicken Sie auf Importieren.

  2. Wählen Sie im Feld "Quelle " die Unity-Katalogtabelle mit den beschrifteten Daten aus.

    Die Tabelle muss das folgende Schema aufweisen:

    • eval_id: string
    • request: string
    • guidelines: array
      • items: string
    • metadata: string
    • tags: string

  3. Klicken Sie auf Importieren.

Neue Fragen und Richtlinien werden in der beschrifteten Datentabelle auf der rechten Seite zusammengeführt.

So exportieren Sie beschriftete Daten als Unity-Katalogtabelle:

  1. Klicken Sie auf Exportieren.
  2. Wählen Sie im Feld "Schema " den Speicherort des Unity-Katalogschemas aus, in dem die Daten gespeichert werden sollen.
  3. Geben Sie im Feld "Tabellenname " einen Namen für die Tabelle ein.
  4. Klicken Sie auf "Exportieren".

Eine neue Tabelle wird mit den beschrifteten Daten erstellt.

Berechtigungen verwalten

Standardmäßig verfügen nur Agent Bricks-Autoren und Arbeitsbereichsadministratoren über Berechtigungen für den Agent. Damit andere Benutzer Ihren Agent bearbeiten oder abfragen können, müssen Sie ihnen explizit die Berechtigung erteilen.

So verwalten Sie Berechtigungen für Ihren Agent:

  1. Öffnen Sie Ihren Agenten in Agent Bricks.
  2. Klicken Sie oben auf das Kebab-Menüsymbol. Kebab-Menü.
  3. Klicken Sie auf "Berechtigungen verwalten".
  4. Wählen Sie im Fenster "Berechtigungseinstellungen " den Benutzer, die Gruppe oder den Dienstprinzipal aus.
  5. Wählen Sie die zu gewährende Berechtigung aus.
    • Kann verwalten: Ermöglicht die Verwaltung der Agenten-Bricks, einschließlich der Festlegung von Berechtigungen, der Bearbeitung der Agentenkonfiguration und der Verbesserung ihrer Qualität.
    • Can Query: Ermöglicht das Abfragen des Agent Bricks-Endpunkts im AI Playground und über die API. Benutzer mit nur dieser Berechtigung können den Agent in Agent Bricks nicht anzeigen oder bearbeiten.
  6. Klicken Sie auf Hinzufügen.
  7. Klicken Sie auf Speichern.

Important

Nur der Ersteller des Wissensassistenten kann Wissensquellen synchronisieren.

Abfragen des Agentendpunkts

Klicken Sie auf der Agentseite auf das Symbol Siehe Agentstatus oben rechts, um Ihren bereitgestellten Agent-Endpunkt abzurufen und Endpunktdetails anzuzeigen.

Es gibt mehrere Möglichkeiten, den endpunkt des erstellten Wissens-Assistenten abzufragen. Verwenden Sie die codebeispiele in AI Playground als Ausgangspunkt:

  1. Klicken Sie auf der Registerkarte " Erstellen " auf " Im Playground öffnen".
  2. Klicken Sie im Playground auf "Code abrufen".
  3. Wählen Sie aus, wie Sie den Endpunkt verwenden möchten:
    • Wählen Sie die Curl-API für ein Codebeispiel aus, um den Endpunkt mithilfe von curl abzufragen.
    • Wählen Sie die Python-API für ein Codebeispiel für die Interaktion mit dem Endpunkt mithilfe von Python aus.

Bewerten Sie Ihren Wissensassistenten

Dieses Notizbuch veranschaulicht, wie ein Databricks Knowledge Assistant mithilfe kuratierter Auswertungsdatensätze und benutzerdefinierter Scorer ausgewertet wird.

Notebook

Notebook abrufen

Limitations

  • Dateien, die größer als 50 MB sind, werden während der Aufnahme automatisch übersprungen und sind nicht in der Knowledge Base enthalten.
  • Dateien mit Namen, die mit einem Unterstrich (_) oder einem Punkt (.) beginnen, werden während der Aufnahme automatisch übersprungen und nicht in der Wissensdatenbank enthalten.
  • Unity-Katalogtabellen werden nicht unterstützt.
  • Nur Vektorsuchindizes, die databricks-gte-large-en als Einbettungsmodell verwendet werden, werden unterstützt.
  • AI Guardrails und Ratenbegrenzungen müssen am databricks-gte-large-en Modell-Endpunkt deaktiviert werden. Siehe AI Gateway auf den Endpunkten des Modells konfigurieren.
  • Damit die Ablaufverfolgung funktioniert, müssen Sie die Produktionsüberwachung für MLflow (Beta) aktivieren. Siehe Verwalten von Azure Databricks-Vorschauen.
  • Last updated on