Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Das Optimieren eines Daten-Agents ist kein einmaliges Setup – es ist ein fortlaufender iterativer Prozess, der Experimentierung, Beobachtung und Verfeinerung umfasst.
In diesem Artikel werden bewährte Methoden beschrieben, mit denen Sie mit der Verbesserung Ihres Daten-Agents beginnen können. Es ist jedoch wichtig zu erkennen, dass jede Datenumgebung und jeder Anwendungsfall eindeutig ist. Möglicherweise stellen Sie fest, dass bestimmte Arten von Anweisungen, Beispielen oder Formatierungen für Ihre spezifischen Datasets besser funktionieren oder dass zusätzlicher Kontext erforderlich ist, damit der Agent Benutzerfragen genauer interpretieren kann. Wenn Sie Antworten auswerten, erwarten Sie, dass sie Zyklen von Trial-and-Error durchgehen – überarbeiten Sie die Anweisungen des Agents, erweitern Sie Ihren Benchmark-Satz oder passen Sie Beispielabfragen an, um Verwirrung zu beheben oder die Genauigkeit zu verbessern. Im Laufe der Zeit hilft dieser Prozess, Lücken in Logik, Schemaausrichtung oder Abfrageausdrücke aufzudecken, die möglicherweise nicht sofort offensichtlich sind. Der Schlüssel besteht darin, den Datenagenten als sich entwickelndes System zu behandeln, das durch regelmäßige Tests, Feedback und Iteration verbessert wird – kein statisches Konfigurationssystem, das einmal eingestellt und dann vergessen wird.
Schritt 1: Beginnen mit einem Benchmark-Satz
Beginnen Sie mit einem anfänglichen Benchmark von Beispielen, um Ihre Agentkonfiguration zu leiten und die Leistung zu bewerten. Verwenden Sie das folgende Format:
| Frage | Erwartete Abfrage | Erwartete Antwort |
|---|---|---|
| Wie viele Mitarbeiter arbeiten im HR-Team? | SELECT COUNT(*) FROM EmployeeDim WHERE DepartmentName = 'HR' | 25 |
| Was ist das durchschnittliche Gehalt in Marketing? | SELECT AVG(Gehalts) FROM Mitarbeitervergütung WHERE Abteilung = 'Marketing' | $85.000 |
| Welche Produkte hatten im letzten Monat Umsatz? | SELECT ProductName FROM Sales WHERE SaleDate >= '2024-05-01' | [Produkt A; Produkt B] |
Weitere Informationen zum Auswerten Ihres Agents finden Sie im Artikel: Auswerten Ihres Daten-Agents
Sie können Ihren Benchmark-Satz im Laufe der Zeit weiter erweitern, um die Abdeckung der Arten von Benutzerfragen zu erhöhen, die der Agent behandeln soll.
Schritt 2: Diagnostizieren falscher Antworten
Wenn Ihr Daten-Agent ein falsches oder suboptimales Ergebnis zurückgibt, nehmen Sie zeit, um die Ursache zu analysieren. Wenn Sie den richtigen Fehlerpunkt identifizieren, können Sie gezielte Verbesserungen an Anweisungen, Beispielen oder Abfragelogik vornehmen.
Stellen Sie die folgenden Fragen im Rahmen Ihrer Rezension:
- Fehlt eine notwendige Erklärung oder Anweisung?
- Sind die Anweisungen zu vage, unklar oder irreführend?
- Ist die Beispielabfrage falsch oder nicht repräsentativ für die Benutzerfrage?
- Ist die Frage des Benutzers mehrdeutig angesichts der Struktur oder Benennung im Schema?
- Sind Werte inkonsistent formatiert (z. B.
"ca"vs."CA"vs."Ca"), wodurch es für den Agenten schwieriger wird, Filter richtig anzuwenden?
Jedes dieser Probleme kann sich auf die Fähigkeit des Agents auswirken, Absichten zu interpretieren und genaue Abfragen zu generieren. Wenn Sie sie frühzeitig identifizieren, können Sie in späteren Schritten effektivere Verfeinerungen durchführen.
Schritt 3: Helfen Sie einer besseren Argumentation mit klaren Anweisungen für Agenten
Wenn der Agent konsistent die falschen Datenquellen auswähelt, Benutzerabsicht falsch interpretiert oder schlecht formatierte Antworten zurückgibt, ist es ein Zeichen, dass Die Anweisungen auf Agentebene verfeinern müssen. Verwenden Sie diese Anweisungen, um zu steuern, wie der Agent durch Fragen argumentiert, Datenquellen auswählt und seine Antworten formatiert.
Beim Iterieren von Agentenanweisungen:
- Präzisieren der Datenquellennutzung: Geben Sie an, welche Datenquellen für bestimmte Arten von Fragen und in welcher Reihenfolge Priorität verwendet werden sollen. Wenn bestimmte Quellen nur in bestimmten Kontexten verwendet werden sollten, machen Sie dies deutlich.
- Definieren des erwarteten Antwortverhaltens: Legen Sie die Erwartungen für Ton, Struktur und Detailgrad fest. Geben Sie an, ob Antworten präzise Zusammenfassungen sein sollen, tabellarische Ausgabe enthalten oder Details auf Zeilenebene bereitstellen sollen.
- Führen Sie die Begründungsschritte des Agents durch: Stellen Sie ein logisches Framework bereit, dem der Agent bei der Interpretation einer Frage folgen soll , z. B. das Rephrasing, das Identifizieren relevanter Begriffe oder das Auswählen von Tools basierend auf dem Thema.
- Erläutern der Terminologie: Schließen Sie Definitionen oder Zuordnungen für mehrdeutige, geschäftsspezifische oder häufig falsch verstandene Begriffe ein, damit der Agent Benutzerfragen genauer interpretieren kann.
Durch die Verbesserung dieser Anweisungen im Laufe der Zeit kann der Agent bei jedem Schritt bessere Entscheidungen treffen – von der Frageinterpretation bis hin zur Abfrageausführung und der endgültigen Antwortformatierung.
Schritt 4: Verbessern des Schemaverständnisses durch bessere Datenquellenanweisung
Verwenden Sie Erkenntnisse aus der Fehleranalyse, um Ihre Datenquellenanweisungen kontinuierlich zu verbessern. Suchen Sie nach Mustern über mehrere falsche Antworten hinweg, um zu ermitteln, wo der Agent möglicherweise Absichten falsch interpretiert, mit Schemaverständnis zu kämpfen hat oder wenn die richtige Abfragelogik nicht angewendet werden kann.
Aktualisieren Sie Ihre Konfiguration, indem Sie sich auf die folgenden Bereiche konzentrieren:
- Klarstellen der Filterverwendung: Beschreiben Sie explizit, wann und wie Filter in Ihren Anweisungen angewendet werden sollen. Geben Sie beispielsweise an, ob Filter genaue Übereinstimmungen, Bereichsvergleiche oder Musterabgleich verwenden sollen.
-
Beispiele für typische Werte hinzufügen: Helfen Sie dem Agenten zu verstehen, wie er korrekt filtern kann, indem Sie Beispielwerte und erwartete Formate angeben (z. B.
"CA","MA","NY"für bundesstaatliche Abkürzungen oder"Q1 FY25"für Finanzquartale). - Stärken Sie die Konsistenz: Stellen Sie sicher, dass Terminologie, Formatierung und Ausdrücke einheitlich in Anweisungen und Beispielen angewendet werden. Vermeiden Sie das Mischen von Abkürzungen, Groß- oder Kleinschreibungen oder alternativen Bezeichnungen für dasselbe Konzept.
- Aktualisieren sie basierend auf sich entwickelnden Schema- oder Geschäftsregeln: Wenn neue Tabellen, Spalten oder Logik in Ihren Datenquellen eingeführt werden, passen Sie Ihre Anweisungen und Beispiele an, um diese Änderungen widerzuspiegeln.
Durch die Iterierung dieser Details wird sichergestellt, dass der Agent mit Ihren sich entwickelnden Daten und Geschäftskontexten in Einklang bleibt– und führt im Laufe der Zeit zu genaueren, zuverlässigen Antworten.
Schritt 5: Verwenden sie gezielte Beispiele, um die genaue Abfragegenerierung zu unterstützen
Beispielabfragen spielen eine wichtige Rolle, um dem Agent dabei zu helfen, genaue Antworten zu generalisieren und zu generieren – insbesondere bei Fragen, die Verknüpfungen, Filterung und komplexe Logik umfassen. Wenn der Daten-Agent falsche Abfragen zurückgibt, überprüfen Und verfeinern Sie Ihre Beispiele, um die erwartete Struktur und Logik besser zu veranschaulichen.
Konzentrieren Sie sich auf die folgenden Verbesserungen:
- Klarstellen der Verknüpfungslogik: Wenn der Agent falsche Verknüpfungen generiert, schließen Sie Beispielabfragen ein, die explizit veranschaulichen, wie verknüpfte Tabellen verknüpft werden sollen (z. B. Verknüpfungsschlüssel, Verknüpfungstyp).
-
Richtige Filtermuster: Zeigen Sie an,
LIKE '%keyword%'wie Filter für bestimmte Spalten angewendet werden sollen, einschließlich aller Formatierungsdetails (z. B. Datumsbereiche oder Groß-/Kleinschreibungsanforderungen). - Geben Sie die erwartete Ausgabe an: Machen Sie klar, welche Spalten der Agent für verschiedene Arten von Fragen zurückgeben soll. Dies hilft dabei, sowohl die Struktur als auch den Fokus der generierten Abfrage zu leiten.
- Verfeinern Sie vage oder überladene Beispiele: Unterteilen Sie generische oder übermäßig allgemeine Beispiele in gezieltere Abfragen, die bestimmte Benutzerabsichten widerspiegeln.
- Sicherstellen der Ausrichtung mit aktuellen Anweisungen und Schemas: Halten Sie Beispiele mit allen kürzlich vorgenommenen Änderungen am Schema, den Geschäftsregeln oder den Anweisungsformaten auf dem neuesten Stand.
Indem Sie Ihre Beispielabfragen basierend auf beobachteten Problemen verbessern und erweitern, geben Sie dem Agent stärkere Referenzpunkte, um genaue und kontextbezogene Antworten zu generieren.
Schritt 6: Beheben von Verknüpfungsproblemen
Verknüpfungslogik ist eine häufige Fehlerquelle bei der Abfragegenerierung. Wenn der Daten-Agent falsche oder unvollständige Ergebnisse aufgrund von Verknüpfungsfehlern zurückgibt, müssen Sie klarere strukturelle Anleitungen und Beispiele bereitstellen, um dem Agent zu helfen, zu verstehen, wie Ihre Daten zusammenhängen.
So verbessern Sie die Verknüpfungsgenauigkeit:
-
Verknüpfungsbeziehungen eindeutig dokumentieren: Geben Sie an, welche Tabellen verknüpft sind, die Schlüssel für die Verknüpfung (z. B.
EmployeeID,ProductKey), und die Richtung der Beziehung (z. B. 1:n). Fügen Sie diese Anleitung in die entsprechenden Datenquellenanweisungen ein. - Fügen Sie Verknüpfungsbeispiele in Abfragen hinzu: Fügen Sie Beispielabfragen hinzu, die explizit das richtige Verknüpfungsverhalten für die am häufigsten verwendeten oder komplexen Beziehungen veranschaulichen.
- Klarstellen erforderlicher Spalten in verknüpften Tabellen: Geben Sie an, welche Felder aus welcher Tabelle abgerufen werden sollen, insbesondere, wenn ähnliche Spaltennamen über mehrere Quellen hinweg vorhanden sind.
- Vereinfachen Sie bei Bedarf Folgendes: Wenn die erforderlichen Verknüpfungen zu komplex oder fehleranfällig sind, sollten Sie die Struktur in eine einzelne denormalisierte Tabelle reduzieren, um Mehrdeutigkeit zu reduzieren und die Zuverlässigkeit zu verbessern.
Die ordnungsgemäße Definition der Verknüpfungslogik – sowohl in Anweisungen als auch in Beispielen – hilft dem Agent zu verstehen, wie Sie in Ihrer Datenstruktur navigieren und vollständige, genaue Antworten zurückgeben können.