Delen via

Een iteratief proces gebruiken om uw gegevensagent te verbeteren

Het afstemmen van een gegevensagent is geen eenmalige installatie, het is een doorlopend, iteratief proces dat betrekking heeft op experimenten, observatie en verfijning.

In dit artikel vindt u een overzicht van aanbevolen procedures om u te helpen aan de slag te gaan met het verbeteren van uw gegevensagent, maar het is belangrijk om te herkennen dat elke gegevensomgeving en use-case uniek is. Het kan zijn dat bepaalde typen instructies, voorbeelden of opmaak beter werken voor uw specifieke gegevenssets, of dat extra context nodig is om de agent te helpen vragen van gebruikers nauwkeuriger te interpreteren. Terwijl u reacties evalueert, kunt u verwachten dat u de evaluatie- en foutcycli doorloopt: het herzien van agentinstructies, het uitbreiden van uw benchmarkset of het aanpassen van voorbeeldquery's om verwarring op te lossen of de nauwkeurigheid te verbeteren. In de loop van de tijd helpt dit proces bij het ontdekken van hiaten in logica, schema-uitlijning of formulering van query's die mogelijk niet direct duidelijk zijn. De sleutel is om de gegevensagent te behandelen als een evoluerend systeem dat verbetert door regelmatig testen, feedback en iteratie, niet als een statische configuratieset die één keer is ingesteld en vergeten.

Stap 1: Beginnen met een benchmarkset

Begin met een eerste benchmark met voorbeelden om de configuratie van uw agent te begeleiden en prestaties te evalueren. Gebruik de volgende indeling:

Vraag Verwachte vraag Verwacht antwoord
Hoeveel werknemers werken er in het HR-team? SELECT COUNT(*) FROM EmployeeDim WHERE DepartmentName = 'Personeelszaken' vijfentwintig
Wat is het gemiddelde salaris in Marketing? SELECT AVG(Salaris) FROM WerknemerVergoeding WHERE Afdeling = 'Marketing' $ 85.000
Welke producten hadden vorige maand verkoop? SELECT ProductName FROM Sales WHERE SaleDate >= '2024-05-01' [Product A, Product B]

Meer informatie over het evalueren van uw agent vindt u in het artikel: Uw gegevensagent evalueren

U kunt uw benchmarkset in de loop van de tijd blijven uitbreiden om de dekking te verhogen van de typen gebruikersvragen die u van de agent verwacht.

Stap 2: Onjuiste antwoorden diagnosticeren

Wanneer uw gegevensagent een onjuist of suboptimaal resultaat retourneert, neemt u de tijd om de oorzaak te analyseren. Door het juiste foutpunt te identificeren, kunt u gerichte verbeteringen aanbrengen in instructies, voorbeelden of querylogica.

Stel de volgende vragen als onderdeel van uw beoordeling:

  • Ontbreekt een benodigde uitleg of instructie?
  • Zijn de instructies te vaag, onduidelijk of misleidend?
  • Is de voorbeeldquery onnauwkeurig of niet representatief voor de vraag van de gebruiker?
  • Is de vraag van de gebruiker niet eenduidig gezien de structuur of naamgeving in het schema?
  • Zijn waarden inconsistent opgemaakt (bijvoorbeeld "ca" vs. vs. "CA" vs. "Ca"), waardoor het moeilijker wordt voor de agent om filters correct toe te passen?

Elk van deze problemen kan van invloed zijn op de mogelijkheid van de agent om intenties te interpreteren en nauwkeurige query's te genereren. Het vroegtijdig identificeren ervan helpt bij het sturen van effectievere verfijningen in latere stappen.

Stap 3: Leid betere redenering met een duidelijkere handleiding voor agenten

Als de agent consistent de verkeerde gegevensbronnen kiest, de intentie van de gebruiker verkeerd interpreteert of slecht opgemaakte antwoorden retourneert, is het een teken dat uw instructies op agentniveau moeten worden verfijnd. Gebruik deze instructies om te bepalen hoe de agent redenen heeft via vragen, gegevensbronnen selecteert en de antwoorden opmaakt.

Bij het herhalen van agentinstructies:

  • Gebruik van gegevensbronnen verduidelijken: Geef op welke gegevensbronnen moeten worden gebruikt voor bepaalde typen vragen en in welke volgorde van prioriteit. Als bepaalde bronnen alleen in specifieke contexten mogen worden gebruikt, moet u dat duidelijk maken.
  • Gedrag van verwachte reacties definiëren: Stel verwachtingen in voor toon, structuur en detailniveau. Geef aan of antwoorden beknopte samenvattingen moeten zijn, tabellaire uitvoer moeten bevatten of details op rijniveau moeten opgeven.
  • De redeneringsstappen van de agent begeleiden: Geef een logisch framework op dat de agent moet volgen bij het interpreteren van een vraag, zoals het herformuleren ervan, het identificeren van relevante termen of het selecteren van hulpprogramma's op basis van onderwerp.
  • Terminologie uitleggen: Neem definities of toewijzingen op voor dubbelzinnige, bedrijfsspecifieke of veelgebruikte termen, zodat de agent vragen van gebruikers nauwkeuriger kan interpreteren.

Het verbeteren van deze instructies in de loop van de tijd helpt de agent bij elke stap betere beslissingen te nemen, van vraaginterpretatie tot het uitvoeren van query's en de uiteindelijke antwoordopmaak.

Stap 4: Inzicht in schema's verbeteren met behulp van betere instructies voor gegevensbronnen

Gebruik inzichten uit foutanalyse om uw gegevensbroninstructies continu te verbeteren. Zoek naar patronen in meerdere onjuiste antwoorden om te bepalen waar de agent de intentie verkeerd kan interpreteren, problemen ondervindt met het begrijpen van schema's of het niet toepassen van de juiste querylogica.

Werk uw configuratie bij door u te richten op de volgende gebieden:

  • Filtergebruik verduidelijken: Beschrijf expliciet wanneer en hoe filters moeten worden toegepast in uw instructies. Geef bijvoorbeeld op of filters exacte overeenkomsten, bereiken of patroonkoppeling moeten gebruiken.
  • Voorbeelden van typische waarden toevoegen: Help de agent te begrijpen hoe u correct filtert door voorbeeldwaarden en verwachte notaties op te geven (bijvoorbeeld "CA", "NY" voor "MA"afkortingen van staten of "Q1 FY25" voor fiscale kwartalen).
  • Consistentie versterken: Zorg ervoor dat terminologie, opmaak en formulering consistent worden toegepast in instructies en voorbeelden. Vermijd het combineren van afkortingen, behuizingen of alternatieve labels voor hetzelfde concept.
  • Bijwerken op basis van veranderend schema of bedrijfsregels: Als er nieuwe tabellen, kolommen of logica worden geïntroduceerd in uw gegevensbronnen, past u uw instructies en voorbeelden aan om deze wijzigingen weer te geven.

Door deze details te herhalen, blijft de agent afgestemd op uw veranderende gegevens en bedrijfscontext, wat resulteert in nauwkeurigere, betrouwbare antwoorden in de loop van de tijd.

Stap 5: Doelvoorbeelden gebruiken om nauwkeurige querygeneratie te begeleiden

Voorbeeldquery's spelen een cruciale rol bij het helpen van de agent bij het generaliseren en genereren van nauwkeurige antwoorden, vooral voor vragen die betrekking hebben op joins, filtering en complexe logica. Als de gegevensagent onjuiste query's retourneert, bekijkt en verfijnt u uw voorbeelden om de verwachte structuur en logica beter te illustreren.

Richt u op de volgende verbeteringen:

  • Samenvoeglogica verduidelijken: Als de agent onjuiste joins genereert, neemt u voorbeeldquery's op die expliciet laten zien hoe gerelateerde tabellen moeten worden gekoppeld (bijvoorbeeld joinsleutels, jointype).
  • Juiste filterpatronen: Hier ziet u hoe filters moeten worden toegepast op specifieke kolommen, inclusief opmaakdetails (bijvoorbeeld LIKE '%keyword%'datumbereiken of vereisten voor hoofdletters).
  • Geef de verwachte uitvoer op: Maak duidelijk welke kolommen de agent moet retourneren voor verschillende typen vragen. Dit helpt zowel de structuur als de focus van de gegenereerde query te begeleiden.
  • Vage of overbelaste voorbeelden verfijnen: Breek algemene of te brede voorbeelden op in meer gerichte query's die specifieke gebruikersintenties weerspiegelen.
  • Zorg voor uitlijning met de huidige instructies en het schema: Houd voorbeelden up-to-date met recente wijzigingen in het schema, bedrijfsregels of instructieindelingen.

Door uw voorbeeldquery's te verbeteren en uit te breiden op basis van waargenomen problemen, geeft u de agent sterkere referentiepunten om nauwkeurige en contextbewuste antwoorden te genereren.

Stap 6: Problemen met joins oplossen

Joinlogica is een veelvoorkomende bron van fouten bij het genereren van query's. Wanneer de gegevensagent onjuiste of onvolledige resultaten retourneert vanwege joinfouten, moet u duidelijkere structurele richtlijnen en voorbeelden opgeven om de agent te helpen begrijpen hoe uw gegevens zijn gerelateerd.

Om de nauwkeurigheid van joins te verbeteren:

  • Relaties tussen documentdeelnames zijn duidelijk: Geef op welke tabellen zijn gerelateerd, de sleutels die worden gebruikt voor het samenvoegen (bijvoorbeeld EmployeeID, ProductKey), en de richting van de relatie (bijvoorbeeld een-op-veel). Neem deze richtlijnen op in de relevante instructies voor de gegevensbron.
  • Voorbeelden van joins opnemen in query's: Voeg voorbeeldquery's toe die expliciet het juiste joingedrag demonstreren voor de meest voorkomende of complexe relaties.
  • Vereiste kolommen in gekoppelde tabellen verduidelijken: Geef aan welke velden moeten worden opgehaald uit welke tabel, met name wanneer vergelijkbare kolomnamen bestaan in meerdere bronnen.
  • Vereenvoudig indien nodig: Als de vereiste joins te complex of foutgevoelig zijn, kunt u de structuur platmaken in één gedenormaliseerde tabel om dubbelzinnigheid te verminderen en de betrouwbaarheid te verbeteren.

Het correct definiëren van joinlogica , zowel in instructies als voorbeelden, helpt de agent te begrijpen hoe u door uw gegevensstructuur navigeert en volledige, nauwkeurige antwoorden retourneert.

Volgende stappen