Del via

Brug en iterativ proces for at forbedre din dataagent

Justering af en dataagent er ikke en engangskonfiguration – det er en løbende iterativ proces, der involverer eksperimentering, observation og afgrænsning.

I denne artikel beskrives de bedste fremgangsmåder, der kan hjælpe dig med at komme i gang med at forbedre din dataagent, men det er vigtigt at erkende, at alle datamiljøer og use case er entydige. Du kan opleve, at visse typer instruktioner, eksempler eller formatering fungerer bedre for dine specifikke datasæt, eller at der er brug for yderligere kontekst for at hjælpe agenten med at fortolke brugerspørgsmål mere præcist. Når du evaluerer svar, kan du forvente at gennemgå prøve- og fejlcyklusser – revidering af agentinstruktioner, udvidelse af dit benchmarksæt eller justering af eksempelforespørgsler for at løse forvirring eller forbedre nøjagtigheden. Med tiden hjælper denne proces med at afdække huller i logik, skemajustering eller forespørgselsudtryk, der muligvis ikke er umiddelbart indlysende. Nøglen er at behandle dataagenten som et system under udvikling, der forbedres gennem regelmæssig test, feedback og gentagelse – ikke et statisk konfigurationssæt én gang og glemt.

Trin 1: Start med et benchmarksæt

Start med en indledende benchmark af eksempler for at vejlede din agentkonfiguration og evaluere ydeevnen. Brug følgende format:

Spørgsmål Forventet forespørgsel Forventet svar
Hvor mange medarbejdere arbejder i HR-teamet? SELECT COUNT(*) FROM EmployeeDim WHERE DepartmentName = 'HR' 25
Hvad er den gennemsnitlige løn i Marketing? SELECT AVG(Salary) FROM EmployeeCompensation WHERE Department = 'Marketing' 85.000 USD
Hvilke produkter havde salg i sidste måned? SELECT ProductName FROM Sales WHERE SaleDate >= '2024-05-01' [Produkt A, Produkt B]

Du kan få mere at vide om evaluering af din agent i artiklen: Sådan evaluerer du din dataagent

Du kan fortsætte med at udvide dit benchmarksæt over tid for at øge dækningen af de typer brugerspørgsmål, du forventer, at agenten skal håndtere.

Trin 2: Diagnosticer forkerte svar

Når din dataagent returnerer et forkert eller ikke-optimalt resultat, skal du bruge tid på at analysere årsagen. Hvis du identificerer det rette fejlpunkt, kan du foretage målrettede forbedringer af instruktioner, eksempler eller forespørgselslogik.

Stil følgende spørgsmål som en del af din anmeldelse:

  • Mangler der en nødvendig forklaring eller instruktion?
  • Er instruktionerne for vage, uklare eller vildledende?
  • Er eksempelforespørgslen unøjagtig eller ikke repræsentativ for brugerspørgsmålet?
  • Er brugerspørgsmålet tvetydigt i forhold til strukturen eller navngivning i skemaet?
  • Er værdier uoverensstemmende formateret (f.eks "ca" . vs. vs. "CA""Ca"), hvilket gør det sværere for agenten at anvende filtre korrekt?

Hvert af disse problemer kan påvirke agentens evne til at fortolke hensigten og generere nøjagtige forespørgsler. Identificering af dem tidligt hjælper med at vejlede i mere effektive afgrænsninger i senere trin.

Trin 3: Vejledning i bedre ræsonnering med tydeligere agentinstruktioner

Hvis agenten konsekvent vælger de forkerte datakilder, fejlfortolker brugerhensigt eller returnerer dårligt formaterede svar, er det et tegn på, at dine instruktioner på agentniveau skal afgrænses. Brug disse instruktioner til at vejlede agenten med spørgsmål, vælge datakilder og formatere svar.

Når der gentages på agentinstruktioner:

  • Tydeliggør brug af datakilde: Angiv, hvilke datakilder der skal bruges til bestemte typer spørgsmål og i hvilken prioritetsrækkefølge. Hvis visse kilder kun skal bruges i bestemte kontekster, skal du gøre det klart.
  • Definer forventet svarfunktionsmåde: Angiv forventninger til tone, struktur og detaljeringsniveau. Angiv, om svar skal være præcise opsummeringer, inkludere tabeloutput eller angive detaljer på rækkeniveau.
  • Vejledning til agentens ræsonneringstrin: Angiv en logisk struktur, som agenten skal følge, når han fortolker et spørgsmål – f.eks. omformulering af det, identificering af relevante begreber eller valg af værktøjer baseret på emne.
  • Forklar terminologi: Medtag definitioner eller tilknytninger for tvetydige, forretningsspecifikke eller ofte misforståede ord, så agenten kan fortolke brugerspørgsmål mere præcist.

Forbedring af disse instruktioner over tid hjælper agenten med at træffe bedre beslutninger på hvert trin – fra spørgsmålsfortolkning til forespørgselsudførelse og formatering af endeligt svar.

Trin 4: Gør skemaforståelse bedre ved hjælp af bedre instruktion i datakilder

Brug indsigt fra fejlanalyse til løbende at forbedre vejledningen i datakilden. Søg efter mønstre på tværs af flere forkerte svar for at identificere, hvor agenten kan være forkert fortolkning af hensigten, problemer med skemaforståelse eller manglende anvendelse af korrekt forespørgselslogik.

Opdater konfigurationen ved at fokusere på følgende områder:

  • Tydeliggør filteranvendelse: Beskriv eksplicit, hvornår og hvordan filtre skal anvendes i dine instruktioner. Angiv f.eks., om filtre skal bruge nøjagtige match, intervaller eller mønstermatch.
  • Tilføj typiske værdieksempler: Hjælp agenten med at forstå, hvordan du filtrerer korrekt ved at angive eksempelværdier og forventede formater (f.eks. "CA", "MA"for "NY" forkortelser for stater eller "Q1 FY25" for regnskabskvartal).
  • Forstærk konsistens: Sørg for, at terminologi, formatering og udtryk anvendes ensartet på tværs af instruktioner og eksempler. Undgå at blande forkortelser, kassetter eller alternative mærkater for det samme koncept.
  • Opdatering baseret på udvikling af skemaer eller forretningsregler: Hvis der introduceres nye tabeller, kolonner eller logik i dine datakilder, skal du justere dine instruktioner og eksempler, så de afspejler disse ændringer.

Gentagelse af disse oplysninger sikrer, at agenten forbliver i overensstemmelse med dine data og forretningskontekst, der udvikler sig – og resulterer i mere nøjagtige og pålidelige svar over tid.

Trin 5: Brug målrettede eksempler til at vejlede om nøjagtig oprettelse af forespørgsler

Eksempelforespørgsler spiller en vigtig rolle for at hjælpe agenten med at generalisere og generere nøjagtige svar – især i forbindelse med spørgsmål, der involverer joinforbindelser, filtrering og kompleks logik. Hvis dataagenten returnerer forkerte forespørgsler, kan du besøge og tilpasse dine eksempler for bedre at illustrere den forventede struktur og logik.

Fokuser på følgende forbedringer:

  • Tydeliggør joinlogik: Hvis agenten genererer forkerte joinforbindelser, skal du inkludere eksempelforespørgsler, der eksplicit demonstrerer, hvordan relaterede tabeller skal joinforbindes (f.eks. joinforbindelsesnøgler, joinforbindelsestype).
  • Korrekte filtermønstre: Vis, hvordan filtre skal anvendes for bestemte kolonner, herunder eventuelle formateringsoplysninger (f.eks. LIKE '%keyword%', datointervaller eller krav til kabinet).
  • Angiv forventet output: Gør det klart, hvilke kolonner agenten skal returnere for forskellige typer spørgsmål. Dette hjælper med at styre både strukturen og fokus for den genererede forespørgsel.
  • Afgræns vage eller overbelastede eksempler: Opdel generiske eller alt for brede eksempler i mere målrettede forespørgsler, der afspejler specifikke brugerhensigt.
  • Sørg for justering med aktuelle instruktioner og skema: Hold eksempler opdateret med eventuelle seneste ændringer af skemaet, forretningsregler eller instruktionsformater.

Ved at forbedre og udvide dine eksempelforespørgsler baseret på observerede problemer giver du agenten stærkere referencepunkter for at generere nøjagtige og kontekstafhængige svar.

Trin 6: Løs problemer med joinforbindelse

Joinlogik er en almindelig kilde til fejl i oprettelse af forespørgsler. Når dataagenten returnerer forkerte eller ufuldstændige resultater på grund af joinforbindelsesfejl, skal du angive tydeligere strukturel vejledning og eksempler for at hjælpe agenten med at forstå, hvordan dine data er relateret.

Sådan forbedrer du nøjagtigheden af joinforbindelsen:

  • Relationer til dokumentjoinforbindelse er klart: Angiv, hvilke tabeller der er relateret, de nøgler, EmployeeIDder bruges til at forbinde (f.eks. , ProductKey) og retningen af relationen (f.eks. en til mange). Medtag denne vejledning i de relevante instruktioner til datakilden.
  • Medtag joineksempler i forespørgsler: Tilføj eksempelforespørgsler, der eksplicit demonstrerer korrekt joinforbindelse for de mest almindelige eller komplekse relationer.
  • Tydeliggør påkrævede kolonner på tværs af joinforbundne tabeller: Angiv, hvilke felter der skal hentes fra hvilken tabel, især når der findes lignende kolonnenavne på tværs af flere kilder.
  • Gør det nemmere, når det er nødvendigt: Hvis de påkrævede joinforbindelser er for komplekse eller fejlbehæftede, kan du overveje at flade strukturen ud til en enkelt denormaliseret tabel for at reducere flertydigheden og forbedre pålideligheden.

Korrekt definition af joinlogik – både i instruktioner og eksempler – hjælper agenten med at forstå, hvordan du navigerer i din datastruktur og returnerer komplette og nøjagtige svar.

Næste trin