Wdrażanie iteracyjnego procesu ulepszania agenta danych

Dostrajanie agenta danych nie jest jednorazową konfiguracją — jest to ciągły, iteracyjny proces obejmujący eksperymentowanie, obserwację i uściślenie.

W tym artykule opisano najlepsze rozwiązania ułatwiające rozpoczęcie pracy z ulepszaniem agenta danych, ale ważne jest, aby rozpoznać, że każde środowisko danych i przypadek użycia są unikatowe. Może się okazać, że niektóre typy instrukcji, przykładów lub formatowania działają lepiej dla określonych zestawów danych lub że potrzebny jest dodatkowy kontekst, aby ułatwić agentowi dokładniejsze interpretowanie pytań użytkowników. Podczas oceniania odpowiedzi spodziewaj się przejść przez cykle prób i błędów — korygowanie instrukcji agenta, rozszerzanie zestawu testów porównawczych lub dostosowywanie przykładowych zapytań w celu rozwiązania nieporozumień lub zwiększenia dokładności. W miarę upływu czasu ten proces pomoże odkryć luki w logice, wyrównaniu schematu lub frazach zapytań, które mogą nie być natychmiast oczywiste. Kluczem jest traktowanie agenta danych jako ewoluującego systemu, który poprawia się poprzez regularne testowanie, opinie zwrotne i iterację — a nie statyczny zestaw konfiguracji ustalony raz i zapomniany.

Krok 1. Rozpoczęcie od zestawu testów porównawczych

Rozpocznij od początkowego testu porównawczego przykładów, aby pokierować konfiguracją agenta i ocenić wydajność. Użyj następującego formatu:

Pytanie Oczekiwane zapytanie Oczekiwana odpowiedź
Ilu pracowników pracuje w zespole kadrowym? SELECT COUNT(*) FROM PracownikWymiar WHERE NazwaDzialu = 'HR' 25
Jakie jest średnie wynagrodzenie w marketingu? WYBIERZ ŚREDNIĄ(Wynagrodzenie) Z EmployeeCompensation GDZIE Dział = 'Marketing' 85 000 USD
Które produkty miały sprzedaż w zeszłym miesiącu? WYBIERZ ProductName Z Sales GDZIE SaleDate >= '2024-05-01' [Produkt A, Produkt B]

Więcej informacji na temat oceniania agenta można dowiedzieć się w artykule: Jak ocenić agenta danych

Możesz kontynuować rozszerzanie zestawu testów porównawczych wraz z upływem czasu, aby zwiększyć zakres typów pytań użytkowników, które oczekujesz, że agent obsłuży.

Krok 2. Diagnozowanie nieprawidłowych odpowiedzi

Gdy agent danych zwraca niepoprawny lub nieoptymalny wynik, pośmiń czas na przeanalizowanie przyczyny. Zidentyfikowanie właściwego punktu awarii pomoże Ci wprowadzić ukierunkowane ulepszenia instrukcji, przykładów lub logiki zapytań.

Zadaj następujące pytania w ramach przeglądu:

  • Czy brakuje niezbędnego wyjaśnienia lub instrukcji?
  • Czy instrukcje są zbyt nieprecyzyjne, niejasne czy mylące?
  • Czy przykładowe zapytanie jest niedokładne, czy nie jest reprezentatywne dla pytania użytkownika?
  • Czy pytanie użytkownika jest niejednoznaczne, biorąc pod uwagę strukturę lub nazewnictwo w schemacie?
  • Czy wartości są spójnie sformatowane (np "ca" . "CA" vs. "Ca"), co utrudnia agentowi prawidłowe stosowanie filtrów?

Każdy z tych problemów może mieć wpływ na zdolność agenta do interpretowania intencji i generowania dokładnych zapytań. Wczesne identyfikowanie ich ułatwia bardziej efektywne udoskonalenia w późniejszych etapach.

Krok 3. Lepsze rozumowanie dzięki jaśniejszym instrukcjom agenta

Jeśli agent konsekwentnie wybiera nieprawidłowe źródła danych, błędnie interpretuje intencję użytkownika lub zwraca źle sformatowane odpowiedzi, oznacza to, że instrukcje na poziomie agenta wymagają uściślenia. Skorzystaj z tych instrukcji, aby kierować sposobem, w jaki agent rozważa pytania, wybiera źródła danych i formatuje swoje odpowiedzi.

Podczas opracowywania instrukcji dla agenta:

  • Wyjaśnienie użycia źródła danych: Określ źródła danych, które mają być używane dla określonych typów pytań i w jakiej kolejności priorytetu. Jeśli niektóre źródła powinny być używane tylko w określonych kontekstach, upewnij się, że jest to jasne.
  • Zdefiniuj oczekiwane zachowanie odpowiedzi: Ustaw oczekiwania dotyczące tonu, struktury i poziomu szczegółowości. Określ, czy odpowiedzi powinny być zwięzłe podsumowania, zawierają dane wyjściowe tabelaryczne, czy podaj szczegóły na poziomie wiersza.
  • Przewodnik po krokach rozumowania agenta: Podaj strukturę logiczną, której agent powinien się trzymać podczas interpretowania pytania, na przykład poprzez przeformułowanie go, identyfikowanie odpowiednich terminów lub wybieranie narzędzi na podstawie tematu.
  • Wyjaśnienie terminologii: Uwzględnij definicje lub mapowania dla niejednoznacznych, specyficznych dla firmy lub często niezrozumianych terminów, aby agent mógł dokładniej interpretować pytania użytkowników.

Ulepszenie tych instrukcji w czasie pomaga agentowi podejmować lepsze decyzje na każdym kroku — od interpretacji pytań po wykonywanie zapytań i ostateczne formatowanie odpowiedzi.

Krok 4. Ulepszanie zrozumienia schematu za pomocą lepszej instrukcji źródła danych

Użyj szczegółowych informacji z analizy błędów, aby stale ulepszać instrukcje dotyczące źródła danych. Poszukaj wzorców w wielu niepoprawnych odpowiedziach, aby określić, gdzie agent może błędnie interpretować intencje, ma problemy z rozumieniem schematu lub nie stosuje prawidłowej logiki zapytań.

Zaktualizuj konfigurację, koncentrując się na następujących obszarach:

  • Wyjaśnienie użycia filtru: Jawnie opisz, kiedy i jak należy zastosować filtry w ramach instrukcji. Na przykład określ, czy filtry powinny używać dopasowań dokładnych, zakresów, czy wzorców.
  • Dodaj typowe przykłady wartości: Pomóż agentowi zrozumieć, jak poprawnie filtrować, podając przykładowe wartości i oczekiwane formaty (np. "CA", "MA", "NY" w przypadku skrótów stanów lub "Q1 FY25" kwartałów obrachunkowych).
  • Wzmocnienie spójności: Upewnij się, że terminologia, formatowanie i frazy są stosowane spójnie we wszystkich instrukcjach i przykładach. Unikaj mieszania skrótów, pisowni lub alternatywnych etykiet dla tego samego pojęcia.
  • Aktualizacja oparta na zmieniającym się schemacie lub regułach biznesowych: Jeśli nowe tabele, kolumny lub logika zostaną wprowadzone w źródłach danych, dostosuj instrukcje i przykłady, aby odzwierciedlić te zmiany.

Iteracja tych szczegółów zapewnia, że agent pozostaje zgodny z ewoluującymi danymi i kontekstem biznesowym — i zapewnia dokładniejsze, niezawodne odpowiedzi w czasie.

Krok 5. Używanie przykładów docelowych do kierowania dokładnym generowaniem zapytań

Przykładowe zapytania odgrywają kluczową rolę w pomaganiu agentowi w uogólnianiu i generowaniu dokładnych odpowiedzi — szczególnie w przypadku pytań dotyczących sprzężeń, filtrowania i złożonej logiki. Jeśli agent danych zwraca nieprawidłowe zapytania, sprawdź i uściślij przykłady, aby lepiej zilustrować oczekiwaną strukturę i logikę.

Skoncentruj się na następujących ulepszeniach:

  • Wyjaśnienie logiki sprzężenia: Jeśli agent generuje nieprawidłowe sprzężenia, dołącz przykładowe zapytania, które jawnie pokazują, jak powiązane tabele powinny być sprzężone (np. klucze sprzężenia, typ sprzężenia).
  • Poprawne wzorce filtrów: Pokaż sposób stosowania filtrów dla określonych kolumn, wraz ze szczegółami formatowania (np. LIKE '%keyword%', zakresów dat lub wymagań dotyczących wielkości liter).
  • Określ oczekiwane dane wyjściowe: Wyjaśnij, które kolumny agent powinien zwrócić dla różnych typów pytań. Pomaga to kierować zarówno strukturą, jak i fokusem wygenerowanego zapytania.
  • Uściślij niejasne lub przeciążone przykłady: Podziel ogólne lub nadmiernie szerokie przykłady na bardziej ukierunkowane zapytania, które odzwierciedlają określone intencje użytkownika.
  • Zachowaj zgodność z bieżącymi instrukcjami i schematem: Aktualizuj przykłady zgodnie z najnowszymi zmianami w schemacie, zasadach biznesowych lub formatach instrukcji.

Ulepszając i rozszerzając przykładowe zapytania na podstawie zaobserwowanych problemów, możesz dać agentowi silniejsze punkty odniesienia w celu generowania dokładnych i kontekstowych odpowiedzi.

Krok 6. Rozwiązywanie problemów z dołączaniem

Logika łączenia jest typowym źródłem problemów w generowaniu zapytań. Gdy agent danych zwraca nieprawidłowe lub niekompletne wyniki z powodu błędów sprzężenia, należy podać jaśniejsze wskazówki strukturalne i przykłady, aby pomóc agentowi zrozumieć, jak są powiązane dane.

Aby zwiększyć dokładność połączenia

  • Wyraźnie dokumentuj relacje łączenia: Określ, które tabele są powiązane, klucze używane do łączenia (np. EmployeeID, ProductKey) oraz kierunek relacji (np. relacja jeden-do-wielu). Uwzględnij te wskazówki w odpowiednich instrukcjach dotyczących źródła danych.
  • Uwzględnij przykłady sprzężenia w zapytaniach: Dodaj przykładowe zapytania, które jawnie pokazują prawidłowe zachowanie sprzężenia dla najbardziej typowych lub złożonych relacji.
  • Wyjaśnienie wymaganych kolumn w tabelach sprzężonych: Wskaż, które pola powinny być pobierane z której tabeli, zwłaszcza gdy podobne nazwy kolumn istnieją w wielu źródłach.
  • Uprość w razie potrzeby: Jeśli wymagane sprzężenia są zbyt złożone lub podatne na błędy, rozważ spłaszczenie struktury w jedną tabelę zdenormalizowaną, aby zmniejszyć niejednoznaczność i zwiększyć niezawodność.

Prawidłowe definiowanie logiki sprzężenia — zarówno w instrukcjach, jak i przykładach — pomaga agentowi zrozumieć, jak nawigować po strukturze danych i zwracać kompletne, dokładne odpowiedzi.

Dalsze kroki

  • Last updated on