Condividi tramite


Adottare un processo iterativo per migliorare l'agente dati

L'ottimizzazione di un agente dati non è una configurazione monouso: si tratta di un processo iterativo in corso che comporta sperimentazione, osservazione e perfezionamento.

Questo articolo illustra le procedure consigliate per iniziare a migliorare l'agente dati, ma è importante riconoscere che ogni ambiente dati e caso d'uso è univoco. È possibile notare che alcuni tipi di istruzioni, esempi o formattazione funzionano meglio per i set di dati specifici o che è necessario un contesto aggiuntivo per consentire all'agente di interpretare le domande utente in modo più accurato. Quando si valutano le risposte, aspettarsi cicli di tentativi ed errori—rivedendo le istruzioni dell'agente, ampliando il set di benchmark o adattando le query di esempio per risolvere la confusione o migliorare l'accuratezza. Nel corso del tempo, questo processo consentirà di individuare lacune nella logica, nell'allineamento dello schema o nella formulazione di query che potrebbero non essere immediatamente evidenti. La chiave consiste nel considerare l'agente dati come un sistema in continua evoluzione che migliora attraverso test, feedback e iterazione regolari, non una configurazione statica impostata una volta e dimenticata.

Passaggio 1: Iniziare con un set di benchmark

Iniziare con un benchmark iniziale di esempi per guidare la configurazione dell'agente e valutare le prestazioni. Utilizzare il seguente formato:

Domanda Query prevista Risposta prevista
Quanti dipendenti lavorano nel team hr? SELECT COUNT(*) FROM EmployeeDim WHERE NomeDipartimento = 'HR' 25
Qual è lo stipendio medio in Marketing? SELECT AVG(Salary) FROM EmployeeCompensation WHERE Department = 'Marketing' $ 85.000
Quali prodotti hanno avuto vendite l'ultimo mese? SELECT ProductName FROM Sales WHERE SaleDate >= '2024-05-01' [Prodotto A, Prodotto B]

Per altre informazioni sulla valutazione dell'agente, vedere l'articolo Come valutare l'agente dati

È possibile continuare a espandere il set di benchmark nel tempo per aumentare la copertura dei tipi di domande utente che si prevede che l'agente gestisca.

Passaggio 2: Diagnosticare risposte non corrette

Quando l'agente dati restituisce un risultato non corretto o non ottimale, dedicare tempo per analizzare la causa. L'identificazione del punto giusto di errore consente di apportare miglioramenti mirati a istruzioni, esempi o logica di query.

Porre le domande seguenti come parte della revisione:

  • Manca una spiegazione o un'istruzione necessaria?
  • Le istruzioni sono troppo vaghe, poco chiare o fuorvianti?
  • La query di esempio è imprecisa o non rappresentativa della domanda dell'utente?
  • La domanda dell'utente è ambigua in base alla struttura o alla denominazione nello schema?
  • I valori sono formattati in modo incoerente (ad esempio, "ca" vs. "CA" e "Ca"), rendendo più difficile per l'agente applicare correttamente i filtri?

Ognuno di questi problemi può influire sulla capacità dell'agente di interpretare la finalità e generare query accurate. Identificarli in anticipo aiuta a guidare perfezionamenti più efficaci nei passaggi successivi.

Passaggio 3: Guida un ragionamento migliore fornendo istruzioni più chiare per l'agente

Se l'agente sceglie in modo coerente le origini dati errate, interpreta erroneamente la finalità dell'utente o restituisce risposte in formato non corretto, è un segno che le istruzioni a livello di agente necessitano di perfezionamento. Usare queste istruzioni per guidare il ragionamento dell'agente attraverso le domande, selezionare le fonti di dati e formattare le risposte.

Quando si esegue l'iterazione sulle istruzioni dell'agente:

  • Chiarire l'utilizzo dell'origine dati: Specificare le origini dati da usare per determinati tipi di domande e in quale ordine di priorità. Se alcune fonti devono essere utilizzate solo in contesti specifici, rendilo chiaro.
  • Definire il comportamento previsto della risposta: Impostare le aspettative per tono, struttura e livello di dettaglio. Indicare se le risposte devono essere riepiloghi concisi, includere l'output tabulare o fornire dettagli a livello di riga.
  • Guida alla procedura di ragionamento dell'agente: Fornire un framework logico che l'agente deve seguire per interpretare una domanda, ad esempio riformularla, identificare i termini pertinenti o selezionare gli strumenti in base all'argomento.
  • Spiegare la terminologia: Includere definizioni o mapping per termini ambigui, specifici dell'azienda o comunemente frainteso in modo che l'agente possa interpretare in modo più accurato le domande dell'utente.

Il miglioramento di queste istruzioni nel tempo consente all'agente di prendere decisioni migliori in ogni passaggio, dall'interpretazione delle domande all'esecuzione delle query e alla formattazione finale della risposta.

Passaggio 4: Migliorare la comprensione dello schema tramite un'istruzione dell'origine dati migliore

Usare informazioni dettagliate dall'analisi degli errori per migliorare continuamente le istruzioni dell'origine dati. Cercare i modelli tra più risposte non corrette per identificare dove l'agente potrebbe aver interpretato erroneamente la finalità, aver difficoltà con la comprensione dello schema o non applicare la logica di query corretta.

Aggiornare la configurazione concentrandosi sulle aree seguenti:

  • Chiarire l'utilizzo del filtro: Descrivere in modo esplicito quando e come applicare i filtri nelle istruzioni. Ad esempio, specificare se i filtri devono utilizzare corrispondenze esatte, intervalli di valori o ricerca basata su modelli.
  • Aggiungere esempi di valori tipici: Aiutare l'agente a comprendere come filtrare correttamente fornendo valori di esempio e formati previsti (ad esempio "CA", , "MA""NY" per le abbreviazioni di stato o "Q1 FY25" per i trimestri fiscali).
  • Rafforzare la coerenza: Assicurarsi che la terminologia, la formattazione e la formulazione vengano applicate in modo coerente tra istruzioni ed esempi. Evitare di mescolare abbreviazioni, varianti di maiuscole/minuscole o etichette alternative per lo stesso concetto.
  • Aggiornare in base allo schema in evoluzione o alle regole business: Se nelle origini dati vengono introdotte nuove tabelle, colonne o logica, modificare le istruzioni ed esempi in modo da riflettere tali modifiche.

L'iterazione su questi dettagli garantisce che l'agente rimanga allineato ai dati in continua evoluzione e al contesto aziendale e restituisca risposte più accurate e affidabili nel tempo.

Passaggio 5: Usare esempi di destinazione per guidare la generazione accurata delle query

Le query di esempio svolgono un ruolo fondamentale nell'aiutare l'agente a generalizzare e generare risposte accurate, in particolare per domande che coinvolgono join, filtri e logica complessa. Se l'agente dati restituisce query non corrette, rivedere e perfezionare gli esempi per illustrare meglio la struttura e la logica previsti.

Concentrarsi sui miglioramenti seguenti:

  • Chiarire la logica di join: Se l'agente genera join non corretti, includere query di esempio che illustrano in modo esplicito il modo in cui le tabelle correlate devono essere unite in join, ad esempio chiavi di join, tipo di join.
  • Criteri di filtro corretti: Mostra come applicare i filtri per colonne specifiche, inclusi i dettagli di formattazione( ad esempio, LIKE '%keyword%', intervalli di date o requisiti di maiuscole e minuscole).
  • Specificare l'output previsto: Rendere chiaro quali colonne l'agente deve restituire per diversi tipi di domande. Ciò consente di guidare sia la struttura che la focalizzazione della query generata.
  • Perfezionare esempi vaghi o sovraccarichi: Suddividere esempi generici o eccessivamente ampi in query più mirate che riflettono intenti specifici dell'utente.
  • Verificare l'allineamento con le istruzioni e lo schema correnti: Mantenere aggiornati gli esempi con le modifiche recenti apportate allo schema, alle regole business o ai formati di istruzioni.

Migliorando ed espandendo le query di esempio in base ai problemi osservati, si forniscono all'agente punti di riferimento più efficaci per generare risposte accurate e con riconoscimento del contesto.

Passaggio 6: Risolvere i problemi di join

La logica di join è un'origine comune di errori nella generazione di query. Quando l'agente dati restituisce risultati non corretti o incompleti a causa di errori di join, è necessario fornire indicazioni strutturali più chiare ed esempi per aiutare l'agente a comprendere come sono correlati i dati.

Per migliorare la precisione del join:

  • Specifica chiaramente le relazioni di join dei documenti: Indica quali tabelle sono correlate, le chiavi usate per il join (ad esempio, EmployeeID, ProductKey) e il tipo di relazione (ad esempio, uno-a-molti). Includere queste indicazioni nelle istruzioni relative all'origine dati.
  • Includere esempi di join nelle query: Aggiungere query di esempio che illustrano in modo esplicito il comportamento di join corretto per le relazioni più comuni o complesse.
  • Chiarire le colonne necessarie nelle tabelle unite in join: Indicare da quale tabella recuperare i campi, soprattutto quando esistono nomi di colonna simili in diverse origini.
  • Semplificare quando necessario: Se i join necessari sono troppo complessi o soggetti a errori, valutare la possibilità di appiattire la struttura in una singola tabella denormalizzata per ridurre l'ambiguità e migliorare l'affidabilità.

Definire correttamente la logica di join, sia nelle istruzioni che negli esempi, consente all'agente di comprendere come esplorare la struttura dei dati e restituire risposte complete e accurate.

Passaggi successivi