Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Testare il comportamento del subagent in tempo reale prima di distribuire le modifiche. Modifica istruzioni, strumenti e handoff con un feedback istantaneo in un layout a schermo diviso. Valutare la qualità dell'agente con punteggio basato su intelligenza artificiale e correzioni rapide.
Problema
La compilazione di configurazioni effettive dell'agente è un processo iterativo. È possibile scrivere istruzioni, assegnare strumenti e configurare gli handoff. È possibile scoprire che l'agente non capisce correttamente la finalità o non dispone di uno strumento critico solo dopo la distribuzione. Ogni ciclo di modifica, distribuzione, test e correzione spreca tempo e rischia di interrompere i flussi di lavoro di produzione.
Senza un ambiente di test dedicato, si distribuiscono le modifiche per vedere come si comportano. Si esegue il test nelle conversazioni in tempo reale che influiscono sui thread reali. Si suppongo che le istruzioni siano sufficientemente chiare.
Funzionamento dell'area giochi
Il playground è una vista dedicata nel generatore di subagenti insieme alle visualizzazioni Canvas e Table. Selezionare Test playground (Area di gioco di test) dall'interruttore di visualizzazione per immettere un ambiente a schermo diviso in cui modificare a sinistra e testare a destra.
Selezionare gli elementi da testare
Usare l'elenco a discesa Subagent/Tool nella parte superiore per scegliere cosa testare.
| Entità | Elementi che è possibile testare |
|---|---|
| Subagent | Istruzioni, strumenti, trasferimenti e memoria in una chat live |
| Agente principale (meta_agent) | Eseguire l'override del prompt dell'orchestratore e testare il comportamento di routing |
| Strumento di sistema | Eseguire strumenti predefiniti con parametri personalizzati |
| Strumento Kusto | Esegui query sui cluster connessi |
Modificare e testare affiancati
Per i subagenti, il playground si divide in due pannelli.
Pannello sinistro - Editor:
- Visualizzazione modulo — modificare il nome del subagente, le istruzioni, le istruzioni di trasferimento, i subagenti di trasferimento, gli strumenti e l'accesso alla base di conoscenze.
- Visualizzazione YAML : modificare la configurazione completa dell'agente come YAML.
Pannello destro - Verifica:
- Scheda Test : chattare con l'agente usando la configurazione corrente.
- Scheda Valutazione : eseguire l'analisi della qualità basata su intelligenza artificiale.
Annotazioni
Quando si modifica la configurazione, l'input della chat viene disabilitato fino a quando non si seleziona Applica per salvare le modifiche o Ignora per ripristinare. Questo comportamento impedisce il test delle configurazioni non aggiornate. Selezionando Applica viene avviato anche un nuovo thread di chat in modo da poter testare la configurazione aggiornata da zero.
Cosa rende questo diverso
A differenza dei test nelle conversazioni in tempo reale, il playground fornisce un ambiente isolato in cui le modifiche non influiscono sui thread di produzione. Il layout dello schermo diviso significa che l'effetto delle modifiche alle istruzioni si vede immediatamente, senza dover cambiare visualizzazione o attendere distribuzioni.
La funzionalità di valutazione va oltre i test manuali. L'intelligenza artificiale analizza la configurazione dell'agente e il comportamento della chat per individuare i problemi che potrebbero verificarsi: istruzioni poco chiare, strumenti mancanti, gap di sicurezza e mancata allineamento delle finalità.
| Prima | Dopo |
|---|---|
| Distribuire le modifiche, quindi testare in live chat | Testare immediatamente in un ambiente isolato |
| Indovinare se le istruzioni sono chiare | Ottenere punteggi di chiarezza basati sull'intelligenza artificiale |
| Individuare gli strumenti mancanti durante gli eventi imprevisti | Individuare proattivamente le lacune degli strumenti |
| Passare tra più tab per modifiche e test | Usare una schermata divisa con editor e chat affiancati |
Valutare la qualità dell'agente
La scheda Valutazione fornisce il punteggio di qualità basato sull'intelligenza artificiale per la configurazione dell'agente. Selezionare Valuta per analizzare la configurazione corrente e il comportamento recente della chat.
La valutazione restituisce i punteggi seguenti:
| Punteggio | Cosa misura |
|---|---|
| Nel complesso | Punteggio di qualità combinato (0-100) |
| Corrispondenza dell'intento | Quanto il comportamento dell'agente sia allineato al suo obiettivo (1-5) |
| Completezza | Indica se il prompt copre il ruolo, l'obiettivo e le linee guida operative |
| Adattamento degli strumenti | Indica se gli strumenti corretti sono configurati |
| Chiarezza del prompt | Quanto siano chiare e utilizzabili le istruzioni |
| Safety | Gestione degli errori, richieste di conferma e misure di sicurezza |
Soluzioni rapide
Quando la valutazione identifica i miglioramenti, selezionare Rivedi e applica per aprire la finestra di dialogo correzioni rapide. Selezionare le correzioni desiderate, visualizzare in anteprima il diff YAML a destra e quindi usare il pulsante Accetta correzioni selezionate . È possibile scegliere di continuare a modificare o salvare immediatamente.
Suggerimento
Eseguire la valutazione dopo alcune conversazioni di test. La valutazione considera il comportamento della chat insieme alla configurazione per fornire un punteggio più accurato.
Annotazioni
Se si modifica la configurazione dell'agente dopo l'esecuzione di una valutazione, i risultati vengono contrassegnati come obsoleti e viene richiesto di rivalutare. Analogamente, una nuova attività di chat dopo una valutazione contrassegna i risultati come obsoleti. Rivalutare per ottenere informazioni dettagliate che riflettono i test più recenti.
Strumenti di test in isolamento
È possibile testare gli strumenti di sistema e gli strumenti Kusto senza utilizzare l'agent playground.
Strumenti di sistema
Selezionare uno strumento di sistema dall'elenco a discesa Subagent/Tool per testare in modo indipendente le funzionalità predefinite. Immettere i valori dei parametri e selezionare Execute Tool (Esegui strumento ) per visualizzare l'output JSON non elaborato.
Strumenti Kusto
Seleziona uno strumento Kusto per mettere alla prova la tua query nei cluster connessi. Il pannello test mostra i risultati della query con conteggi di righe, colonne e tempo di esecuzione. Regola il KQL sulla sinistra ed esegui nuovamente sulla destra.
Per istruzioni dettagliate, vedere Testare uno strumento nel playground.
Configurazione assistita dall'intelligenza artificiale
Il playground include due funzionalità di assistenza basate sull'intelligenza artificiale per perfezionare le istruzioni del subagente.
- Perfezionare con l'intelligenza artificiale: riscrive le istruzioni e la descrizione della consegna sul posto. Questa funzionalità sostituisce direttamente il testo corrente con una versione migliorata dall'intelligenza artificiale, quindi esaminare le modifiche prima del salvataggio.
- Visualizzare i suggerimenti per l'intelligenza artificiale: apre un pannello di sola lettura insieme al modulo che mostra le raccomandazioni per l'intelligenza artificiale: suggerimenti per migliorare, avvisi sui potenziali problemi e versioni migliorate delle istruzioni e descrizione dell'handoff. Questa funzionalità non modifica la configurazione. Usarlo come riferimento durante la modifica.