Avvio rapido: Ottimizzare un agente di prompt (anteprima)

Importante

Agent Optimizer è attualmente in anteprima. Questa anteprima viene fornita senza un contratto di servizio e non è consigliabile per i carichi di lavoro di produzione. Alcune funzionalità potrebbero non essere supportate o potrebbero avere funzionalità limitate. Per ulteriori informazioni, vedere Condizioni supplementari per l'uso delle versioni di anteprima di Microsoft Azure.

In questo avvio rapido, si usa la procedura guidata di ottimizzazione nel portale Foundry per migliorare le istruzioni di un agente di prompt, le descrizioni degli strumenti di chiamata di funzione e la selezione del modello. Selezionare una versione dell'agente, un set di dati e un analizzatore, eseguire l'utilità di ottimizzazione e confrontare i candidati generati con la baseline.

Se non hai una sottoscrizione di Azure, crea un account gratuito.

Prerequisiti

Prima di iniziare, è necessario disporre di quanto segue:

• Un progetto Microsoft Foundry con un agente prompt distribuito. Per crearne uno, vedere Avvio rapido: Creare un agente prompt.
• Un modello di valutazione e un modello di ottimizzazione supportato distribuito nel progetto. Per i modelli supportati, vedere Modelli.
• Un'origine del set di dati: tracce dell'agente, un set di dati di valutazione registrato nel progetto o un set di dati JSONL da caricare. Il set di dati deve usare i nomi di colonna richiesti dai valutatori selezionati perché la procedura guidata non supporta la mappatura delle colonne.

Aprire la procedura guidata di ottimizzazione

1. Passare al portale Foundry e aprire il progetto.
2. Selezionare Agenti e quindi selezionare l'agente di richiesta da ottimizzare.
3. Selezionare la scheda Ottimizza .
4. Selezionare Crea esecuzione di ottimizzazione.

Selezionare la destinazione di ottimizzazione

Il target definisce la versione del prompt agent e i modelli candidati da valutare.

1. Nel passaggio Destinazione selezionare la versione dell'agente da usare come baseline. La versione più recente è selezionata per impostazione predefinita.
2. Selezionare il modello di ottimizzazione, il numero massimo di candidati e il modello di valutazione.
3. Per valutare i candidati tra più distribuzioni di modelli, attivare Confronta tra modelli e quindi selezionare i modelli da includere.
4. Continuare con il passaggio Set di dati .

L'ottimizzatore può generare candidati che migliorano le istruzioni dell'agente, le descrizioni degli strumenti per la chiamata di funzioni o la selezione del modello. Altri tipi di strumenti non sono supportati per l'ottimizzazione della descrizione degli strumenti.

Importante

Gli strumenti per la chiamata di funzioni di un agente di prompt vengono eseguiti lato client. Optimizer può migliorare lo strumento e le descrizioni dei parametri che guidano le chiamate di funzione, ma non può eseguire o valutare gli strumenti durante l'ottimizzazione della descrizione degli strumenti.

Selezionare un set di dati di valutazione

Optimizer usa lo stesso set di dati per assegnare un punteggio alla baseline e a ogni candidato generato.

1. Nel passaggio Set di dati scegliere una delle opzioni seguenti:

   • Generare un set di dati dalle tracce dell'agente.
   • Selezionare un set di dati esistente registrato nel progetto.
   • Caricare un nuovo set di dati dal dispositivo.

2. Visualizzare in anteprima il set di dati e verificare che contenga le colonne richieste dagli analizzatori.

3. Continuare con il passaggio Criteri .

Utilizzare attività rappresentative, tra cui richieste comuni, casi limite e comportamenti che si desidera che l'ottimizzatore preservi o migliori.

Selezionare i criteri di valutazione

I valutatori definiscono come l'ottimizzatore attribuisce un punteggio a ogni risposta.

1. Nel passaggio Criteri selezionare uno o più analizzatori:

   • Selezionare analizzatori predefiniti e configurare i parametri necessari.
   • Selezionare un analizzatore personalizzato esistente.
   • Creare un analizzatore di rubriche personalizzato e quindi selezionarlo.

2. Verificare che ogni analizzatore sia compatibile con lo schema del set di dati.

3. Continuare con il passaggio Rivedi .

Esaminare e inviare l'esecuzione

1. Nel passaggio Rivedi verificare l'agente e la versione, il set di dati, gli analizzatori, le configurazioni dell'analizzatore e i modelli candidati.

   Note

   Il costo stimato è un intervallo modellato, non un limite di spesa o un addebito finale. Esamina i dati di calcolo, le ipotesi di prezzo e le esclusioni prima di inviare il lavoro. Per informazioni dettagliate, vedere Stime dei costi di Agent Optimizer e utilizzo dei token.

   Il riepilogo mostra i valori Minimo, Stimato e Massimo . Espandere Dettaglio dei costi (stimato) per visualizzare le chiamate e i costi stimati per l'esecuzione dell'agente, l'assegnazione di punteggi alle risposte e la generazione dei miglioramenti.

2. Selezionare Invia.

3. Attendere il completamento dell'esecuzione dell'ottimizzazione. L'esecuzione viene visualizzata nell'elenco Delle esecuzioni di ottimizzazione con lo stato corrente.

Il tempo di esecuzione dipende dalle dimensioni del set di dati, dal numero di candidati e dai modelli selezionati.

Confrontare i risultati

1. Quando l'esecuzione ha esito positivo, selezionarla in Esecuzioni di ottimizzazione.
2. Confrontare il punteggio di ogni candidato con il punteggio di base.
3. Esaminare le modifiche apportate all'istruzione prima e dopo.
4. Esaminare i punteggi per analizzatore e, se sono stati selezionati più modelli, confrontare i risultati per ogni modello.
5. Selezionare il candidato che fornisce un miglioramento significativo della qualità senza un aumento inaccettabile dell'utilizzo o del costo dei token.

La vista Utilizzo dei token dell'esecuzione completata raggruppa gli input, gli output e i token totali misurati per fase e modello. Segnala i conteggi dei token anziché un addebito di valuta finale. Un modello o un valore di utilizzo mancante indica che l'utilizzo non è stato attribuito o misurato, non che fosse gratuito. Per i dettagli, vedi Utilizzo dei token misurato dopo l'esecuzione.

Se ogni candidato assegna punteggi inferiori alla linea di base, mantenere l'agente corrente. Rivedere il set di dati, gli analizzatori o le impostazioni di ottimizzazione prima di eseguire nuovamente l'utilità di ottimizzazione.

Promuovere un candidato

Alzare di livello il candidato selezionato per creare una nuova versione dell'agente prompt.

1. Nella pagina di esecuzione completata selezionare Promuovi candidato.
2. In Promuovi candidato come nuova versione dell'agente, seleziona il candidato da promuovere.
3. Esaminare la versione attiva corrente e il miglioramento del punteggio del candidato selezionato rispetto alla baseline.
4. Selezionare Promuovi alla versione agente.

La promozione crea una nuova versione dell'agente con la configurazione ottimizzata del candidato. Se l'agente viene aggiunto a una versione specifica, la nuova versione non riceve traffico finché non viene impostata come versione attiva nei dettagli dell'agente.

Cosa si è appreso

Questo avvio rapido spiega come:

• È stata avviata un'esecuzione di ottimizzazione dell'agente di prompt nel portale Foundry.
• È stato selezionato un set di dati, un analizzatore e modelli candidati.
• Ha confrontato i candidati ottimizzati con la baseline dell'agente di prompt.
• Promosso il candidato selezionato alla nuova versione dell'agente di prompt.

Contenuti correlati

• Panoramica di Agent Optimizer
• Stime dei costi di Agent Optimizer e utilizzo dei token
• Guida introduttiva: Ottimizzare un agente ospitato
• Convertire le tracce dell'agente in set di dati di valutazione