Sviluppare un prompt flow

Articolo
04/18/2024

Nota

Studio AI della piattaforma Azure è attualmente disponibile in anteprima pubblica. Questa versione di anteprima viene fornita senza un contratto di servizio e non è consigliabile per i carichi di lavoro di produzione. Alcune funzionalità potrebbero non essere supportate o potrebbero presentare funzionalità limitate. Per altre informazioni, vedere le Condizioni supplementari per l'uso delle anteprime di Microsoft Azure.

Prompt flow è uno strumento di sviluppo progettato per semplificare l'intero ciclo di sviluppo delle applicazioni di IA basate su Large Language Model (LLM). Prompt flow offre una soluzione completa che semplifica il processo di creazione di prototipi, la sperimentazione, l'iterazione e la distribuzione delle applicazioni di intelligenza artificiale.

Con prompt flow, è possibile:

Orchestrare flussi eseguibili che collegano LLM, richieste e strumenti Python tramite un grafo visivo.
Testare, eseguire il debug e scorrere i flussi con facilità.
Creare varianti di richiesta e confrontarne le prestazioni.

Questo articolo illustra come creare e sviluppare il primo prompt flow in Studio AI della piattaforma Azure.

Prerequisiti

Se non si ha già un progetto Azure per intelligenza artificiale, crearne uno.
Prompt flow richiede un runtime. Se non si ha un runtime, è possibile crearne uno in Studio AI della piattaforma Azure.
È necessario un modello distribuito.

Creare e sviluppare il prompt flow

È possibile clonare gli esempi disponibili nella raccolta o creando il flusso da zero. Se sono già disponibili file di flusso in locale o in una condivisione file, è anche possibile importare i file per creare un flusso.

Per creare un prompt flow dalla raccolta in Studio AI della piattaforma Azure:

Accedere a Studio AI della piattaforma Azure e selezionare il progetto dalla pagina Compilazione.
Dal menu a scomparsa a sinistra selezionare Prompt flow.
Seleziona + Crea.
Nel riquadro Flusso standard, selezionare Crea.
Nella pagina Crea un nuovo flusso, immettere un nome di cartella e quindi selezionare Crea.
Verrà visualizzata la pagina di creazione del prompt flow. È ora possibile iniziare a creare il flusso. Per impostazione predefinita viene visualizzato un flusso di esempio. Questo flusso di esempio include nodi per gli strumenti LLM e Python.

Nota

Vista a grafo solo per la visualizzazione. Mostra la struttura del flusso che si sta sviluppando. Non è possibile modificare direttamente la vista a grafo, ma è possibile ingrandire, rimpicciolire e scorrere. È possibile selezionare un nodo nella vista a grafo per evidenziare e passare al nodo nella vista di modifica dello strumento.
Facoltativamente, è possibile aggiungere altri strumenti al flusso. Le opzioni dello strumento visibili sono LLM, Richiesta e Python. Per visualizzare altri strumenti, selezionare + Altri strumenti.
Selezionare una connessione e una distribuzione nell'editor degli strumenti LLM.
Selezionare Esegui per eseguire il flusso.
Lo stato di esecuzione del flusso viene visualizzato come In esecuzione.
Al termine dell'esecuzione del flusso, selezionare Visualizza output per visualizzare i risultati del flusso.
È possibile visualizzare lo stato e l'output dell'esecuzione del flusso nella sezione Output.

Creazione del flusso

Ogni flusso è rappresentato da una cartella che contiene un file "flow.dag.yaml", i file del codice sorgente e le cartelle di sistema. È possibile aggiungere nuovi file, nonché modificare ed eliminare quelli esistenti. È anche possibile esportare i file in file locali o importarli da locale.

Oltre a effettuare la modifica in linea del nodo nella vista appiattita, è anche possibile attivare l'opzione Modalità file non elaborato e selezionare il nome del file per modificare il file nella relativa scheda.

Input e output del flusso

L'input del flusso è costituito dai dati passati nel flusso nel complesso. Definire lo schema di input specificando il nome e il tipo. Impostare il valore di ogni input per testare il flusso. È possibile fare riferimento all'input del flusso in un secondo momento nei nodi del flusso, usando la sintassi ${input.[input name]}.

L'output del flusso è costituito dai dati generati dal flusso nel complesso, che riepilogano i risultati dell'esecuzione del flusso. È possibile visualizzare ed esportare la tabella di output al termine dell'esecuzione del flusso o dell'esecuzione batch. Definire il valore di output del flusso facendo riferimento all'output del nodo singolo del flusso, usando la sintassi ${[node name].output} o ${[node name].output.[field name]}.

Collegare i nodi tra loro

Facendo riferimento all'output del nodo, è possibile collegare i nodi tra loro. Ad esempio, è possibile fare riferimento all'output del nodo LLM nell'input del nodo Python, in modo che il nodo Python possa utilizzare l'output del nodo LLM, quindi nella vista a grafo è possibile vedere che i due nodi sono collegati tra loro.

Abilitare il controllo condizionale per il flusso

Prompt flow offre non solo un modo semplificato per eseguire il flusso, ma anche una potente funzionalità per gli sviluppatori, ovvero il controllo condizionale, che consente agli utenti di impostare condizioni per l'esecuzione di qualsiasi nodo in un flusso.

Essenzialmente, il controllo condizionale offre la possibilità di associare ogni nodo in un flusso a una configurazione di attivazione. Questa configurazione è in pratica un'istruzione "when" che determina quando deve essere eseguito un nodo. L'efficacia di questa funzionalità si realizza con i flussi complessi in cui l'esecuzione di specifiche attività dipende dal risultato di quelle precedenti. Usando il controllo condizionale, è possibile configurare i nodi specifici da eseguire solo quando vengono soddisfatte le condizioni specificate.

In particolare, è possibile impostare la configurazione di attivazione per un nodo selezionando il pulsante Activate config nella scheda del nodo. È possibile aggiungere l'istruzione "when" e impostare la condizione. È possibile impostare le condizioni facendo riferimento all'input del flusso o all'output del nodo. Ad esempio, come valore specifico è possibile impostare la condizione ${input.[input name]} o ${[node name].output}.

Se la condizione non viene soddisfatta, il nodo viene ignorato. Lo stato del nodo viene visualizzato come "Bypassed".

Testare il flusso

È possibile testare il flusso in due modi: eseguire un singolo nodo o l'intero flusso.

Per eseguire un singolo nodo, selezionare l'icona Esegui nella vista bidimensionale. Al termine dell'esecuzione, controllare l'output nella sezione dell'output del nodo.

Per eseguire l'intero flusso, selezionare il pulsante Esegui in alto a destra. È quindi possibile controllare lo stato di esecuzione e l'output di ogni nodo, nonché i risultati degli output del flusso definiti nel flusso. È sempre possibile cambiare il valore di input del flusso ed eseguire di nuovo il flusso.

Sviluppare un flusso di chat

Il flusso di chat è progettato per lo sviluppo di applicazioni per conversazione, basandosi sulle funzionalità del flusso standard e fornendo supporto avanzato per gli input/output della chat e la gestione della cronologia della chat. Con il flusso di chat, è possibile creare facilmente un chatbot che gestisce l'input e l'output della chat.

Nella pagina di creazione il flusso di chat viene contrassegnato con un'etichetta "chat" per distinguerla dal flusso standard e dal flusso di valutazione. Per testare il flusso di chat, selezionare il pulsante "Chat" per attivare una casella per la conversazione.

Input/output e cronologia della chat

Gli elementi più importanti che differenziano un flusso di chat da un flusso standard sono l'input, la cronologiae l'output.

Input: l'input della chat fa riferimento ai messaggi o alle query inviate dagli utenti al chatbot. Per il successo della conversazione, è essenziale gestire efficacemente l'input della chat, perché implica la comprensione delle intenzioni dell'utente, l'estrazione delle informazioni pertinenti e l'attivazione delle risposte appropriate.
Cronologia: la cronologia della chat è la registrazione di tutte le interazioni tra l'utente e il chatbot e include sia gli input dell'utente sia gli output generati dall'IA. Mantenere la cronologia della chat è essenziale per tenere traccia del contesto della conversazione e assicurarsi che l'IA possa generare risposte contestualmente pertinenti.
Output: l'output della chat fa riferimento ai messaggi generati dall'IA inviati all'utente in risposta agli input. La generazione di output di chat contestualmente appropriati e coinvolgenti è fondamentale per un'esperienza utente positiva.

Un flusso di chat può avere più input; la cronologia e l'input sono obbligatori nel flusso di chat.

Nella sezione di input del flusso di chat, un input del flusso può essere contrassegnato come input di chat. È quindi possibile compilare il valore di input digitandolo nella casella di chat.

Prompt flow può aiutare gli utenti a gestire la cronologia della chat. chat_history, nella sezione Input, serve per rappresentare la cronologia delle chat. Tutte le interazioni nella casella di chat, inclusi gli input utente, gli output generati e altri input e output del flusso, vengono archiviate automaticamente nella cronologia della chat. L'utente non può impostare manualmente il valore di chat_history nella sezione di input. È strutturato come un elenco di input e output:

[
{
    "inputs": {
    "<flow input 1>": "xxxxxxxxxxxxxxx",
    "<flow input 2>": "xxxxxxxxxxxxxxx",
    "<flow input N>""xxxxxxxxxxxxxxx"
    },
    "outputs": {
    "<flow output 1>": "xxxxxxxxxxxx",
    "<flow output 2>": "xxxxxxxxxxxxx",
    "<flow output M>": "xxxxxxxxxxxxx"
    }
},
{
    "inputs": {
    "<flow input 1>": "xxxxxxxxxxxxxxx",
    "<flow input 2>": "xxxxxxxxxxxxxxx",
    "<flow input N>""xxxxxxxxxxxxxxx"
    },
    "outputs": {
    "<flow output 1>": "xxxxxxxxxxxx",
    "<flow output 2>": "xxxxxxxxxxxxx",
    "<flow output M>": "xxxxxxxxxxxxx"
    }
}
]

Nota

La possibilità di salvare o gestire automaticamente la cronologia della chat è una funzionalità della pagina di creazione quando si eseguono test nella casella di chat. Per le esecuzioni batch, è necessario che gli utenti includano la cronologia della chat all'interno del set di dati. Se non è disponibile alcuna cronologia della chat per i test, è sufficiente impostare il chat_history su un elenco vuoto [], all'interno del set di dati di esecuzione batch.

Creare una richiesta con la cronologia della chat

Incorporare la cronologia della chat nella richiesta è essenziale per creare risposte del chatbot contestuali e coinvolgenti. Nelle richieste, è possibile fare riferimento a chat_history per recuperare le interazioni passate. In questo modo è possibile fare riferimento a input e output precedenti per creare risposte contestualmente pertinenti.

Usare la grammatica for-loop del linguaggio Jinja per visualizzare un elenco di input e output da chat_history.

{% for item in chat_history %}
user:
{{item.inputs.question}}
assistant:
{{item.outputs.answer}}
{% endfor %}

Eseguire il test con la casella di chat

La casella di chat offre un modo interattivo per testare il flusso di chat simulando una conversazione con il chatbot. Per testare il flusso di chat usando la casella di chat, seguire questa procedura:

Selezionare il pulsante "Chat" per aprire la casella di chat.
Digitare gli input di test nella casella di chat e premere INVIO per inviarli al chatbot.
Esaminare le risposte del chatbot per assicurarsi che siano contestualmente appropriate e accurate.