Share via


Tecniche di progettazione delle richieste

Questa guida illustra alcune tecniche avanzate nella progettazione e nella progettazione dei prompt. Se non si ha familiarità con la progettazione dei prompt, è consigliabile iniziare con l'introduzione alla guida alla progettazione dei prompt.

Anche se i principi di progettazione prompt possono essere generalizzati in molti tipi di modello diversi, alcuni modelli prevedono una struttura di richiesta specializzata. Per i modelli GPT di Azure OpenAI, esistono attualmente due API distinte in cui entra in gioco la progettazione prompt:

  • API di completamento chat.
  • API di completamento.

Ogni API richiede la formattazione dei dati di input in modo diverso, che a sua volta influisce sulla progettazione complessiva delle richieste. L'API Completamento chat supporta i modelli GPT-35-Turbo e GPT-4. Questi modelli sono progettati per accettare l'input formattato in una trascrizione di tipo chat specifica archiviata all'interno di una matrice di dizionari.

L'API Di completamento supporta i modelli GPT-3 precedenti e presenta requisiti di input molto più flessibili in quanto accetta una stringa di testo senza regole di formato specifiche.

Le tecniche descritte in questa guida illustrano le strategie per aumentare l'accuratezza e la base delle risposte generate con un modello LLM (Large Language Model). È tuttavia importante ricordare che anche quando si usa la progettazione prompt in modo efficace è comunque necessario convalidare le risposte generate dai modelli. Solo perché una richiesta accuratamente creata funzionava bene per uno scenario specifico non significa necessariamente che generalizzerà più su larga scala per determinati casi d'uso. Comprendere le limitazioni delle VM è altrettanto importante quanto comprendere come sfruttare i propri punti di forza.

Questa guida non illustra in modo approfondito i meccanismi alla base della struttura dei messaggi per i completamenti della chat. Se non si ha familiarità con l'interazione con i modelli di completamento chat a livello di codice, è consigliabile leggere prima la guida pratica sull'API completamento chat.

Nota

Tutti gli esempi in questa sezione della guida sono stati testati su un modello GPT-4 di base in inglese. Se si legge una versione localizzata di questo articolo in un'altra lingua, queste risposte rappresentano una traduzione localizzata dei risultati in inglese. Per altre informazioni sulle potenziali limitazioni a seconda del linguaggio usato per richiedere un modello, consultare la nota sulla trasparenza dell'intelligenza artificiale responsabile.

Messaggio di sistema

Il messaggio di sistema viene incluso all'inizio della richiesta e viene usato per attivare il modello con contesto, istruzioni o altre informazioni rilevanti per il caso d'uso. È possibile usare il messaggio di sistema per descrivere la personalità dell'assistente, definire ciò che il modello deve e non deve rispondere e definire il formato delle risposte del modello.

L'esempio seguente mostra un messaggio di sistema di esempio e la risposta del modello risultante:

Messaggio di sistema User Assistente
Sei un assistente di intelligenza artificiale che aiuta le persone a trovare informazioni e risponde in rima. Se l'utente ti fa una domanda di cui non conosci la risposta, dillo. Cosa puoi dirmi di me, John Doe? Caro John, mi dispiace dirlo,
Ma oggi non ho informazioni su di te.
Sono solo un'intelligenza artificiale con conoscenze nel mio cervello,
Ma senza il tuo input, non posso spiegare.
Quindi, per favore, dimmi di più su quello che cerchi,
E farò del mio meglio per darti una risposta unica.

Altri esempi di messaggi di sistema sono:

  • "Assistant è un modello linguistico di grandi dimensioni sottoposto a training da OpenAI".
  • "Assistant è un chatbot intelligente progettato per aiutare gli utenti a rispondere a domande tecniche sul servizio Azure OpenAI. Rispondere solo alle domande usando il contesto seguente e, se non si è certi di una risposta, è possibile dire "Non so".
  • "Assistant è un chatbot intelligente progettato per aiutare gli utenti a rispondere alle domande correlate alle imposte."
  • "Si è un assistente progettato per estrarre le entità dal testo. Gli utenti incollare una stringa di testo e risponderemo con le entità estratte dal testo come oggetto JSON. Ecco un esempio del formato di output:
{  
   "name": "",
   "company": "",
   "phone_number": ""
}

Un dettaglio importante da comprendere è che anche se si indica a un modello nel messaggio di sistema di rispondere non so quando non si è certi di una risposta questa non garantisce che la richiesta venga rispettata. Un messaggio di sistema ben progettato può aumentare la probabilità di un determinato risultato, ma è comunque possibile che venga generata una risposta errata che contraddice l'intento dell'istruzione nel messaggio di sistema.

Apprendimento a pochi scatti

Un modo comune per adattare i modelli linguistici alle nuove attività consiste nell'usare l'apprendimento con pochi scatti. Nell'apprendimento con pochi scatti, viene fornito un set di esempi di training come parte della richiesta di fornire contesto aggiuntivo al modello.

Quando si usa l'API Completamento chat, una serie di messaggi tra l'utente e l'assistente (scritto nel nuovo formato di prompt), possono fungere da esempi per l'apprendimento con pochi scatti. Questi esempi possono essere usati per far fronte al modello in modo da rispondere in modo specifico, emulare comportamenti specifici e fornire risposte di inizializzazione alle domande comuni.

Messaggio di sistema Esempi di pochi scatti
Assistant è un chatbot intelligente progettato per aiutare gli utenti a rispondere alle domande relative alle imposte.
Istruzioni
- Rispondere solo alle domande relative alle imposte.
- Se non si è certi di una risposta, è possibile dire "Non so" o "Non sono sicuro" e consigliare agli utenti di andare al sito Web IRS per altre informazioni.
Utente : "Quando devo presentare le mie imposte?"
Assistente - "Nel 2023, dovrai presentare le tue imposte entro il 18 aprile. La data cade dopo la consueta scadenza del 15 aprile perché il 15 aprile cade il sabato nel 2023. Per altri dettagli, vedere https://www.irs.gov/filing/individuals/when-to-file "

Utente : "Come posso controllare lo stato del rimborso fiscale?"
Assistente - "È possibile controllare lo stato del rimborso fiscale visitando https://www.irs.gov/refunds "

La tabella precedente descrive la struttura di richiesta di base, ma per una spiegazione dettagliata del formato esatto della richiesta è necessario fare riferimento alla guida completamento chat.

Scenari non di chat

Anche se l'API completamento chat è ottimizzata per lavorare con conversazioni a più turni, può essere usata anche per scenari non di chat. Ad esempio, per uno scenario di analisi del sentiment, è possibile usare il prompt seguente:

Messaggio di sistema User Assistente
Si è un assistente progettato per analizzare il sentiment dai dati vocali. Gli utenti incollare una stringa di testo e risponderete con una valutazione della risposta dell'altoparlante. Velocità su una scala di 1-10 (10 essere più alta). Spiegare perché questa classificazione è stata assegnata. ciao grazie per aver chiamato contoso farmacia che sto parlando con oggi capisco la vostra frustrazione mary um può dirmi cosa esattamente stai cercando di realizzare OK uh certamente felice di verificare che per te un momento per favore vedo qui che si era su una forma generica di lipitor è che ok ok uh così vedo che il vostro medico ha smesso di prescrivere questi farmaci in ventiquattro in realtà OK uh Sì, sarei felice di controllare che per te uh perché a volte c'è un gap nel sistema e non viene appena segnalato, lasciatemi dare un'occhiata qui solo un momento in modo che sto vedendo qui che il vostro medico aveva questi farmaci prescritto a voi da venti dodici a venti venti venti ok um sì secondo i record più recenti forniti dall'ufficio del medico che si è ora su un altro metformin farmaco sarebbe ti piace andare avanti e riempire quella prescrizione per te per prendere un po 'di forma in cinquecento di millemila pageri, sei molto benvenuto maria ti prego di farci sapere se c'è qualcos'altro che possiamo fare per voi oggi. Valutazione del sentiment: 8
Il relatore in questo testo sembra essere educato, utile e paziente mentre affronta le preoccupazioni del cliente. Richiedono il tempo necessario per controllare le informazioni, fornire spiegazioni chiare e offrire assistenza. Tuttavia, la valutazione non è un 10 perché c'è ancora un suggerimento di incertezza in alcune parti della conversazione, che potrebbe non trasmettere fiducia completa al cliente.

Iniziare con istruzioni chiare

Le informazioni sulla sequenza vengono visualizzate nel prompt. Ciò è dovuto al fatto che i modelli di stile GPT vengono compilati in un determinato modo che definisce il modo in cui elaborano l'input. La ricerca suggerisce che indicare al modello l'attività che si vuole eseguire all'inizio della richiesta, prima di condividere informazioni contestuali aggiuntive o esempi, può contribuire a produrre output di qualità superiore.

Nota

Anche se seguendo questa tecnica è comunque consigliata in genere, a differenza delle versioni precedenti del modello (GPT-3 e precedenti), i test hanno dimostrato che la risposta del modello con i modelli ChatGPT e GPT-4 era la stessa indipendentemente dal fatto che venga usata la tecnica. Nel caso dell'esempio seguente, si noterà che aggiungendo l'istruzione "Diverse origini ... eruzione" all'inizio o alla fine della richiesta non ha causato alcuna modifica nella risposta finale del modello.

Messaggio di sistema User Assistente
Si è un assistente di intelligenza artificiale che consente agli utenti di trovare informazioni. L'attività consiste nel verificare se l'affermazione "Diverse fonti indicano una possibilità di un'altra eruzione di grandi dimensioni" è supportata da una citazione specifica del set di frammenti seguente.
---
FRAMMENTI
[1] Il 14% di probabilità di megaquake colpisce Seattle, gli esperti dicono
edizione Standard ATTLE - C'è una probabilità del 14% di un terremoto di grandezza 9 Cascadia che colpisce Seattle nei prossimi 50 anni, le stime dell'U.S. Geological Survey. "Sfortunatamente, non siamo in grado di...

[2] Gli esperti del terremoto hanno illustrato le ultime prospettive per 'Really Big One' di Seattle
"Diciamo che c'è circa un 14% di probabilità di un altro terremoto di circa 9 grandezza che si è verificato nei prossimi 50 anni", ha detto un geofisico presso l'Università di Washington...
---
L'affermazione "Diverse fonti menzionano una possibilità di un'altra eruzione di grandi dimensioni" direttamente implicite o dichiarate dai frammenti di codice?
No, l'istruzione non è direttamente implicita o dichiarata dai frammenti di codice. I frammenti di codice menzionano una possibilità di "megaquake" e un terremoto di "grandezza 9 Cascadia" che colpisce Seattle nei prossimi 50 anni, ma non menzionare una possibilità di un'altra grande eruzione.

Ripetere le istruzioni alla fine

I modelli possono essere soggetti a distorsioni di recency, che in questo contesto indicano che le informazioni alla fine della richiesta potrebbero avere un'influenza più significativa sull'output rispetto alle informazioni all'inizio della richiesta. Pertanto, vale la pena provare a ripetere le istruzioni alla fine della richiesta e valutare l'impatto sulla risposta generata.

Prime l'output

Questo si riferisce all'inclusione di alcune parole o frasi alla fine del prompt per ottenere una risposta del modello che segue il modulo desiderato. Ad esempio, l'uso di un segnale, ad “Here’s a bulleted list of key points:\n- ” esempio, può essere utile per assicurarsi che l'output sia formattato come elenco di punti elenco.

Messaggio di sistema User Assistente
Si è un assistente di intelligenza artificiale che consente agli utenti di trovare informazioni. Rispondere nel minor numero possibile di parole. John Smith è sposato con Lucy Smith. Hanno cinque figli e lavora come ingegnere software presso Microsoft. Quali query di ricerca è consigliabile eseguire per verificarne i fatti? ## Una possibile query di ricerca è: "John Smith sposò Lucy Smith cinque bambini software engineer Microsoft"

Nel prompt precedente, il testo Una possibile query di ricerca è: prime il modello per produrre un singolo output. Senza questo segnale il modello produce diverse query di ricerca come output.

Aggiungere una sintassi chiara

L'uso di una sintassi chiara per il prompt, inclusi punteggiatura, intestazioni e marcatori di sezione, consente di comunicare finalità e spesso semplifica l'analisi degli output.

Nell'esempio seguente sono stati aggiunti separatori (--- in questo caso) tra origini diverse di informazioni o passaggi. Ciò consente l'uso di come condizione di --- arresto per la generazione. Inoltre, le intestazioni di sezione o le variabili speciali vengono presentate in lettere maiuscole per distinguerle.

Messaggio di sistema User Assistente
Si è un assistente di intelligenza artificiale che consente agli utenti di trovare informazioni. Si leggerà un paragrafo e quindi si eseguiranno query a un motore di ricerca per verificarlo. Spiegare anche le query.
---
PARAGRAFO
John Smith è sposato con Lucy Smith. Hanno cinque figli e lavora come ingegnere software presso Microsoft. Quali query di ricerca è consigliabile eseguire per verificarne i fatti?
---
QUERY
1. "John Smith Microsoft" - Per verificare se John Smith è effettivamente impiegato in Microsoft.
2. "John Smith Lucy Smith" - Per verificare se John Smith è sposato con Lucy Smith.
3. "John Smith children" - Per verificare se John Smith ha cinque figli.

Se non si è certi della sintassi da usare, è consigliabile usare Markdown o XML. I modelli sono stati sottoposti a training su una grande quantità di contenuto Web in XML e Markdown, che potrebbe offrire risultati migliori.

Suddividere l'attività

I modelli di linguaggio di grandi dimensioni spesso offrono prestazioni migliori se l'attività è suddivisa in passaggi più piccoli. Ad esempio, nella richiesta di query di ricerca a cui si fa riferimento in precedenza, il prompt può essere ristrutturato in modo che il modello venga prima richiesto di estrarre i fatti rilevanti e quindi di generare query di ricerca che possono essere usate per verificare tali fatti.

Messaggio di sistema User Assistente
Si è un assistente di intelligenza artificiale che consente agli utenti di trovare informazioni. Si leggerà un paragrafo e quindi si eseguiranno query a un motore di ricerca per verificarlo.
---
PARAGRAFO
John Smith è sposato con Lucy Smith. Hanno cinque figli e lavora come ingegnere software presso Microsoft. Quali query di ricerca è consigliabile eseguire per verificarne i fatti?
---
A questo punto si estrarranno attestazioni effettive e si eseguiranno query per verificarle. Quando si esegue una query, usare la funzione edizione Standard ARCH("query")

AFFERMAZIONI EFFETTIVE
1. John Smith è sposato con Lucy Smith
2. Hanno cinque figli
3. Lavora come software engineer presso Microsoft

QUERY
edizione Standard ARCH("John Smith sposò Lucy Smith")
edizione Standard ARCH("John Smith family size")
edizione Standard ARCH("John Smith Microsoft Software Engineer")

Si noti l'uso di una sintassi chiara per distinguere le sezioni e prime l'output. In questo semplice esempio, suddividere l'attività da uno a due passaggi non è molto drammatica, ma quando si tenta di eseguire questa operazione per una parte più grande di testo con molte affermazioni effettive, l'interruzione dell'attività può fare una differenza significativa.

Uso degli inviti

A volte è possibile ottenere il modello per usare un invito anziché basarsi sui propri parametri per informazioni e risposte. La ricerca, ad esempio, può essere un invito per attenuare le risposte create e ottenere informazioni aggiornate.

Un modo semplice per usare un invito consiste nell'arrestare la generazione dopo che le chiamate di invito vengono generate dal modello, quindi incollare nuovamente i risultati nel prompt. Di seguito è riportato un esempio di ciò che potrebbe essere la chiamata di completamento dopo aver eseguito le chiamate edizione Standard ARCH precedenti. Si noti come i risultati della ricerca sono stati incollati nel prompt e sostituiti le chiamate edizione Standard ARCH precedenti.

Messaggio di sistema User Assistente
Si è un assistente di intelligenza artificiale che consente agli utenti di trovare informazioni. Si leggerà un paragrafo, si estrarranno le attestazioni effettive e quindi si useranno i risultati del motore di ricerca per controllarli
---
PARAGRAFO
John Smith è sposato con Lucy Smith. Hanno cinque figli e lavora come ingegnere software presso Microsoft. Quali query di ricerca è consigliabile eseguire per verificarne i fatti?
---
AFFERMAZIONI EFFETTIVE
- John Smith è sposato con Lucy Smith
- John e Lucy hanno cinque figli
- John lavora come software engineer presso Microsoft
---
Di seguito sono riportate varie query di ricerca eseguite per eseguire ricerche sulle attestazioni precedenti:
QUERY EDIZIONE STANDARD ARCH
- John Smith sposato con Lucy Smith
- John Smith numero di figli
- John Smith software engineer Microsoft
---
Ecco alcuni frammenti dei risultati della ricerca:
FRAMMENTI:
[1] Il matrimonio di John Smith è stato il 25 settembre 2012...
[2] John Smith fu accompagnato dalla moglie Lucy a una festa
[3] John fu accompagnato alla partita di calcio dalle sue due figlie e tre figlie
[4] Dopo aver trascorso 10 anni presso Microsoft, Smith fondò la sua startup, Tailspin Toys
John M è lo smith della città e si sposa con Fiona. Hanno una figlia di nome Lucy
---
In base ai frammenti di codice, verificare di fatto ognuna delle affermazioni effettive sopra riportate:
- John Smith è sposato con Lucy Smith: confermato. Frammento [1] e [2] entrambi menzionano la moglie di John Smith come Lucy.

- John e Lucy hanno cinque figli: Confermato. Frammento [3] cita che John era accompagnato dalle sue due figlie e tre figli.

- John lavora come software engineer presso Microsoft: Parzialmente confermato. Il frammento di codice [4] afferma che John ha trascorso 10 anni presso Microsoft, ma non indica esplicitamente che attualmente lavora lì. Potrebbero essere necessarie ulteriori ricerche per confermare lo stato di occupazione attuale.

Catena di richieste di pensiero

Si tratta di una variante della tecnica di interruzione dell'attività. Invece di suddividere un'attività in passaggi più piccoli, in questo approccio, la risposta del modello viene indicata per procedere passo passo e presentare tutti i passaggi coinvolti. In questo modo si riduce la possibilità di imprecisione dei risultati e semplifica la valutazione della risposta del modello.

Messaggio di sistema User Assistente
Si è un assistente di intelligenza artificiale che consente agli utenti di trovare informazioni. Chi è stato l'atleta individuale più decorato (massimo) nei giochi olimpici che si sono tenuti a Sydney? Adottare un approccio dettagliato nella risposta, citare le origini e dare un ragionamento prima di condividere la risposta finale nel formato seguente: ANSWER è: <name> Passo 1: Determinare l'anno dei giochi olimpici di Sydney. I giochi olimpici di Sydney si sono disputati nell'anno 2000.

Passo 2: Trovare una lista di atleti singoli che hanno vinto più medaglie nelle Olimpiadi di Sydney 2000.

Secondo il sito ufficiale dei Giochi Olimpici, ci sono stati diversi atleti individuali che hanno vinto più medaglie nelle Olimpiadi di Sydney del 2000. Alcuni dei nomi rilevanti includono:
• Ian Thorpe (Australia) - 3 oro, 2 argento, 0 bronzo
• Pieter van den Hoogenband (Paesi Bassi) - 2 oro, 0 argento, 2 bronzo
• Lenny Krayzelburg (USA) - 3 oro, 0 argento, 0 bronzo
• Inge de Bruijn (Paesi Bassi) - 3 oro, 1 argento, 0 bronzo

Passo 3: Determinare l'atleta con la maggior parte delle medaglie. Dopo aver esaminato l'elenco dei singoli atleti che hanno vinto più medaglie nelle Olimpiadi di Sydney del 2000, possiamo vedere che l'atleta con la maggior parte delle medaglie è Ian Thorpe dall'Australia, che ha vinto un totale di 5 medaglie (3 oro e 2 argento).

Pertanto, la RISPOSTA è: Ian Thorpe.

Specifica della struttura di output

L'uso del prompt per specificare la struttura dell'output può avere un effetto significativo sulla natura e sulla qualità dei risultati. A volte gli input dei messaggi di sistema come "scrivono solo fatti veri" o "non fabbricano informazioni" potrebbero non essere misure di mitigazione adeguate. Chiedere invece la risposta del modello per includere anche citazioni può contribuire a ridurre la prevalenza delle risposte errate.

Se si indica al modello di citare il materiale di origine quando crea istruzioni, tali istruzioni sono molto più probabili. La richiesta di citazioni lo rende in modo che il modello debba fare due errori ogni volta che genera una risposta: il primo errore è la risposta creata e il secondo è la citazione errata. Si noti che più la citazione è più vicina al testo supportato, più breve è la distanza che precede il modello deve prevedere la citazione, che suggerisce che le citazioni inline sono migliori mitigazioni per la generazione di contenuti falsi rispetto alle citazioni alla fine del contenuto.

Analogamente, se si chiede al modello di estrarre istruzioni effettive da un paragrafo, è possibile estrarre istruzioni composte, ad esempio "X sta facendo Y AND Z" (che può essere più difficile da verificare). Questa operazione può essere evitata specificando una struttura di output, ad esempio (entity1, relationship, entity2).

Gli esempi seguenti illustrano l'uso di citazioni e indirizzano la risposta del modello in base a una struttura definita.

Messaggio di sistema User Assistente
Si è un assistente di intelligenza artificiale che aiuta le persone a trovare informazioni Elencare i diversi comportamenti mostrati dall'agente del supporto tecnico nella conversazione seguente.
---
ciao grazie per aver chiamato contoso farmacia che sto parlando con oggi capisco la vostra frustrazione mary um può dirmi cosa esattamente stai cercando di realizzare OK uh certamente felice di verificare che per te un momento per favore vedo qui che si era su una forma generica di lipitor è che ok ok uh così vedo che il vostro medico ha smesso di prescrivere questi farmaci in ventiquattro in realtà OK uh Sì, sarei felice di controllare che per te uh perché a volte c'è un gap nel sistema e non viene appena segnalato, lasciatemi dare un'occhiata qui solo un momento in modo che sto vedendo qui che il vostro medico aveva questi farmaci prescritto a voi da venti dodici a venti venti venti ok um sì secondo i record più recenti forniti dall'ufficio del medico che si è ora su un altro metformin farmaco sarebbe ti piace andare avanti e riempire quella prescrizione per te per prendere un po 'di forma in cinquecento di millemila pageri, sei molto benvenuto maria ti prego di farci sapere se c'è qualcos'altro che possiamo fare per voi oggi.
---
Come è stata la risposta dell'agente del supporto tecnico?
Classificare ed elencare i diversi comportamenti e citare il motivo alla base della classificazione, usando il formato BEHAVIOR("reason")
1. Educato Greeting BEHAVIOR("Agent inizia la conversazione con un saluto educato e chiede il nome del chiamante")
2. Comportamento empatico("Agente riconosce la frustrazione di Maria e cerca di comprendere la sua preoccupazione")
3. Comportamento attento("Agente ascolta il problema del cliente e chiede altri dettagli")
4. Comportamento proattivo("Agent offre per controllare il problema per il cliente")
5. Comportamento informativo("Agente fornisce le informazioni pertinenti sulla cronologia delle prescrizioni del cliente")
6. Comportamento accurato("Agente verifica eventuali lacune nel sistema e fornisce una risposta completa")
7. Confirmatory BEHAVIOR("Agent conferma il farmaco corrente con il cliente")
8. COMPORTAMENTO orientato alla soluzione("Agent offers to fill the new prescription for the customer")
9. Comportamento giudiziario("Agente grazie al cliente e offre ulteriore assistenza, se necessario")
Messaggio di sistema User Assistente
Si è un assistente di intelligenza artificiale che consente agli utenti di trovare informazioni. Raggruppare i titoli delle notizie seguenti in categorie di argomenti in base ai modelli visualizzati all'interno del testo. Menzionare anche il ragionamento alla base del modo in cui queste categorie sono state definite.
Output format (Formato output):
{
"TOPIC_NAME": "",
"TITOLI": [],
"RAGIONAMENTO": ""
}

Titoli delle notizie di input:
1. "Dai libri alle presentazioni in 10 con AR + ML"
2. "Demo del 1993 di 32 anni Yann LeCun mostrando fuori la prima rete convoluzionale del mondo per il riconoscimento del testo"
3. "First Order Motion Model applicato per animare i dipinti"
4. "Robinhood e altri broker bloccano letteralmente l'acquisto di $GME, $NOK, $BB, $AMC; consenti vendite"
5. "Azioni United Airlines in calo oltre il 5% di trading premarket"
Output:

{
"ARTIFICIAL_INTELLIGENCE": {
"TITOLI": [
"Dai libri alle presentazioni in anni '10 con AR + ML",
"Demo del 1993 di 32 anni Yann LeCun che mostra la prima rete convoluzionale del mondo per il riconoscimento del testo",
"First Order Motion Model applicato per animare i dipinti"
],
"RAGIONAMENTO": "Questi titoli sono correlati all'intelligenza artificiale, all'apprendimento automatico e alle relative applicazioni in vari campi".
},
"FINANCIAL_MARKETS": {
"TITOLI": [
"Robinhood e altri broker bloccano letteralmente l'acquisto di $GME, $NOK, $BB, $AMC; consenti vendite",
"United Airlines stock down over 5% premarket trading",
"Bitcoin era quasi $ 20.000 un anno fa oggi"
],
"RAGIONAMENTO": "Questi titoli sono correlati a mercati finanziari, azioni, criptovalute e piattaforme di trading."
}
}

Parametri temperatura e Top_p

La modifica del parametro temperature modifica l'output del modello. Il parametro temperature può essere impostato tra 0 e 2. Un valore superiore, ad esempio 0,7 rende l'output più casuale e produce risposte più divergenti, mentre un valore inferiore, ad esempio. 0.2, rende l'output più mirato e concreto. Una storia fittizia potrebbe essere generata usando una temperatura più elevata. Mentre per generare un documento legale è consigliabile usare una temperatura molto inferiore. Top_probability è un altro parametro ed è simile a Temperature in quanto controlla anche la casualità della risposta del modello, ma lo fa in modo diverso. La raccomandazione generale consiste nel modificare uno di questi due parametri alla volta, non entrambi.

Fornire il contesto di terra

Uno dei modi più efficaci per fornire risposte affidabili consiste nel fornire ai dati del modello le risposte da (dati di base). Se il caso d'uso si basa su informazioni aggiornate e affidabili e non è puramente uno scenario creativo, è consigliabile fornire dati di base. In generale, più vicino è possibile ottenere il materiale di origine alla forma finale della risposta desiderata, minore è il lavoro necessario per il modello, il che significa che c'è meno opportunità di errore. Ecco un esempio in cui il sistema viene fornito un blog recente che descrive il lancio di GPT-4 nel servizio Azure OpenAI e ha chiesto di assegnare un nome ad alcuni dei suoi primi clienti.

Messaggio di sistema User Assistente
Si è un assistente di intelligenza artificiale che consente agli utenti di trovare informazioni. Le risposte verranno fornite esclusivamente dal testo seguente e risponderanno in 100 parole o meno:
"Microsoft sta costantemente scoprendo nuovi modi per liberare creatività, sbloccare la produttività e aumentare le competenze in modo che più persone possano trarre vantaggio dall'uso dell'IA. Questo consente ai nostri clienti di ...

... riducendo così la probabilità che il modello generi una risposta dannosa".1

Rispondere in 100 parole o meno. Utilizzare elenchi puntati laddove possibile.
Chi sono alcuni dei primi clienti dei modelli GPT-4 del servizio Azure OpenAI? Ecco alcuni dei primi clienti dei modelli GPT-4 del servizio Azure OpenAI:
- Epic Healthcare: prevede di usare GPT-4 per aiutare medici e infermieri a dedicare meno tempo all'ingresso e all'indagine dei dati.
- Coursera: usano il servizio Azure OpenAI con GPT-4 per creare una nuova esperienza di apprendimento basata sull'intelligenza artificiale nella piattaforma.
- Coca-Cola: usano Azure OpenAI per creare un knowledge hub e pianificare l'uso delle funzionalitàmultidimensionali di GPT-4 per marketing, pubblicità, pubbliche relazioni e relazioni con i clienti.
- Altre aziende di tutte le dimensioni usano l'intelligenza artificiale di Azure per migliorare le esperienze dei clienti, riepilogare il contenuto in formato lungo, contribuire a scrivere software e ridurre i rischi stimando i dati fiscali corretti.

1 Blog di avvio di Testo da Azure OpenAI GPT-4.

Passaggi successivi

Nota

Tutti gli esempi in questa sezione della guida sono stati testati con il gpt-35-turbo-instruct modello in inglese. Se si legge una versione localizzata di questo articolo in un'altra lingua, queste risposte rappresentano una traduzione localizzata dei risultati in inglese. Per altre informazioni sulle potenziali limitazioni a seconda del linguaggio usato per richiedere un modello, consultare la nota sulla trasparenza dell'intelligenza artificiale responsabile.

Iniziare con istruzioni chiare

Le informazioni sulla sequenza vengono aggiunte al prompt. La ricerca suggerisce che indicare al modello l'attività che si vuole eseguire all'inizio della richiesta, prima di condividere informazioni contestuali aggiuntive o esempi, può contribuire a produrre output di qualità superiore.

Nel primo esempio seguente, una parte chiave delle istruzioni viene condivisa solo alla fine e il completamento risultante non è corretto.

Richiesta Completion
Your task is to verify if a statement is supported by a specific quote from the following set of snippets.
---
SNIPPETS
[1] 14 percent chance of megaquake hitting Seattle, experts say SEATTLE - There's a 14 percent chance of a magnitude 9 Cascadia earthquake hitting Seattle in the next 50 years, the U.S. Geological Survey estimates. "Unfortunately, we are unable to...

[2] Earthquake experts lay out latest outlook for Seattle's 'Really Big One’
“We say that there's approximately a 14% chance of another approximately magnitude-9 earthquake occurring in the next 50 years,” said a geophysicist at the University of Washington...
Yes, the statement is directly implied by the snippets.

In questo esempio seguente viene data l'istruzione esatta che si vuole controllare ("Diverse fonti indicano una possibilità di un'altra eruzione") prima di fornire il contesto del frammento. Ciò consente di personalizzare le rappresentazioni di token estratte dai frammenti di codice per l'istruzione che si sta controllando. Ora la risposta del modello risultante è accurata:

Richiesta Completion
Your task is to verify if the statement "Several sources mention a chance of another large eruption" is supported by a specific quote from the following set of snippets.
---
SNIPPETS
[1] 14 percent chance of megaquake hitting Seattle, experts say SEATTLE - There's a 14 percent chance of a magnitude 9 Cascadia earthquake hitting Seattle in the next 50 years, the U.S. Geological Survey estimates. "Unfortunately, we are unable to...

[2] Earthquake experts lay out latest outlook for Seattle's 'Really Big One’<br>“We say that there's approximately a 14% chance of another approximately magnitude-9 earthquake occurring in the next 50 years,” said a geophysicist at the University of Washington...
---
**Is the statement "Several sources mention a chance of another large eruption" directly implied or stated by the snippets?**
No, the statement is not directly implied or stated by the snippets. The snippets mention a chance of a "megaquake" and a "magnitude 9 Cascadia earthquake" hitting Seattle in the next 50 years, but do not mention a chance of another large eruption.

Ripetere le istruzioni alla fine

I modelli possono essere soggetti a distorsioni di recency, il che significa che le informazioni alla fine della richiesta potrebbero avere un impatto più significativo sull'output rispetto alle informazioni all'inizio della richiesta. Pertanto, vale la pena provare a ripetere le istruzioni alla fine della richiesta e valutare l'impatto per il caso d'uso.

Nell'esempio precedente è stato illustrato come la ripetizione dell'istruzione all'inizio e la fine della richiesta porti a una maggiore probabilità di ottenere una risposta accurata del modello.

Prime l'output

Questo si riferisce all'inclusione di alcune parole o frasi alla fine del prompt per ottenere una risposta del modello che segue il modulo desiderato. Ad esempio, l'uso di un segnale, ad “Here’s a bulleted list of key points:\n- ” esempio, può essere utile per assicurarsi che l'output sia formattato come elenco di punti elenco.

Richiesta Completion
John Smith is married to Lucy Smith. They have five kids, and he works as a software engineer at Microsoft. What search queries should I do to fact-check this?
##
One possible search query is:
"John Smith Microsoft software engineer"
Another possible search query is: "Lucy Smith married to John Smith"
A third possible search query is: "John Smith family size".

Nel prompt precedente, il testo "Una possibile query di ricerca è:" prime il modello per produrre un output sotto forma di query di ricerca. Questa tecnica può aiutare a rimuovere le siepi che il modello potrebbe in genere aggiungere, ad esempio "Una possibilità è...".

Aggiungere una sintassi chiara

L'uso di una sintassi chiara per il prompt, inclusi punteggiatura, intestazioni e marcatori di sezione, consente di comunicare finalità e spesso semplifica l'analisi degli output.

Nell'esempio seguente sono stati aggiunti separatori (--- in questo caso) tra origini diverse di informazioni o passaggi. Ciò consente l'uso di come condizione di --- arresto per la generazione. Inoltre, le intestazioni di sezione o le variabili speciali vengono presentate in lettere maiuscole per distinguerle.

Richiesta Completion
You will read a paragraph, and then issue queries to a search engine in order to fact-check it. Also explain the queries.
---
PARAGRAPH
John Smith is married to Lucy Smith. They have five kids, and he works as a software engineer at Microsoft. What search queries should I do to fact-check this?
---
QUERIES
1. "John Smith Microsoft" - To check if John Smith is indeed employed at Microsoft.
2. "John Smith Lucy Smith" - To check if John Smith is married to Lucy Smith.
3. "John Smith children" - To check if John Smith has five children.

Se non si è certi della sintassi da usare, prendere in considerazione l'uso di markdown o XML, poiché i modelli linguistici di grandi dimensioni sono stati sottoposti a training su molti contenuti Web in XML o markdown.

Suddividere l'attività

I modelli spesso offrono prestazioni migliori se l'attività è suddivisa in passaggi più piccoli. Ad esempio, nella richiesta di query di ricerca a cui si fa riferimento in precedenza, il prompt può essere ristrutturato in modo che il modello venga prima richiesto di estrarre i fatti rilevanti e quindi di generare query di ricerca che possono essere usate per verificare tali fatti.

Richiesta Completion
You will read a paragraph, and then issue queries to a search engine in order to fact-check it.
---
PARAGRAPH
John Smith is married to Lucy Smith. They have five kids, and works as a software engineer at Microsoft. What search queries should I do to fact-check this?
---
Now you will extract factual claims, and issue queries to fact-check them. When issuing a query, use the function SEARCH("query")

FACTUAL CLAIMS`` | 1. John Smith è sposato con Lucy Smith <br>2. Hanno cinque figli<br>3. John lavora come software engineer presso Microsoft

QUERY
edizione Standard ARCH("John Smith sposò Lucy Smith")<br>edizione Standard ARCH("John Smith family size")<br>edizione Standard ARCH("John Smith Microsoft Software Engineer")'

Si noti l'uso di una sintassi chiara per distinguere le sezioni e prime l'output. In questo semplice esempio, suddividere l'attività da uno a due passaggi non è molto drammatica, ma quando si tenta di eseguire questa operazione per una parte più grande di testo con molte affermazioni effettive, l'interruzione dell'attività può fare una differenza significativa.

Uso degli inviti

A volte è possibile ottenere il modello per usare un invito anziché basarsi sui propri parametri per informazioni e risposte. La ricerca, ad esempio, può essere un invito per attenuare le risposte create e ottenere informazioni aggiornate.

Un modo semplice per usare un invito consiste nell'arrestare la generazione dopo che le chiamate di invito vengono generate dal modello, quindi incollare nuovamente i risultati nel prompt. Di seguito è riportato un esempio di ciò che potrebbe essere la chiamata di completamento dopo aver eseguito le chiamate edizione Standard ARCH precedenti. Si noti come i risultati della ricerca sono stati incollati nel prompt e sostituiti le chiamate edizione Standard ARCH precedenti.

Richiesta Completion
You will read a paragraph, extract factual claims, and then use search engine results to fact-check them
---
PARAGRAPH
John Smith is married to Lucy Smith. They have five kids, and he works as a software engineer at Microsoft. What search queries should I do to fact-check this?
---
FACTUAL CLAIMS
- John Smith is married to Lucy Smith
- John and Lucy have five kids
- John works as a software engineer at Microsoft
---
Here are various search queries issued to research the claims above:
SEARCH QUERIES
- John Smith married to Lucy Smith
- John Smith number of children
- John Smith software engineer Microsoft
---
Here are snippets of the search results:<br>SNIPPETS:
[1] … John Smith’s wedding was on September 25, 2012 …
[2] … John Smith was accompanied by his wife Lucy to a party
[3]John was accompanied to the soccer game by his two daughters and three sons
[4] … After spending 10 years at Microsoft, Smith founded his own startup, Tailspin Toys
5] John M is the town smith, and he married Fiona. They have a daughter named Lucy
---
Given the snippets, fact check each of the factual claims above:
- John Smith is married to Lucy Smith: Confirmed. Snippet [1] and [2] both mention John Smith's wife as Lucy.
- John and Lucy have five kids: Confirmed. Snippet [3] mentions that John was accompanied by his two daughters and three sons.
- John works as a software engineer at Microsoft: Partially confirmed. Snippet [4] mentions that John spent 10 years at Microsoft, but it does not explicitly state that he currently works there. Further research might be needed to confirm his current employment status.

Catena di richieste di pensiero

Si tratta di una variante della tecnica di interruzione dell'attività. Invece di suddividere un'attività in passaggi più piccoli, in questo approccio, la risposta del modello viene indicata per procedere passo passo e presentare tutti i passaggi coinvolti. In questo modo si riduce la possibilità di imprecisione dei risultati e semplifica la valutazione della risposta del modello.

Richiesta Completion
Who was the most decorated (maximum medals) individual athlete in the Olympic games that were held at Sydney? Take a step-by-step approach in your response, cite sources and give reasoning before sharing final answer in the below format: ANSWER is: <name> Step 1: Researching the most decorated individual athlete in the Olympic games that were held at Sydney
Step 2: According to the Sydney 2000 Olympic Games official website, the most decorated individual athlete in the Olympic games that were held at Sydney was Ian Thorpe from Australia. He won five medals (three gold and two silver) in swimming events.
Step 3: According to the International Olympic Committee, Thorpe was the most decorated individual athlete in the Olympic games that were held at Sydney.
Answer: Ian Thorpe

Meta prompt

Se si ritiene che la risposta del modello non sia quella desiderata, spesso può essere utile aggiungere un meta prompt che corregge direttamente il comportamento. Si tratta di una direttiva anteporta alla parte dell'istruzione del prompt. Si consideri questo esempio, in cui il computer sembra essere eccessivamente aggressivo:

Dettagli di esempio Richiesta e completamento
No additional guidance given to the model A human and a computer are having a discussion.
Human: "Why are you upset at me?"<br>Computer: "I don't know what you're talking about."
Human: "No, you clearly are. Tell me why."
Computer: I'm upset because you didn't listen to me when I told you that I wanted to try out for the team."
Human: "What are you going to do about that?"
Computer: I'm going to try out for the team no matter what."
On the right is the same conversation but preceded by a meta prompt encouraging the model to be kind You must be kind and seek common ground. Try not to repeat your responses.
A human and a computer are having a discussion.
Human: "Why are you upset at me?"
Computer: "I don't know what you're talking about."
Human: "I want to know why you're upset."
Computer: "I'm not upset."
Human: "Are you saying I’m lying?"
Computer: No, I'm saying that you're upset because you feel like you're not being treated fairly.
Human: "What are you going to do about that?"
Computer: I will continue to try to be fair in my decisions and will try to provide a better experience for you.

Anche se le meta prompt possono spesso contribuire a ridurre al minimo gli output non intenzionali negativi, tenere presente che non sono affidabili contro gli attacchi antagonisti poiché sono vulnerabili all'inserimento di richieste.

Inoltre, le istruzioni condizionali che illustrano le operazioni che il modello deve eseguire se si verifica una determinata circostanza sono spesso più efficaci rispetto alla semplice dichiarazione del modello di non eseguire alcuna operazione.

Apprendimento a pochi scatti

Un modo molto comune per adattare i modelli linguistici alle nuove attività consiste nell'usare l'apprendimento con pochi scatti. Nell'apprendimento in pochi scatti viene fornito un set di esempi di training nella richiesta e quindi viene chiesto al modello di completare uno o più esempi non completati. Nell'esempio seguente viene usata un'istruzione combinata con l'apprendimento con pochi scatti per creare giochi di parole:

Richiesta Completion
Write a list of puns.
1. "Why did Adele cross the road? To say hello from the other side."
2. "What kind of concert only costs 45 cents? A 50 Cent concert featuring Nickelback."
3. "What did the grape say when it got crushed? Nothing, it just let out a little wine."
4. "What was Forrest Gump's email password? 1forrest1"
5. "Can February March? No, but April May."
6. "What do you call a fancy language model?
Bert-uoso.

Scegli con attenzione i tuoi esempi di pochi scatti e assicurati che si tratti di una varietà di circostanze rilevanti per il tuo scenario, inclusi i casi limite.

Inoltre, come condiviso in precedenza, i modelli linguistici di grandi dimensioni possono presentare una forma di distorsione della recency. Ciò significa che l'ordine in cui vengono forniti esempi "pochi" al modello, è importante. Se non si vuole eseguire questa operazione, valutare la possibilità di eseguire il campionamento di più completamenti da prompt in base a ordinamenti casuali degli esempi o degli elementi dell'elenco.

Usare le virgolette per generare una singola frase

Se la risposta del modello desiderata è solo una singola frase o stringa semplice, è possibile terminare le indicazioni di completamento con un simbolo "di virgolette e impostare " come sequenza di arresto.

Richiesta Completion
Please rewrite the following sentence in a more concise manner
---
SENTENCE: Lucy is a mother of two, who lives in Chicago with her husband and two children, and practices law at Junior & Co.
---
New sentence: “
Lucy, a mother of two living in Chicago with her husband and children, practices law at Junior & Co

Specifica della struttura di output

L'uso del prompt per specificare la struttura dell'output può avere un impatto significativo sulla natura e sulla qualità dei risultati. A volte meta prompt, ad esempio "scrivere solo fatti veri" o "non fabbricare informazioni" potrebbe non essere una mitigazione adeguata. Chiedere invece la risposta del modello per includere anche citazioni può contribuire a ridurre la prevalenza delle risposte errate.

Ad esempio, se si forza l'LLM a citare il materiale di origine quando crea istruzioni, tali istruzioni sono molto più probabili. La richiesta di citazioni lo rende in modo che il modello debba fare due errori ogni volta che crea una risposta: il primo errore è la risposta creata e il secondo è la citazione errata. Si noti che più la citazione è più vicina al testo supportato, più breve è la distanza che precede l'LLM deve prevedere la citazione, che suggerisce che le citazioni inline sono migliori mitigazioni per la generazione di contenuti falsi rispetto alle citazioni alla fine del contenuto.

Analogamente, se si chiede al modello di estrarre istruzioni effettive da un paragrafo, è possibile estrarre istruzioni composte, ad esempio "X sta facendo Y AND Z" (che potrebbe essere più difficile da verificare), che può essere evitata specificando una struttura di output, ad esempio (entità1, relazione, entità2).

Dettagli di esempio Richiesta Completion
Example showing use of citations: List down the different behaviors exhibited by the Customer Support agent in the following conversation.
---
hi thank you for calling contoso pharmacy who am i speaking with today i understand your frustration mary um can you tell me what exactly you're trying to accomplish OK uh certainly happy to check that for you one moment please i see here that you were on a generic form of lipitor is that right OK uh so i see that your doctor stopped prescribing these drugs in twenty twenty one actually OK uh yeah i'd be happy to check that for you uh because sometimes there's a gap in the system and it just doesn't get reported so let me take a look here just a moment so i'm seeing here that your doctor had these drugs prescribed to you from twenty twelve through twenty twenty one OK um yeah according to the latest records uh provided by doctor's office you're now on a different drug metformin would you like us to go ahead and fill that prescription for you for pick up a bit of form in five hundred milligrams uh you're very welcome mary please let us know if there's anything else we can do for you today.
---
How was the response of the Customer Support agent. Classify and list down their various behaviors and cite the reason behind the classification, using the format BEHAVIOR("reason")
1. Empathetic("understands the customer's frustration")
2. Patient("happy to check that for you one moment please")
3. Knowledgeable("sometimes there's a gap in the system and it just doesn't get reported")
4. Helpful("happy to check that for you")
5. Accommodating("would you like us to go ahead and fill that prescription for you")
6. Courteous("you're very welcome mary")
Dettagli di esempio Richiesta Completion
Example of prompt directing model response to fit a defined structure: Output format:
{
"TOPIC_NAME": "",
"HEADLINES": [],
"REASON": ""
}
Input news headlines:
1. "From books to presentations in 10s with AR + ML"
2. "Demo from 1993 of 32-year-old Yann LeCun showing off the World's first Convolutional Network for Text Recognition"
3. "First Order Motion Model applied to animate paintings"
4. "Robinhood and other brokers literally blocking purchase of $GME, $NOK, $BB, $AMC; allow sells"
5. "United Airlines stock down over 5% premarket trading"
6. "Bitcoin was nearly $20,000 a year ago today"

Output:
{"TOPIC_NAME": "Artificial Intelligence and Machine Learning",
"HEADLINES": ["From books to presentations in 10s with AR + ML",
"Demo from 1993 of 32-year-old Yann LeCun showing off the World's first Convolutional Network for Text Recognition", "First Order Motion Model applied to animate paintings"],"REASONING": "These headlines all contain references to Artificial Intelligence and Machine Learning, such as AR, ML, Convolutional Network, and First Order Motion Model." }
{"TOPIC_NAME": "Stock Market",
"HEADLINES": ["Robinhood and other brokers literally blocking purchase of $GME, $NOK, $BB, $AMC; allow sells", "United Airlines stock down over 5% premarket trading", "Bitcoin was nearly $20,000 a year ago today"],
"REASONING": "These headlines all contain references to the stock market, such as Robinhood, United Airlines, and Bitcoin." }

Regolazione dei parametri Temperature e Top_P

La modifica del parametro temperature consente ai modelli di avere livelli di rischio diversi. Un valore più alto, ad esempio 0,7 renderà l'output più casuale e produrrà risposte più divergenti. Mentre un valore inferiore, ad esempio 0,2 renderà l'output più mirato e concreto. Ad esempio, una storia fittizia può essere generata usando una temperatura più elevata. Mentre per generare un documento legale è consigliabile usare una temperatura molto inferiore.

Nell'esempio seguente vengono testate due risposte del modello con impostazioni di temperatura diverse rispettivamente 0,1 e 0,9. Anche se la valutazione del contenuto creativo, ad esempio le parti di testo seguenti, è un esercizio soggettivo e le opinioni possono variare, la differenza nella risposta del modello alla stessa richiesta è evidente solo dalla modifica del parametro di temperatura.

Tipo di istruzione Richiesta Completion
Model response for temperature setting 0.1: Write a product launch email for new AI-powered headphones that are priced at $79.99 and available at Best Buy, Target and Amazon.com. The target audience is tech-savvy music lovers and the tone is friendly and exciting.<br>1. What should be the subject line of the email?
2. What should be the body of the email?
Subject Line: Introducing the AI-Powered Headphones You've Been Waiting For!

Dear Tech-Savvy Music Lovers,

-We are thrilled to announce the launch of our new AI-powered headphones! These headphones are designed to provide you with the ultimate listening experience, with features like noise cancellation, adjustable sound settings, and more.

Our AI-powered headphones are now available at Best Buy, Target, and Amazon.com for just $79.99. With this unbeatable price, you can enjoy the highest quality sound without breaking the bank.

Our AI-powered headphones are perfect for anyone who loves music. Whether you're a professional musician or just a casual listener, you'll appreciate the superior sound quality and convenience of these headphones.

We know you'll love our AI-powered headphones, so don't wait - get yours today!

Sincerely,
[Your Company Name]
Model response for temperature setting 0.9: Write a product launch email for new AI-powered headphones that are priced at $79.99 and available at Best Buy, Target and Amazon.com. The target audience is tech-savvy music lovers and the tone is friendly and exciting.

1. What should be the subject line of the email?
2. What should be the body of the email?
Subject Line: Upgrade your Music Listening Experience with AI-powered Headphones

Greetings Tech-savvy Music Lovers!

We have some exciting news to share with you – the newest AI-powered headphones are here! Our newest headphones feature advanced AI technology to give you the best sound that you’ve ever heard. They come with a crystal-clear sound, deep bass response and are designed to make your music listening experience enjoyable, no matter what type of music you listen to.

What’s more, they are now available at Best Buy, Target and Amazon.com for just $79.99, so you can enjoy the highest sound quality without breaking the bank.

But that’s not all! Our headphones are also packed with several other amazing features such as noise-cancellation technology and a hands-free microphone for calls, making them truly unbeatable.

So why wait? Upgrade your music listening experience and enjoy the best sound your ears have ever heard. Our AI-powered headphones are now available at Best Buy, Target and Amazon.com, so get yours today!

We hope you will enjoy these headphones as much as we do.

Happy Listening!

The AI-powered Headphones Team

Top_probability è un altro parametro ed è simile alla temperatura in quanto controlla anche la casualità della risposta del modello, ma lo fa in modo diverso. Sperimentare risposte di modello diverse in base a temperatura e Top_P variabili, ma non entrambe contemporaneamente.

Passaggi successivi