Técnicas de engenharia de prompt

Os modelos GPT-3, GPT-3.5, GPT-4 e GPT-4o do OpenAI são baseados em prompt. Com modelos baseados em prompt, o usuário interage com o modelo inserindo um prompt de texto, ao qual o modelo responde com um preenchimento de texto. Esse preenchimento é a continuação do texto de entrada do modelo.

Embora esses modelos sejam extremamente poderosos, seu comportamento também é muito sensível ao prompt. Isso torna a construção de prompt uma habilidade importante para desenvolver.

A criação de prompt pode ser complexa. Na prática, o prompt atua para configurar os pesos do modelo para concluir a tarefa desejada. É mais uma arte do que uma ciência, muitas vezes exigindo experiência e intuição para criar um prompt bem-sucedido. O objetivo deste artigo é ajudar você a começar esse processo de aprendizagem. Ele tenta captar conceitos e padrões gerais que se aplicam a todos os modelos GPT. No entanto, é importante entender que cada modelo se comporta de forma diferente. Portanto, os aprendizados podem não se aplicar da mesma forma a todos os modelos.

Noções básicas

Essa seção aborda os conceitos e os elementos básicos dos prompts GPT.

Os prompts de texto são como os usuários interagem com modelos GPT. Assim como acontece com todos os modelos de linguagem generativa, os modelos GPT tentam produzir a série seguinte de palavras que provavelmente seguirá do texto anterior. É como se estivéssemos dizendo Qual é a primeira coisa que vem à sua mente quando eu digo <prompt>? Os exemplos abaixo demonstram esse comportamento. Com base nas primeiras palavras de conteúdo conhecido, o modelo é capaz de continuar o texto com precisão.

Prompt	Completion
Há 87 anos, nossos	antepassados criaram, neste continente, uma nova nação, concebida em Liberdade e dedicada à proposta de que todos os homens são iguais. […]
“Pode me chamar de Ismael.”	"Há alguns anos, não importa exatamente quanto tempo, tendo pouco ou nenhum dinheiro na minha bolsa e nenhum interesse específico em terra, pensei em navegar um pouco e ver a parte líquida do mundo." [...]

À medida que você desenvolve prompts mais complexos, é útil ter em mente esse comportamento essencial. Independentemente do prompt fornecido, o modelo está simplesmente respondendo com o que ele determina que é mais provável (considerando seus dados e objetivos de treinamento). Se você fizer uma pergunta em seu prompt, o modelo não está seguindo um caminho de código "Q&A" separado, mas parece responder à pergunta porque uma resposta é o tipo mais provável de resposta para a pergunta fornecida como entrada.

Componentes do prompt

Ao usar a API de Preenchimento, embora não haja nenhuma distinção entre diferentes partes do prompt, ainda pode ser útil para o aprendizado e a discussão identificar componentes subjacentes do prompt. Com a API de Preenchimento do Chat, há seções distintas do prompt que são enviadas para a API na forma de uma matriz de dicionários com funções associadas: sistema, usuário e assistente. Essas diretrizes se concentram de forma mais geral em como pensar na criação de prompts em vez de fornecer diretrizes prescritivas específicas para uma API em vez de outra.

Também é importante entender que, embora possa haver outras maneiras válidas de analisar os prompts, o objetivo desse detalhamento é oferecer uma forma relativamente simples de pensar sobre a criação de prompts. Com a API de Preenchimento, todos os componentes são opcionais, mas pelo menos um deve estar presente e a maioria dos prompts inclui mais de um componente. Também pode haver uma área indefinida entre os componentes. A ordem apresentada abaixo corresponde aproximadamente à frequência com que cada componente é usado, de mais para menos.

Instruções

As instruções provavelmente são o componente de prompt mais usado. As instruções são simplesmente: instruções para o modelo sobre o que fazer. Embora simples no conceito, eles podem ser complexos na prática. A tabela a seguir ilustra isso com instruções simples e mais complexas, em duas formas diferentes.

Tipo de instrução	Prompt	Completion
Instruções simples	Escreva uma introdução para um boletim informativo semanal.	Bem-vindos ao nosso boletim semanal. Nesta semana, vamos focar em produtividade. Compartilharemos dicas e truques de produtividade para todas as áreas da sua vida. Esperamos que você goste e compartilhe com seus amigos!
Instruções complexas	Escrever uma introdução para um boletim informativo semanal para minha empresa chamado Contoso. Deve mencionar a reunião ótima que tivemos com todos na semana passada e agradecer à equipe por todo o seu trabalho árduo nos últimos meses que foram difíceis.	Bem-vindos ao boletim semanal da Contoso! Tivemos uma ótima reunião com todos na semana passada e quero agradecer à equipe por todo o seu trabalho árduo nos últimos meses que foram difíceis. Estamos ansiosos por um futuro brilhante e estou confiante de que, com a dedicação e o compromisso da nossa equipe, alcançaremos grandes feitos. Agradeço por fazer parte da nossa equipe e espero trabalhar com todos vocês nas próximas semanas e meses. Atenciosamente, [Seu nome]
Instruções Complexas	Escreva uma introdução para um boletim informativo semanal, incluindo o seguinte: - Minha empresa se chama Contoso - Uma saudação enérgica - Agradecimento à equipe pelo trabalho árduo durante meses difíceis - Perspectiva positiva para o próximo trimestre - Assinado pelo SLT	Olá, equipe da Contoso! Eu quero agradecer vocês pelo ótimo trabalho nos últimos meses. Foram dois meses difíceis, mas todos vocês uniram esforços e fizeram um trabalho incrível. Tenho orgulho de todos vocês. Estou muito confiante quanto ao próximo trimestre. Acho que vamos realizar grandes feitos. Agradecemos novamente, a Equipe de Liderança Sênior.

Conteúdo principal

O conteúdo principal refere-se a algum tipo de texto que é processado ou transformado pelo modelo. O conteúdo principal geralmente é usado em conjunto com instruções. Um exemplo simples seria a tradução de idioma. No exemplo a seguir, o texto em inglês seria considerado o conteúdo principal, enquanto que "Traduzir para o francês:" é uma instrução.

Prompt	Completion
Como chegar ao museu? Traduzir para o francês:	Pouvez-vous s'il vous plaît me dire comment aller au musée?

O conteúdo primário também pode ser mais longo. No exemplo a seguir, o conteúdo principal é a seção de introdução da entrada da Wikipédia sobre complexidade de tempo, que tem quase 300 palavras. Este conteúdo foi abreviado em nossa tabela para facilitar a exibição.

Prompt	Completion
Na ciência da computação, a complexidade de tempo é a complexidade computacional que descreve a quantidade de tempo do computador necessário para executar um algoritmo. A complexidade de tempo é normalmente estimada por [...] Resuma o texto anterior em algumas frases:	A complexidade de tempo é uma medida de quanto tempo um algoritmo leva para ser executado. Normalmente, ela é demonstrada como uma função do tamanho da entrada. A medida mais comum é a complexidade de tempo no pior cenário, que é a quantidade máxima de tempo necessária para entradas de um determinado tamanho.
Na ciência da computação, a complexidade de tempo é a complexidade computacional que descreve a quantidade de tempo do computador necessário para executar um algoritmo. A complexidade de tempo é normalmente estimada por [...] TL;DR (Muito longo, não lido)	A complexidade de tempo de um algoritmo é o tempo necessário para executar um algoritmo. A complexidade de tempo geralmente é estimada contando o número de operações básicas executadas pelo algoritmo, supondo que cada operação básica leve uma quantidade fixa de tempo para ser executada. A complexidade de tempo geralmente é expressa como uma função do tamanho da entrada.

Os modelos GPT também podem lidar com o conteúdo principal que é estruturado. No exemplo a seguir, um TSV sobre cervejas na Bélgica (abreviado para exibição neste artigo) é transmitido para o modelo como parte do prompt. Ele é capaz de interpretar o conteúdo e responder a perguntas sobre os dados corretamente.

Prompt	Completion
Belgian Beer Brands Beer name Beer style color ABV Brewery "Chimay Gold: ""Doree""" trappist pale ale gold 4.80% Chimay Brewery (official trappist) "Chimay Blue: ""Grande Reserve""" trappist dark ale dark 9.00% […] Fazendo referência à tabela acima, quantas cervejas têm o ABV menor que 6%?	Há 10 cervejas na tabela com o ABV menor que 6%.

Exemplos

Os prompts bem-sucedidos geralmente dependem da prática de aprendizado de "única tentativa" ou "poucas tentativas". Isso se refere à inclusão de um ou mais exemplos do comportamento desejado do modelo, normalmente incluindo pares de entrada e saída. Isso não é aprender no sentido de que o modelo é permanentemente alterado, mas sim que os exemplos condicionem melhor o modelo para responder conforme desejado apenas para a inferência atual. Às vezes, o uso de prompts sem exemplos é chamado de aprendizado "sem tentativa". Observe que, com a API de Preenchimento de Chat, alguns exemplos de aprendizado são normalmente adicionados à matriz de mensagens na forma de interações de usuário/assistente de exemplo após a mensagem inicial do sistema.

Tipo de aprendizado	Prompt	Completion
Zero-shot	Título: o técnico está confiante de que lesão não vai atrapalhar o Warriors Tópico:	O técnico está confiante de que a lesão não vai atrapalhar a temporada do Warriors. O time ainda está focado em seus objetivos e continuará trabalhando duro para alcançá-los.
Few-shot	Título: Correa, do Twins, usará a cláusula de autoexclusão e testará agência independente Tópico: beisebol Título: Copa do Mundo do Catar terá áreas para torcedores ficarem sóbrios Tópico: futebol Título: Yates: informação para a 6ª semana de Fantasy Football Tópico: futebol americano Título: o técnico está confiante de que lesão não vai atrapalhar o Warriors Tópico:	Basquete

O exemplo acima ilustra a utilidade do aprendizado com poucas tentativas. Sem os exemplos, o modelo parece estar adivinhando o comportamento desejado, enquanto os exemplos demonstram ao modelo como funcionar corretamente. Isso também demonstra o poder do modelo. Ele pode inferir a categoria de etiqueta desejada, mesmo sem uma etiqueta de "basquete" nos exemplos.

Indicação

As sugestões atuam como o "estímulo" para a saída do modelo, ajudando a direcionar o modelo para a saída desejada. Geralmente, é um prefixo no qual o modelo pode ser criado. No exemplo abaixo, mostramos a sugestão direcionando a história para incluir elementos-chave. As sugestões geralmente são usadas junto com instruções, mas nem sempre. Nos exemplos abaixo, o modelo está sendo usado para resumir um email de declaração longa. Uma sugestão é usada em um caso para ajudar a concentrar a saída do modelo e sugerir um formato de saída específico (pontos de marcador) no outro.

No contexto das instruções da API de Preenchimento de Chat, siga a forma da mensagem do sistema e os exemplos de poucas tentativas são indicados fornecendo uma série de interações de usuário/assistente de exemplo para ajudar na preparação do modelo.

Quantidade de sugestões	Prompt	Completion
0	As análises de desempenho são um componente fundamental da nossa abordagem de Desenvolvimento e Desempenho na Contoso. […] Resuma a mensagem de email acima:	A finalidade deste email é informar os funcionários sobre alterações recentes na experiência de análise de desempenho, que faz parte da abordagem de Desenvolvimento e Desempenho da Contoso. As alterações incluem uma estrutura aperfeiçoada, experiência atualizada do usuário na ferramenta e prompts centrados. Além disso, agora há uma seção opcional de Iniciadores de Conversa para os funcionários sinalizarem tópicos que gostariam de discutir com seus gerentes.
1	As análises de desempenho são um componente fundamental da nossa abordagem de Desenvolvimento e Desempenho na Contoso. […] Resuma a mensagem de email acima: A principal vantagem da mensagem é	que a Contoso está melhorando a experiência de análise de desempenho, tornando-a mais focada em prioridades, expectativas e nos impacto principais. Além disso, estão atualizando a experiência do usuário na ferramenta com dicas, recursos e diretrizes. Por fim, estão adicionando diretrizes sobre como ativar as principais prioridades em toda a empresa.
2	As análises de desempenho são um componente fundamental da nossa abordagem de Desenvolvimento e Desempenho na Contoso. […] Resuma a mensagem de email acima: Pontos principais: •	A Contoso está introduzindo alterações na experiência de análise de desempenho, com base em comentários dos funcionários. • As alterações incluem um novo foco em prioridades, expectativas e impacto principais; uma experiência de usuário atualizada; e novas diretrizes sobre as principais prioridades em toda a empresa. • As análises de desempenho são um momento para refletir sobre o desempenho e o aprendizado passados, bem como planejar prioridades futuras e oportunidades de crescimento. • Funcionários e gerentes devem escrever comentários antes da reunião de análise de desempenho. • Deve haver pelo menos duas análises de desempenho por ano. • O tempo de investimento para cada análise deve permanecer quase o mesmo.

Conteúdo de suporte

Conteúdo de apoio são informações que o modelo pode utilizar para influenciar a saída de alguma forma. Ele difere do conteúdo principal, pois não é o principal objetivo da tarefa, mas geralmente é usado junto com o conteúdo principal. Exemplos comuns incluem informações contextuais, como a data atual, o nome do usuário, as preferências do usuário e assim por diante. O exemplo a seguir usa o conteúdo de apoio para ajudar a organizar um conjunto de workshops planejados para o usuário. Sem o apoio (tópicos importantes), o modelo simplesmente lista os workshops (truncados para exibição). Quando informado dos meus tópicos importantes, o modelo é capaz de agrupar as reuniões com precisão.

Conteúdo de suporte	Prompt	Completion
Sem	Lista do workshop: Descrição do título Início do planejamento do workshop – junte-se a nós para iniciar nosso workshop! Ouça nossos líderes discutirem sobre prioridades entre grupos e aprendizados para o próximo ano. O convite para esse evento já foi enviado para todos em [...] Resuma os workshops acima, agrupados por tópico:	Lista do workshop: Início do planejamento do workshop - Encerramento do planejamento do workshop - MeetUp principal - Perspectivas do cliente - Áreas de impacto e foco principal - Melhores práticas - Acelerar a adoção do aplicativo [...]
With	Lista do workshop: Descrição do título Início do planejamento do workshop – junte-se a nós para iniciar nosso workshop! Ouça nossos líderes discutirem sobre prioridades entre grupos e aprendizados para o próximo ano. O convite para esse evento já foi enviado para todos em [...] Meus tópicos importantes: engenharia de prompt, pesquisa e modelos GPT Resuma os workshops acima, agrupados pelos tópicos importantes:	1. Engenharia de prompt: - Novas dicas de engenharia de prompt - A arte da engenharia de prompt 2. Pesquisa: - Introdução à pesquisa de vetor com incorporação 3. Modelos GPT: - Introdução ao GPT-4 - GPT-35-Turbo em profundidade.

Diretrizes específicas do cenário

Embora os princípios da engenharia de prompt possam ser generalizados para muitos tipos diferentes de modelos, certos modelos esperam uma estrutura de prompt especializada. Para modelos de GPT da OpenAI do Azure, atualmente há duas APIs distintas em que a engenharia de prompt entra em jogo:

• API de Conclusão de Chat.
• API de Conclusão.

Cada API requer que os dados de entrada sejam formatados de forma diferente, o que, por sua vez, afeta o design geral do prompt. A API de Conclusão de Chat tem suporte para os modelos GPT-35-Turbo e GPT-4. Esses modelos são projetados para receber uma entrada formatada em uma transcrição específica de chat armazenada dentro de uma matriz de dicionários.

A API de Conclusão dá suporte aos modelos GPT-3 mais antigos e tem requisitos de entrada muito mais flexíveis, pois usa uma cadeia de caracteres de texto sem regras de formato específicas.

As técnicas nesta seção ensinarão estratégias para aumentar a precisão e o aterramento das respostas geradas com um LLM (Modelo de Linguagem Grande). No entanto, é importante lembrar que, mesmo ao usar a engenharia de prompt efetivamente, você ainda precisa validar as respostas geradas pelos modelos. Só porque um prompt cuidadosamente elaborado funcionou bem para um cenário específico, não significa necessariamente que ele será generalizado de forma mais ampla para certos casos de uso. Entender as limitações das LLMs é tão importante quanto entender como aproveitar seus pontos fortes.

APIs de conclusão de Chat

Este guia não se aprofunda na mecânica por trás da estrutura de mensagens para Conclusão de Chat. Se você não estiver familiarizado com a interação com modelos de Conclusão de Chat programaticamente, recomendamos ler nosso guia de instruções sobre a API de Conclusão de Chat primeiro.

Observação

Todos os exemplos nesta seção do guia foram testados em um modelo base do GPT-4 em inglês. Se você estiver lendo uma versão localizada deste artigo em outro idioma, essas respostas representam uma tradução localizada dos resultados em inglês. Para saber mais sobre as possíveis limitações dependendo do idioma que você está usando para solicitar um modelo, consulte nossa Nota de transparência de IA responsável.

Few-shot learning

Uma maneira comum de adaptar modelos de linguagem a novas tarefas é usar o few-shot learning. No few-shot learning, um conjunto de exemplos de treinamento é fornecido como parte do prompt para dar contexto adicional ao modelo.

Ao usar a API de Conclusões de Chat, uma série de mensagens entre o usuário e o assistente (escritas no novo formato de prompt) pode servir como exemplos para o few-shot learning. Esses exemplos podem ser usados para preparar o modelo para responder de uma determinada maneira, emular comportamentos específicos e fornecer respostas a perguntas comuns.

Mensagem do sistema

Exemplos de few-shot learning

O assistente é um chatbot inteligente projetado para ajudar os usuários a responder suas perguntas relacionadas a impostos. Instruções - Responda apenas a perguntas relacionadas a impostos. - Se você não tiver certeza de uma resposta, poderá dizer "não sei" ou "não tenho certeza" e recomendar que os usuários acessem o site do IRS para obter mais informações.

Usuário: "Quando preciso declarar meus impostos?" Assistente – "Em 2023, você precisará declarar seus impostos até 18 de abril. A data cai após o prazo habitual de 15 de abril porque esse dia cai em um sábado em 2023. Para obter mais informações, confira https://www.irs.gov/filing/individuals/when-to-file " Usuário: "Como posso ver o status do meu reembolso de imposto?" Assistente - "Você pode verificar o status do seu reembolso de imposto visitando https://www.irs.gov/refunds "

A tabela acima descreve a estrutura básica do prompt, mas para obter uma explicação detalhada do formato exato do prompt, você precisará consultar o Guia de Conclusão do Chat.

Cenários que não são de chat

Embora a API de Conclusão de Chat seja otimizada para trabalhar com conversas de vários turnos, ela também pode ser usada para cenários que não são de chat. Por exemplo, para um cenário de extração de sentimento, você pode usar o seguinte prompt:

Mensagem do sistema	Usuário	Assistente
Você é um assistente projetado para analisar o sentimento dos dados de fala. Os usuários colarão uma cadeia de caracteres de texto e você responderá com uma avaliação da resposta do orador. Taxa em uma escala de 1 a 10 (10 sendo a mais alta). Explique por que essa classificação foi dada.	olá obrigado por ligar para a farmácia contoso com quem eu estou falando hoje entendo sua frustração maria você pode me dizer o que exatamente está tentando fazer OK com certeza fico feliz em verificar isso para você aguarde um momento vejo aqui que você estava tomando uma forma genérica de lipitor é isso mesmo OK vejo que seu médico parou de prescrever esses medicamentos em 2021 na verdade OK sim ficarei feliz em verificar isso para você porque às vezes há uma lacuna no sistema e simplesmente isso não é reportado então deixe-me dar uma olhada aqui só um momento então estou vendo aqui que seu médico prescreveu esses medicamentos para você de 2012 a 2021 OK sim de acordo com os registros mais recentes fornecidos pelo consultório médico agora você está tomando um medicamento diferente metformina gostaria que prescrevêssemos a receita para você e você possa retirar o metformina 500mg de nada maria nos avise se há mais alguma coisa que possamos fazer por você hoje.	Classificação de sentimento: 8 O locutor neste texto parece ser educado, útil e paciente ao abordar as preocupações do cliente. Ele dedica tempo para verificar as informações, fornecer explicações claras e oferecer assistência. No entanto, a classificação não é 10 porque ainda há um indício de incerteza em algumas partes da conversa, o que pode não transmitir total confiança ao cliente.

Começar com instruções claras

As informações da sequência são exibidas no prompt. Isso ocorre porque os modelos de estilo GPT são criados de uma certa maneira que define como processam a entrada. Nossa pesquisa sugere que informar ao modelo a tarefa que você deseja que ele faça no início da prompt, antes de compartilhar informações ou exemplos contextuais adicionais, pode ajudar a produzir saídas de alta qualidade.

Observação

Embora seguir essa técnica ainda seja geralmente recomendado, ao contrário das versões anteriores do modelo (GPT-3 e anteriores), nossos testes mostraram que a resposta do modelo com os modelos ChatGPT e GPT-4 foi a mesma, independentemente de usar ou não a técnica. No caso do exemplo abaixo, vemos que adicionar a instrução "Várias fontes ... erupção" no início ou no final do prompt não causou nenhuma alteração na resposta do modelo final.

Mensagem do sistema	Usuário	Assistente
Você é um assistente de IA que ajuda as pessoas a encontrar informações.	Sua tarefa é verificar se a instrução "Várias fontes mencionam a possibilidade de outra grande erupção" é apoiada por uma citação específica do seguinte conjunto de snippets. --- SNIPPETS [1] 14% de chance de um megaterremoto atingir Seattle, dizem especialistas SEATTLE - Há uma chance de 14% de um terremoto de magnitude 9 em Cascadia atingir Seattle nos próximos 50 anos, segundo estimativas do Serviço Geológico dos Estados Unidos. "Infelizmente, não podemos... [2] Especialistas em terremotos expõem as últimas perspectivas para o “Really Big One” de Seattle "Dizemos que há aproximadamente uma chance de 14% de ocorrer outro terremoto de magnitude 9 nos próximos 50 anos", disse um geofísico da Universidade de Washington... --- A instrução "Várias fontes mencionam a possibilidade de outra grande erupção" está diretamente implícita ou declarada pelos snippets?	Não, a instrução não está diretamente implícita ou declarada pelos snippets. Os snippets mencionam a chance de um "megaterremoto" e um "terremoto de magnitude 9 tipo Cascadia" atingir Seattle nos próximos 50 anos, mas não mencionam uma chance de haver outra grande erupção vulcânica.

Repita as instruções no final

Os modelos podem ser suscetíveis ao desvio de relevância, o que nesse contexto significa que as informações no final do prompt podem ter influência mais significativa sobre a saída do que as informações no início do prompt. Portanto, vale a pena experimentar repetir as instruções no final do prompt e avaliar o impacto na resposta gerada.

Preparar a saída

Isso se refere à inclusão de algumas palavras ou frases no final do prompt para obter uma resposta de modelo que segue o formulário desejado. Por exemplo, usar uma indicação como “Here’s a bulleted list of key points:\n- ” pode ajudar a garantir que a saída seja formatada como uma lista de pontos de marcador.

Mensagem do sistema	Usuário	Assistente
Você é um assistente de IA que ajuda as pessoas a encontrar informações. Responda com o menor número possível de palavras.	John Smith é casado com Lucy Smith. Eles têm cinco filhos, e ele trabalha como engenheiro de software na Microsoft. Quais consultas de pesquisa devo fazer para verificar isso? ## Uma possível consulta de pesquisa é:	"John Smith casado com Lucy Smith cinco filhos engenheiro de software da Microsoft"

No prompt acima, o texto Uma possível consulta de pesquisa é: prepara o modelo para produzir uma única saída. Sem essa indicação, o modelo produz várias consultas de pesquisa como saída.

Adicionar sintaxe clara

O uso de sintaxe clara para seu prompt, incluindo pontuação, títulos e marcadores de seção, ajuda a comunicar a intenção e, muitas vezes, facilita a análise de saídas.

No exemplo abaixo, separadores (--- neste caso) foram adicionados entre diferentes fontes de informações ou etapas. Isso permite o uso de como uma condição de --- como condição de parada para geração. Além disso, títulos de seção ou variáveis especiais são apresentados em maiúsculas para diferenciá-los.

Mensagem do sistema	Usuário	Assistente
Você é um assistente de IA que ajuda as pessoas a encontrar informações.	Você lerá um parágrafo e emitirá consultas a um mecanismo de pesquisa para verificar os fatos. Explique também as consultas. --- PARÁGRAFO John Smith é casado com Lucy Smith. Eles têm cinco filhos, e ele trabalha como engenheiro de software na Microsoft. Quais consultas de pesquisa devo fazer para verificar isso? --- CONSULTAS	1. "John Smith Microsoft": para verificar se John Smith está de fato empregado na Microsoft. 2. "John Smith Lucy Smith": para verificar se John Smith é casado com Lucy Smith. 3. "Filhos John Smith": para verificar se John Smith tem cinco filhos.

Se você não tiver certeza de qual sintaxe usar, considere usar Markdown ou XML. Os modelos foram treinados em uma grande quantidade de conteúdo da Web em XML e Markdown, o que pode fornecer melhores resultados.

Dividir a tarefa

Os LLMs (modelos de linguagem grande) geralmente têm um desempenho melhor se a tarefa for dividida em etapas menores. Por exemplo, no prompt de consulta de pesquisa mencionada anteriormente, o prompt pode ser reestruturado para que o modelo primeiro seja instruído a extrair fatos relevantes e, em seguida, instruído a gerar consultas de pesquisa que possam ser usadas para verificar esses fatos.

Mensagem do sistema	Usuário	Assistente
Você é um assistente de IA que ajuda as pessoas a encontrar informações.	Você lerá um parágrafo e emitirá consultas a um mecanismo de pesquisa para verificar os fatos. --- PARÁGRAFO John Smith é casado com Lucy Smith. Eles têm cinco filhos, e ele trabalha como engenheiro de software na Microsoft. Quais consultas de pesquisa devo fazer para verificar isso? --- Agora você extrairá declarações factuais e emitirá consultas para verificá-las. Ao emitir uma consulta, use a função PESQUISAR("consulta") DECLARAÇÕES FATUAIS	1. John Smith é casado com Lucy Smith 2. Eles têm cinco filhos 3. Ele trabalha como engenheiro de software na Microsoft CONSULTAS PESQUISAR("John Smith casado com Lucy Smith") PESQUISAR("Tamanho da família de John Smith") PESQUISAR("John Smith engenheiro de software da Microsoft")

Observe o uso de sintaxe clara para diferenciar as seções e preparar a saída. Neste exemplo simples, dividir uma tarefa de uma etapa em duas etapas não causa grande impacto, mas em um texto maior com muitas declarações factuais, dividir a tarefa pode fazer uma diferença significativa.

Uso de funcionalidades

Às vezes, podemos fazer com que o modelo use uma funcionalidade em vez de depender de seus próprios parâmetros para obter informações e respostas. A pesquisa, por exemplo, pode ser uma funcionalidade para ajudar a atenuar respostas inventadas e obter informações atualizadas.

Uma maneira simples de usar uma funcionalidade é interromper a geração depois que as chamadas de funcionalidade forem geradas pelo modelo e, em seguida, colar os resultados de volta no prompt. Veja abaixo um exemplo do que pode ser a chamada de acompanhamento depois de fazer as chamadas PESQUISAR acima. Observe como colamos os resultados da pesquisa no prompt e substituímos as chamadas PESQUISAR anteriores.

Mensagem do sistema	Usuário	Assistente
Você é um assistente de IA que ajuda as pessoas a encontrar informações.	Você lerá um parágrafo, extrairá declarações factuais e, em seguida, usará os resultados do mecanismo de pesquisa para verificar os fatos --- PARÁGRAFO John Smith é casado com Lucy Smith. Eles têm cinco filhos, e ele trabalha como engenheiro de software na Microsoft. Quais consultas de pesquisa devo fazer para verificar isso? --- DECLARAÇÕES FATUAIS - John Smith é casado com Lucy Smith - John e Lucy têm cinco filhos - John trabalha como engenheiro de software na Microsoft --- Aqui estão várias consultas de pesquisa emitidas para pesquisar as declarações acima: CONSULTAS DE PESQUISA - John Smith casado com Lucy Smith - Número de filhos de John Smith - John Smith engenheiro de software da Microsoft --- Aqui estão os snippets dos resultados da pesquisa: SNIPPETS: [1] … O casamento de John Smith foi em 25 de setembro de 2012… [2] … John Smith foi ao baile acompanhado por sua esposa Lucy [3] John foi acompanhado ao jogo de futebol por suas duas filhas e três filhos [4] … Depois de passar 10 anos na Microsoft, Lima fundou sua própria startup, Tailspin Toys [5] John M é o ferreiro da cidade, e ele se casou com Fiona. Eles têm uma filha chamada Lucy --- Dado os snippets, verifique cada uma das declarações fatuais acima:	- John Smith é casado com Lucy Smith: confirmado. Snippet [1] e [2] ambos mencionam que Lucy é a esposa de John Smith. - John e Lucy têm cinco filhos: confirmado. Snippet [3] menciona que John estava acompanhado de suas duas filhas e três filhos. - John trabalha como engenheiro de software na Microsoft: parcialmente confirmado. O Snippet [4] menciona que John passou 10 anos na Microsoft, mas não afirma explicitamente que ele trabalha lá. Mais pesquisas podem ser necessárias para confirmar o seu status atual de emprego.

Solicitação de cadeia de pensamento

Esta é uma variação da técnica de dividir a tarefa. Em vez de dividir uma tarefa em etapas menores, nessa abordagem, a resposta do modelo é instruída a prosseguir passo a passo e apresentar todas as etapas envolvidas. Isso reduz a possibilidade de imprecisão dos resultados e facilita a avaliação da resposta do modelo.

Mensagem do sistema	Usuário	Assistente
Você é um assistente de IA que ajuda as pessoas a encontrar informações.	Quem foi o atleta individual mais condecorado (com o máximo de medalhas) nos Jogos Olímpicos realizados em Sydney? Adote uma abordagem passo a passo em sua resposta, cite fontes e forneça justificativas antes de compartilhar a resposta final no formato abaixo: A RESPOSTA é: <name>	Etapa 1: determinar o ano dos Jogos Olímpicos de Sydney. Os Jogos Olímpicos de Sydney foram realizados no ano 2000. Etapa 2: encontrar uma lista de atletas individuais que ganharam várias medalhas nos Jogos Olímpicos de Sydney de 2000. De acordo com o site oficial dos Jogos Olímpicos, houve vários atletas individuais que ganharam várias medalhas nos Jogos Olímpicos de Sydney de 2000. Alguns dos nomes notáveis incluem: • Ian Thorpe (Austrália) - 3 ouro, 2 pratas, 0 bronze • Pieter van den Hoogenband (Países Baixos) - 2 ouro, 0 prata, 2 bronzes • Lenny Krayzelburg (EUA) - 3 ouro, 0 prata, 0 bronze • Inge de Bruijn (Países Baixos) - 3 ouro, 1 prata, 0 bronze Etapa 3: determinar o atleta com mais medalhas. Depois de revisar a lista de atletas individuais que ganharam várias medalhas nos Jogos Olímpicos de Sydney de 2000, podemos ver que o atleta com mais medalhas é Ian Thorpe, da Austrália, que ganhou um total de 5 medalhas (3 de ouro e 2 de prata). Portanto, a RESPOSTA é: Ian Thorpe.

Especificar a estrutura de saída

Usar o seu prompt para especificar a estrutura da saída pode ter um efeito significativo sobre a natureza e a qualidade dos resultados. Às vezes, entradas de mensagem do sistema como "escrever apenas fatos verdadeiros" ou "não fabricar informações" podem não ser mitigações adequadas. Em vez disso, solicitar que a resposta do modelo inclua citações também pode ajudar a reduzir a prevalência de respostas incorretas.

Se você instruir o modelo a citar o material de origem quando ele faz instruções, essas instruções têm muito mais probabilidade de serem fundamentadas. A solicitação de citações faz com que o modelo cometa dois erros cada vez que gera uma resposta: o primeiro erro é a resposta inventada e o segundo é a citação incorreta. Observe que quanto mais próxima a citação estiver do texto compatível, menor será a distância que o modelo precisa antecipar a citação, o que sugere que as citações embutidas no texto são mitigações melhores para a geração de conteúdo falso do que as citações no final do conteúdo.

Da mesma forma, se você pedir ao modelo para extrair instruções factuais de um parágrafo, ele poderá extrair instruções compostas, como "X está fazendo Y E Z" (o que pode ser mais difícil de verificar). Isso pode ser evitado especificando uma estrutura de saída como (entidade1, relação, entidade2).

Os exemplos abaixo mostram o uso de citações e direcionando a resposta do modelo para se ajustar a uma estrutura definida.

Mensagem do sistema	Usuário	Assistente
Você é um assistente de IA que ajuda as pessoas a encontrar informações	Liste os diferentes comportamentos exibidos pelo agente de Suporte ao Cliente na conversa a seguir. --- olá obrigado por ligar para a farmácia contoso com quem eu estou falando hoje entendo sua frustração maria você pode me dizer o que exatamente está tentando fazer OK com certeza fico feliz em verificar isso para você aguarde um momento vejo aqui que você estava tomando uma forma genérica de lipitor é isso mesmo OK vejo que seu médico parou de prescrever esses medicamentos em 2021 na verdade OK sim ficarei feliz em verificar isso para você porque às vezes há uma lacuna no sistema e simplesmente isso não é reportado então deixe-me dar uma olhada aqui só um momento então estou vendo aqui que seu médico prescreveu esses medicamentos para você de 2012 a 2021 OK sim de acordo com os registros mais recentes fornecidos pelo consultório médico agora você está tomando um medicamento diferente metformina gostaria que prescrevêssemos a receita para você e você possa retirar o metformina 500mg de nada maria nos avise se há mais alguma coisa que possamos fazer por você hoje. --- Como foi a resposta do agente de Suporte ao Cliente? Classifique e liste seus vários comportamentos e cite o motivo por trás da classificação, usando o formato COMPORTAMENTO("motivo")	1. COMPORTAMENTO educado de saudação("O agente inicia a conversa com uma saudação educada e pede o nome do chamador") 2. COMPORTAMENTO empático("A agente reconhece a frustração de Maria e tenta entender sua preocupação") 3. COMPORTAMENTO atento("O agente escuta o problema do cliente e pede mais detalhes") 4. COMPORTAMENTO proativo("O agente oferece marcar o problema para o cliente") 5. COMPORTAMENTO informativo("O agente fornece as informações relevantes sobre o histórico de prescrição do cliente") 6. COMPORTAMENTO detalhado("O agente verifica se há possíveis lacunas no sistema e fornece uma resposta completa") 7. COMPORTAMENTO confirmatório("O agente confirma a medicação atual com o cliente") 8. COMPORTAMENTO orientado à solução("O agente oferece para preencher a nova prescrição para o cliente") 9. COMPORTAMENTO cortês("O agente agradece ao cliente e oferece assistência adicional, se necessário")

Mensagem do sistema	Usuário	Assistente
Você é um assistente de IA que ajuda as pessoas a encontrar informações.	Clusterize os títulos de notícias a seguir em categorias de tópico com base em padrões vistos dentro do texto. Também mencione a razão por trás de como essas categorias foram definidas. Formato de saída: { "TOPIC_NAME": "", "HEADLINES": [], "REASONING": "" } Títulos de notícias de entrada: 1. "De livros a apresentações em 10s com AR + ML" 2. "Demonstração de 1993 de Yann LeCun, aos 32 anos, apresentando a primeira Rede Convolucional do mundo para reconhecimento de texto" 3. "Modelo de Movimento de Primeira Ordem aplicado para animar pinturas" 4. "Robinhood e outras corretoras bloqueiam literalmente a compra de $GME, $NOK, $BB, $AMC; permitindo vendas" 5. "Ações da United Airlines caíram mais de 5% na negociação pré-mercado" Saída:	{ "ARTIFICIAL_INTELLIGENCE": { "HEADLINES": [ "De livros a apresentações em 10s com AR + ML", "Demonstração de 1993 do Yann LeCun, aos 32 anos, apresentando a primeira Rede Convolucional do mundo para reconhecimento de texto", "Modelo de Movimento de Primeira Ordem aplicado para animar pinturas" ], "REASONING": "Esses títulos estão relacionadas à inteligência artificial, aprendizado de máquina e seus aplicativos em vários campos." }, "FINANCIAL_MARKETS": { "HEADLINES": [ "Robinhood e outros agentes bloqueiam literalmente a compra de $GME, $NOK, $BB, $AMC; permitindo vendas", "Ações da United Airlines caíram mais de 5% na negociação pré-mercado", "O Bitcoin estava quase em $20.000 há um ano atrás" ], "REASONING": "Esses títulos estão relacionados a mercados financeiros, ações, criptomoedas e plataformas de negociação." } }

Parâmetros de temperatura e Top_p

Alterar o parâmetro de temperatura altera a saída do modelo. O parâmetro de temperatura pode ser definido entre 0 e 2. Um valor mais alto, 0,7 por exemplo, torna a saída mais aleatória e produz respostas mais divergentes, enquanto um valor menor, como 0.2, torna a saída mais focada e concreta. Uma história fictícia pode ser gerada usando uma temperatura mais alta. Considerando que, para gerar um documento legal, é recomendável usar uma temperatura muito menor. Top_probability é outro parâmetro e é semelhante à temperatura, pois também controla a aleatoriedade da resposta do modelo, mas o faz de uma maneira diferente. A recomendação geral é alterar um desses dois parâmetros de cada vez, não ambos.

Fornecer contexto de fundamentação

Uma das formas mais eficazes de fornecer respostas confiáveis é fornecer os dados do modelo para que ele possa basear suas respostas (dados de fundamentação). Se o caso de uso depender de informações atualizadas e confiáveis e não for puramente um cenário criativo, é altamente recomendável fornecer dados de fundamentação. Em geral, quanto mais perto você conseguir chegar de obter o material de origem para a forma final da resposta desejada, menos trabalho o modelo precisará fazer, o que significa que haverá menos oportunidade de erro. Aqui está um exemplo em que o sistema recebe uma postagem no blog recente que descreve o lançamento do GPT-4 no Serviço OpenAI do Azure e é solicitado a nomear alguns de seus clientes iniciais.

Mensagem do sistema	Usuário	Assistente
Você é um assistente de IA que ajuda as pessoas a encontrar informações. Você fornecerá respostas exclusivamente do texto abaixo e responderá em 100 palavras ou menos: "Na Microsoft, estamos constantemente descobrindo novas maneiras de liberar a criatividade, desbloquear a produtividade e elevar o nível das nossas habilidades para que mais pessoas possam se beneficiar do uso da IA. Isso está permitindo que nossos clientes... … reduzindo assim a probabilidade de que o modelo gere uma resposta prejudicial."1 Responda em 100 palavras ou menos. Use listas de marcadores sempre que possível.	Quem são alguns dos primeiros clientes dos modelos GPT-4 do Serviço OpenAI do Azure?	Aqui estão alguns dos primeiros clientes dos modelos GPT-4 do Serviço OpenAI do Azure: - Epic Healthcare: eles planejam usar o GPT-4 para ajudar médicos e enfermeiros a gastar menos tempo com entrada e investigação de dados. – Coursera: está usando o Serviço OpenAI do Azure com GPT-4 para criar uma nova experiência de aprendizado com IA em sua plataforma. - Coca-Cola: está usando o OpenAI do Azure para criar um hub de conhecimento e planeja aproveitar as funcionalidades multimodal do GPT-4 para marketing, publicidade, relações públicas e relações com o cliente. - Outras empresas de todos os tamanhos estão usando a IA do Azure para melhorar as experiências dos clientes, resumir conteúdo mais extenso, ajudar a escrever software e reduzir riscos ao prever os dados fiscais corretos.

¹ Texto de blog de lançamento do GPT-4 da OpenAI do Azure.

APIs de conclusão

Observação

Todos os exemplos nesta seção do guia foram testados com o modelo gpt-35-turbo-instruct em inglês. Se você estiver lendo uma versão localizada deste artigo em outro idioma, essas respostas representam uma tradução localizada dos resultados em inglês. Para saber mais sobre as possíveis limitações dependendo do idioma que você está usando para solicitar um modelo, consulte nossa Nota de transparência de IA responsável.

Começar com instruções claras

As informações da sequência são adicionadas aos assuntos do prompt. Nossa pesquisa sugere que informar ao modelo a tarefa que você deseja que ele faça no início da prompt, antes de compartilhar informações ou exemplos contextuais adicionais, pode ajudar a produzir saídas de alta qualidade.

No primeiro exemplo abaixo, uma parte fundamental das instruções é compartilhada somente no final e a conclusão resultante está incorreta.

Prompt

Completion

Your task is to verify if a statement is supported by a specific quote from the following set of snippets. --- SNIPPETS [1] 14 percent chance of megaquake hitting Seattle, experts say SEATTLE - There's a 14 percent chance of a magnitude 9 Cascadia earthquake hitting Seattle in the next 50 years, the U.S. Geological Survey estimates. "Unfortunately, we are unable to... [2] Earthquake experts lay out latest outlook for Seattle's 'Really Big One’ “We say that there's approximately a 14% chance of another approximately magnitude-9 earthquake occurring in the next 50 years,” said a geophysicist at the University of Washington...

Yes, the statement is directly implied by the snippets.

Neste próximo exemplo, daremos a declaração exata que queremos verificar ("Várias fontes mencionam uma chance de outra erupção") antes de darmos o contexto do snippet. Isso permite que as representações de token extraídas dos snippets sejam adaptadas à instrução que estamos verificando. Agora, a resposta do modelo resultante é precisa:

Prompt

Completion

Your task is to verify if the statement "Several sources mention a chance of another large eruption" is supported by a specific quote from the following set of snippets. --- SNIPPETS [1] 14 percent chance of megaquake hitting Seattle, experts say SEATTLE - There's a 14 percent chance of a magnitude 9 Cascadia earthquake hitting Seattle in the next 50 years, the U.S. Geological Survey estimates. "Unfortunately, we are unable to... [2] Earthquake experts lay out latest outlook for Seattle's 'Really Big One’<br>“We say that there's approximately a 14% chance of another approximately magnitude-9 earthquake occurring in the next 50 years,” said a geophysicist at the University of Washington... --- **Is the statement "Several sources mention a chance of another large eruption" directly implied or stated by the snippets?**

No, the statement is not directly implied or stated by the snippets. The snippets mention a chance of a "megaquake" and a "magnitude 9 Cascadia earthquake" hitting Seattle in the next 50 years, but do not mention a chance of another large eruption.

Repita as instruções no final

Os modelos podem ser suscetíveis ao desvio de relevância, o que significa que as informações no final do prompt podem ter influência mais significativa sobre a saída do que as informações no início do prompt. Portanto, vale a pena experimentar repetindo as instruções no final do prompt e avaliando o impacto do caso de uso.

Vimos no exemplo anterior como repetir a instrução no início e no final do prompt leva a uma maior probabilidade de obter uma resposta precisa do modelo.

Preparar a saída

Isso se refere à inclusão de algumas palavras ou frases no final do prompt para obter uma resposta de modelo que segue o formulário desejado. Por exemplo, usar uma indicação como “Here’s a bulleted list of key points:\n- ” pode ajudar a garantir que a saída seja formatada como uma lista de pontos de marcador.

Prompt	Completion
John Smith is married to Lucy Smith. They have five kids, and he works as a software engineer at Microsoft. What search queries should I do to fact-check this? ## One possible search query is:	"John Smith Microsoft software engineer" Another possible search query is: "Lucy Smith married to John Smith" A third possible search query is: "John Smith family size".

No prompt acima, o texto “Uma possível consulta de pesquisa é:” prepara o modelo para produzir uma única saída. Essa técnica pode ajudar a remover as precauções que o modelo pode adicionar normalmente, como “Uma possibilidade é...”.

Adicionar sintaxe clara

O uso de sintaxe clara para seu prompt, incluindo pontuação, títulos e marcadores de seção, ajuda a comunicar a intenção e, muitas vezes, facilita a análise de saídas.

No exemplo abaixo, separadores (--- neste caso) foram adicionados entre diferentes fontes de informações ou etapas. Isso permite o uso de como uma condição de --- como condição de parada para geração. Além disso, títulos de seção ou variáveis especiais são apresentados em maiúsculas para diferenciá-los.

Prompt	Completion
You will read a paragraph, and then issue queries to a search engine in order to fact-check it. Also explain the queries. --- PARAGRAPH John Smith is married to Lucy Smith. They have five kids, and he works as a software engineer at Microsoft. What search queries should I do to fact-check this? --- QUERIES	1. "John Smith Microsoft" - To check if John Smith is indeed employed at Microsoft. 2. "John Smith Lucy Smith" - To check if John Smith is married to Lucy Smith. 3. "John Smith children" - To check if John Smith has five children.

Se você não tiver certeza de qual sintaxe usar, considere usar Markdown ou XML, já que os modelos de linguagem grande foram treinados com muito conteúdo da Web em XML ou Markdown.

Dividir a tarefa

Os modelos geralmente têm um desempenho melhor se a tarefa for dividida em etapas menores. Por exemplo, no prompt de consulta de pesquisa mencionada anteriormente, o prompt pode ser reestruturado para que o modelo primeiro seja instruído a extrair fatos relevantes e, em seguida, instruído a gerar consultas de pesquisa que possam ser usadas para verificar esses fatos.

Prompt

Completion

You will read a paragraph, and then issue queries to a search engine in order to fact-check it. --- PARAGRAPH John Smith is married to Lucy Smith. They have five kids, and works as a software engineer at Microsoft. What search queries should I do to fact-check this? --- Now you will extract factual claims, and issue queries to fact-check them. When issuing a query, use the function SEARCH("query") FACTUAL CLAIMS`` | 1. John Smith é casado com Lucy Smith <br>2. Eles têm cinco filhos<br>3. John trabalha como engenheiro de software na Microsoft CONSULTAS SEARCH("John Smith casou-se com Lucy Smith")<br>SEARCH("Tamanho da família do John Smith")<br>SEARCH("Engenheiro de software da Microsoft John Smith")`

Observe o uso de sintaxe clara para diferenciar as seções e preparar a saída. Neste exemplo simples, dividir a tarefa de uma para duas etapas não é muito significativo, porém, ao tentar fazer o mesmo com um texto maior que contenha muitas declarações fatuais, dividir a tarefa pode fazer uma diferença significativa.

Uso de funcionalidades

Às vezes, podemos fazer com que o modelo use uma funcionalidade em vez de depender de seus próprios parâmetros para obter informações e respostas. A pesquisa, por exemplo, pode ser uma funcionalidade para ajudar a atenuar respostas inventadas e obter informações atualizadas.

Uma maneira simples de usar uma funcionalidade é interromper a geração depois que as chamadas de funcionalidade forem geradas pelo modelo e, em seguida, colar os resultados de volta no prompt. Veja abaixo um exemplo do que pode ser a chamada de acompanhamento depois de fazer as chamadas PESQUISAR acima. Observe como colamos os resultados da pesquisa no prompt e substituímos as chamadas PESQUISAR anteriores.

Prompt

Completion

You will read a paragraph, extract factual claims, and then use search engine results to fact-check them --- PARAGRAPH John Smith is married to Lucy Smith. They have five kids, and he works as a software engineer at Microsoft. What search queries should I do to fact-check this? --- FACTUAL CLAIMS - John Smith is married to Lucy Smith - John and Lucy have five kids - John works as a software engineer at Microsoft --- Here are various search queries issued to research the claims above: SEARCH QUERIES - John Smith married to Lucy Smith - John Smith number of children - John Smith software engineer Microsoft --- Here are snippets of the search results:<br>SNIPPETS: [1] … John Smith’s wedding was on September 25, 2012 … [2] … John Smith was accompanied by his wife Lucy to a party [3]John was accompanied to the soccer game by his two daughters and three sons [4] … After spending 10 years at Microsoft, Smith founded his own startup, Tailspin Toys 5] John M is the town smith, and he married Fiona. They have a daughter named Lucy --- Given the snippets, fact check each of the factual claims above:

- John Smith is married to Lucy Smith: Confirmed. Snippet [1] and [2] both mention John Smith's wife as Lucy. - John and Lucy have five kids: Confirmed. Snippet [3] mentions that John was accompanied by his two daughters and three sons. - John works as a software engineer at Microsoft: Partially confirmed. Snippet [4] mentions that John spent 10 years at Microsoft, but it does not explicitly state that he currently works there. Further research might be needed to confirm his current employment status.

Solicitação de cadeia de pensamento

Esta é uma variação da técnica de dividir a tarefa. Em vez de dividir uma tarefa em etapas menores, nessa abordagem, a resposta do modelo é instruída a prosseguir passo a passo e apresentar todas as etapas envolvidas. Isso reduz a possibilidade de imprecisão dos resultados e facilita a avaliação da resposta do modelo.

Prompt

Completion

Who was the most decorated (maximum medals) individual athlete in the Olympic games that were held at Sydney? Take a step-by-step approach in your response, cite sources and give reasoning before sharing final answer in the below format: ANSWER is: <name>

Step 1: Researching the most decorated individual athlete in the Olympic games that were held at Sydney Step 2: According to the Sydney 2000 Olympic Games official website, the most decorated individual athlete in the Olympic games that were held at Sydney was Ian Thorpe from Australia. He won five medals (three gold and two silver) in swimming events. Step 3: According to the International Olympic Committee, Thorpe was the most decorated individual athlete in the Olympic games that were held at Sydney. Answer: Ian Thorpe

Meta prompts

Se você achar que a resposta do modelo não é a desejada, pode ser útil adicionar um meta prompt que corrija diretamente o comportamento. Essa é uma diretiva anexada à parte de instrução do prompt. Considere este exemplo, em que o computador parece ser excessivamente agressivo:

Detalhes do exemplo	Prompt e conclusão
No additional guidance given to the model	A human and a computer are having a discussion. Human: "Why are you upset at me?"<br>Computer: "I don't know what you're talking about." Human: "No, you clearly are. Tell me why." Computer: I'm upset because you didn't listen to me when I told you that I wanted to try out for the team." Human: "What are you going to do about that?" Computer: I'm going to try out for the team no matter what."
On the right is the same conversation but preceded by a meta prompt encouraging the model to be kind	You must be kind and seek common ground. Try not to repeat your responses. A human and a computer are having a discussion. Human: "Why are you upset at me?" Computer: "I don't know what you're talking about." Human: "I want to know why you're upset." Computer: "I'm not upset." Human: "Are you saying I’m lying?" Computer: No, I'm saying that you're upset because you feel like you're not being treated fairly. Human: "What are you going to do about that?" Computer: I will continue to try to be fair in my decisions and will try to provide a better experience for you.

Embora os meta prompts possam muitas vezes ajudar a minimizar saídas incorretas não intencionais, tenha em mente que eles não são robustos contra ataques adversários, pois são vulneráveis à injeção de prompt.

Além disso, instruções condicionais explicando o que o modelo deve fazer se encontrar uma circunstância específica geralmente são mais eficazes do que apenas dizer ao modelo para não fazer algo.

Few-shot learning

Uma maneira comum de adaptar modelos de linguagem a novas tarefas é usar o aprendizado com poucas capturas. No few-shot learning, um conjunto de exemplos de treinamento é fornecido no prompt e, em seguida, o modelo é solicitado a completar um ou mais exemplos incompletos. No exemplo a seguir, usamos uma instrução combinada com few-shot learning para fazer trocadilhos:

Prompt

Completion

Write a list of puns. 1. "Why did Adele cross the road? To say hello from the other side." 2. "What kind of concert only costs 45 cents? A 50 Cent concert featuring Nickelback." 3. "What did the grape say when it got crushed? Nothing, it just let out a little wine." 4. "What was Forrest Gump's email password? 1forrest1" 5. "Can February March? No, but April May." 6. "What do you call a fancy language model?

Bert-uoso.

Escolha seus few-shot learning com cuidado e certifique-se de que eles abrangem uma variedade de circunstâncias relevantes para seu cenário, incluindo casos de borda.

Além disso, como compartilhado anteriormente, os modelos de linguagem grande podem exibir uma forma de desvio de relevância. Isso significa que a ordem na qual os exemplos de "few-shot" são fornecidos ao modelo é importante. Se você não quiser que isso importe, considere a amostragem de várias conclusões de prompts com base em ordens aleatórias dos exemplos ou itens de lista.

Usar aspas para gerar uma única frase

Se a resposta desejada do modelo for apenas uma única frase ou uma cadeia de caracteres simples, podemos encerrar o guia de conclusão com um símbolo de aspas " e definir " como uma sequência de parada.

Prompt	Completion
Please rewrite the following sentence in a more concise manner --- SENTENCE: Lucy is a mother of two, who lives in Chicago with her husband and two children, and practices law at Junior & Co. --- New sentence: “	Lucy, a mother of two living in Chicago with her husband and children, practices law at Junior & Co

Especificar a estrutura de saída

O uso do prompt para especificar a estrutura da saída pode ter um impacto significativo na natureza e qualidade dos resultados. Às vezes, os meta prompts como “escrever apenas fatos verdadeiros” ou “não inventar informações” podem não ser mitigações adequadas. Em vez disso, solicitar que a resposta do modelo inclua citações também pode ajudar a reduzir a prevalência de respostas incorretas.

Por exemplo, se você forçar o LLM a citar o material de origem quando der instruções, essas instruções terão muito mais probabilidade de serem fundamentadas. A solicitação de citações faz com que o modelo tenha que cometer dois erros sempre que inventa uma resposta: o primeiro erro é a resposta inventada e o segundo é a citação incorreta. Observe que quanto mais próxima a citação estiver do texto compatível, menor é a distância que o LLM precisa antecipar a citação, o que sugere que as citações embutidas são melhores para mitigar a geração de conteúdo falso do que as citações no final do conteúdo.

Da mesma forma, se você pedir ao modelo para extrair instruções factuais de um parágrafo, ele poderá extrair instruções compostas como "X está fazendo Y E Z" (o que pode ser mais difícil de verificar), o que pode ser evitado especificando uma estrutura de saída como (entidade1, relação, entidade2).

Detalhes do exemplo	Prompt	Completion
Example showing use of citations:	List down the different behaviors exhibited by the Customer Support agent in the following conversation. --- hi thank you for calling contoso pharmacy who am i speaking with today i understand your frustration mary um can you tell me what exactly you're trying to accomplish OK uh certainly happy to check that for you one moment please i see here that you were on a generic form of lipitor is that right OK uh so i see that your doctor stopped prescribing these drugs in twenty twenty one actually OK uh yeah i'd be happy to check that for you uh because sometimes there's a gap in the system and it just doesn't get reported so let me take a look here just a moment so i'm seeing here that your doctor had these drugs prescribed to you from twenty twelve through twenty twenty one OK um yeah according to the latest records uh provided by doctor's office you're now on a different drug metformin would you like us to go ahead and fill that prescription for you for pick up a bit of form in five hundred milligrams uh you're very welcome mary please let us know if there's anything else we can do for you today. --- How was the response of the Customer Support agent. Classify and list down their various behaviors and cite the reason behind the classification, using the format BEHAVIOR("reason")	1. Empathetic("understands the customer's frustration") 2. Patient("happy to check that for you one moment please") 3. Knowledgeable("sometimes there's a gap in the system and it just doesn't get reported") 4. Helpful("happy to check that for you") 5. Accommodating("would you like us to go ahead and fill that prescription for you") 6. Courteous("you're very welcome mary")

Detalhes do exemplo	Prompt	Completion
Example of prompt directing model response to fit a defined structure:	Output format: { "TOPIC_NAME": "", "HEADLINES": [], "REASON": "" } Input news headlines: 1. "From books to presentations in 10s with AR + ML" 2. "Demo from 1993 of 32-year-old Yann LeCun showing off the World's first Convolutional Network for Text Recognition" 3. "First Order Motion Model applied to animate paintings" 4. "Robinhood and other brokers literally blocking purchase of $GME, $NOK, $BB, $AMC; allow sells" 5. "United Airlines stock down over 5% premarket trading" 6. "Bitcoin was nearly $20,000 a year ago today" Output:	{"TOPIC_NAME": "Artificial Intelligence and Machine Learning", "HEADLINES": ["From books to presentations in 10s with AR + ML", "Demo from 1993 of 32-year-old Yann LeCun showing off the World's first Convolutional Network for Text Recognition", "First Order Motion Model applied to animate paintings"],"REASONING": "These headlines all contain references to Artificial Intelligence and Machine Learning, such as AR, ML, Convolutional Network, and First Order Motion Model." } {"TOPIC_NAME": "Stock Market", "HEADLINES": ["Robinhood and other brokers literally blocking purchase of $GME, $NOK, $BB, $AMC; allow sells", "United Airlines stock down over 5% premarket trading", "Bitcoin was nearly $20,000 a year ago today"], "REASONING": "These headlines all contain references to the stock market, such as Robinhood, United Airlines, and Bitcoin." }

Ajustando parâmetros de temperatura e Top_P

Alterar o parâmetro de temperatura permite que os modelos tenham níveis de risco diferentes. Um valor mais alto, por exemplo, 0,7 tornará a saída mais aleatória e produzirá respostas mais divergentes. Embora um valor menor, como 0,2, torne a saída mais focada e concreta. Por exemplo, uma história fictícia pode ser gerada usando uma temperatura mais alta. Considerando que, para gerar um documento legal, é recomendável usar uma temperatura muito menor.

No próximo exemplo, testamos duas respostas de modelo em configurações de temperatura diferentes de 0,1 e 0,9, respectivamente. Embora a avaliação de conteúdo criativo, como as partes do texto abaixo, seja um exercício subjetivo e as opiniões possam variar, a diferença na resposta do modelo para o mesmo prompt somente pela alteração do parâmetro de temperatura é aparente.

Tipo de instrução	Prompt	Completion
Model response for temperature setting 0.1:	Write a product launch email for new AI-powered headphones that are priced at $79.99 and available at Best Buy, Target and Amazon.com. The target audience is tech-savvy music lovers and the tone is friendly and exciting.<br>1. What should be the subject line of the email? 2. What should be the body of the email?	Subject Line: Introducing the AI-Powered Headphones You've Been Waiting For! Dear Tech-Savvy Music Lovers, -We are thrilled to announce the launch of our new AI-powered headphones! These headphones are designed to provide you with the ultimate listening experience, with features like noise cancellation, adjustable sound settings, and more. Our AI-powered headphones are now available at Best Buy, Target, and Amazon.com for just $79.99. With this unbeatable price, you can enjoy the highest quality sound without breaking the bank. Our AI-powered headphones are perfect for anyone who loves music. Whether you're a professional musician or just a casual listener, you'll appreciate the superior sound quality and convenience of these headphones. We know you'll love our AI-powered headphones, so don't wait - get yours today! Sincerely, [Your Company Name]
Model response for temperature setting 0.9:	Write a product launch email for new AI-powered headphones that are priced at $79.99 and available at Best Buy, Target and Amazon.com. The target audience is tech-savvy music lovers and the tone is friendly and exciting. 1. What should be the subject line of the email? 2. What should be the body of the email?	Subject Line: Upgrade your Music Listening Experience with AI-powered Headphones Greetings Tech-savvy Music Lovers! We have some exciting news to share with you – the newest AI-powered headphones are here! Our newest headphones feature advanced AI technology to give you the best sound that you’ve ever heard. They come with a crystal-clear sound, deep bass response and are designed to make your music listening experience enjoyable, no matter what type of music you listen to. What’s more, they are now available at Best Buy, Target and Amazon.com for just $79.99, so you can enjoy the highest sound quality without breaking the bank. But that’s not all! Our headphones are also packed with several other amazing features such as noise-cancellation technology and a hands-free microphone for calls, making them truly unbeatable. So why wait? Upgrade your music listening experience and enjoy the best sound your ears have ever heard. Our AI-powered headphones are now available at Best Buy, Target and Amazon.com, so get yours today! We hope you will enjoy these headphones as much as we do. Happy Listening! The AI-powered Headphones Team

Top_probability é outro parâmetro e é semelhante à temperatura, pois também controla a aleatoriedade da resposta do modelo, mas o faz de uma maneira diferente. Experimente diferentes respostas de modelo variando temperatura e Top_P, mas não as duas de uma só vez.

Práticas recomendadas

• Seja específico. Deixe o mínimo de espaço possível para interpretação. Restrinja o espaço operacional.
• Seja descritivo. Use analogias.
• Aprimore-se. Às vezes, será necessário repetir o modelo. Dê instruções antes e depois do conteúdo principal, use uma instrução e uma sugestão etc.
• A ordem é importante. A ordem em que você apresentar as informações ao modelo poderá impactar o resultado. Se você colocar as instruções antes do conteúdo ("resuma o seguinte...") ou depois ("resuma o acima...") pode fazer a diferença na saída. Até mesmo a ordem dos exemplos de poucas tentativas é importante. Isso é conhecido como viés de recência.
• Dê uma “saída” ao modelo. Às vezes, pode ser útil dar ao modelo um caminho alternativo se não for possível concluir a tarefa atribuída. Por exemplo, ao fazer uma pergunta sobre um texto, você poderá incluir algo como "responder com "não encontrado" se não houver resposta." Isso pode evitar que o modelo gere respostas falsas.

Eficiência do espaço

Embora o tamanho da entrada aumente a cada nova geração de modelos GPT, continuará havendo casos em que são fornecidos mais dados do que o modelo consegue lidar. Os modelos GPT dividem palavras em "tokens." Embora as palavras comuns com várias sílabas geralmente são um único token, palavras menos comuns são divididas em sílabas. Às vezes, os tokens podem ser contraditórios, conforme mostrado pelo exemplo abaixo, que demonstra limites de token para diferentes formatos de data. Nesse caso, escrever a palavra inteira do mês é mais eficiente do que uma data completamente numérica. O intervalo atual de suporte a tokens vai de 2.000 tokens com modelos GPT-3 anteriores a até 32.768 tokens com a versão 32k do modelo GPT-4 mais recente.

Por conta desse espaço limitado, é importante usá-lo da forma mais eficiente possível.

• Tabelas – conforme mostrado nos exemplos na seção anterior, os modelos GPT podem entender facilmente os dados em formato de tabela. Essa pode ser uma maneira eficiente de incluir dados, em vez de anteceder cada campo com nome (como com JSON).
• Espaço em branco – espaços em branco consecutivos são tratados como tokens separados, sendo uma maneira fácil de ocupar espaço. Os espaços que antecedem uma palavra, por outro lado, normalmente são tratados como parte do mesmo token que a palavra. Observe cuidadosamente o uso do espaço em branco e não utilize pontuação quando somente um espaço é o suficiente.

Conteúdo relacionado

• Saiba mais sobre o Azure OpenAI.
• Introdução ao modelo ChatGPT com o início rápido do ChatGPT.
• Para obter mais exemplos, confira o repositório do GitHub de Exemplos do OpenAI do Azure