Partilhar via

Ferramenta LLM

  • Artigo

A ferramenta LLM (modelo de linguagem grande) no fluxo de prompt permite que você aproveite os modelos de linguagem grande amplamente usados, como OpenAI ou Serviço OpenAI do Azure, ou qualquer modelo de linguagem suportado pela API de inferência de modelo de IA do Azure para processamento de linguagem natural.

O fluxo de prompt fornece algumas APIs de modelo de linguagem grande diferentes:

  • Conclusão: Os modelos de conclusão da OpenAI geram texto com base nos prompts fornecidos.
  • Chat: os modelos de chat da OpenAI e os modelos de chat do Azure AI facilitam conversas interativas com entradas e respostas baseadas em texto.

Nota

Removemos a embedding opção da configuração da API da ferramenta LLM. Você pode usar uma API de incorporação com a ferramenta de incorporação. Somente a autenticação baseada em chave é suportada para a conexão do Azure OpenAI. Não use caracteres não-ascii no nome do grupo de recursos do recurso Azure OpenAI, o fluxo de prompt não deu suporte a este caso.

Pré-requisitos

Crie recursos OpenAI:

Ligações

Configure conexões com recursos provisionados no fluxo de prompt.

Type Nome Chave de API Tipo de API Versão da API
OpenAI Obrigatório Obrigatório - -
Azure OpenAI - Chave de API Obrigatório Obrigatório Obrigatório Obrigatório
Azure OpenAI - Microsoft Entra ID Obrigatório - - Obrigatório
Modelo sem servidor Obrigatório Obrigatório - -

Gorjeta

Entradas

As seções a seguir mostram várias entradas.

Preenchimento do texto

Nome Tipo Descrição Obrigatório
Prompt string Prompt de texto para o modelo de idioma. Sim
modelo, deployment_name string Modelo de linguagem a utilizar. Sim
max_tokens integer Número máximo de tokens a gerar na conclusão. O padrão é 16. Não
temperatura flutuante Aleatoriedade do texto gerado. A predefinição é 1. Não
parar list Interrompendo a sequência do texto gerado. O padrão é null. Não
sufixo string Texto anexado ao final do acabamento. Não
top_p flutuante Probabilidade de usar a escolha superior dos tokens gerados. A predefinição é 1. Não
Logprobs integer Número de probabilidades de log a gerar. O padrão é null. Não
echo boolean Valor que indica se o prompt deve ser repetido na resposta. A predefinição é falsa. Não
presence_penalty flutuante Valor que controla o comportamento do modelo para repetir frases. O padrão é 0. Não
frequency_penalty flutuante Valor que controla o comportamento do modelo para gerar frases raras. O padrão é 0. Não
best_of integer Número de melhores finalizações para gerar. A predefinição é 1. Não
logit_bias dicionário Logit bias, para o modelo de linguagem. O padrão é um dicionário vazio. Não

Chat

Nome Tipo Descrição Obrigatório
Prompt string Prompt de texto que o modelo de idioma usa para uma resposta. Sim
modelo, deployment_name string Modelo de linguagem a utilizar. Esse parâmetro não será necessário se o modelo for implantado em um ponto de extremidade de API sem servidor. Sim*
max_tokens integer Número máximo de tokens a gerar na resposta. O padrão é inf. Não
temperatura flutuante Aleatoriedade do texto gerado. A predefinição é 1. Não
parar list Interrompendo a sequência do texto gerado. O padrão é null. Não
top_p flutuante Probabilidade de usar a escolha superior dos tokens gerados. A predefinição é 1. Não
presence_penalty flutuante Valor que controla o comportamento do modelo para repetir frases. O padrão é 0. Não
frequency_penalty flutuante Valor que controla o comportamento do modelo para gerar frases raras. O padrão é 0. Não
logit_bias dicionário Logit bias, para o modelo de linguagem. O padrão é um dicionário vazio. Não

Saídas

API Tipo de retorno Description
Conclusão string Texto de uma conclusão prevista
Chat string Texto de uma resposta de conversa

Use a ferramenta LLM

  1. Configure e selecione as conexões com recursos OpenAI ou com um endpoint de API sem servidor.
  2. Configure a API do modelo de linguagem grande e seus parâmetros.
  3. Prepare o prompt com orientação.