Compartilhar via

Ferramenta LLM para fluxos no portal do IA do Azure Foundry

Importante

Os itens marcados (versão prévia) neste artigo estão atualmente em versão prévia pública. Essa versão prévia é fornecida sem um contrato de nível de serviço e não recomendamos isso para cargas de trabalho de produção. Alguns recursos podem não ter suporte ou podem ter restrição de recursos. Para obter mais informações, consulte Termos de Uso Complementares para Versões Prévias do Microsoft Azure.

Para usar LLMs (modelos grandes de linguagem) para processamento de linguagem natural, utilize a ferramenta LLM de prompt flow.

Observação

Para que as inserções convertam texto em representações vetoriais densas para várias tarefas de NLP, confira Ferramenta de inserção.

Pré-requisitos

Prepare uma solicitação conforme descrito na documentação da Ferramenta de solicitação. A ferramenta LLM e a ferramenta de Prompt dão suporte a modelos Jinja. Para ver mais informações e as melhores práticas, confira Técnicas de engenharia de solicitação.

Compilar com a ferramenta LLM

  1. Crie ou abra um fluxo no Azure AI Foundry. Para obter mais informações, consulteCriar um fluxo.

  2. Selecione + LLM para adicionar a ferramenta LLM ao seu fluxo.

    Captura de tela que mostra a ferramenta LLM adicionada a um fluxo no portal do IA do Azure Foundry.

  3. Selecione a conexão com um de seus recursos provisionados. Por exemplo, selecione Default_AzureOpenAI.

  4. Na lista de seleção API, selecione chat ou preenchimento.

  5. Insira valores para os parâmetros de entrada da ferramenta LLM descritos na Tabela de entradas de preenchimento de texto. Se você selecionou a API de chat, consulte a Tabela de entradas de chat. Se você selecionou a API de preenchimento, consulte a Tabela de entradas de preenchimento de texto. Para obter informações sobre como preparar a entrada da solicitação, confira Pré-requisitos.

  6. Adicione mais ferramentas ao seu fluxo, conforme necessário. Ou selecione Executar para executar o fluxo.

  7. As saídas são descritas na tabela Saídas.

Entradas

Os parâmetros de entrada a seguir estão disponíveis.

Entradas de preenchimento de texto

Nome Tipo Descrição Obrigatório
solicitação cadeia Solicitação de texto para o modelo de linguagem. Sim
modelo, deployment_name cadeia O modelo de linguagem a ser usado. Sim
número máximo de tokens inteiro O número máximo de tokens a gerar na conclusão. O padrão é 16. Não
temperatura derivar A aleatoriedade do texto gerado. O padrão é 1. Não
Pare lista A sequência de interrupção do texto gerado. O padrão é nulo. Não
sufixo cadeia O texto acrescentado ao final do preenchimento. Não
top_p derivar A probabilidade de usar a melhor opção dos tokens gerados. O padrão é 1. Não
logprobs inteiro O número de probabilidades de log a serem geradas. O padrão é nulo. Não
eco booleano O valor que indica se a solicitação deve ser ecoada na resposta. O padrão é false. Não
penalidade_de_presença derivar O valor que controla o comportamento do modelo em relação a frases repetidas. O padrão é 0. Não
frequency_penalty derivar O valor que controla o comportamento do modelo em relação à geração de frases incomuns. O padrão é 0. Não
best_of inteiro O número dos melhores preenchimentos a serem gerados. O padrão é 1. Não
logit_bias dicionário O desvio de logit do modelo de linguagem. O padrão é o dicionário vazio. Não

Entradas de chat

Nome Tipo Descrição Obrigatório
solicitação cadeia A solicitação de texto à qual o modelo de linguagem deve responder. Sim
modelo, deployment_name cadeia O modelo de linguagem a ser usado. Sim
número máximo de tokens inteiro O número máximo de tokens a serem gerados na resposta. O padrão é inf. Não
temperatura derivar A aleatoriedade do texto gerado. O padrão é 1. Não
Pare lista A sequência de interrupção do texto gerado. O padrão é nulo. Não
top_p derivar A probabilidade de usar a melhor opção dos tokens gerados. O padrão é 1. Não
penalidade_de_presença derivar O valor que controla o comportamento do modelo em relação a frases repetidas. O padrão é 0. Não
frequency_penalty derivar O valor que controla o comportamento do modelo em relação à geração de frases incomuns. O padrão é 0. Não
logit_bias dicionário O desvio de logit do modelo de linguagem. O padrão é o dicionário vazio. Não

Saídas

A saída varia dependendo da API selecionada para entradas.

API Tipo de retorno Descrição
Conclusão cadeia O texto de um preenchimento previsto.
Bate-papo cadeia O texto de uma resposta da conversa.

Próximas etapas