Compartilhar via

Importar uma API de modelo de idioma

APLICA-SE A: todas as camadas do Gerenciamento de API

Você pode importar endpoints de modelos de linguagem compatíveis com a OpenAI para a instância de gerenciamento de API como APIs. Também é possível importar modelos de linguagem que não são compatíveis com o OpenAI como APIs de passagem, que encaminham solicitações diretamente para os pontos de extremidade de back-end. Por exemplo, talvez você queira gerenciar uma LLM auto-hospedada ou hospedada em um provedor de inferência diferente dos serviços de IA do Azure. Use políticas de gateway de IA e outros recursos no Gerenciamento de API para simplificar a integração, melhorar a observabilidade e aprimorar o controle sobre os pontos de extremidade do modelo.

Saiba mais sobre como gerenciar APIs de IA no Gerenciamento de API:

Tipos de API de modelo de linguagem

O Gerenciamento de API dá suporte a dois tipos de APIs de modelo de linguagem para esse cenário. Escolha a opção adequada para a implantação do modelo. A opção determina como os clientes chamam a API e como a instância de Gerenciamento de API roteia solicitações para o serviço de IA.

  • Compatível com OpenAI – Pontos de extremidade de modelo de linguagem compatíveis com a API do OpenAI. Exemplos incluem determinados modelos expostos por provedores de inferência, como Hugging Face Text Generation Inference (TGI) e API do Google Gemini.

    Para um LLM compatível com OpenAI, o Gerenciamento de API configura um ponto de extremidade de conclusões de bate-papo.

  • Passthrough – Outros endpoints de modelos de linguagem que não são compatíveis com a API do OpenAI. Exemplos incluem modelos implantados na Amazon Bedrock ou em outros provedores.

    O Gerenciamento de API configura operações curinga para verbos HTTP comuns. Os clientes podem acrescentar caminhos às operações com caracteres curinga, e o API Management encaminha as solicitações para o back-end.

Pré-requisitos

  • Uma instância de Gerenciamento de API existente. Crie uma, se ainda não tiver.
  • Uma implantação de modelo de linguagem hospedada por conta própria ou não fornecida pelo Azure com um endpoint de API.

Importar a API do modelo de idioma usando o portal

Quando você importa a API LLM no portal, o Gerenciamento de API configura automaticamente:

  • Um recurso de back-end e uma política set-backend-service que direcionam as solicitações de API para o ponto de extremidade de LLM.
  • (opcionalmente) Acesso ao backend LLM usando uma chave de acesso que você fornece. A chave é protegida como um valor nomeado secreto no Gerenciamento de API.
  • (opcionalmente) Políticas para ajudá-lo a monitorar e gerenciar a API.

Para importar uma API de modelo de idioma para o Gerenciamento de API:

  1. No portal do Azure, navegue até a instância do Gerenciamento de API.

  2. No menu do lado esquerdo, em APIs, selecione APIs>+ Adicionar API.

  3. Em Definir uma nova API, selecione API de Modelo de Idioma.

    Captura de tela da criação de uma API compatível com OpenAI no portal.

  4. Na guia Configurar API :

    1. Insira um Nome de exibição e uma Descrição opcional para a API.
    2. Insira a URL no ponto de extremidade da API do LLM.
    3. Opcionalmente, selecione um ou mais Produtos a serem associados à API.
    4. No Caminho, acrescente um caminho que sua instância de Gerenciamento de API usa para acessar os pontos de extremidade da API LLM.
    5. No Tipo, selecione Criar API OpenAI ou Criar uma API de passagem. Consulte os tipos de API do modelo de linguagem para obter mais informações.
    6. Na Chave de Acesso, insira o nome do cabeçalho de autorização e a chave de API usadas para acessar a LLM API, se necessário.
    7. Selecione Próximo.

    Captura de tela da configuração da API do modelo de linguagem no portal.

  5. Na guia Gerenciar consumo de token , opcionalmente, insira configurações ou aceite padrões que definem as seguintes políticas para ajudar a monitorar e gerenciar a API:

  6. Na guia Aplicar cache semântico , opcionalmente insira configurações ou aceite padrões que definem as políticas para ajudar a otimizar o desempenho e reduzir a latência da API:

  7. Na segurança do conteúdo de IA, opcionalmente insira configurações ou aceite padrões para configurar o serviço de Segurança de Conteúdo de IA do Azure para bloquear prompts com conteúdo não seguro:

  8. Selecione Examinar.

  9. Após as configurações terem sido validadas, selecione Criar.

O Gerenciamento de API cria a API e configura as operações para os endpoints LLM. Por padrão, a API requer uma assinatura de Gerenciamento de API.

Teste a API de LLM

Para garantir que sua API LLM esteja funcionando conforme o esperado, teste-a no console de teste do Gerenciamento de API.

  1. Selecione a API que você criou na etapa anterior.

  2. Selecione a guia Testar.

  3. Selecione uma operação compatível com a implantação do modelo. A página mostra os campos dos parâmetros e cabeçalhos.

  4. Insira parâmetros e cabeçalhos conforme necessário. Dependendo da operação, talvez seja necessário configurar ou atualizar um corpo da solicitação.

    Observação

    No console de teste, o Gerenciamento de API preenche automaticamente um cabeçalho Ocp-Apim-Subscription-Key e configura a chave de assinatura da assinatura interna de acesso total. Essa chave permite o acesso a todas as API na instância de Gerenciamento de API. Opcionalmente, exiba o cabeçalho Ocp-Apim-Subscription-Key selecionando o ícone "olho" ao lado da Solicitação HTTP.

  5. Selecione Enviar.

    Quando o teste é bem-sucedido, o back-end responde com um código de resposta HTTP bem-sucedido e alguns dados. Acrescentados à resposta estão os dados de uso de token para ajudá-lo a monitorar e gerenciar o consumo de token do modelo de idioma.

Conteúdo relacionado

  • Last updated on