Ler em inglês

Compartilhar via

Visão Geral dos recursos de gateway da IA generativa no Gerenciamento de API do Azure

  • Artigo

APLICA-SE A: todas as camadas do Gerenciamento de API

Este artigo apresenta recursos no Gerenciamento de API do Azure para ajudar você a gerenciar as APIs de IA generativas, como as fornecidas pelo Serviço OpenAI do Azure. O Gerenciamento de API do Azure fornece uma variedade de políticas, métricas e outros recursos para aprimorar a segurança, o desempenho e a confiabilidade das APIs que atendem aos aplicativos inteligentes. Coletivamente, esses recursos são chamados de funcionalidades de gateway da GenAI (IA generativa) para as APIs de IA generativas.

Observação

  • Este artigo se concentra em recursos para gerenciar APIs expostas pelo Serviço OpenAI do Azure. Muitos dos recursos de gateway da GenAI se aplicam a outras APIs de LLM (grande modelo de linguagem), incluindo aquelas disponíveis por meio da API de Inferência de Modelo de IA do Azure.
  • Os recursos de gateway da IA generativa são recursos do gateway de API existente do Gerenciamento de API, não um gateway de API separado. Para obter mais informações sobre o Gerenciamento de API, consulte a visão geral do Gerenciamento de API do Azure.

Desafios no gerenciamento de APIs de IA gerativas

Um dos principais recursos que você tem em serviços de IA generativas são os tokens. O Serviço OpenAI do Azure atribui cota para suas implantações de modelo expressas no TPM (tokens por minuto), que é distribuído por seus consumidores de modelos, por exemplo, aplicativos diferentes, equipes de desenvolvedores, departamentos dentro da empresa etc.

O Azure facilita a conexão de um único aplicativo ao Serviço OpenAI do Azure: você poderá se conectar diretamente usando uma chave de API com um limite de TPM configurado diretamente no nível de implantação do modelo. No entanto, ao começar a aumentar seu portfólio de aplicativos, você recebe vários aplicativos chamando pontos de extremidade únicos ou até mesmo vários pontos de extremidade do Serviço OpenAI do Azure implantados como instâncias de PTU (Unidades de Taxa de Transferência Provisionadas) ou com pagamento conforme o uso. Isso vem com certos desafios:

  • Como o uso de token é acompanhado em vários aplicativos? Os encargos cruzados podem ser calculados para vários aplicativos/equipes que usam modelos do Serviço OpenAI do Azure?
  • Como você garante que um único aplicativo não consuma toda a cota do TPM, deixando outros aplicativos sem opção para usar modelos do Serviço OpenAI do Azure?
  • Como a chave de API é distribuída com segurança em vários aplicativos?
  • Como a carga é distribuída em vários pontos de extremidade do OpenAI do Azure? É possível garantir que a capacidade confirmada em PTUs esteja esgotada antes de voltar às instâncias com pagamento conforme o uso?

O restante deste artigo descreve como o Gerenciamento de API do Azure pode ajudar você a enfrentar esses desafios.

Importar o recurso do Serviço OpenAI do Azure como uma API

Importe uma API de um ponto de extremidade do Serviço OpenAI do Azure para o Gerenciamento de API do Azure usando uma experiência de clique único. O Gerenciamento de API simplifica o processo de integração importando automaticamente o esquema OpenAPI para a API do OpenAI do Azure e configura a autenticação para o ponto de extremidade do OpenAI do Azure usando a identidade gerenciada, removendo a necessidade de configuração manual. Na mesma experiência amigável, é possível pré-configurar políticas para limites de token e emitir métricas de token.

Captura de tela do bloco da API do OpenAI do Azure no portal.

Política de limite de token

Configure a política de limite de token do OpenAI do Azure para gerenciar e impor limites por consumidor de API com base no uso de tokens do Serviço OpenAI do Azure. Com essa política, você poderá definir limites, expressos em TPM (tokens por minuto).

Diagrama de limitação de tokens do Serviço OpenAI do Azure no Gerenciamento de API.

Essa política fornece flexibilidade para atribuir limites baseados em token em qualquer chave de contador, como chave de assinatura, endereço IP de origem ou uma chave arbitrária definida por meio de uma expressão de política. A política também permite o pré-cálculo de tokens de solicitações no lado do Gerenciamento de API do Azure, minimizando solicitações desnecessárias para o back-end do Serviço OpenAI do Azure se a solicitação já exceder o limite.

O exemplo básico a seguir demonstra como definir um limite de TPM de 500 por chave de assinatura:

<azure-openai-token-limit counter-key="@(context.Subscription.Id)" 
    tokens-per-minute="500" estimate-prompt-tokens="false" remaining-tokens-variable-name="remainingTokens">
</azure-openai-token-limit>

Dica

Para gerenciar e impor limites de token para as APIs de LLM disponíveis por meio da API de Inferência do Modelo de IA do Azure, o Gerenciamento de API fornece a política de llm-token-limit equivalente.

Política de emissão de métricas de token

A política de emissão de métricas de token do OpenAI do Azure envia métricas para o Application Insights sobre o consumo de tokens de LLM por meio de APIs do Serviço OpenAI do Azure. A política ajuda a fornecer uma visão geral da utilização de modelos do Serviço OpenAI do Azure em vários aplicativos ou consumidores de API. Essa política pode ser útil para cenários de estorno, monitoramento e planejamento de capacidade.

Diagrama de emissão de métricas de token do Serviço OpenAI do Azure usando o Gerenciamento de API.

Essa política captura métricas de solicitação, conclusões e uso total de token e as envia para um namespace do Application Insights de sua escolha. Além disso, é possível configurar ou selecionar entre dimensões predefinidas para dividir as métricas de uso do token, para que você possa analisar as métricas por ID de assinatura, endereço IP ou uma dimensão personalizada de sua escolha.

Por exemplo, a política a seguir envia métricas para o Application Insights divididos por endereço IP do cliente, API e usuário:

<azure-openai-emit-token-metric namespace="openai">
    <dimension name="Client IP" value="@(context.Request.IpAddress)" />
    <dimension name="API ID" value="@(context.Api.Id)" />
    <dimension name="User ID" value="@(context.Request.Headers.GetValueOrDefault("x-user-id", "N/A"))" />
</azure-openai-emit-token-metric>

Dica

Para enviar métricas para as APIs de LLM disponíveis por meio da API de Inferência de Modelo de IA do Azure, o Gerenciamento de API fornece a política de llm-emit-token-metric equivalente.

Balanceador de carga de back-end e disjuntor

Um dos desafios ao criar aplicativos inteligentes é garantir que os aplicativos sejam resilientes a falhas de back-end e possam lidar com cargas altas. Ao configurar seus pontos de extremidade do Serviço OpenAI do Azure usando back-ends no Gerenciamento de API do Azure, você poderá balancear a carga entre eles. Também é possível definir regras de disjuntor para interromper o encaminhamento de solicitações para os back-ends do Serviço OpenAI do Azure se eles não responderem.

O balanceador de carga de back-end dá suporte a round-robin, balanceamento de carga ponderado e baseado em prioridade, oferecendo flexibilidade para definir uma estratégia de distribuição de carga que atenda aos seus requisitos específicos. Por exemplo, defina prioridades dentro da configuração do balanceador de carga para garantir a utilização ideal de pontos de extremidade específicos do OpenAI do Azure, especialmente aqueles comprados como PTUs.

Diagrama do uso do balanceamento de carga de back-end no Gerenciamento de API.

O disjuntor de back-end apresenta a duração da viagem dinâmica, aplicando valores do cabeçalho Retry-After fornecido pelo back-end. Isso garante a recuperação precisa e oportuna dos back-ends, maximizando a utilização de seus back-ends de prioridade.

Diagrama do uso do disjuntor de back-end no Gerenciamento de API.

Política de cache semântico

Configure as políticas de cache semântico do OpenAI do Azure para otimizar o uso de token armazenando conclusões para solicitações semelhantes.

Diagrama de cache semântico no Gerenciamento de API.

No Gerenciamento de API, habilite o cache semântico usando o Azure Redis Enterprise ou outro cache externo compatível com o RediSearch e integrado ao Gerenciamento de API do Azure. Ao usar API de Incorporações do Serviço OpenAI do Azure, as políticas de azure-openai-semantic-cache-store e azure-openai-semantic-cache-lookup armazenam e recuperam conclusões de solicitação de forma semântica semelhantes do cache. Essa abordagem garante a reutilização de conclusões, resultando em redução do consumo de token e melhor desempenho de resposta.

Dica

Para habilitar o cache semântico para as APIs de LLM disponíveis por meio da API de Inferência do Modelo de IA do Azure, o Gerenciamento de API fornece as políticas de llm-semantic-cache-store-policy e llm-semantic-cache-lookup-policy equivalentes.

Laboratórios e amostras

Considerações de design e arquitetura

Conteúdo relacionado