Partilhar via

Respostas de cache para solicitações de API do Azure OpenAI

APLICA-SE A: Todas as camadas de gerenciamento de API

A azure-openai-semantic-cache-store política armazena em cache as respostas às solicitações da API de Conclusão do Chat OpenAI do Azure em um cache externo configurado. O cache de resposta reduz os requisitos de largura de banda e processamento impostos à API OpenAI do Azure de back-end e reduz a latência percebida pelos consumidores de API.

Nota

Nota

Defina os elementos da política e os elementos filho na ordem fornecida na declaração de política. Saiba mais sobre como definir ou editar políticas de Gerenciamento de API.

Azure OpenAI suportado em modelos do Azure AI Foundry

A política é usada com APIs adicionadas ao Gerenciamento de API do Azure OpenAI em modelos do AI Foundry dos seguintes tipos:

Tipo de API Modelos suportados
Conclusão do chat gpt-3.5

gpt-4

gpt-4o

gpt-4o-mini

o1

o3
Incorporações text-embedding-3-large

text-embedding-3-small

text-embedding-ada-002
Respostas (pré-visualização) gpt-4o (Versões: 2024-11-20, 2024-08-06, 2024-05-13)

gpt-4o-mini (Versão: 2024-07-18)

gpt-4.1 (Versão: 2025-04-14)

gpt-4.1-nano (Versão: 2025-04-14)

gpt-4.1-mini (Versão: 2025-04-14)

gpt-image-1 (Versão: 2025-04-15)

o3 (Versão: 2025-04-16)

o4-mini (Versão: '2025-04-16)

Nota

As APIs de conclusão tradicionais só estão disponíveis com versões de modelos legados e o suporte é limitado.

Para obter informações atuais sobre os modelos e seus recursos, consulte Azure OpenAI em modelos de fundição.

Declaração de política

<azure-openai-semantic-cache-store duration="seconds"/>

Atributos

Atributo Descrição Necessário Predefinição
Duração Tempo de vida útil das entradas armazenadas em cache, especificado em segundos. São permitidas expressões de política. Sim N/A

Utilização

Notas de utilização

  • Esta política só pode ser utilizada uma vez numa secção de política.
  • Se a pesquisa de cache falhar, a chamada de API que usa a operação relacionada ao cache não gerará um erro e a operação de cache será concluída com êxito.
  • Recomendamos configurar uma política de limite de taxa (ou política de limite de taxa por chave ) imediatamente após qualquer pesquisa de cache. Isso ajuda a evitar que o serviço de back-end fique sobrecarregado se o cache não estiver disponível.

Exemplos

Exemplo com a política azure-openai-semantic-cache-lookup correspondente

O exemplo a seguir mostra como usar a azure-openai-semantic-cache-lookup política junto com a azure-openai-semantic-cache-store política para recuperar respostas em cache semanticamente semelhantes com um limite de pontuação de similaridade de 0,05. Os valores armazenados em cache são particionados pela ID de assinatura do chamador.

Nota

Adicione uma política de limite de taxa (ou política de limite de taxa por chave ) após a pesquisa de cache para ajudar a limitar o número de chamadas e evitar sobrecarga no serviço backend caso a cache não esteja disponível.

<policies>
    <inbound>
        <base />
        <azure-openai-semantic-cache-lookup
            score-threshold="0.05"
            embeddings-backend-id ="azure-openai-backend"
            embeddings-backend-auth ="system-assigned" >
            <vary-by>@(context.Subscription.Id)</vary-by>
        </azure-openai-semantic-cache-lookup>
        <rate-limit calls="10" renewal-period="60" />
    </inbound>
    <outbound>
        <azure-openai-semantic-cache-store duration="60" />
        <base />
    </outbound>
</policies>

Conteúdos relacionados

Para obter mais informações sobre como trabalhar com políticas, consulte:

  • Last updated on