Taxa de transferência da inferência do modelo de escala

Aumente gradualmente o tráfego de modelos através do Unity Gateway ao lançar uma carga de trabalho ou trocar de modelo. Esta orientação se aplica a modelos proprietários e modelos open-weight fornecidos pelo Azure Databricks e modelos acessados por meio de provedores externos conectados.

Aumentar o tráfego gradualmente

A capacidade disponível depende do modelo, provedor, região e modo de disponibilização. As solicitações podem apresentar erros temporários de capacidade mesmo quando o tráfego permanece dentro dos limites de taxa configurados. Um aumento de cota por si só não reserva capacidade de serviço.

Para aumentar a taxa de transferência:

1. Verifique os limites de taxa de serviço configurados e os limites do modelo ou provedor externo. Estime as taxas de token de entrada e saída e as requisições simultâneas, incluindo tamanhos representativos de prompt e resposta.
2. Comece em um nível de tráfego estável conhecido. Para uma nova carga de trabalho, comece com uma pequena carga representativa.
3. Aumente o tráfego em pequenos passos. Mantenha cada nível estável enquanto monitora a taxa de sucesso da solicitação, latência, uso de tokens, profundidade da fila e erros de limitação ou capacidade. Aumente novamente somente quando a carga de trabalho estiver estável e atingir as metas operacionais da sua aplicação.
4. Se houver limitação de taxa, erros de capacidade ou aumento de latência além da tolerância do seu aplicativo, pause o aumento e retorne ao último nível de tráfego estável. Reduza a concorrência e enfilete ou adie trabalhos de menor prioridade.

Escolha o tamanho dos passos e os períodos de observação com base na sua carga de trabalho e nas orientações do modelo ou provedor. Repita essa validação ao mudar modelos, regiões ou capacidade de atendimento.

Lidar com erros de limitação de taxa e de capacidade

Inspecione tanto o status HTTP quanto o corpo do erro da API que você está chamando. Códigos de erro e mensagens podem diferir entre APIs unificadas e nativas do provedor.

Resposta	Significado e ação
429 Too Many Requests	Um limite de taxa configurado ou limitação de taxa downstream impede a solicitação. Alguns provedores também limitam aumentos bruscos de tráfego. Identifique o limite a partir do corpo de erro, reduza a taxa de solicitação e aumente o tráfego gradualmente. Se o erro exigir uma cota ou mudança de faturamento, resolva essa condição antes de tentar novamente.
503 Service Unavailable	O serviço ou modelo está temporariamente incapaz de atender à solicitação. Isso pode acontecer durante um aumento de tráfego, inclusive abaixo dos limites de taxa configurados. Tente novamente dentro de um orçamento limitado e pause o aumento se os erros persistirem.
Outros erros de sobrecarga do provedor	Algumas APIs de provedores usam outras respostas, como 529, para sobrecarga temporária. Siga as orientações de erro do provedor e da API que você utiliza.

Um erro de capacidade sozinho não estabelece que o autoscaling está em andamento nem indica quando a capacidade fica disponível.

Configurar tentativas

• Respeite o Retry-After cabeçalho quando a resposta o incluir. Caso contrário, tente novamente em caso de limitação transitória de taxa e erros de capacidade com recuo exponencial e jitter aleatório.
• Limite o total de tentativas e o tempo decorrido para se ajustar ao orçamento de latência do seu aplicativo. Se os erros persistirem, reduza o tráfego em vez de adicionar mais tentativas.
• Verifique o comportamento de retentativas do SDK antes de adicionar retentações de aplicação. Leve em conta as novas tentativas em todas as camadas para que não multipliquem a carga.
• Gerencie erros após uma resposta de streaming iniciar no consumidor do stream. Repetir uma solicitação após receber a saída pode duplicar a saída ou o trabalho.

Para erros persistentes, entre em contato com sua equipe de conta da Databricks com IDs de solicitação, carimbos de data/hora, nomes de modelos e provedores, taxas de token observadas, concorrência e o cronograma da rampa de tráfego. Para provedores externos conectados, também verifique o status do serviço e os limites da conta do provedor.

Inferência em lote

Para grandes cargas de trabalho offline com modelos compatíveis, use as Funções de IA, que gerenciam paralelização, novas tentativas e escalonamento. Siga a orientação de inferência em lote em vez de aplicar um loop de retentativa separado para cada linha.