Limites de mise à l’échelle automatique d’Azure AI services

  • Article

Cet article fournit des conseils sur la façon dont les clients peuvent accéder à des limites de débit plus élevées sur leurs ressources Azure AI services.

Vue d’ensemble

Chaque ressource Azure AI services dispose d’un taux d’appel statique préconfiguré (transactions par seconde) qui limite le nombre d’appels simultanés que les clients peuvent effectuer au service back-end dans un délai donné. La fonctionnalité de mise à l’échelle automatique augmente/diminue automatiquement les limites de débit d’une ressource client en fonction des métriques d’utilisation des ressources en quasi-temps réel et des métriques de capacité de service back-end.

Bien démarrer avec la fonctionnalité de mise à l’échelle automatique

Cette fonctionnalité est désactivée par défaut pour chaque nouvelle ressource. Suivez ces instructions pour l’activer.

Accédez à la page de votre ressource dans le portail Azure, puis sélectionnez l’onglet Vue d’ensemble dans le volet gauche. Sous la section Essentials, recherchez la ligne Mise à l’échelle automatique et sélectionnez le lien pour afficher le volet Paramètres de mise à l’échelle automatique et activez la fonctionnalité.

Screenshot of the Azure portal with the autoscale pane on right.

Forum aux questions

L’activation de la fonctionnalité de mise à l’échelle automatique signifie que ma ressource ne sera jamais limitée à nouveau ?

Non, vous pouvez toujours obtenir des erreurs 429pour un excès de limite de débit. Si votre application déclenche un pic et que votre ressource signale une réponse 429, la mise à l’échelle automatique vérifie la section de projection de capacité disponible pour déterminer si la capacité actuelle peut prendre en charge une augmentation de la limite de débit et répondre dans les cinq minutes.

Si la capacité disponible est suffisante pour une augmentation, la mise à l’échelle automatique augmente progressivement la limite de débit de votre ressource. Si vous continuez à appeler votre ressource à un débit élevé qui entraîne davantage de limitation 429, votre taux TPS continuera à augmenter au fil du temps. Si cette action continue pendant une heure ou plus, vous devez atteindre le taux maximal (jusqu’à 1000 TPS) actuellement disponible à ce moment-là pour cette ressource.

Si la capacité disponible n’est pas suffisante pour une augmentation, la fonctionnalité de mise à l’échelle automatique attend cinq minutes et vérifie à nouveau.

Que se passe-t-il si j’ai besoin d’une limite de débit par défaut plus élevée ?

Par défaut, les ressources Azure AI services ont une limite de débit de 10 TPS. Si vous avez besoin d’un TPS par défaut plus élevé, envoyez un ticket en suivant le lien Nouvelle demande de support sur la page de votre ressource dans le portail Azure. N’oubliez pas d’inclure une justification commerciale dans la demande.

Cette fonctionnalité augmente-t-elle mes dépenses Azure ?

La tarification de Azure AI services n’a pas changé et est accessible ici. Nous facturerons uniquement les appels réussis effectués vers des API Azure AI services. Toutefois, une augmentation des limites de débit d’appel signifie que davantage de transactions seront effectuées et que vous pouvez recevoir une facture plus élevée.

Soyez conscient des erreurs potentielles et de leurs conséquences. Si un bogue dans votre application cliente l’appelle des centaines de fois par seconde, ce qui entraînerait probablement une facture beaucoup plus élevée, alors que le coût serait beaucoup plus limité sous une limite de débit fixe. Les erreurs de ce genre sont de votre responsabilité. Nous vous recommandons vivement d'effectuer des tests de développement et de mise à jour du client sur une ressource avec une limite de taux fixe avant d'utiliser la fonction autoscale.

Puis-je désactiver cette fonctionnalité si je préférais limiter le taux qu’avoir des dépenses imprévisibles ?

Oui, vous pouvez désactiver la fonctionnalité de mise à l’échelle automatique via le portail Azure ou CLI et revenir à votre paramètre de limite de débit d’appel par défaut. Si votre ressource a été précédemment approuvée pour un TPS par défaut plus élevé, elle revient à ce débit. Cela peut prendre jusqu’à cinq minutes pour que les modifications soient appliquées.

Quels services prennent en charge la fonctionnalité de mise à l’échelle automatique ?

Cette fonctionnalité est disponible pour les services suivants :

Puis-je tester cette fonctionnalité à l’aide d’un abonnement gratuit ?

Non, la fonctionnalité de mise à l’échelle automatique n’est pas disponible pour les abonnements de niveau gratuit.

Étapes suivantes