Gérer les budgets pour Unity Gateway

Les budgets vous aident à surveiller et contrôler les dépenses mensuelles de Unity Gateway en utilisant des filtres appliqués aux enregistrements de facturation. Vous pouvez définir un budget spécifiquement pour le produit Unity Gateway afin de suivre uniquement les dépenses Unity Gateway, ou inclure Unity Gateway dans un budget à l’échelle du compte.

Les administrateurs de compte et d’espace de travail peuvent afficher un résumé de l’état budgétaire de l’IA et des dépenses sur la page IA dans Le Hub de gouvernance.

Remarque

Les budgets Unity Gateway suivent également l’utilisation des produits Genie. Pour définir spécifiquement des budgets pour Genie, consultez Gérer les budgets et les contrôles de coûts pour Genie.

Pour plus d’informations sur la création et la surveillance des budgets, consultez Créer et surveiller des budgets.

Requirements

• Gateway Unity activé pour votre compte.

Que couvrent les budgets pour Unity Gateway ?

Les budgets de la passerelle Unity couvrent les dépenses qui passent par la passerelle Unity :

• facturation au jeton
• ai_query
• Génie. Consultez Gérer les budgets et les contrôles de coûts pour Genie.
• (Optionnel) Fournisseurs modèles externes (services de fournisseurs modèles).

Ces budgets ne couvrent pas les éléments suivants :

• Capacité de traitement provisionnée
• Le trafic envoyé directement vers des terminaux Model Serving autonomes qui ne passe pas par Unity Gateway

Comment fonctionnent les budgets avec Unity Gateway

Lors de l’élaboration d’un budget, sélectionnez Unity Gateway comme type de ressource pour ne suivre que les dépenses de Unity Gateway.

Types de seuils : Pour les budgets liés à Unity Gateway, vous pouvez configurer :

• Seuils partagés : limite de dépense collective pour tous les utilisateurs dans l’étendue budgétaire.
• Seuils par utilisateur : limite mensuelle qui s’applique à chaque utilisateur individuel.
• Dérogations par utilisateur : Accorder à certains utilisateurs ou groupes une limite de dépenses supérieure au plafond par défaut par utilisateur. Les utilisateurs couverts par une dérogation peuvent dépenser jusqu’au montant de la dérogation au lieu de la limite par défaut par utilisateur. Si un utilisateur appartient à plusieurs groupes de remplacement, le seuil le plus élevé s’applique.

Pour les seuils partagés et par utilisateur, vous pouvez configurer une ou les deux actions suivantes lorsqu’un seuil est atteint :

• Envoyer une alerte : envoie une notification par e-mail aux adresses configurées. Les utilisateurs conservent l’accès à Unity Gateway.
• Utilisation par blocs : Empêche l’utilisateur de faire d’autres requêtes via Unity Gateway. L’utilisateur voit un message indiquant que son budget est épuisé. L’accès reprend une fois le budget réinitialisé ou un administrateur augmente le seuil.

Les administrateurs de compte peuvent consulter les estimations de dépenses quasi en temps réel sur la page des détails du budget.

Inclure l’utilisation de modèles externes

Important

Cette fonctionnalité est en version bêta. Pour l’utiliser, un administrateur de l’espace de travail doit activer l’option dépenses liées aux modèles externes dans les budgets depuis la page Aperçus. Consultez Gérer les préversions d’Azure Databricks.

Lorsque vous créez un budget Unity Gateway, sélectionnez Inclure l’utilisation de modèles externes pour inclure les dépenses estimées des requêtes acheminées vers des modèles externes via les services du fournisseur de modèles.

Une fois activées, les dépenses de modèles externes comptent dans les seuils partagés et par utilisateur du budget. Les actions d’alerte configurée et d’utilisation par blocage s’appliquent lorsque la dépense combinée atteint un certain seuil. Si vous ne sélectionnez pas cette option, le budget exclut les dépenses de modèles externes mais continue d'inclure l'utilisation des modèles hébergés sur Azure Databricks.

Azure Databricks estime les coûts liés aux modèles externes à partir de l’utilisation de jetons et des tarifs publiés par le fournisseur externe. Ces devis peuvent différer de la facture finale de votre fournisseur. Pour analyser l’historique des coûts liés aux modèles externes, interrogez la table système system.ai_gateway.external_model_spend. Consultez les modèles externes.

Les filtres de balises à budget s’appliquent aux étiquettes de service modèles. Les balises de requête sont disponibles dans la table externe du système de suivi des dépenses des modèles, mais n’ont aucune incidence sur la correspondance budgétaire.

Limitations

Important

Les budgets pour Unity Gateway fournissent une estimation quasi en temps réel des dépenses mesurées par rapport aux seuils configurés, et les coûts réels engagés peuvent différer des seuils configurés. Cette fonctionnalité vise à faciliter le contrôle des coûts en temps réel. N’utilisez pas cette fonctionnalité pour garantir un plafond absolu de dépenses sur les montants facturés finaux. Azure Databricks n’est pas responsable des coûts encourus dépassant les seuils budgétaires configurés.

• L'inférence de débit provisionné n'est actuellement pas suivie.

• Chaque budget prend en charge jusqu’à quatre seuils partagés et 20 dérogations par utilisateur.

• Votre compte peut avoir un maximum de 1 000 budgets.

• Les seuils d’utilisation des blocs sont appliqués de manière approximative. L’application de cette limite repose sur une estimation des dépenses en quasi temps réel ; les dépenses réelles peuvent donc être supérieures ou inférieures au seuil configuré. Cela signifie :

  • Un utilisateur peut être bloqué avant que sa dépense réelle n’atteigne le seuil.
  • Un montant de dépenses supérieur au seuil peut être réalisé avant que l’application ne prenne effet. Les requêtes actives en cours lorsque le seuil est atteint ne sont pas interrompues.

  system.billing.usage reste la source de vérité pour l’utilisation réelle facturée par Databricks. Pour les écarts entre l’utilisation suivie par rapport au budget et les coûts réels, Azure Databricks peut ajuster rétroactivement les estimations budgétaires pour les concilier. Pour l’utilisation de modèles externes, la facture du fournisseur externe est la source de véracité pour les frais réels du fournisseur.

• Les montants dépensés dans les emails d’alerte budgétaire, la page des détails du budget, system.billing.usage, et system.ai_gateway.external_model_spend peuvent différer lorsqu’ils sont comparés au même moment. Cela est attendu, car chaque source est mise à jour à un rythme différent :

  • E-mails d’alerte budgétaire : reflètez les dépenses au moment où l’alerte a été déclenchée.
  • Page de détails du budget : Se met à jour fréquemment, mais peut afficher un montant inférieur à celui indiqué dans un e-mail d’alerte récent si elle est consultée peu après.
  • system.billing.usage: mises à jour toutes les heures. L’interrogation des tables système peu de temps après réception d’une alerte peut retourner un chiffre de dépense inférieur à la page détails du budget ou aux e-mails d’alerte.
  • system.ai_gateway.external_model_spend: Mis à jour toutes les heures avec une estimation du coût des modèles externes. Les devis peuvent différer de la facture finale de votre fournisseur.

  L’application du budget, y compris le blocage de l’utilisation et les seuils d’alerte, est basée sur le suivi des dépenses en temps quasi réel et n’est pas affectée par le minutage de l’actualisation de la table système.

Ressources supplémentaires

• Analyser le coût de la passerelle Unity
• Créer et gérer des API modèles (services modèles)
• Créer et surveiller des budgets
• Gérer les budgets et les contrôles de coûts pour Genie