Passerelle d’IA

AI Gateway est la solution Databricks pour la gouvernance et la surveillance des points de terminaison LLM, des agents de codage et des points de terminaison de service de modèle. Utilisez ai Gateway pour analyser l’utilisation, configurer les autorisations et gérer la capacité entre les fournisseurs.

Passerelle AI (Bêta)

La nouvelle expérience de passerelle IA est disponible en version bêta. AI Gateway (bêta) est le plan de contrôle d’entreprise pour gérer les points de terminaison LLM et les agents de codage avec des fonctionnalités améliorées, notamment une interface utilisateur enrichie, une meilleure observabilité et une couverture d’API étendue.

Sujet	Descriptif
Passerelle AI (bêta)	Découvrez la Passerelle IA (bêta), ses fonctionnalités prises en charge et comment commencer.
Configurer des points de terminaison de passerelle AI	Créez et configurez des points de terminaison de passerelle d'IA pour vos LLMs et agents de codage.
Interroger les points de terminaison de la passerelle d'IA	Interroger les points de terminaison des passerelles IA via le client OpenAI et d'autres API prises en charge.
Surveiller l’utilisation des points de terminaison de passerelle AI	Surveillez l’utilisation et les coûts des points de terminaison de passerelle AI à l’aide de tables système.
Surveiller des modèles à l’aide de tables d’inférence	Surveillez et auditez les demandes et les réponses dans les tables Delta du catalogue Unity.
Intégrer à des agents de codage	Intégrez des agents de codage tels que Cursor, Gemini CLI, Codex CLI et Claude Code avec AI Gateway.

Note

Les fonctionnalités de passerelle IA n’entraînent pas de frais pendant la version bêta.

Points de terminaison de service

Les fonctionnalités de passerelle IA sont également disponibles pour les points de terminaison de service de modèle, notamment les points de terminaison de modèle externes, les points de terminaison de l’API Foundation Model et les points de terminaison de modèle personnalisés.

Sujet	Descriptif
Passerelle IA pour le service de points de terminaison	Découvrez les fonctionnalités de la passerelle IA pour gérer les points de terminaison, ainsi que les caractéristiques prises en charge et les limitations.
Configurer AI Gateway sur les points de terminaison de service de modèles	Configurez les fonctionnalités de la passerelle IA, telles que le suivi de l’utilisation, le journal des charges utiles, les limitations de débit et les garde-fous sur un point de terminaison de modèle en service.
Surveiller les modèles servis à l’aide de tables d’inférence compatibles avec AI Gateway	Surveillez les modèles servis à l’aide de tables d’inférence compatibles avec la passerelle AI.