Interroger les LLM et les agents sur Azure Databricks

Azure Databricks offre plusieurs façons d’interroger des modèles de langage volumineux (LLMs), des modèles de base et des agents déployés. Choisissez une interface utilisateur interactive, SQL, API REST ou bibliothèques clientes en fonction de votre flux de travail.

Terrain de jeu IA

Le AI Playground est un environnement de conversation sans code dans votre espace de travail Azure Databricks pour demander et comparer des modules LLMs. Utilisez-le pour expérimenter avec des prompts, ajuster des paramètres comme la température et le nombre maximal de jetons, et prototyper côte à côte des agents avec appel d’outils et des bots de questions-réponses avant de passer au code.

Modèles de base

Azure Databricks dessert nativement les modèles de fondation sous forme d’API de modèles (services de modèles) via Unity AI Gateway. Chaque utilisateur de compte peut appeler les modèles pay-per-token dans le system.ai schéma sans configuration. Choisissez les API modèles qui correspondent à vos besoins :

• API de modèles fournies par le système dans system.ai: Modèles servis nativement par Azure Databricks, prêts à interroger avec le SDK compatible OpenAI, les API natives des fournisseurs, ou ai_query. Voir API de modèles de requête (services modèles).
• API de modèles personnalisées : créez les vôtres lorsque vous avez besoin de modèles au-delà des valeurs par défaut, ou pour répartir la charge et configurer des solutions de secours.

Agents de requête

Après avoir généré et déployé un agent, interrogez l’agent à partir de votre application. Les agents peuvent être hébergés sur des points de terminaison Databricks Apps ou Model Serving. Azure Databricks prend en charge trois méthodes de requête :

• Client Databricks OpenAI : recommandé pour les nouvelles applications, avec streaming natif et prise en charge complète des fonctionnalités.
• API REST compatible OpenAI : indépendante du langage, fonctionne avec toute plateforme qui parle déjà l’API OpenAI.
• ai_query: Requête des agents hérités hébergés sur les terminaux Model Serving depuis SQL.

Enrichir des données à l’aide de fonctions IA

AI Functions sont des fonctions SQL intégrées qui appliquent des modèles LLMs et d’autres modèles aux données stockées dans Azure Databricks. Exécutez-les à partir de Databricks SQL, de notebooks, de pipelines Lakeflow ou de flux de travail pour classifier les tickets de support, extraire des entités à partir de documents, synthétiser du contenu ou traduire du texte à l’échelle du lot.

Choisissez entre deux styles de fonctions :

• Fonctions spécifiques àTask comme ai_classify, ai_extract et ai_parse_document sont optimisées pour une tâche unique et utilisent des systèmes gérés par Azure Databricks, soutenus par des recherches.
• ai_query est la fonction à usage général. Créez votre propre invite et choisissez n’importe quel modèle de fondation supporté. Voir Utiliser ai_query.

Pour obtenir un exemple de bout en bout, consultez Analyser les avis des clients à l’aide d’AI Functions.