Interroger les LLM et les agents sur Azure Databricks

Azure Databricks offre plusieurs façons d’interroger des modèles de langage volumineux (LLMs), des modèles de base et des agents déployés. Choisissez une interface utilisateur interactive, SQL, API REST ou bibliothèques clientes en fonction de votre flux de travail.

AI Playground

Le AI Playground est un environnement de conversation sans code dans votre espace de travail Azure Databricks pour demander et comparer des modules LLMs. Utilisez-le pour expérimenter avec des prompts, ajuster des paramètres comme la température et le nombre maximal de jetons, et prototyper côte à côte des agents avec appel d’outils et des bots de questions-réponses avant de passer au code.

Enrichir des données à l’aide de fonctions IA

AI Functions sont des fonctions SQL intégrées qui appliquent des modèles LLMs et d’autres modèles aux données stockées dans Azure Databricks. Exécutez-les à partir de Databricks SQL, de notebooks, de pipelines déclaratifs Spark Lakeflow ou de flux de travail pour classifier les tickets de support, extraire des entités à partir de documents, synthétiser du contenu ou traduire du texte à l’échelle du lot.

Choisissez entre deux styles de fonctions :

• Fonctions spécifiques àTask comme ai_classify, ai_extract et ai_parse_document sont optimisées pour une tâche unique et utilisent des systèmes gérés par Azure Databricks, soutenus par des recherches.
• ai_query est la fonction généraliste — fournissez votre propre prompt et choisissez n’importe quel modèle de base pris en charge. Voir Utiliser ai_query.

Pour obtenir un exemple de bout en bout, consultez Analyser les avis des clients à l’aide d’AI Functions.

Agents de requête

Après avoir généré et déployé un agent, interrogez l’agent à partir de votre application. Les agents peuvent être hébergés sur des points de terminaison Databricks Apps ou Mosaic AI Model Service. Azure Databricks prend en charge trois méthodes de requête :

• Databricks OpenAI Client : recommandé pour les nouvelles applications, avec diffusion en continu native et prise en charge complète des fonctionnalités.
• API REST compatible OpenAI : indépendante du langage, fonctionne avec n’importe quelle plateforme qui parle déjà l’API OpenAI.
• ai_query — interrogez les agents existants hébergés sur des points de terminaison Model Serving depuis SQL.

Modèles de base

Mosaic AI Model Serving héberge des modèles de fondation ouverts, gérés par Azure Databricks et externes via une API unifiée. Choisissez l’option de déploiement qui correspond à votre charge de travail :

• Paiement par jeton : interrogez les points de terminaison préconfigurés dans votre espace de travail sans engagement d’infrastructure. Bon pour l’expérimentation.
• Débit approvisionné : déployez des modèles affinés avec des garanties de service et de performances optimisées pour la production.
• modèles External : acheminer les demandes vers des fournisseurs tels qu’OpenAI ou Anthropic par le biais de la gouvernance Azure Databricks.