Interroger les LLM et les agents sur Azure Databricks

Azure Databricks offre plusieurs façons d’interroger des modèles de langage volumineux (LLMs), des modèles de base et des agents déployés. Choisissez une interface utilisateur interactive, SQL, API REST ou bibliothèques clientes en fonction de votre flux de travail.

AI Playground

Le AI Playground est un environnement de conversation sans code dans votre espace de travail Azure Databricks pour demander et comparer des modules LLMs. Utilisez-le pour expérimenter avec des prompts, ajuster des paramètres comme la température et le nombre maximal de jetons, et prototyper côte à côte des agents avec appel d’outils et des bots de questions-réponses avant de passer au code.

Modèles de base

Unity AI Gateway sert des modèles de base de paiement par jeton gérés par Azure Databricks derrière une API unifiée, prêts à être utilisés sans engagement d’infrastructure. Choisissez le type de service de modèles qui répond à vos besoins :

• Services de modèle fournis par le système dans system.ai — services de modèle préconfigurés dans le catalogue Unity. Adapté pour le démarrage.
• Services de modèle personnalisés : créez vos propres services de modèle pour distribuer la charge sur plusieurs modèles ou configurer des secours. Mieux adapté à la gouvernance et à la mise à l’échelle avancées.

Agents de requête

Après avoir généré et déployé un agent, interrogez l’agent à partir de votre application. Les agents peuvent être hébergés sur des points de terminaison Databricks Apps ou Model Serving. Azure Databricks prend en charge trois méthodes de requête :

• Databricks OpenAI Client : recommandé pour les nouvelles applications, avec diffusion en continu native et prise en charge complète des fonctionnalités.
• API REST compatible OpenAI : indépendante du langage, fonctionne avec n’importe quelle plateforme qui parle déjà l’API OpenAI.
• ai_query — interrogez les agents existants hébergés sur des points de terminaison Model Serving depuis SQL.

Enrichir des données à l’aide de fonctions IA

AI Functions sont des fonctions SQL intégrées qui appliquent des modèles LLMs et d’autres modèles aux données stockées dans Azure Databricks. Exécutez-les à partir de Databricks SQL, de notebooks, de pipelines Lakeflow ou de flux de travail pour classifier les tickets de support, extraire des entités à partir de documents, synthétiser du contenu ou traduire du texte à l’échelle du lot.

Choisissez entre deux styles de fonctions :

• Fonctions spécifiques àTask comme ai_classify, ai_extract et ai_parse_document sont optimisées pour une tâche unique et utilisent des systèmes gérés par Azure Databricks, soutenus par des recherches.
• ai_query est la fonction généraliste — fournissez votre propre prompt et choisissez n’importe quel modèle de base pris en charge. Voir Utiliser ai_query.

Pour obtenir un exemple de bout en bout, consultez Analyser les avis des clients à l’aide d’AI Functions.