Présentation des applications IA génératives sur Azure Databricks

Mosaïque AI prend en charge les applications GenAI simples et complexes, des chatbots de génération augmentée de récupération (RAG) aux agents appelant des outils. Ce guide utilisateur explique les concepts clés derrière les applications GenAI et les systèmes d’agent sur Databricks et fournit des conseils pour la création, l’évaluation et la mise à l’échelle d’applications GenAI.

Page	Descriptif
Démarrez : IA Générative sans code	Essayez AI Playground pour les tests et le prototypage basés sur l’interface utilisateur.
Prise en main : MLflow 3 pour GenAI	Essayez MLflow pour le suivi, l’évaluation et les commentaires humains de GenAI.
Concepts : GenAI sur Databricks	Découvrez les modèles, agents, outils et applications GenAI.
Plateforme : fonctionnalités de GenAI clés	Trouvez des informations détaillées sur les fonctionnalités clés de GenAI sur Azure Databricks.

Prise en main de la création d’applications d'Intelligence Artificielle Générative

Essayez GenAI basé sur l’interface utilisateur et basé sur du code sur Azure Databricks.

Tutorial	Descriptif
Prise en main : Interroger des LLMs et des prototypes d'agents IA sans code	Familiarisez-vous avec AI Playground pour les tests et le prototypage basés sur l’interface utilisateur.
Prise en main : MLflow 3 pour GenAI	Essayez MLflow pour GenAI pour le suivi, l'évaluation et les retours humains.
Commencer à interroger les LLMs sur Databricks	Utilisez les API Foundation Model pour interroger des modèles GenAI à l’aide de code.

Découvrir les concepts GenAI

Familiarisez-vous avec les concepts genAI fondamentaux, tels que les modèles, les agents, les outils et les applications.

Guide	Descriptif
Concepts : IA générative sur Azure Databricks	Découvrez les modèles, agents, outils et applications GenAI.
Principaux défis liés à la création d’applications GenAI	Découvrez les principaux défis de GenAI et comment Databricks les résout.
Modèles de conception du système d’agent	Découvrez les options et compromis pour les conceptions d’agents, des chaînes simples aux systèmes multi-agents complexes.

Utiliser les fonctionnalités Azure Databricks pour créer des applications GenAI

Pour les approches sans code ou low-code, commencez par vous familiariser avec :

Caractéristique	Descriptif
Briques de l’agent	Créez et optimisez des systèmes d’agent IA de haute qualité spécifiques à un domaine pour les cas d’usage courants.
AI Playground	Interrogez des modèles et agents GenAI, concevez des invites et prototypez des agents d'appel d'outils dans une interface utilisateur.
Fonctions IA	Appelez des fonctions SQL intégrées pour les tâches IA.

Pour les approches code-first, commencez par vous familiariser avec :

Caractéristique	Descriptif
MLflow pour GenAI	Utilisez MLflow pour le suivi et l’observabilité, l’évaluation et la surveillance.
Modèles de base dans Model Serving	Utilisez des points de terminaison de modèle GenAI, notamment des API Foundation Models hébergées par Databricks et des modèles externes.
Recherche vectorielle	Créez et interrogez des index vectoriels pour RAG et d’autres systèmes d’agent.
Cadre de l’assistant IA de Mosaic	Générez et déployez des agents IA à l’aide du code.
Passerelle IA	Régir et surveiller l’accès aux modèles et points de terminaison GenAI.

Pour obtenir une liste plus détaillée, consultez les fonctionnalités d’IA de Mosaïque pour GenAI.

Intelligence générale et intelligence des données

• L’intelligence générale fait référence à ce que le LLM sait intrinsèquement grâce à un vaste pré-entraînement sur des textes divers. Cela est utile pour la fluidité de la langue et le raisonnement général.
• L’intelligence des données fait référence aux données et API spécifiques au domaine de votre organisation. Cela peut inclure des enregistrements client, des informations sur les produits, des bases de connaissances ou des documents qui reflètent votre environnement d’entreprise unique.

Les systèmes d’agent combinent ces deux sources de connaissances : ils commencent par les connaissances générales et génériques d’un LLM, puis apportent des données en temps réel ou spécifiques au domaine pour répondre à des questions détaillées ou effectuer des actions spécialisées. Avec Azure Databricks, vous pouvez incorporer l’intelligence des données dans vos applications GenAI à chaque niveau :

• Sources de données telles que les index vectoriels et Genie

• Agents, y compris des conceptions d’agents personnalisées et des conceptions automatisées à partir de Agent Bricks

• Données d’évaluation et métriques
• Optimisation des commandes d'invite fondées sur les données d'évaluation

• Réglage précis des modèles, y compris le réglage personnalisé et le réglage automatisé par Agent Bricks

GenAI vs ML vs Deep Learning

Les limites entre l’intelligence artificielle générative (GenAI), le Machine Learning (ML) et le Deep Learning (DL) peuvent être approximatives. Ce guide se concentre sur GenAI, mais les fonctionnalités de la plateforme Databricks suivantes prennent en charge ML, deep learning et GenAI :

• Model Service prend en charge les modèles ML, Deep Learning et GenAI. Vous pouvez l’utiliser pour l’inférence par lot GenAI et déployer des agents ou des modèles affinés à l’aide du service de modèle personnalisé.

• Le calcul GPU sans serveur et le Runtime Databricks activé pour le Machine Learning peuvent être utilisés pour entraîner et affiner les modèles de ML, de Deep Learning et de GenAI.

• Le suivi des expériences MLflow peut être utilisé pour effectuer le suivi des expériences ML et GenAI classiques et des exécutions.
• Databricks Feature Store peut être utilisé pour gérer et servir des données structurées pour ML classique et GenAI.