Partage via

Présentation de la création d’applications IA de génération sur Databricks

  • Article

Mosaic AI fournit une plateforme complète pour créer, déployer et gérer des applications GenAI. Cet article vous présente les composants essentiels et les processus impliqués dans le développement d’applications GenAI sur Databricks.

Déployer et interroger des modèles d’IA générative

Pour les cas d’usage simples, vous pouvez directement traiter et interroger des modèles d’IA générative, notamment des modèles en source ouverte de haute qualité, ainsi que des modèles tiers provenant de fournisseurs de LLM tels qu’OpenAI et Anthropic.

Le Service de modèles Mosaic AI prend en charge le service et l’interrogation des modèles d’IA générative à l’aide des fonctionnalités suivantes :

  • API du modèle de la fondation. Cette fonctionnalité permet de rendre les modèles ouverts et les variantes de modèles affinés les plus modernes disponibles pour votre point de terminaison de mise en service de modèles. Ces modèles sont des architectures de modèle de base curées qui prennent en charge l’inférence optimisée. Les modèles de base, tels que DBRX Instruct, Llama-2-70B-chat, BGE-Large et Mistral-7B, sont disponibles pour une utilisation immédiate avec la tarification de paiement par jeton, mais aussi les charges de travail qui nécessitent des garanties de niveau de performance, comme des variantes de modèle affinées peuvent être déployées avec un débit approvisionné.
  • Modèles externes. Il s’agit de modèles IA générative hébergés en dehors de Databricks. Les points de terminaison servant des modèles externes peuvent être régis de manière centralisée et les clients peuvent établir des limites de débit et un contrôle d’accès les concernant. Les exemples incluent des modèles de base tels que GPT-4 d’OpenAI, Claude d’Anthropic et d’autres.

Consultez Créer des points de terminaison de mise en service de modèle d’IA générative.

Mosaic AI Agent Framework

Mosaic AI Agent Framework comprend un ensemble d’outils sur Databricks conçus pour aider les développeurs à créer, déployer et évaluer des agents de qualité de production comme les applications RAG (génération augmentée de récupération).

Il est compatible avec les infrastructures tierces telles que LangChain et LlamaIndex, ce qui vous permet de développer avec votre cadre préféré et tout en tirant parti du catalogue Unity Catalog managé de Databricks, de Agent Evaluation Framework (cadre d’évaluation des agents) et d’autres avantages de la plateforme.

Effectuez rapidement une itération sur le développement d’agents à l’aide des fonctionnalités suivantes :

  • Créez et journalisez des agents à l’aide de n’importe quelle bibliothèque et MLflow. Paramétrisez vos agents pour expérimenter et itérer rapidement sur le développement d’agents.
  • Le suivi de l’agent vous permet de journaliser, d’analyser et de comparer des traces dans votre code d’agent pour déboguer et comprendre comment votre agent répond aux demandes.
  • Déployez des agents en production avec prise en charge native de la diffusion en continu des jetons et de la journalisation des requêtes/réponses, ainsi qu’une application de révision intégrée pour obtenir les commentaires des utilisateurs pour votre agent.