Créer des applications IA à l’aide de DSPy sur Azure Databricks

Cet article décrit DSPy et fournit des exemples de notebooks montrant comment utiliser DSPy sur Azure Databricks pour générer et optimiser des agents IA.

Qu’est-ce que DSPy ?

DSPy est une infrastructure permettant de définir et d’optimiser par programmation les agents IA. DSPy peut automatiser l’ingénierie de requêtes et orchestrer l’ajustement des LLM pour améliorer les performances.

DSPy se compose de plusieurs composants qui simplifient le développement d’agents et améliorent la qualité de l’agent :

• Modules: dans DSPy, il s’agit de composants qui gèrent des transformations de texte spécifiques, comme répondre à des questions ou résumer. Ils remplacent les invites manuscrites traditionnelles et peuvent apprendre à partir d’exemples, ce qui les rend plus adaptables.
• Signatures : description du langage naturel du comportement d’entrée et de sortie d’un module. Par exemple, « question -> réponse » spécifie que le module doit prendre une question comme entrée et retourner une réponse.
• Compilateur : il s’agit de l’outil d’optimisation de DSPy. Il améliore les pipelines LM en ajustant les modules pour satisfaire à un critère de performance, soit en générant de meilleures invites, soit en ajustant précisément les modèles.
• Program (DSPy): ensemble de modules connectés à un pipeline pour effectuer des tâches complexes. Les programmes DSPy sont flexibles, ce qui vous permet d’optimiser et de les adapter à l’aide du compilateur.

Créer un programme DSPy classifieur de texte

Le notebook suivant montre comment créer un programme DSPy qui effectue la classification de texte. Cet exemple montre comment fonctionne DSPy et les composants qu’il utilise.

Créer un bloc-notes de programme DSPy classifieur de texte

Obtenir un ordinateur portable

Utiliser un index de recherche IA avec un programme DSPy pour RAG

Le notebook suivant montre comment créer un index AI Search et l’utiliser avec un programme DSPy qui effectue de la RAG.

Créer un bloc-notes de programme DSPy classifieur de texte

Obtenir un ordinateur portable

Système multi-agent avec Genie et DSPy

Le notebook suivant vous montre comment créer un système multi-agent qui orchestre ces types d’agents :

• Agents génie
• Agents déployés sur le service de modèles
• Agents d’appel de fonction UC créés à l’aide de DSPy.

Multi-agent à l’aide de Genie et DSPy

Obtenir un ordinateur portable

Créer un programme DSPy pour RAG

Ces notebooks vous montrent comment créer et optimiser un programme RAG de base à l’aide de DSPy. Ces notebooks partent du principe que vous utilisez le calcul sans serveur et installent des packages au niveau du notebook afin de garantir qu'ils fonctionnent indépendamment de la version de Databricks Runtime.

Partie 1 : Préparer les données et l’index AI Search pour un notebook de programme DSPy RAG

Obtenir un ordinateur portable

Partie 2 : Créer et optimiser un programme DSPy pour le notebook RAG

Obtenir un ordinateur portable

Migrer LangChain vers DSPy

Ces notebooks montrent comment migrer le code du modèle LangChain vers DSPy et l’optimiser pour de meilleures performances. Ces notebooks partent du principe que vous utilisez le calcul sans serveur et installent des packages au niveau du notebook afin de garantir qu'ils fonctionnent indépendamment de la version de Databricks Runtime.

Migrer le code du modèle LangChain vers un notebook DSPy

Obtenir un ordinateur portable

Optimiser votre notebook de modèle DSPy migré

Obtenir un ordinateur portable