Creación de aplicaciones de IA generativas mediante DSPy en Azure Databricks

En este artículo se describe DSPy y se proporcionan cuadernos de ejemplo que muestran cómo usar DSPy en Azure Databricks para crear y optimizar agentes de IA generativos.

¿Qué es DSPy?

DSPy es un marco para definir y optimizar mediante programación agentes de IA generativos. DSPy puede automatizar la ingeniería de mensajes y organizar el ajuste preciso de LLM para mejorar el rendimiento.

DSPy consta de varios componentes que simplifican el desarrollo del agente y mejoran la calidad del agente:

• Módulos: en DSPy, estos son componentes que controlan transformaciones de texto específicas, como responder preguntas o resumir. Reemplazan los mensajes escritos a mano tradicionales y pueden aprender de ejemplos, por lo que son más adaptables.
• Firmas: una descripción en lenguaje natural del comportamiento de entrada y salida del módulo. Por ejemplo, "pregunta -> respuesta" especifica que el módulo debe tomar una pregunta como entrada y devolver una respuesta.
• Compilador: esta es la herramienta de optimización de DSPy. Mejora las canalizaciones de LM ajustando los módulos para cumplir una métrica de rendimiento, ya sea mediante la generación de mejores avisos o modelos de ajuste preciso.
• Programa (DSPy): un conjunto de módulos conectados a una canalización para realizar tareas complejas. Los programas DSPy son flexibles, lo que permite optimizarlos y adaptarlos mediante el compilador.

Creación de un programa DSPy clasificador de texto

En el cuaderno siguiente se muestra cómo crear un programa DSPy que realiza la clasificación de texto. En este ejemplo se muestra cómo funciona DSPy y los componentes que usa.

Creación de un cuaderno de programa DSPy clasificador de texto

Obtener el cuaderno

Uso de un índice de búsqueda vectorial con un programa DSPy para RAG

En el cuaderno siguiente se muestra cómo crear un índice de búsqueda vectorial y usarlo con un programa DSPy que realiza RAG.

Creación de un cuaderno de programa DSPy clasificador de texto

Obtener el cuaderno

Sistema multiagente con Genie y DSPy

En el cuaderno siguiente se muestra cómo crear un sistema multiagente que organice estos tipos de agentes:

• Espacios de Genie
• Agentes desplegados en Model Serving
• Agentes de llamada a funciones de UC creados mediante DSPy.

Multiagente mediante Genie y DSPy

Obtener el cuaderno

Creación de un programa DSPy para RAG

Estos cuadernos muestran cómo crear y optimizar un programa RAG básico mediante DSPy. Estos cuadernos suponen que usa computación sin servidor e instalan paquetes a nivel de cuaderno para asegurarse de que se ejecutan independientemente de la versión de Databricks Runtime.

Parte 1: Preparación del índice de búsqueda de datos y vectores para un cuaderno de programas de RAG DSPy

Obtener el cuaderno

Parte 2: Creación y optimización de un programa DSPy para el cuaderno RAG

Obtener el cuaderno

Migración de LangChain a DSPy

Estos cuadernos muestran cómo migrar el código del modelo LangChain a DSPy y optimizarlo para mejorar el rendimiento. Estos cuadernos suponen que usa computación sin servidor e instalan paquetes a nivel de cuaderno para asegurarse de que se ejecutan independientemente de la versión de Databricks Runtime.

Migración del código del modelo LangChain al cuaderno DSPy

Obtener el cuaderno

Optimización del cuaderno de modelos de DSPy migrado

Obtener el cuaderno