Construir aplicações de IA usando DSPy no Azure Databricks

Este artigo descreve o DSPy e fornece cadernos de exemplo que demonstram como usar o DSPy no Azure Databricks para construir e otimizar agentes de IA.

O que é DSPy?

O DSPy é um framework para definir e otimizar programaticamente agentes de IA. O DSPy pode automatizar a engenharia imediata e orquestrar o ajuste fino do LLM para melhorar o desempenho.

O DSPy consiste em vários componentes que simplificam o desenvolvimento do agente e melhoram a qualidade do agente:

  • Módulos: No DSPy, estes são componentes que lidam com transformações de texto específicas, como responder a perguntas ou resumir. Eles substituem as tradicionais instruções manuscritas e podem aprender com os exemplos, tornando-os mais adaptáveis.
  • Assinaturas: uma descrição em linguagem natural do comportamento de entrada e saída de um módulo. Por exemplo, "pergunta -> resposta" especifica que o módulo deve tomar uma pergunta como entrada e retornar uma resposta.
  • Compilador: Esta é a ferramenta de otimização do DSPy. Isto melhora os pipelines de Modelos de Linguagem (LM) ajustando os módulos para atender a uma métrica de desempenho, seja gerando prompts melhores ou realizando ajuste fino dos modelos.
  • Programa (DSPy): Um conjunto de módulos conectados num pipeline para executar tarefas complexas. Os programas DSPy são flexíveis, permitindo otimizá-los e adaptá-los usando o compilador.

Criar um programa de classificador de texto DSPy

O bloco de anotações a seguir mostra como criar um programa DSPy que executa a classificação de texto. Este exemplo demonstra como o DSPy funciona e os componentes que ele usa.

Criar um caderno do programa DSPy de classificador de texto

Obter caderno

Use um índice de pesquisa por IA com um programa DSPy para RAG

O caderno seguinte mostra como criar um índice de Pesquisa por IA e usá-lo com um programa DSPy que execute RAG.

Criar um caderno do programa DSPy de classificador de texto

Obter caderno

Sistema multi-agente com Genie e DSPy

O bloco de anotações a seguir mostra como criar um sistema multiagente que orquestra esses tipos de agentes:

  • Agentes Génio
  • Agentes implantados no Model Serving
  • Agentes de chamada de funções UC construídos usando DSPy.

Multiagente usando Genie e DSPy

Obter caderno

Criar um programa DSPy para RAG

Estes blocos de anotações mostram como criar e otimizar um programa RAG básico usando DSPy. Esses blocos de anotações pressupõem que você está usando computação sem servidor e instalam pacotes no nível do bloco de anotações para garantir que sejam executados independentemente da versão do Databricks Runtime.

Parte 1: Preparar dados e índice de pesquisa por IA para um caderno de programas RAG DSPy

Obter caderno

Parte 2: Criar e otimizar um programa DSPy para notebook RAG

Obter caderno

Migrar LangChain para DSPy

Esses notebooks mostram como migrar o código do modelo LangChain para DSPy e otimizá-lo para um melhor desempenho. Esses blocos de anotações pressupõem que você está usando computação sem servidor e instalam pacotes no nível do bloco de anotações para garantir que sejam executados independentemente da versão do Databricks Runtime.

Migrar o código do modelo LangChain para o notebook DSPy

Obter caderno

Otimize seu notebook modelo DSPy migrado

Obter caderno

  • Last updated on