Vytváření generativních AI aplikací pomocí DSPy na Azure Databricks

Tento článek popisuje DSPy a poskytuje ukázkové poznámkové bloky, které ukazují, jak používat DSPy v Azure Databricks k vytváření a optimalizaci generujících agentů AI.

Co je DSPy?

DSPy je architektura pro programové definování a optimalizaci generujících agentů AI. DSPy dokáže automatizovat navrhování podnětů a koordinovat vyladění LLM za účelem zlepšení výkonu.

DSPy se skládá z několika komponent, které zjednodušují vývoj agenta a zlepšují kvalitu agenta:

• moduly: V DSPy se jedná o komponenty, které zpracovávají konkrétní transformace textu, jako jsou odpovědi na otázky nebo shrnutí. Nahrazují tradiční ručně napsané výzvy a můžou se učit z příkladů, což jim umožňuje přizpůsobitelnost.
• Podpisy: Popis vstupu a výstupu modulu v přirozeném jazyce. Například "otázka –> odpověď" určuje, že modul by měl jako vstup přijmout otázku a vrátit odpověď.
• Kompilátor: Toto je nástroj pro optimalizaci DSPy. Vylepšuje pracovní postupy LM úpravou modulů tak, aby splňovaly metriku výkonu, a to buď generováním lepších podnětů, nebo vyladěním modelů.
• Program (DSPy): Soubor modulů propojených do řetězce pro provádění složitých úloh. Programy DSPy jsou flexibilní a umožňují optimalizovat a přizpůsobovat je pomocí kompilátoru.

Vytvořte program DSPy pro klasifikaci textu

Následující poznámkový blok ukazuje, jak vytvořit program DSPy, který provádí klasifikaci textu. Tento příklad ukazuje, jak DSPy funguje, a komponenty, které používá.

Vytvořte poznámkový blok programu DSPy pro klasifikátor textů

Získej poznámkový blok

Použití indexu vektorového vyhledávání s programem DSPy pro RAG

Následující poznámkový blok ukazuje, jak vytvořit index vektorového vyhledávání a použít ho s programem DSPy, který provádí RAG.

Vytvořte poznámkový blok programu DSPy pro klasifikátor textů

Získej poznámkový blok

Systém s více agenty s Genie a DSPy

Následující poznámkový blok ukazuje, jak vytvořit systém s více agenty, který orchestruje tyto typy agentů:

• Genie Prostory
• Agenti nasazení do obsluhy modelů
• Agenti pro vyvolávání funkcí UC vytvoření pomocí DSPy.

Více agentů s využitím Genie a DSPy

Získej poznámkový blok

Vytvoření programu DSPy pro RAG

Tyto poznámkové bloky ukazují, jak vytvořit a optimalizovat základní program RAG pomocí DSPy. Tyto poznámkové bloky předpokládají, že používáte bezserverovou výpočetní kapacitu a instalují balíčky na úrovni jednotlivého notebooku, aby se zajistilo, že běží nezávisle na verzi Databricks Runtime.

Část 1: Příprava indexu vyhledávání dat a vektorů pro poznámkový blok programu RAG DSPy

Získej poznámkový blok

Část 2: Vytvořte a optimalizujte program DSPy pro poznámkový sešit RAG

Získej poznámkový blok

Migrace LangChain do DSPy

Tyto poznámkové bloky ukazují, jak migrovat kód modelu LangChain do DSPy a optimalizovat ho pro lepší výkon. Tyto poznámkové bloky předpokládají, že používáte bezserverovou výpočetní kapacitu a instalují balíčky na úrovni jednotlivého notebooku, aby se zajistilo, že běží nezávisle na verzi Databricks Runtime.

Migrace kódu modelu LangChain do poznámkového bloku DSPy

Získej poznámkový blok

Optimalizujte migrovaný poznámkový blok modelu DSPy

Získej poznámkový blok