Tworzenie aplikacji sztucznej inteligencji przy użyciu oprogramowania DSPy w Azure Databricks

W tym artykule opisano środowisko DSPy i przedstawiono przykładowe notesy pokazujące, jak używać rozszerzenia DSPy na Azure Databricks do tworzenia i optymalizowania agentów sztucznej inteligencji.

Co to jest DSPy?

DSPy to struktura programowa definiowania i optymalizowania agentów sztucznej inteligencji. Oprogramowanie DSPy może automatyzować inżynierię monitów i koordynować dostrajanie modeli LLM w celu zwiększenia wydajności.

DSPy składa się z kilku komponentów, które upraszczają tworzenie agentów i poprawiają jakość agentów.

  • Modules: W narzędziu DSPy są to składniki obsługujące określone przekształcenia tekstu, takie jak odpowiadanie na pytania lub podsumowywanie. Zastępują tradycyjne ręcznie napisane monity i mogą uczyć się na podstawie przykładów, co czyni je bardziej elastycznymi.
  • Podpisy: Opis zachowania wejścia i wyjścia modułu w języku naturalnym. Na przykład "pytanie —> odpowiedź" określa, że moduł powinien przyjąć pytanie jako dane wejściowe i zwrócić odpowiedź.
  • Kompilator: jest to narzędzie optymalizacji dsPy. Usprawnia potoki LM poprzez dostosowanie modułów w celu spełnienia metryki wydajności, generując lepsze podpowiedzi lub dostrajając modele.
  • Program (DSPy): Zestaw modułów połączonych w potok przetwarzania do realizacji złożonych zadań. Programy DSPy są elastyczne, dzięki czemu można je zoptymalizować i dostosować przy użyciu kompilatora.

Tworzenie programu DSPy klasyfikatora tekstu

W poniższym notesie pokazano, jak utworzyć program DSPy, który wykonuje klasyfikację tekstu. W tym przykładzie pokazano, jak działa środowisko DSPy i używane przez niego składniki.

Utwórz notes programu DSPy dla klasyfikatora tekstu

Pobierz laptopa

Używanie indeksu wyszukiwania sztucznej inteligencji z programem DSPy dla programu RAG

Poniższy notatnik pokazuje, jak utworzyć indeks usługi AI Search i używać go w połączeniu z programem DSPy, który realizuje mechanizm RAG.

Utwórz notes programu DSPy dla klasyfikatora tekstu

Pobierz laptopa

System z wieloma agentami z usługami Genie i DSPy

W poniższym notesie pokazano, jak utworzyć system z wieloma agentami, który organizuje następujące typy agentów:

  • Agenci genie
  • Agenci wdrożeni w usłudze modelowej
  • Agent wywołujący funkcje UC zbudowany przy użyciu DSPy.

Wieloaspektowy agent z wykorzystaniem Genie i DSPy

Pobierz laptopa

Tworzenie programu DSPy dla programu RAG

W tych notesach pokazano, jak utworzyć i zoptymalizować podstawowy program RAG przy użyciu oprogramowania DSPy. Te notatniki zakładają użycie bezserwerowych zasobów obliczeniowych i że pakiety są instalowane na poziomie notatnika, aby upewnić się, że działają niezależnie od wersji środowiska Databricks Runtime.

Część 1. Przygotowanie danych i indeksu AI Search dla notesnika programu RAG DSPy

Pobierz laptopa

Część 2. Tworzenie i optymalizowanie programu DSPy dla notesu RAG

Pobierz laptopa

Migrowanie biblioteki LangChain do biblioteki DSPy

W tych notesach pokazano, jak przeprowadzić migrację kodu modelu LangChain do biblioteki DSPy i zoptymalizować go pod kątem lepszej wydajności. Te notatniki zakładają użycie bezserwerowych zasobów obliczeniowych i że pakiety są instalowane na poziomie notatnika, aby upewnić się, że działają niezależnie od wersji środowiska Databricks Runtime.

Migrowanie kodu modelu LangChain do notesu DSPy

Pobierz laptopa

Optymalizuj migrowany notatnik modelu DSPy

Pobierz laptopa