Membangun aplikasi AI generatif menggunakan DSPy di Azure Databricks

Artikel ini menjelaskan DSPy dan menyediakan contoh notebook yang menunjukkan cara menggunakan DSPy di Azure Databricks untuk membangun dan mengoptimalkan agen AI generatif.

Apa itu DSPy?

DSPy adalah kerangka kerja untuk menentukan dan mengoptimalkan agen AI generatif secara terprogram. DSPy dapat mengotomatiskan perancangan prompt dan mengatur penyesuaian LLM untuk meningkatkan performa.

DSPy terdiri dari beberapa komponen yang menyederhanakan pengembangan agen dan meningkatkan kualitas agen:

• Modul: Di DSPy, ini adalah komponen yang menangani transformasi teks tertentu, seperti menjawab pertanyaan atau meringkas. Mereka menggantikan perintah tulisan tangan tradisional dan dapat belajar dari contoh, membuatnya lebih mudah beradaptasi.
• Tanda tangan: Deskripsi bahasa alami dari perilaku input dan output modul. Misalnya, "pertanyaan -> jawaban" menentukan bahwa modul harus mengambil pertanyaan sebagai input dan mengembalikan jawaban.
• Pengkompilasi: Ini adalah alat pengoptimalan DSPy. Ini meningkatkan rangkaian proses LM dengan menyesuaikan modul untuk memenuhi metrik performa, baik dengan cara menghasilkan prompt yang lebih baik atau menyempurnakan model.
• Program (DSPy): Sekumpulan modul yang terhubung ke dalam alur untuk melakukan tugas yang kompleks. Program DSPy fleksibel, memungkinkan Anda untuk mengoptimalkan dan menyesuaikannya menggunakan kompilator.

Membuat program DSPy pengklasifikasi teks

Buku catatan berikut ini memperlihatkan cara membuat program DSPy yang melakukan klasifikasi teks. Contoh ini menunjukkan cara kerja DSPy dan komponen yang digunakannya.

Membuat buku catatan program DSPy pengklasifikasi teks

Dapatkan buku catatan

Menggunakan indeks Pencarian AI dengan program DSPy untuk RAG

Buku catatan berikut ini memperlihatkan cara membuat indeks Pencarian AI dan menggunakannya dengan program DSPy yang melakukan RAG.

Membuat buku catatan program DSPy pengklasifikasi teks

Dapatkan buku catatan

Sistem multi-agen dengan Genie dan DSPy

Buku catatan berikut ini memperlihatkan kepada Anda cara membuat sistem multi-agen yang mengatur jenis agen ini:

• Agen Genie
• Agen yang disebarkan ke Model Serving
• Agen pemanggil fungsi Komunikasi Terpadu (UC) yang dibangun menggunakan DSPy.

Multiagen menggunakan Genie dan DSPy

Dapatkan buku catatan

Membuat program DSPy untuk RAG

Notebook ini menunjukkan kepada Anda cara membuat dan mengoptimalkan program RAG dasar menggunakan DSPy. Notebook ini mengasumsikan Anda menggunakan komputasi tanpa server, dan mereka menginstal paket di tingkat notebook untuk memastikannya berjalan secara independen dari versi Databricks Runtime.

Bagian 1: Menyiapkan data dan indeks Pencarian AI untuk buku catatan program RAG DSPy

Dapatkan buku catatan

Bagian 2: Membuat dan mengoptimalkan program DSPy untuk notebook RAG

Dapatkan buku catatan

Memigrasikan LangChain ke DSPy

Notebook ini menunjukkan cara memigrasikan kode model LangChain ke DSPy dan mengoptimalkannya untuk performa yang lebih baik. Notebook ini mengasumsikan Anda menggunakan komputasi tanpa server, dan mereka menginstal paket di tingkat notebook untuk memastikannya berjalan secara independen dari versi Databricks Runtime.

Memigrasikan kode model LangChain ke notebook DSPy

Dapatkan buku catatan

Mengoptimalkan notebook model DSPy yang dimigrasikan

Dapatkan buku catatan