Retrieval-augmented generation (RAG) memberikan pengetahuan LLM

Artikel ini menjelaskan bagaimana pembuatan retrieval-augmented memungkinkan LLM memperlakukan sumber data Anda sebagai pengetahuan tanpa harus melatih.

LLM memiliki basis pengetahuan yang luas melalui pelatihan. Untuk sebagian besar skenario, Anda dapat memilih LLM yang dirancang untuk kebutuhan Anda, tetapi LLM tersebut masih memerlukan pelatihan tambahan untuk memahami data spesifik Anda. Pembuatan berbasis peningkatan pencarian memungkinkan data Anda dapat diakses oleh LLM tanpa melatihnya terlebih dahulu.

Cara kerja RAG

Untuk melakukan generasi berbantuan pengambilan informasi, Anda membangun vektor representasi untuk data bersama pertanyaan umum terkait. Anda dapat melakukan ini dengan cepat atau Anda dapat membuat dan menyimpan penyematan dengan menggunakan solusi database vektor.

Saat pengguna mengajukan pertanyaan, LLM menggunakan penyematan Anda untuk membandingkan pertanyaan pengguna dengan data Anda dan menemukan konteks yang paling relevan. Pertanyaan dari pengguna dan konteks ini kemudian dikirim ke LLM sebagai prompt, dan LLM memberikan respons berdasarkan data Anda.

Proses RAG dasar

Untuk melakukan RAG, Anda harus memproses setiap sumber data yang ingin Anda gunakan untuk pengambilan. Proses dasarnya adalah sebagai berikut:

1. Potong data besar menjadi potongan yang dapat dikelola.
2. Konversi potongan menjadi format yang dapat dicari.
3. Simpan data yang dikonversi di lokasi yang memungkinkan akses yang efisien. Selain itu, penting untuk menyimpan metadata yang relevan untuk kutipan atau referensi saat LLM memberikan respons.
4. Masukkan data Anda yang telah dikonversi ke dalam prompt LLM.

• Data sumber: Di sinilah data Anda berada. Ini bisa berupa file/folder di komputer Anda, file di penyimpanan cloud, aset data Azure Pembelajaran Mesin, repositori Git, atau database SQL.
• Pemotongan data: Data di sumber Anda perlu dikonversi ke teks biasa. Misalnya, dokumen Word atau PDF perlu dipecah dan dikonversi ke teks. Teks kemudian dipotong menjadi potongan-potongan yang lebih kecil.
• Mengonversi teks menjadi vektor: Ini adalah penyematan. Vektor adalah representasi numerik dari konsep yang dikonversi ke urutan angka, yang memudahkan komputer untuk memahami hubungan antara konsep tersebut.
• Tautan antara data sumber dan penyematan: Informasi ini disimpan sebagai metadata pada gugus yang Anda buat, yang kemudian digunakan untuk membantu LLM menghasilkan kutipan saat menghasilkan respons.

Lihat juga

• Penyerapan data