Baca dalam bahasa Inggris

Bagikan melalui


Retrieval-augmented generation (RAG) memberikan pengetahuan LLM

Artikel ini menjelaskan bagaimana pembuatan retrieval-augmented memungkinkan LLM memperlakukan sumber data Anda sebagai pengetahuan tanpa harus melatih.

LLM memiliki basis pengetahuan yang luas melalui pelatihan. Untuk sebagian besar skenario, Anda dapat memilih LLM yang dirancang untuk kebutuhan Anda, tetapi LLM tersebut masih memerlukan pelatihan tambahan untuk memahami data spesifik Anda. Pembuatan retrieval-augmented memungkinkan Anda membuat data Anda tersedia untuk LLM tanpa melatihnya terlebih dahulu.

Cara kerja RAG

Untuk melakukan pembuatan retrieval-augmented, Anda membuat penyematan untuk data Anda bersama dengan pertanyaan umum tentang hal itu. Anda dapat melakukan ini dengan cepat atau Anda dapat membuat dan menyimpan penyematan dengan menggunakan solusi database vektor.

Saat pengguna mengajukan pertanyaan, LLM menggunakan penyematan Anda untuk membandingkan pertanyaan pengguna dengan data Anda dan menemukan konteks yang paling relevan. Konteks ini dan pertanyaan pengguna kemudian buka LLM dalam perintah, dan LLM memberikan respons berdasarkan data Anda.

Proses RAG dasar

Untuk melakukan RAG, Anda harus memproses setiap sumber data yang ingin Anda gunakan untuk pengambilan. Proses dasarnya adalah sebagai berikut:

  1. Potong data besar menjadi potongan yang dapat dikelola.
  2. Konversi potongan menjadi format yang dapat dicari.
  3. Simpan data yang dikonversi di lokasi yang memungkinkan akses yang efisien. Selain itu, penting untuk menyimpan metadata yang relevan untuk kutipan atau referensi saat LLM memberikan respons.
  4. Beri umpan data Anda yang dikonversi ke LLM dalam perintah.

Cuplikan layar diagram gambaran umum teknis LLM yang berjalan melalui langkah-langkah RAG.

  • Data sumber: Di sinilah data Anda berada. Ini bisa berupa file/folder di komputer Anda, file di penyimpanan cloud, aset data Azure Pembelajaran Mesin, repositori Git, atau database SQL.
  • Pemotongan data: Data di sumber Anda perlu dikonversi ke teks biasa. Misalnya, dokumen kata atau PDF perlu diretak terbuka dan dikonversi ke teks. Teks kemudian dipotong menjadi potongan-potongan yang lebih kecil.
  • Mengonversi teks menjadi vektor: Ini adalah penyematan. Vektor adalah representasi numerik dari konsep yang dikonversi ke urutan angka, yang memudahkan komputer untuk memahami hubungan antara konsep tersebut.
  • Tautan antara data sumber dan penyematan: Informasi ini disimpan sebagai metadata pada gugus yang Anda buat, yang kemudian digunakan untuk membantu LLM menghasilkan kutipan saat menghasilkan respons.