Pengambilan pembuatan dan indeks tertambah

Penting

Beberapa fitur yang dijelaskan dalam artikel ini mungkin hanya tersedia dalam pratinjau. Pratinjau ini disediakan tanpa perjanjian tingkat layanan, dan kami tidak merekomendasikannya untuk beban kerja produksi. Fitur tertentu mungkin tidak didukung atau mungkin memiliki kemampuan terbatas. Untuk mengetahui informasi selengkapnya, lihat Ketentuan Penggunaan Tambahan untuk Pratinjau Microsoft Azure.

Artikel ini berbicara tentang pentingnya dan kebutuhan untuk Pengambilan Augmented Generation (RAG) dan indeks dalam AI generatif.

Apa itu RAG?

Beberapa dasar terlebih dahulu. Model bahasa besar (LLM) seperti ChatGPT dilatih pada data internet publik yang tersedia pada titik waktu ketika mereka dilatih. Mereka dapat menjawab pertanyaan yang terkait dengan data tempat mereka dilatih. Data publik ini mungkin tidak cukup untuk memenuhi semua kebutuhan Anda. Anda mungkin ingin pertanyaan dijawab berdasarkan data privat Anda. Atau, data publik mungkin sudah kedaluarsa. Solusi untuk masalah ini adalah Pengambilan Augmented Generation (RAG), pola yang digunakan dalam AI yang menggunakan LLM untuk menghasilkan jawaban dengan data Anda sendiri.

Bagaimana cara kerja RAG?

RAG adalah pola yang menggunakan data Anda dengan LLM untuk menghasilkan jawaban khusus untuk data Anda. Saat pengguna mengajukan pertanyaan, penyimpanan data dicari berdasarkan input pengguna. Pertanyaan pengguna kemudian dikombinasikan dengan hasil yang cocok dan dikirim ke LLM menggunakan perintah (instruksi eksplisit ke AI atau model pembelajaran mesin) untuk menghasilkan jawaban yang diinginkan. Ini dapat diilustrasikan sebagai berikut.

Apa itu indeks dan mengapa saya membutuhkannya?

RAG menggunakan data Anda untuk menghasilkan jawaban atas pertanyaan pengguna. Agar RAG berfungsi dengan baik, kita perlu menemukan cara untuk mencari dan mengirim data Anda dengan cara yang mudah dan hemat biaya ke LLM. Ini dicapai dengan menggunakan indeks. Indeks adalah penyimpanan data yang memungkinkan Anda mencari data secara efisien. Ini sangat berguna dalam RAG. Indeks dapat dioptimalkan untuk LLM dengan membuat vektor (data teks dikonversi ke urutan angka menggunakan model penyematan). Indeks yang baik biasanya memiliki kemampuan pencarian yang efisien seperti pencarian kata kunci, pencarian semantik, pencarian vektor, atau kombinasinya. Pola RAG yang dioptimalkan ini dapat diilustrasikan sebagai berikut.

Azure AI menyediakan aset indeks untuk digunakan dengan pola RAG. Aset indeks berisi informasi penting seperti di mana indeks Anda disimpan, cara mengakses indeks Anda, apa mode di mana indeks Anda dapat dicari, apakah indeks Anda memiliki vektor, apa model penyematan yang digunakan untuk vektor dll. Indeks Azure AI menggunakan Azure AI Search sebagai penyimpanan indeks utama dan yang direkomendasikan. Azure AI Search adalah sumber daya Azure yang mendukung pengambilan informasi melalui vektor dan data tekstual Anda yang disimpan dalam indeks pencarian.

Langkah berikutnya

• Membuat indeks vektor