Mengunggah data dan membuat indeks
Meskipun sangat bagus untuk menggunakan kemampuan model untuk menghasilkan respons terhadap kueri spesifik produk non-Contoso Camping Store umum, kami ingin memastikan bahwa model dapat membumikan pertanyaan khusus produknya dengan menggunakan katalog produk Contoso Camping Store. Proses ini mengharuskan kami membuat chatbot Retrieval Augmented Generation (RAG) dan indeks.
RAG adalah pola yang digunakan dalam AI yang menggunakan model bahasa besar (LLM) untuk menghasilkan jawaban dengan data Anda sendiri. Saat pengguna mengajukan pertanyaan, penyimpanan data dicari berdasarkan input pengguna. Pertanyaan pengguna kemudian dikombinasikan dengan hasil yang cocok dan dikirim ke LLM menggunakan perintah (instruksi eksplisit ke AI atau model pembelajaran mesin) untuk menghasilkan jawaban yang diinginkan.
Agar RAG berfungsi dengan baik, kita perlu menemukan cara untuk mencari dan mengirim data Anda dengan cara yang mudah dan hemat biaya ke LLM. Proses ini dicapai dengan menggunakan indeks. Indeks adalah penyimpanan data yang memungkinkan Anda mencari data secara efisien. Indeks dapat dioptimalkan untuk LLM dengan membuat vektor (data teks dikonversi ke urutan angka menggunakan model penyematan). Indeks yang baik biasanya memiliki kemampuan pencarian yang efisien seperti pencarian kata kunci, pencarian semantik, pencarian vektor, atau kombinasi contoh-contoh ini. Pola RAG yang dioptimalkan ini dapat diilustrasikan sebagai berikut.
Azure AI menyediakan aset indeks untuk digunakan dengan pola RAG. Aset indeks berisi informasi penting seperti:
- Di mana indeks Anda disimpan
- Cara mengakses indeks Anda
- Apa mode di mana indeks Anda dapat dicari
- Apakah indeks Anda memiliki vektor
- Apa model penyematan yang digunakan untuk vektor, dll.
Indeks Azure AI menggunakan Azure AI Search sebagai penyimpanan indeks utama dan yang direkomendasikan. Azure AI Search adalah sumber daya Azure yang mendukung pengambilan informasi melalui vektor dan data tekstual Anda yang disimpan dalam indeks pencarian.
Sekarang mari kita unggah data lalu buat indeks.
Menggunggah data
Data dapat bersumber dari koneksi Azure Blob Storage yang ada, URL penyimpanan, atau diunggah melalui antarmuka Tambahkan data Anda. Selain itu, data dapat diatur ke dalam satu file referensi atau folder.
Mari kita tambahkan data produk Contoso Camping Store melalui unggahan folder produk.
- Dalam Azure AI Studio, di navigasi kiri di bawah Komponen pilih Data.
- Pilih + Data baru.
- Untuk menu drop-down Sumber data, pilih Unggah file/folder.
- Pilih Unggah file atau folder>Unggah folder.
- Telusuri ke tempat Anda menyimpan folder Produk dan pilih folder untuk diunggah.
- Untuk pop-up Unggah 20 file ke situs ini? pilih Unggah dan pilih Berikutnya.
- Untuk bidang Nama data, masukkan: Produk.
- Pilih Buat.
Buat indeks
Sekarang setelah data diunggah, mari kita buat indeks.
- Di dalam navigasi kiri di bagian Komponen , pilih Indeks.
- Pilih + Indeks baru
- Pada halaman Data sumber, untuk bidang Sumber data, pilih Data di Azure AI Studio.
- Pilih Produk.
- Pilih Selanjutnya.
- Pada halaman Pengaturan indeks, untuk layanan Pencarian Pilih Azure AI, pilih layanan AzureAISearch Anda.
- Untuk bidang Nama indeks, masukkan: indeks produk.
- Untuk bidang Komputer virtual, pilih Pilih otomatis.
- Pilih Selanjutnya.
- Pada halaman Konfigurasi pengaturan pencarian, centang kotak untuk Tambahkan pencarian vektor ke sumber daya pencarian ini.
- Untuk bidang Pilih model penyematan, pilih model penyematan Anda.
- Pilih Selanjutnya.
- Pada halaman Tinjau dan selesai, pilih Buat.
Catatan
Dibutuhkan ~8 menit untuk membuat indeks. Ketika pembuatan indeks selesai, semua 3 langkah akan mencerminkan Selesai dalam bagian Status .
Menguji model dengan indeks
Kita sekarang dapat kembali ke taman bermain Obrolan untuk menguji model dan memvalidasi apakah ia memiliki kemampuan untuk membumikan responsnya tentang produk Contoso Camping Store dengan data produk yang disediakan.
- Di navigasi kiri, di bagian Proyek playground , pilih Obrolan.
- Pada halaman Playground obrolan, pilih tab Tambahkan data Anda.
- Pilih menu drop-down Pilih indeks proyek yang tersedia dan pilih indeks produk.
Tip
Tunggu 2-3 menit sebelum melanjutkan ke langkah berikutnya. Ini akan memungkinkan waktu yang memadai agar pembaruan diterapkan.
Di jendela obrolan, uji perintah berikut secara individual untuk memvalidasi apakah model mereferensikan data produk:
| Prompt | Respons Sampel |
|---|---|
| Berapa Contoso TrailMaster X4 Tent? | Tenda Contoso TrailMaster X4 dihargai $250. |
| Bagaimana cara mencuci Contoso TrailBlaze Hiking Pants? | Untuk mencuci TrailBlaze Hiking Pants, ikuti panduan perawatan dan pemeliharaan berikut: 1. Machine Wash: Gunakan air dingin dan deterjen ringan untuk mencuci celana. 2. Hindari Pemutih dan Pelembut Kain: Jangan gunakan pemutih atau pelembut kain selama pencucian karena dapat merusak kain. 3. Pisahkan Cuci: Untuk hasil terbaik, cuci celana secara terpisah atau dengan warna serupa untuk mencegah pendarahan warna atau kerusakan kain. 4. Pengeringan: Gantung celana agar kering secara alami. Hindari menggunakan pengering sebagai panas tinggi dapat merusak kain dan memengaruhi performa celana. 5. Menyerika: Jika perlu, setrika celana pada pengaturan rendah, memastikan bahwa mereka benar-benar kering sebelum menyerika. Hindari panas yang berlebihan. Dengan mengikuti petunjuk ini, Anda dapat menjaga kualitas dan performa TrailBlaze Hiking Pants Anda. |
| Jenis bahan bakar mana yang harus saya gunakan dengan Contoso CompactCook Camping Stove? | Contoso CompactCook Camping Stove kompatibel dengan jenis bahan bakar berikut: -Butana -Propana - Isobutane. Jenis bahan bakar ini memberikan fleksibilitas untuk kebutuhan memasak luar ruangan Anda. |
Model sekarang harus memberikan respons tentang produk Contoso Camping Store berdasarkan data produk yang disediakan.