Peringkat semantik di Azure AI Search
Di Azure AI Search, pemeringkat semantik adalah fitur yang secara terukur meningkatkan relevansi pencarian dengan menggunakan model pemahaman bahasa Microsoft untuk mererank hasil pencarian. Artikel ini adalah pengantar tingkat tinggi untuk membantu Anda memahami perilaku dan manfaat peringkat semantik.
Peringkat semantik adalah fitur premium, ditagih berdasarkan penggunaan. Kami merekomendasikan artikel ini untuk latar belakang, tetapi jika Anda lebih suka memulai, ikuti langkah-langkah ini.
Catatan
Ranker semantik tidak menggunakan AI atau vektor generatif. Jika Anda mencari dukungan vektor dan pencarian kesamaan, lihat Pencarian vektor di Azure AI Search untuk detailnya.
Apa itu peringkat semantik?
Peringkat semantik adalah kumpulan kemampuan sisi kueri yang meningkatkan kualitas hasil pencarian berperingkat BM25 awal atau berperingkat RRF untuk kueri berbasis teks, kueri vektor, dan kueri hibrid. Saat Anda mengaktifkannya di layanan pencarian, peringkat semantik memperluas alur eksekusi kueri dengan dua cara:
Pertama, ia menambahkan peringkat sekunder atas kumpulan hasil awal yang dinilai menggunakan BM25 atau Reciprocal Rank Fusion (RRF). Peringkat sekunder ini menggunakan model pembelajaran mendalam multibahasa yang diadaptasi dari Microsoft Bing untuk mempromosikan hasil yang paling relevan secara semantik.
Kedua, fitur ini mengekstrak dan mengembalikan keterangan dan jawaban dalam respons yang dapat Anda render pada halaman pencarian untuk meningkatkan pengalaman pencarian pengguna.
Berikut adalah kemampuan reranker semantik.
| Kemampuan | Deskripsi |
|---|---|
| Peringkat L2 | Menggunakan konteks atau arti semantik dari kueri untuk menghitung skor relevansi baru atas hasil yang telah diprakarsai sebelumnya. |
| Keterangan dan sorotan semantik | Mengekstrak kalimat dan frasa verbatim dari bidang yang paling baik meringkas konten, dengan sorotan atas bagian kunci untuk pemindaian yang mudah. Keterangan yang meringkas hasil berguna saat bidang konten individual terlalu padat untuk halaman hasil pencarian. Teks yang disorot meningkatkan istilah dan frasa yang paling relevan agar pengguna dapat dengan cepat menentukan mengapa kecocokan dianggap relevan. |
| Jawaban semantik | Substruktur opsional dan ekstra yang dikembalikan dari kueri semantik. Ini memberikan jawaban langsung ke kueri yang terlihat seperti pertanyaan. Ini mengharuskan dokumen memiliki teks dengan karakteristik jawaban. |
Cara kerja pemeringkat semantik
Peringkat semantik memberi umpan kueri dan hasil ke model pemahaman bahasa yang dihosting oleh Microsoft dan memindai untuk kecocokan yang lebih baik.
Ilustrasi berikut menjelaskan konsepnya. Pertimbangkan istilah "modal". Ini memiliki arti yang berbeda tergantung pada apakah konteksnya adalah keuangan, hukum, geografi, atau tata bahasa. Melalui pemahaman bahasa, peringkat semantik dapat mendeteksi konteks dan mempromosikan hasil yang sesuai dengan niat kueri.
Peringkat semantik adalah sumber daya dan waktu intensif. Untuk menyelesaikan pemrosesan dalam latensi yang diharapkan dari operasi kueri, input ke ranker semantik dikonsolidasikan dan dikurangi sehingga langkah reranking dapat diselesaikan secepat mungkin.
Ada tiga langkah untuk peringkat semantik:
- Mengumpulkan dan meringkas input
- Hasil skor menggunakan ranker semantik
- Hasil, keterangan, dan jawaban yang direkoreksi output
Cara input dikumpulkan dan dirangkum
Dalam peringkat semantik, subsistem kueri meneruskan hasil pencarian sebagai input ke model ringkasan dan peringkat. Karena model peringkat memiliki batasan ukuran input dan sedang memproses intensif, hasil pencarian harus berukuran dan terstruktur (dirangkum) untuk penanganan yang efisien.
Peringkat semantik dimulai dengan hasil berperingkat BM25 dari kueri teks atau hasil berperingkat RRF dari kueri vektor atau hibrid. Hanya bidang teks yang digunakan dalam latihan reranking, dan hanya 50 hasil teratas yang mengalami kemajuan ke peringkat semantik, bahkan jika hasil menyertakan lebih dari 50. Biasanya, bidang yang digunakan dalam peringkat semantik bersifat informasi dan deskriptif.
Untuk setiap dokumen dalam hasil pencarian, model ringkasan menerima hingga 2.000 token, di mana token sekitar 10 karakter. Input dirakit dari bidang "judul", "kata kunci", dan "konten" yang tercantum dalam konfigurasi semantik.
String yang terlalu panjang dipangkas untuk memastikan panjang keseluruhan memenuhi persyaratan input langkah ringkasan. Latihan pemangkasan ini adalah mengapa penting untuk menambahkan bidang ke konfigurasi semantik Anda dalam urutan prioritas. Jika Anda memiliki dokumen yang sangat besar dengan bidang teks-berat, apa pun setelah batas maksimum diabaikan.
Bidang semantik Batas token "judul" 128 token "kata kunci 128 token "konten" token yang tersisa Output ringkasan adalah string ringkasan untuk setiap dokumen, terdiri dari informasi yang paling relevan dari setiap bidang. String ringkasan dikirim ke ranker untuk penilaian, dan ke model pemahaman pembacaan mesin untuk keterangan dan jawaban.
Panjang maksimum setiap string ringkasan yang dihasilkan yang diteruskan ke ranker semantik adalah 256 token.
Bagaimana peringkat dinilai
Penilaian dilakukan melalui keterangan, dan konten lain dari string ringkasan yang mengisi panjang token 256.
Keterangan dievaluasi untuk relevansi konseptual dan semantik, relatif terhadap kueri yang disediakan.
@search.rerankerScore ditetapkan ke setiap dokumen berdasarkan relevansi semantik dokumen untuk kueri yang diberikan. Skor berkisar dari 4 hingga 0 (tinggi hingga rendah), di mana skor yang lebih tinggi menunjukkan relevansi yang lebih tinggi.
Skor Makna 4,0 Dokumen ini sangat relevan dan menjawab pertanyaan sepenuhnya, meskipun bagian tersebut mungkin berisi teks tambahan yang tidak terkait dengan pertanyaan. 3.0 Dokumen ini relevan tetapi tidak memiliki detail yang akan membuatnya selesai. 2.0 Dokumen agak relevan; ini menjawab pertanyaan baik sebagian atau hanya membahas beberapa aspek pertanyaan. 1.0 Dokumen terkait dengan pertanyaan, dan menjawab sebagian kecil darinya. 0.0 Dokumen tidak relevan. Kecocokan tercantum dalam urutan turun berdasarkan skor dan disertakan dalam payload respons kueri. Muatan mencakup jawaban, teks biasa, dan keterangan yang disorot, dan bidang apa pun yang Anda tandai sebagai dapat diambil atau ditentukan dalam klausa tertentu.
Catatan
Untuk kueri tertentu, distribusi @search.rerankerScore dapat menunjukkan sedikit variasi karena kondisi di tingkat infrastruktur. Pembaruan model peringkat juga telah diketahui memengaruhi distribusi. Untuk alasan ini, jika Anda menulis kode kustom untuk ambang minimum, atau mengatur properti ambang batas untuk kueri vektor dan hibrid, jangan membuat batas terlalu terperinci.
Output ranker semantik
Dari setiap string ringkasan, model pemahaman pembacaan mesin menemukan bagian yang paling representatif.
Outputnya adalah:
Keterangan semantik untuk dokumen. Setiap keterangan tersedia dalam versi teks biasa dan versi sorotan, dan sering kurang dari 200 kata per dokumen.
Jawaban semantik opsional, dengan asumsi Anda menentukan
answersparameter, kueri diajukan sebagai pertanyaan, dan bagian ditemukan dalam string panjang yang memberikan kemungkinan jawaban atas pertanyaan.
Keterangan dan jawaban selalu teks verbatim dari indeks Anda. Tidak ada model AI generatif dalam alur kerja ini yang membuat atau menyusun konten baru.
Kemampuan dan batasan semantik
Peringkat semantik adalah teknologi yang lebih baru sehingga penting untuk menetapkan harapan tentang apa yang dapat dan tidak dapat dilakukan. Apa yang dapat dilakukannya:
Promosikan kecocokan yang secara semantik lebih dekat dengan niat kueri asli.
Temukan string untuk digunakan sebagai keterangan dan jawaban. Keterangan dan jawaban dikembalikan dalam respons dan dapat dirender di halaman hasil pencarian.
Peringkat semantik apa yang tidak dapat dilakukan adalah menjalankan ulang kueri di seluruh korpus untuk menemukan hasil yang relevan secara semantik. Peringkat semantik mereranks set hasil yang ada, yang terdiri dari 50 hasil teratas sebagaimana dinilai oleh algoritma peringkat default. Selain itu, ranker semantik tidak dapat membuat informasi atau string baru. Keterangan dan jawaban diekstrak verbatim dari konten Anda sehingga jika hasilnya tidak menyertakan teks seperti jawaban, model bahasa tidak akan menghasilkannya.
Meskipun peringkat semantik tidak bermanfaat dalam setiap skenario, konten tertentu dapat memperoleh manfaat secara signifikan dari kemampuannya. Model bahasa dalam pemeringkat semantik bekerja paling baik pada konten yang dapat dicari yang kaya informasi dan terstruktur sebagai prosa. Basis pengetahuan, dokumentasi online, atau dokumen yang berisi konten deskriptif melihat keuntungan terbanyak dari kemampuan peringkat semantik.
Teknologi yang mendasar berasal dari Bing dan Microsoft Research, dan diintegrasikan ke dalam infrastruktur Azure AI Search sebagai fitur add-on. Untuk informasi selengkapnya tentang riset dan investasi AI yang mendukung pemeringkat semantik, lihat Bagaimana AI dari Bing mendukung Azure AI Search (Blog Penelitian Microsoft).
Video berikut memberikan gambaran umum tentang kemampuan.
Availabilitas dan harga
Peringkat semantik tersedia pada layanan pencarian di tingkat Dasar dan yang lebih tinggi, tergantung pada ketersediaan regional.
Saat Anda mengaktifkan pemeringkat semantik, pilih paket harga untuk fitur tersebut:
- Pada volume kueri yang lebih rendah (di bawah 1000 bulanan), peringkat semantik gratis.
- Pada volume kueri yang lebih tinggi, pilih paket harga standar.
Halaman harga Azure AI Search menunjukkan tingkat penagihan untuk mata uang dan interval yang berbeda.
Biaya untuk ranker semantik dipungut saat permintaan kueri disertakan queryType=semantic dan string pencarian tidak kosong (misalnya, search=pet friendly hotels in New York). Jika string pencarian Anda kosong (search=*), Anda tidak dikenakan biaya, bahkan jika queryType diatur ke semantik.
Cara memulai dengan ranker semantik
Periksa ketersediaan regional.
Masuk ke portal Azure untuk memverifikasi bahwa layanan pencarian Anda adalah Dasar atau lebih tinggi.
Siapkan kueri untuk mengembalikan keterangan dan sorotan semantik.
Secara opsional, kembalikan jawaban semantik.