Peringkat semantik di Azure AI Search

Di Azure AI Search, pemeringkat semantik adalah fitur yang secara terukur meningkatkan relevansi pencarian dengan menggunakan model pemahaman bahasa Microsoft untuk mererank hasil pencarian. Artikel ini adalah pengantar tingkat tinggi untuk membantu Anda memahami perilaku dan manfaat peringkat semantik.

Peringkat semantik adalah fitur premium, ditagih berdasarkan penggunaan. Kami merekomendasikan artikel ini untuk latar belakang, tetapi jika Anda lebih suka memulai, ikuti langkah-langkah ini.

Catatan

Peringkat semantik tidak menggunakan AI atau vektor generatif untuk peringkat tingkat 2 (L2) sekunder. Jika Anda mencari vektor dan pencarian kesamaan, lihat Pencarian vektor di Azure AI Search.

Apa itu peringkat semantik?

Peringkat semantik adalah kumpulan kemampuan pada sisi kueri yang meningkatkan kualitas hasil pencarian awal yang diperingkatkan dengan BM25 atau RRF untuk kueri berbasis teks, bagian teks dari kueri vektor, dan kueri hibrida. Peringkat semantik memperluas alur eksekusi kueri dengan tiga cara:

• Pertama, selalu menambahkan peringkat sekunder pada sekumpulan hasil awal yang dinilai menggunakan BM25 atau Reciprocal Rank Fusion (RRF). Peringkat sekunder ini menggunakan model pembelajaran mendalam multibahasa yang diadaptasi dari Microsoft Bing untuk mempromosikan hasil yang paling relevan secara semantik.

• Kedua, ini mengembalikan keterangan dan secara opsional mengekstrak jawaban dalam respons, yang dapat Anda render di halaman pencarian untuk meningkatkan pengalaman pencarian pengguna.

• Ketiga, jika Anda mengaktifkan penulisan ulang kueri, kueri akan memperluas string kueri awal menjadi beberapa string kueri yang serupa secara semantik.

Peringkat sekunder dan "jawaban" berlaku untuk respons kueri. Penulisan ulang kueri adalah bagian dari permintaan kueri.

Kemampuan reranker semantik adalah sebagai berikut.

Kemampuan	Deskripsi
Peringkat L2	Menggunakan konteks atau makna semantik kueri untuk menghitung skor relevansi baru berdasarkan hasil yang telah diperingkat sebelumnya.
Keterangan dan sorotan semantik	Mengekstrak kalimat dan frasa verbatim dari bidang yang paling tepat untuk meringkas isi konten, dengan sorotan pada bagian penting untuk pemindaian yang mudah. Keterangan yang meringkas hasil berguna saat bidang konten individual terlalu padat untuk halaman hasil pencarian. Teks yang disorot meningkatkan istilah dan frasa yang paling relevan agar pengguna dapat dengan cepat menentukan mengapa kecocokan dianggap relevan.
Jawaban semantik	Substruktur tambahan dan opsional yang dikembalikan dari pencarian semantik. Ini memberikan jawaban langsung untuk pertanyaan yang tampak seperti sebuah pertanyaan. Ini mengharuskan dokumen memiliki teks dengan karakteristik jawaban.
Penulisan ulang kueri	Menggunakan kueri teks atau bagian teks kueri vektor, ranker semantik membuat hingga 10 varian kueri, mungkin mengoreksi kesalahan ketik atau kesalahan ejaan, atau mengulangi kueri menggunakan sinonim yang dihasilkan. Kueri yang ditulis ulang berjalan pada mesin pencari. Hasilnya diberi skor menggunakan penilaian BM25 atau RRF, dan kemudian diberi skor ulang oleh pemeringkat semantik.

Cara kerja pemeringkat semantik

Peringkat semantik menyediakan kueri dan hasil ke model pemahaman bahasa yang dihosting oleh Microsoft dan mencari kecocokan yang lebih baik.

Ilustrasi berikut menjelaskan konsepnya. Pertimbangkan istilah "modal". Ini memiliki arti yang berbeda tergantung pada apakah konteksnya adalah keuangan, hukum, geografi, atau tata bahasa. Melalui pemahaman bahasa, peringkat semantik dapat mendeteksi konteks dan mempromosikan hasil yang sesuai dengan niat kueri.

Peringkat semantik memerlukan banyak sumber daya dan waktu. Untuk menyelesaikan pemrosesan dalam latensi yang diharapkan dari operasi kueri, input ke ranker semantik dikonsolidasikan dan dikurangi sehingga langkah reranking dapat diselesaikan secepat mungkin.

Ada tiga langkah untuk peringkat semantik:

• Mengumpulkan dan meringkas input
• Hasil skor menggunakan ranker semantik
• Output hasil penilaian ulang, keterangan, dan jawaban

Cara input dikumpulkan dan dirangkum

Dalam pemeringkatan semantik, subsistem pencarian meneruskan hasil pencarian sebagai masukan ke model ringkasan dan pemeringkatan. Karena model peringkat memiliki batasan ukuran input dan sedang memproses intensif, hasil pencarian harus berukuran dan terstruktur (dirangkum) untuk penanganan yang efisien.

1. Peringkat semantik dimulai dengan hasil berperingkat BM25 dari kueri teks atau hasil berperingkat RRF dari kueri vektor atau hibrid. Hanya teks yang digunakan dalam proses penyusunan ulang peringkat, dan hanya 50 hasil teratas yang lanjut ke peringkat semantik, bahkan jika hasil menyertakan lebih dari 50. Biasanya, bidang yang digunakan dalam peringkat semantik bersifat informasi dan deskriptif.

2. Untuk setiap dokumen dalam hasil pencarian, model ringkasan menerima hingga 2.000 token, di mana token sekitar 10 karakter. Input dirakit dari bidang "judul", "kata kunci", dan "konten" yang tercantum dalam pengaturan semantik.

3. String yang terlalu panjang dipangkas untuk memastikan panjang keseluruhan memenuhi persyaratan input langkah ringkasan. Latihan pemangkasan ini adalah mengapa penting untuk menambahkan bidang ke konfigurasi semantik Anda dalam urutan prioritas. Jika Anda memiliki dokumen yang sangat besar dengan bidang yang banyak teks, apa pun setelah batas maksimum tidak diperhatikan.

   Bidang semantik	Batas token
   "judul"	128 token
   "kata kunci	128 token
   konten	token yang tersisa

4. Output ringkasan adalah string ringkasan untuk setiap dokumen, terdiri dari informasi yang paling relevan dari masing-masing bagian. String ringkasan dikirim ke ranker untuk penilaian, dan ke model pemahaman baca mesin untuk keterangan dan jawaban.

   Pada November 2024, panjang maksimum setiap string ringkasan yang dihasilkan yang diteruskan ke ranker semantik adalah 2.048 token. Sebelumnya, itu adalah 256 token.

Bagaimana peringkat dinilai

Penilaian dilakukan atas keterangan, dan konten lain dari string ringkasan yang memenuhi panjang 2.048 token.

1. Keterangan dievaluasi untuk relevansi konseptual dan semantik, relatif terhadap kueri yang disediakan.

2. @search.rerankerScore ditetapkan ke setiap dokumen berdasarkan relevansi semantik dokumen untuk kueri yang diberikan. Skor berkisar dari 4 hingga 0 (tinggi hingga rendah), di mana skor yang lebih tinggi menunjukkan relevansi yang lebih tinggi.

   Skor	Makna
   4,0	Dokumen ini sangat relevan dan menjawab pertanyaan sepenuhnya, meskipun bagian tersebut mungkin berisi teks tambahan yang tidak terkait dengan pertanyaan.
   3.0	Dokumen ini relevan tetapi tidak memiliki detail yang akan membuatnya selesai.
   2.0	Dokumen agak relevan; ini menjawab pertanyaan baik sebagian atau hanya membahas beberapa aspek pertanyaan.
   1.0	Dokumen terkait dengan pertanyaan, dan menjawab sebagian kecil darinya.
   0.0	Dokumen tidak relevan.

3. Kecocokan tercantum dalam urutan menurun berdasarkan skor dan disertakan dalam payload respons kueri. Muatan mencakup jawaban, teks biasa, dan keterangan yang disorot, serta bidang apa pun yang Anda tandai sebagai dapat diambil atau ditentukan dalam klausa pilih.

Catatan

Untuk kueri tertentu, distribusi @search.rerankerScore dapat menunjukkan sedikit variasi karena kondisi di tingkat infrastruktur. Pembaruan model peringkat juga telah diketahui memengaruhi distribusi. Untuk alasan ini, jika Anda menulis kode kustom untuk ambang minimum, atau mengatur properti ambang batas untuk kueri vektor dan hibrid, jangan membuat batas terlalu terperinci.

Output-output pengurut semantik

Dari setiap string ringkasan, model pemahaman pembacaan mesin menemukan bagian yang paling representatif.

Outputnya adalah:

• Keterangan semantik untuk dokumen. Setiap keterangan tersedia dalam versi teks biasa dan versi sorotan, dan sering kurang dari 200 kata per dokumen.

• Jawaban semantik yang opsional, dengan asumsi Anda telah menentukan parameter, kueri diajukan sebagai pertanyaan, dan terdapat bagian dalam rangkaian panjang yang kemungkinan memberikan jawaban atas pertanyaan tersebut.

Keterangan dan jawaban selalu teks verbatim dari indeks Anda. Tidak ada model AI generatif dalam alur kerja ini yang membuat atau menyusun konten baru.

Kemampuan dan batasan semantik

Apa yang bisa dilakukan oleh ranker semantik:

• Promosikan kecocokan yang secara semantik lebih dekat dengan niat kueri asli.

• Temukan string untuk digunakan sebagai keterangan dan jawaban. Keterangan dan jawaban dikembalikan dalam respons dan dapat dirender di halaman hasil pencarian.

Apa yang tidak dapat dilakukan oleh peringkat semantik adalah menjalankan ulang kueri di seluruh korpus untuk menemukan hasil yang relevan secara semantik. Peringkat semantik menyusun ulang set hasil yang ada, yang mencakup 50 hasil teratas yang dinilai oleh algoritma peringkat default. Selain itu, ranker semantik tidak dapat membuat informasi atau string baru. Keterangan dan jawaban diekstrak verbatim dari konten Anda sehingga jika hasilnya tidak menyertakan teks seperti jawaban, model bahasa tidak akan menghasilkannya.

Meskipun peringkat semantik tidak bermanfaat dalam setiap skenario, konten tertentu dapat memperoleh manfaat secara signifikan dari kemampuannya. Model bahasa dalam pemeringkat semantik bekerja paling baik pada konten yang dapat dicari yang kaya informasi dan terstruktur sebagai prosa. Basis pengetahuan, dokumentasi online, atau dokumen yang berisi konten deskriptif melihat keuntungan terbanyak dari kemampuan peringkat semantik.

Teknologi yang mendasar berasal dari Bing dan Microsoft Research, dan diintegrasikan ke dalam infrastruktur Azure AI Search sebagai fitur add-on. Untuk informasi selengkapnya tentang riset dan investasi AI yang mendukung pemeringkat semantik, lihat Bagaimana AI dari Bing mendukung Azure AI Search (Blog Penelitian Microsoft).

Video berikut memberikan gambaran umum tentang kemampuan.

Bagaimana pemeringkat semantik menggunakan peta sinonim

Jika Anda telah mengaktifkan dukungan untuk peta sinonim yang terkait dengan bidang dalam indeks pencarian Anda, dan bidang tersebut disertakan dalam konfigurasi pemeringkat semantik, peringkat semantik akan secara otomatis menerapkan sinonim yang dikonfigurasi selama proses reranking.

Availabilitas dan harga

Peringkat semantik tersedia pada layanan pencarian di tingkat Dasar dan yang lebih tinggi, tergantung pada ketersediaan regional.

Saat Anda mengonfigurasi ranker semantik, pilih paket harga untuk fitur tersebut:

• Pada volume kueri yang lebih rendah (kurang dari 1.000 per bulan), peringkat semantik gratis.
• Pada volume kueri yang lebih tinggi, pilih paket harga standar.

Halaman harga Azure AI Search menunjukkan tarif penagihan untuk berbagai mata uang dan interval waktu.

Biaya untuk ranker semantik dipungut saat permintaan kueri disertakan queryType=semantic dan string pencarian tidak kosong (misalnya, search=pet friendly hotels in New York). Jika string pencarian Anda kosong (search=*), Anda tidak dikenakan biaya, bahkan jika queryType diatur ke semantik.

Cara memulai penggunaan ranker semantik

1. Periksa ketersediaan regional.

2. Masuk ke portal Azure untuk memverifikasi bahwa layanan pencarian Anda adalah Dasar atau lebih tinggi.

3. Konfigurasikan ranker semantik untuk layanan pencarian, memilih paket harga.

4. Mengonfigurasi peringkat semantik dalam indeks pencarian.

5. Siapkan kueri untuk mengembalikan keterangan semantik dan sorotan.

6. Secara opsional, kembalikan jawaban semantik.

Lihat juga

• Blog: Mengungguli pencarian berbasis vektor dengan kemampuan pengambilan dan pemeringkatan hibrid