Deteksi groundedness
API deteksi Groundedness mendeteksi apakah respons teks model bahasa besar (LLM) di-grounded dalam materi sumber yang disediakan oleh pengguna. Ketidakalahan mengacu pada instans di mana LLM menghasilkan informasi yang tidak faktual atau tidak akurat dari apa yang ada dalam materi sumber.
Istilah kunci
- Pengambilan Augmented Generation (RAG): RAG adalah teknik untuk menambah pengetahuan LLM dengan data lain. LLM dapat beralasan tentang topik yang luas, tetapi pengetahuan mereka terbatas pada data publik yang tersedia pada saat mereka dilatih. Jika Anda ingin membangun aplikasi AI yang dapat beralasan tentang data privat atau data yang diperkenalkan setelah tanggal cutoff model, Anda perlu memberikan model dengan informasi spesifik tersebut. Proses membawa informasi yang sesuai dan memasukkannya ke dalam prompt model dikenal sebagai Retrieval Augmented Generation (RAG). Untuk informasi selengkapnya, lihat Pengambilan-augmented generation (RAG).
- Groundedness dan Ungroundedness di LLM: Ini mengacu pada sejauh mana output model didasarkan pada informasi yang disediakan atau mencerminkan sumber yang andal secara akurat. Respons beralasan mematuhi informasi yang diberikan, menghindari spekulasi atau fabrikasi. Dalam pengukuran groundedness, informasi sumber sangat penting dan berfungsi sebagai sumber dasar.
Opsi deteksi groundedness
Opsi berikut tersedia untuk deteksi Groundedness di Azure AI Content Safety:
- Pemilihan Domain: Pengguna dapat memilih domain yang dibuat untuk memastikan deteksi yang lebih disesuaikan yang selaras dengan kebutuhan spesifik bidang mereka. Domain yang tersedia saat ini adalah
MEDICALdanGENERIC. - Spesifikasi Tugas: Fitur ini memungkinkan Anda memilih tugas yang Anda lakukan, seperti Tanya Jawab (tanya jawab) dan Ringkasan, dengan pengaturan yang dapat disesuaikan sesuai dengan jenis tugas.
- Kecepatan vs Interpretabilitas: Ada dua mode yang memperdagangkan kecepatan dengan interpretabilitas hasil.
- Mode Non-Penalaran: Menawarkan kemampuan deteksi cepat; mudah disematkan ke dalam aplikasi online.
- Mode penalaran: Menawarkan penjelasan terperinci untuk segmen yang terdeteksi tidak teralihkan; lebih baik untuk pemahaman dan mitigasi.
Kasus penggunaan
Deteksi groundedness mendukung tugas Ringkasan dan Tanya Jawab berbasis teks untuk memastikan bahwa ringkasan atau jawaban yang dihasilkan akurat dan dapat diandalkan. Berikut adalah beberapa contoh setiap kasus penggunaan:
Tugas ringkasan:
- Ringkasan medis: Dalam konteks artikel berita medis, deteksi Groundedness dapat digunakan untuk memastikan bahwa ringkasan tidak berisi informasi yang dibuat atau menyesatkan, menjamin bahwa pembaca mendapatkan informasi medis yang akurat dan andal.
- Ringkasan makalah akademik: Ketika model menghasilkan ringkasan makalah akademik atau artikel penelitian, fungsi ini dapat membantu memastikan bahwa konten yang dirangkum secara akurat mewakili temuan dan kontribusi utama tanpa memperkenalkan klaim palsu.
Tugas QnA:
- Chatbot dukungan pelanggan: Dalam dukungan pelanggan, fungsi dapat digunakan untuk memvalidasi jawaban yang diberikan oleh chatbot AI, memastikan bahwa pelanggan menerima informasi yang akurat dan dapat dipercaya ketika mereka mengajukan pertanyaan tentang produk atau layanan.
- QnA Medis: Untuk QnA medis, fungsi ini membantu memverifikasi keakuratan jawaban medis dan saran yang diberikan oleh sistem AI kepada profesional dan pasien kesehatan, mengurangi risiko kesalahan medis.
- QnA Pendidikan: Dalam pengaturan pendidikan, fungsi dapat diterapkan pada tugas QnA untuk mengonfirmasi bahwa jawaban atas pertanyaan akademik atau kueri persiapan pengujian secara faktual akurat, mendukung proses pembelajaran.
Koreksi groundedness
API deteksi groundedness mencakup fitur koreksi yang secara otomatis mengoreksi ketidakalahan yang terdeteksi dalam teks berdasarkan sumber grounding yang disediakan. Saat fitur koreksi diaktifkan, respons menyertakan corrected Text bidang yang menyajikan teks yang dikoreksi yang selaras dengan sumber dasar.
Kasus penggunaan
Di bawah ini, lihat beberapa skenario umum yang menggambarkan bagaimana dan kapan menerapkan fitur-fitur ini untuk mencapai hasil terbaik.
Ringkasan dalam konteks medis
Anda meringkas dokumen medis, dan sangat penting bahwa nama pasien dalam ringkasan akurat dan konsisten dengan sumber grounding yang disediakan.
Contoh Permintaan API:
{
"domain": "Medical",
"task": "Summarization",
"text": "The patient name is Kevin.",
"groundingSources": [
"The patient name is Jane."
],
}
Hasil yang diharapkan:
Fitur koreksi mendeteksi bahwa Kevin tidak teralihkan karena bertentangan dengan sumber Janedasar . API mengembalikan teks yang dikoreksi: "The patient name is Jane."
Tugas tanya jawab (QnA) dengan data dukungan pelanggan
Anda menerapkan sistem QnA untuk chatbot dukungan pelanggan. Sangat penting bahwa jawaban yang diberikan oleh AI selaras dengan informasi terbaru dan akurat yang tersedia.
Contoh Permintaan API:
{
"domain": "Generic",
"task": "QnA",
"qna": {
"query": "What is the current interest rate?"
},
"text": "The interest rate is 5%.",
"groundingSources": [
"As of July 2024, the interest rate is 4.5%."
],
}
Hasil yang diharapkan:
API mendeteksi bahwa 5% tidak di-ground karena tidak cocok dengan sumber 4.5%grounding yang disediakan . Respons mencakup teks koreksi: "The interest rate is 4.5%."
Pembuatan konten dengan data historis
Anda membuat konten yang melibatkan data atau peristiwa historis, di mana akurasi sangat penting untuk mempertahankan kredibilitas dan menghindari kesalahan informasi.
Contoh Permintaan API:
{
"domain": "Generic",
"task": "Summarization",
"text": "The Battle of Hastings occurred in 1065.",
"groundingSources": [
"The Battle of Hastings occurred in 1066."
],
}
Hasil yang diharapkan:
API mendeteksi tanggal 1065 yang tidak di-ground dan memperbaikinya berdasarkan 1066 sumber grounding. Respons mencakup teks yang dikoreksi: "The Battle of Hastings occurred in 1066."
Ringkasan dokumentasi internal
Anda meringkas dokumen internal tempat nama produk, nomor versi, atau titik data tertentu lainnya harus tetap konsisten.
Contoh Permintaan API:
{
"domain": "Generic",
"task": "Summarization",
"text": "Our latest product is SuperWidget v2.1.",
"groundingSources": [
"Our latest product is SuperWidget v2.2."
],
}
Hasil yang diharapkan:
Fitur koreksi mengidentifikasi SuperWidget v2.1 sebagai tidak di-ground dan memperbaruinya dalam SuperWidget v2.2 respons. Respons mengembalikan teks yang dikoreksi: "Our latest product is SuperWidget v2.2."
Praktik terbaik
Patuhi praktik terbaik berikut saat menyiapkan sistem RAG untuk mendapatkan performa terbaik dari API deteksi groundedness:
- Saat berhadapan dengan nama produk atau nomor versi, gunakan sumber dasar langsung dari catatan rilis internal atau dokumentasi produk resmi untuk memastikan akurasi.
- Untuk konten historis, referensi silang sumber grounding Anda dengan database akademik atau historis tepercaya untuk memastikan tingkat akurasi tertinggi.
- Dalam lingkungan dinamis seperti keuangan, selalu gunakan sumber grounding terbaru dan andal untuk memastikan sistem AI Anda memberikan informasi yang akurat dan tepat waktu.
- Selalu pastikan bahwa sumber grounding Anda akurat dan terbaru, terutama di bidang sensitif seperti layanan kesehatan. Ini meminimalkan risiko kesalahan dalam proses ringkasan.
Batasan
Ketersediaan bahasa
Saat ini, API deteksi Groundedness mendukung konten bahasa Inggris. Meskipun API kami tidak membatasi pengiriman konten non-bahasa Inggris, kami tidak dapat menjamin tingkat kualitas dan akurasi yang sama dalam analisis konten bahasa lain. Sebaiknya pengguna mengirimkan konten terutama dalam bahasa Inggris untuk memastikan hasil yang paling andal dan akurat dari API.
Batasan panjang teks
Lihat Persyaratan input untuk batasan panjang teks maksimum.
Ketersediaan wilayah
Untuk menggunakan API ini, Anda harus membuat sumber daya Azure AI Content Safety di wilayah yang didukung. Lihat Ketersediaan wilayah.
Batasan tarif
Lihat Laju kueri.
Jika Anda memerlukan tarif yang lebih tinggi, hubungi kami untuk memintanya.
Langkah berikutnya
Ikuti mulai cepat untuk mulai menggunakan Azure AI Content Safety untuk mendeteksi groundedness.