Bagikan melalui

Mengurangi hasil palsu di Azure AI Content Safety

Panduan ini menunjukkan kepada Anda cara menangani hasil positif palsu dan hasil negatif palsu dari model Azure AI Content Safety.

Positif palsu terjadi ketika sistem salah menandai konten yang tidak berbahaya sebagai berbahaya; negatif palsu terjadi ketika konten berbahaya tidak ditandai sebagai berbahaya. Atasi kasus ini untuk memastikan integritas dan keandalan dari proses moderasi konten Anda, termasuk penyebaran AI generatif yang bertanggung jawab.

Prasyarat

  • Langganan Azure - buat langganan gratis
  • Setelah Anda memiliki langganan Azure, buat sumber daya Content Safety di portal Azure untuk mendapatkan kunci dan titik akhir Anda. Masukkan nama unik untuk sumber daya Anda, pilih langganan Anda, dan pilih grup sumber daya, wilayah yang didukung (lihat Ketersediaan wilayah), dan tingkat harga yang didukung. Lalu pilih Buat.

Tinjau dan verifikasi

Lakukan penilaian awal untuk mengonfirmasi bahwa Anda benar-benar memiliki positif palsu atau negatif palsu. Ini dapat melibatkan:

  • Memeriksa konteks konten yang ditandai.
  • Membandingkan konten yang ditandai dengan kategori risiko konten dan definisi tingkat keparahan:

Sesuaikan pengaturan tingkat keparahan Anda

Jika penilaian mengonfirmasi bahwa Anda menemukan positif palsu atau negatif palsu, Anda dapat mencoba menyesuaikan pengaturan tingkat keparahan Anda untuk mengurangi masalah. Pengaturan bergantung pada platform mana yang Anda gunakan.

Jika Anda menggunakan API mandiri Azure AI Content Safety secara langsung, coba bereksperimen dengan mengatur ambang keparahan pada tingkat yang berbeda untuk kategori bahaya berdasarkan output API. Atau, jika Anda lebih suka pendekatan tanpa kode, Anda dapat mencoba pengaturan tersebut di Content Safety Studio atau halaman Keamanan Konten Azure AI Foundry. Instruksi dapat ditemukan di sini.

Selain menyesuaikan tingkat keparahan untuk negatif palsu, Anda juga dapat menggunakan daftar hitam. Informasi selengkapnya tentang menggunakan daftar blokir untuk moderasi teks dapat ditemukan di Gunakan daftar blokir untuk moderasi teks.

Membuat kategori kustom berdasarkan kebijakan RAI Anda sendiri

Terkadang Anda mungkin perlu membuat kategori kustom untuk memastikan pemfilteran selaras dengan kebijakan AI Bertanggung Jawab spesifik Anda, karena kategori bawaan atau pemfilteran konten mungkin tidak cukup.

Referensi Dokumentasi Kategori Kustom untuk membangun kategori Anda sendiri dengan API Keamanan Konten Azure AI.

Masalah dokumen dan kirim umpan balik ke Azure

Jika, setelah Anda mencoba semua langkah yang disebutkan di atas, Azure AI Content Safety masih tidak dapat menyelesaikan positif palsu atau negatif, kemungkinan ada definisi kebijakan atau masalah model yang memerlukan perhatian lebih lanjut.

Dokumentasikan detail positif palsu dan/atau negatif palsu dengan memberikan informasi berikut kepada tim dukungan keamanan konten:

  • Deskripsi konten yang ditandai.
  • Konteks di mana konten diposting.
  • Alasan yang diberikan oleh Azure AI Content Safety untuk penandaan (jika positif).
  • Penjelasan mengapa konten adalah positif palsu atau negatif.
  • Penyesuaian apa pun yang sudah dicoba dengan menyesuaikan pengaturan tingkat keparahan atau menggunakan kategori kustom.
  • Cuplikan layar atau log konten dan respons sistem yang ditandai.

Dokumentasi ini membantu dalam meningkatkan masalah ke tim yang sesuai untuk penyelesaian.

Konten terkait