Apa itu Azure AI Content Safety?
Azure AI Content Safety mendeteksi konten yang dihasilkan pengguna dan buatan AI yang berbahaya dalam aplikasi dan layanan. Azure AI Content Safety menyertakan API teks dan gambar yang memungkinkan Anda mendeteksi materi yang berbahaya. Kami juga memiliki Content Safety Studio interaktif yang memungkinkan Anda melihat, menjelajahi, dan mencoba kode sampel untuk mendeteksi konten berbahaya di berbagai modalitas.
Perangkat lunak pemfilteran konten dapat membantu aplikasi Anda mematuhi peraturan atau mempertahankan lingkungan yang dimaksudkan untuk pengguna Anda.
Dokumentasi ini berisi jenis artikel berikut:
- Mulai cepat adalah instruksi awal untuk memandu Anda dalam membuat permintaan ke layanan.
- Panduan berisi instruksi untuk menggunakan layanan dengan cara yang lebih spesifik atau disesuaikan.
- Konsep memberikan penjelasan mendalam tentang fungsionalitas dan fitur layanan.
Tempat penggunaan
Berikut ini adalah beberapa skenario di mana pengembang atau tim perangkat lunak memerlukan layanan moderasi konten:
- Permintaan pengguna dikirimkan ke layanan AI generatif.
- Konten yang diproduksi oleh model AI generatif.
- Pasar online yang memoderasi katalog produk dan konten buatan pengguna lainnya.
- Perusahaan game yang memoderasi artefak game buatan pengguna dan ruang obrolan.
- Platform pesan sosial yang memoderasi gambar dan teks yang ditambahkan oleh pengguna mereka.
- Perusahaan media enterprise yang mengimplementasikan moderasi terpusat untuk konten mereka.
- Penyedia solusi pendidikan K-12 yang memfilter konten yang tidak sesuai untuk siswa dan pendidik.
Penting
Anda tidak dapat menggunakan Azure AI Content Safety untuk mendeteksi gambar eksploitasi anak ilegal.
Jenis produk
Ada berbagai jenis analisis yang tersedia dari layanan ini. Tabel berikut ini menjelaskan API yang saat ini tersedia.
| Jenis | Fungsi |
|---|---|
| Prompt Shields (pratinjau) | Memindai teks untuk risiko serangan input Pengguna pada Model Bahasa Besar. Mulai Cepat |
| Deteksi groundedness (pratinjau) | Mendeteksi apakah respons teks model bahasa besar (LLM) di-grounded dalam materi sumber yang disediakan oleh pengguna. Mulai Cepat |
| Deteksi teks material yang dilindungi (pratinjau) | Memindai teks yang dihasilkan AI untuk konten teks yang diketahui (misalnya, lirik lagu, artikel, resep, konten web yang dipilih). Mulai Cepat |
| API kategori kustom (pratinjau) | Memungkinkan Anda membuat dan melatih kategori konten kustom Anda sendiri dan memindai teks untuk kecocokan. Mulai Cepat |
| API kategori kustom (cepat) (pratinjau) | Memungkinkan Anda menentukan pola konten berbahaya yang muncul dan memindai teks dan gambar untuk kecocokan. Panduan cara penggunaan |
| Menganalisis API teks | Memindai teks untuk konten seksual, kekerasan, kebencian, dan bahaya diri dengan tingkat keparahan multi-tingkat. |
| Menganalisis API gambar | Memindai gambar untuk konten seksual, kekerasan, kebencian, dan bahaya diri dengan tingkat keparahan multi-tingkat. |
Content Safety Studio
Azure AI Content Safety Studio adalah alat online yang dirancang untuk menangani konten yang berpotensi menyinggung, berisiko, atau tidak diinginkan menggunakan model ML kon mode tenda rasi mutakhir. Ini menyediakan templat dan alur kerja yang disesuaikan, memungkinkan pengguna untuk memilih dan membangun sistem con mode tenda ration mereka sendiri. Pengguna dapat mengunggah konten mereka sendiri atau mencobanya dengan konten sampel yang disediakan.
Content Safety Studio tidak hanya berisi model AI siap pakai, tetapi juga menyertakan daftar blokir istilah bawaan Microsoft untuk menandai kata-kata kocek dan tetap up to date dengan tren baru. Anda juga dapat mengunggah daftar blokir Anda sendiri untuk meningkatkan cakupan konten berbahaya yang khusus untuk kasus penggunaan Anda.
Studio juga memungkinkan Anda menyiapkan alur kerja moderasi, di mana Anda dapat terus memantau dan meningkatkan performa con mode tenda ration. Ini dapat membantu Anda memenuhi persyaratan konten dari semua jenis industri seperti game, media, pendidikan, E-niaga, dan banyak lagi. Bisnis dapat dengan mudah menghubungkan layanan mereka ke Studio dan memiliki con mode tenda rated secara real time, baik yang dihasilkan pengguna atau buatan AI.
Semua kemampuan ini ditangani oleh Studio dan backend-nya; pelanggan tidak perlu khawatir tentang pengembangan model. Anda dapat melakukan onboarding data untuk validasi cepat dan memantau KPI, seperti metrik teknis (latensi, akurasi, pengenalan), atau metrik bisnis (laju blok, volume blok, proporsi kategori, proporsi bahasa, dan banyak lagi). Dengan operasi dan konfigurasi sederhana, pelanggan dapat menguji solusi yang berbeda dengan cepat dan menemukan yang paling cocok, alih-alih menghabiskan waktu bereksperimen dengan model kustom atau melakukan moderasi secara manual.
Fitur Content Safety Studio
Di Content Safety Studio, fitur layanan Azure AI Content Safety berikut ini tersedia:
Memoderasi Konten Teks: Dengan alat moderasi teks, Anda dapat dengan mudah menjalankan pengujian pada konten teks. Baik Anda ingin menguji satu kalimat atau seluruh himpunan data, alat kami menawarkan antarmuka yang mudah digunakan yang memungkinkan Anda menilai hasil pengujian langsung di portal. Anda dapat bereksperimen dengan tingkat sensitivitas yang berbeda untuk mengonfigurasi filter konten dan manajemen daftar blokir Anda, memastikan bahwa konten Anda selalu dimoderasi sesuai spesifikasi Anda. Plus, dengan kemampuan untuk mengekspor kode, Anda dapat mengimplementasikan alat langsung di aplikasi Anda, menyederhanakan alur kerja Anda dan menghemat waktu.
Konten Gambar Moderat: Dengan alat moderasi gambar, Anda dapat dengan mudah menjalankan pengujian pada gambar untuk memastikan bahwa mereka memenuhi standar konten Anda. Antarmuka ramah pengguna kami memungkinkan Anda mengevaluasi hasil pengujian langsung di portal, dan Anda dapat bereksperimen dengan tingkat sensitivitas yang berbeda untuk mengonfigurasi filter konten Anda. Setelah menyesuaikan pengaturan, Anda dapat dengan mudah mengekspor kode untuk mengimplementasikan alat di aplikasi Anda.
Pantau Aktivitas Online: Halaman pemantauan yang kuat memungkinkan Anda untuk dengan mudah melacak penggunaan dan tren API moderasi Anda di berbagai modalitas. Dengan fitur ini, Anda dapat mengakses informasi respons terperinci, termasuk distribusi kategori dan tingkat keparahan, latensi, kesalahan, dan deteksi daftar blokir. Informasi ini memberi Anda gambaran lengkap tentang performa con mode tenda ration, memungkinkan Anda mengoptimalkan alur kerja dan memastikan bahwa konten Anda selalu dimoderasi sesuai spesifikasi anda. Dengan antarmuka ramah pengguna kami, Anda dapat dengan cepat dan mudah menavigasi halaman pemantauan untuk mengakses informasi yang Anda butuhkan untuk membuat keputusan berdasarkan informasi tentang strategi con mode tenda ration Anda. Anda memiliki alat yang Anda butuhkan untuk tetap berada di atas performa con mode tenda ration Anda dan mencapai tujuan konten Anda.
Keamanan
Menggunakan ID Microsoft Entra atau Identitas Terkelola untuk mengelola akses
Untuk keamanan yang ditingkatkan, Anda dapat menggunakan ID Microsoft Entra atau Identitas Terkelola (MI) untuk mengelola akses ke sumber daya Anda.
- Identitas Terkelola diaktifkan secara otomatis saat Anda membuat sumber daya Content Safety.
- MICROSOFT Entra ID didukung dalam skenario API dan SDK. Lihat panduan layanan AI umum Autentikasi dengan ID Microsoft Entra. Anda juga dapat memberikan akses ke pengguna lain dalam organisasi Anda dengan menetapkan peran Pengguna dan Pembaca Cognitive Services kepada mereka. Untuk mempelajari selengkapnya tentang memberikan akses pengguna ke sumber daya Azure menggunakan portal Azure, lihat panduan kontrol akses berbasis Peran.
Enkripsi data tidak aktif
Pelajari cara Azure AI Content Safety menangani enkripsi dan dekripsi data Anda. Kunci yang dikelola pelanggan (CMK), juga dikenal sebagai Bring Your Own Key (BYOK), menawarkan fleksibilitas yang lebih besar untuk membuat, memutar, menonaktifkan, dan mencabut kontrol akses. Anda juga dapat mengaudit kunci enkripsi yang digunakan untuk melindungi data Anda.
Harga
Saat ini, Azure AI Content Safety memiliki tingkat harga F0 dan S0 . Lihat halaman harga Azure untuk informasi selengkapnya.
Batas layanan
Persyaratan input
Lihat daftar berikut untuk persyaratan input untuk setiap fitur.
- Menganalisis API teks:
- Panjang maksimum default: 10K karakter (pisahkan teks yang lebih panjang sesuai kebutuhan).
- Menganalisis API gambar:
- Ukuran file gambar maksimum: 4 MB
- Dimensi antara 50 x 50 dan 2048 x 2048 piksel.
- Gambar dapat dalam format JPEG, PNG, GIF, BMP, TIFF, atau WEBP.
- Prompt Shields (pratinjau):
- Panjang perintah maksimum: 10K karakter.
- Hingga lima dokumen dengan total 10K karakter.
- Deteksi groundedness (pratinjau):
- Panjang maksimum untuk sumber grounding: 55.000 karakter (per panggilan API).
- Panjang teks dan kueri maksimum: 7.500 karakter.
- Deteksi material yang dilindungi (pratinjau):
- Panjang maksimum default: 1K karakter.
- Panjang minimum default: 110 karakter (untuk memindai penyelesaian LLM, bukan permintaan pengguna).
- Kategori kustom (standar):
- Panjang input inferensi maksimum: 1K karakter.
Dukungan bahasa
Model Content Safety telah dilatih dan diuji secara khusus dalam bahasa berikut: Inggris, Jerman, Jepang, Spanyol, Prancis, Italia, Portugis, dan Cina. Namun, layanan ini dapat bekerja dalam banyak bahasa lain, tetapi kualitasnya mungkin bervariasi. Dalam semua kasus, Anda harus melakukan pengujian Anda sendiri untuk memastikan bahwa itu berfungsi untuk aplikasi Anda.
Kategori Kustom saat ini hanya berfungsi dengan baik dalam bahasa Inggris. Anda dapat mencoba menggunakan bahasa lain dengan himpunan data Anda sendiri, tetapi kualitasnya mungkin bervariasi di seluruh bahasa.
Untuk informasi selengkapnya, lihat Dukungan bahasa.
Ketersediaan wilayah
Untuk menggunakan API Keamanan Konten, Anda harus membuat sumber daya Azure AI Content Safety di wilayah yang didukung. Saat ini, fitur Keamanan Konten tersedia di wilayah Azure berikut:
| Wilayah | API Moderasi | Prompt Shields (pratinjau) |
Bahan yang dilindungi deteksi (pratinjau) |
Groundedness deteksi (pratinjau) |
Kategori kustom (Cepat) (pratinjau) |
Kategori kustom (standar) |
Daftar blokir |
|---|---|---|---|---|---|---|---|
| AS Timur | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| AS Timur 2 | ✅ | ✅ | ✅ | ✅ | |||
| AS Barat | ✅ | ||||||
| US Barat 2 | ✅ | ✅ | ✅ | ||||
| US Tengah | ✅ | ✅ | |||||
| US Tengah Utara | ✅ | ✅ | ✅ | ||||
| US Tengah Selatan | ✅ | ✅ | ✅ | ||||
| Kanada Timur | ✅ | ✅ | ✅ | ||||
| Swiss Utara | ✅ | ✅ | ✅ | ✅ | |||
| Swedia Tengah | ✅ | ✅ | ✅ | ✅ | |||
| UK Selatan | ✅ | ✅ | ✅ | ||||
| Prancis Tengah | ✅ | ✅ | ✅ | ||||
| Eropa Barat | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| Jepang Timur | ✅ | ✅ | ✅ | ||||
| Australia Timur | ✅ | ✅ | ✅ | ✅ | ✅ |
Jangan ragu untuk menghubungi kami jika Anda membutuhkan wilayah lain untuk bisnis Anda.
Laju kueri
Fitur Content Safety memiliki batas laju kueri dalam requests-per-second (RPS) atau requests-per-10-seconds (RP10S) . Lihat tabel berikut untuk batas tarif untuk setiap fitur.
| Tingkatan harga | API Moderasi | Prompt Shields (pratinjau) |
Bahan yang dilindungi deteksi (pratinjau) |
Groundedness deteksi (pratinjau) |
Kategori kustom (Cepat) (pratinjau) |
Kategori kustom (standar) (pratinjau) |
|---|---|---|---|---|---|---|
| F0 | 1000 RP10S | 1000 RP10S | 1000 RP10S | 50 RP10S | 1000 RP10S | 5 RPS |
| S0 | 1000 RP10S | 1000 RP10S | 1000 RP10S | 50 RP10S | 1000 RP10S | 5 RPS |
Jika Anda memerlukan tarif yang lebih cepat, silakan hubungi kami untuk meminta.
Hubungi kami
Jika Anda macet, kirim email kepada kami atau gunakan widget umpan balik di bagian bawah halaman Microsoft Learn mana pun.
Langkah berikutnya
Ikuti mulai cepat untuk mulai menggunakan Azure AI Content Safety di aplikasi Anda.
Saran dan Komentar
Segera hadir: Sepanjang tahun 2024 kami akan menghentikan penggunaan GitHub Issues sebagai mekanisme umpan balik untuk konten dan menggantinya dengan sistem umpan balik baru. Untuk mengetahui informasi selengkapnya, lihat: https://aka.ms/ContentUserFeedback.
Kirim dan lihat umpan balik untuk