Apa itu Azure AI Content Safety?
Azure AI Content Safety adalah layanan AI yang mendeteksi konten yang dihasilkan pengguna dan buatan AI yang berbahaya dalam aplikasi dan layanan. Azure AI Content Safety menyertakan API teks dan gambar yang memungkinkan Anda mendeteksi materi yang berbahaya. Content Safety Studio interaktif memungkinkan Anda untuk melihat, menjelajahi, dan mencoba kode sampel untuk mendeteksi konten berbahaya di berbagai modalitas.
Perangkat lunak pemfilteran konten dapat membantu aplikasi Anda mematuhi peraturan atau mempertahankan lingkungan yang dimaksudkan untuk pengguna Anda.
Dokumentasi ini berisi jenis artikel berikut:
- Konsep memberikan penjelasan mendalam tentang fungsionalitas dan fitur layanan.
- Mulai cepat adalah instruksi awal untuk memandu Anda dalam membuat permintaan ke layanan.
- Panduan berisi instruksi untuk menggunakan layanan dengan cara yang lebih spesifik atau disesuaikan.
Tempat penggunaan
Berikut ini adalah beberapa skenario di mana pengembang atau tim perangkat lunak memerlukan layanan moderasi konten:
- Permintaan pengguna dikirimkan ke layanan AI generatif.
- Konten yang diproduksi oleh model AI generatif.
- Pasar online yang memoderasi katalog produk dan konten buatan pengguna lainnya.
- Perusahaan game yang memoderasi artefak game buatan pengguna dan ruang obrolan.
- Platform pesan sosial yang memoderasi gambar dan teks yang ditambahkan oleh pengguna mereka.
- Perusahaan media enterprise yang mengimplementasikan moderasi terpusat untuk konten mereka.
- Penyedia solusi pendidikan K-12 yang memfilter konten yang tidak sesuai untuk siswa dan pendidik.
Penting
Anda tidak dapat menggunakan Azure AI Content Safety untuk mendeteksi gambar eksploitasi anak ilegal.
Fitur produk
Layanan ini membuat beberapa jenis analisis yang tersedia. Tabel berikut ini menjelaskan API yang saat ini tersedia.
| Fitur | Fungsi | Panduan konsep | Memulai |
|---|---|---|---|
| Prompt Shields | Memindai teks untuk risiko serangan input Pengguna pada Model Bahasa Besar. | Konsep Prompt Shields | Mulai Cepat |
| Deteksi groundedness (pratinjau) | Mendeteksi apakah respons teks model bahasa besar (LLM) di-grounded dalam materi sumber yang disediakan oleh pengguna. | Konsep deteksi groundedness | Mulai Cepat |
| Deteksi teks material yang dilindungi | Memindai teks yang dihasilkan AI untuk konten teks yang diketahui (misalnya, lirik lagu, artikel, resep, konten web yang dipilih). | Konsep material yang dilindungi | Mulai Cepat |
| API kategori kustom (standar) (pratinjau) | Memungkinkan Anda membuat dan melatih kategori konten kustom Anda sendiri dan memindai teks untuk kecocokan. | Konsep kategori kustom | Mulai Cepat |
| API kategori kustom (cepat) (pratinjau) | Memungkinkan Anda menentukan pola konten berbahaya yang muncul dan memindai teks dan gambar untuk kecocokan. | Konsep kategori kustom | Panduan cara penggunaan |
| Menganalisis API teks | Memindai teks untuk konten seksual, kekerasan, kebencian, dan bahaya diri dengan tingkat keparahan multi-tingkat. | Kategori bahaya | Mulai Cepat |
| Menganalisis API gambar | Memindai gambar untuk konten seksual, kekerasan, kebencian, dan bahaya diri dengan tingkat keparahan multi-tingkat. | Kategori bahaya | Mulai Cepat |
Content Safety Studio
Azure AI Content Safety Studio adalah alat online yang dirancang untuk menangani konten yang berpotensi menyinggung, berisiko, atau tidak diinginkan menggunakan model ML kon mode tenda rasi mutakhir. Ini menyediakan templat dan alur kerja yang disesuaikan, memungkinkan pengguna untuk memilih dan membangun sistem con mode tenda ration mereka sendiri. Pengguna dapat mengunggah konten mereka sendiri atau mencobanya dengan konten sampel yang disediakan.
Content Safety Studio tidak hanya berisi model AI siap pakai, tetapi juga menyertakan daftar blokir istilah bawaan Microsoft untuk menandai kata-kata kolot dan tetap mendapatkan informasi terbaru tentang tren konten baru. Anda juga dapat mengunggah daftar blokir Anda sendiri untuk meningkatkan cakupan konten berbahaya yang khusus untuk kasus penggunaan Anda.
Studio juga memungkinkan Anda menyiapkan alur kerja moderasi, di mana Anda dapat terus memantau dan meningkatkan performa con mode tenda ration. Ini dapat membantu Anda memenuhi persyaratan konten dari semua jenis industri seperti game, media, pendidikan, E-niaga, dan banyak lagi. Bisnis dapat dengan mudah menghubungkan layanan mereka ke Studio dan memiliki con mode tenda rated secara real time, baik yang dihasilkan pengguna atau buatan AI.
Semua kemampuan ini ditangani oleh Studio dan backend-nya; pelanggan tidak perlu khawatir tentang pengembangan model. Anda dapat melakukan onboarding data untuk validasi cepat dan memantau KPI, seperti metrik teknis (latensi, akurasi, pengenalan), atau metrik bisnis (laju blok, volume blok, proporsi kategori, proporsi bahasa, dan banyak lagi). Dengan operasi dan konfigurasi sederhana, pelanggan dapat menguji solusi yang berbeda dengan cepat dan menemukan yang paling cocok, alih-alih menghabiskan waktu bereksperimen dengan model kustom atau melakukan moderasi secara manual.
Fitur Content Safety Studio
Di Content Safety Studio, fitur Azure AI Content Safety berikut ini tersedia:
Memoderasi Konten Teks: Dengan alat moderasi teks, Anda dapat dengan mudah menjalankan pengujian pada konten teks. Baik Anda ingin menguji satu kalimat atau seluruh himpunan data, alat kami menawarkan antarmuka yang mudah digunakan yang memungkinkan Anda menilai hasil pengujian langsung di portal. Anda dapat bereksperimen dengan tingkat sensitivitas yang berbeda untuk mengonfigurasi filter konten dan manajemen daftar blokir Anda, memastikan bahwa konten Anda selalu dimoderasi sesuai spesifikasi Anda. Plus, dengan kemampuan untuk mengekspor kode, Anda dapat mengimplementasikan alat langsung di aplikasi Anda, menyederhanakan alur kerja Anda dan menghemat waktu.
Konten Gambar Moderat: Dengan alat moderasi gambar, Anda dapat dengan mudah menjalankan pengujian pada gambar untuk memastikan bahwa mereka memenuhi standar konten Anda. Antarmuka ramah pengguna kami memungkinkan Anda mengevaluasi hasil pengujian langsung di portal, dan Anda dapat bereksperimen dengan tingkat sensitivitas yang berbeda untuk mengonfigurasi filter konten Anda. Setelah menyesuaikan pengaturan, Anda dapat dengan mudah mengekspor kode untuk mengimplementasikan alat di aplikasi Anda.
Pantau Aktivitas Online: Halaman pemantauan yang kuat memungkinkan Anda untuk dengan mudah melacak penggunaan dan tren API moderasi Anda di berbagai modalitas. Dengan fitur ini, Anda dapat mengakses informasi respons terperinci, termasuk distribusi kategori dan tingkat keparahan, latensi, kesalahan, dan deteksi daftar blokir. Informasi ini memberi Anda gambaran lengkap tentang performa con mode tenda ration, memungkinkan Anda mengoptimalkan alur kerja dan memastikan bahwa konten Anda selalu dimoderasi sesuai spesifikasi anda. Dengan antarmuka ramah pengguna kami, Anda dapat dengan cepat dan mudah menavigasi halaman pemantauan untuk mengakses informasi yang Anda butuhkan untuk membuat keputusan berdasarkan informasi tentang strategi con mode tenda ration Anda. Anda memiliki alat yang Anda butuhkan untuk tetap berada di atas performa con mode tenda ration Anda dan mencapai tujuan konten Anda.
Keamanan
Menggunakan ID Microsoft Entra atau Identitas Terkelola untuk mengelola akses
Untuk keamanan yang ditingkatkan, Anda dapat menggunakan ID Microsoft Entra atau Identitas Terkelola (MI) untuk mengelola akses ke sumber daya Anda.
- Identitas Terkelola diaktifkan secara otomatis saat Anda membuat sumber daya Content Safety.
- MICROSOFT Entra ID didukung dalam skenario API dan SDK. Lihat panduan layanan AI umum Autentikasi dengan ID Microsoft Entra. Anda juga dapat memberikan akses ke pengguna lain dalam organisasi Anda dengan menetapkan peran Pengguna dan Pembaca Cognitive Services kepada mereka. Untuk mempelajari selengkapnya tentang memberikan akses pengguna ke sumber daya Azure menggunakan portal Azure, lihat panduan kontrol akses berbasis Peran.
Enkripsi data tidak aktif
Pelajari cara Azure AI Content Safety menangani enkripsi dan dekripsi data Anda. Kunci yang dikelola pelanggan (CMK), juga dikenal sebagai Bring Your Own Key (BYOK), menawarkan fleksibilitas yang lebih besar untuk membuat, memutar, menonaktifkan, dan mencabut kontrol akses. Anda juga dapat mengaudit kunci enkripsi yang digunakan untuk melindungi data Anda.
Harga
Saat ini, Azure AI Content Safety memiliki tingkat harga F0 dan S0 . Lihat halaman harga Azure untuk informasi selengkapnya.
Batas layanan
Persyaratan input
Lihat daftar berikut untuk persyaratan input untuk setiap fitur.
- Menganalisis API teks:
- Panjang maksimum default: 10K karakter (pisahkan teks yang lebih panjang sesuai kebutuhan).
- Menganalisis API gambar:
- Ukuran file gambar maksimum: 4 MB
- Dimensi antara 50 x 50 dan 7200 x 7200 piksel.
- Gambar dapat dalam format JPEG, PNG, GIF, BMP, TIFF, atau WEBP.
- Menganalisis API multimodal:
- Panjang teks maksimum default: 1K karakter.
- Ukuran file gambar maksimum: 4 MB
- Dimensi antara 50 x 50 dan 7200 x 7200 piksel.
- Gambar dapat dalam format JPEG, PNG, GIF, BMP, TIFF, atau WEBP.
- Prompt Shields API:
- Panjang perintah maksimum: 10K karakter.
- Hingga lima dokumen dengan total 10K karakter.
- API deteksi groundedness (pratinjau):
- Panjang maksimum untuk sumber grounding: 55.000 karakter (per panggilan API).
- Panjang teks dan kueri maksimum: 7.500 karakter.
- API deteksi material yang dilindungi:
- Panjang maksimum default: 1K karakter.
- Panjang minimum default: 110 karakter (untuk memindai penyelesaian LLM, bukan permintaan pengguna).
- API kategori kustom (standar) (pratinjau):
- Panjang input inferensi maksimum: 1K karakter.
Dukungan bahasa
Model Azure AI Content Safety untuk materi yang dilindungi, deteksi groundedness, dan kategori kustom (standar) hanya berfungsi dengan bahasa Inggris.
Model Azure AI Content Safety lainnya telah dilatih dan diuji secara khusus pada bahasa berikut: Cina, Inggris, Prancis, Jerman, Spanyol, Italia, Jepang, Portugis. Namun, fitur-fitur ini dapat berfungsi dalam banyak bahasa lain, tetapi kualitasnya mungkin bervariasi. Dalam semua kasus, Anda harus melakukan pengujian Anda sendiri untuk memastikan bahwa itu berfungsi untuk aplikasi Anda.
Untuk informasi selengkapnya, lihat Dukungan bahasa.
Ketersediaan wilayah
Untuk menggunakan CONTENT Safety API, Anda harus membuat sumber daya Azure AI Content Safety di wilayah yang didukung. Saat ini, fitur Keamanan Konten tersedia di wilayah Azure berikut:
| Wilayah | API Moderasi (teks dan gambar) | API Moderasi (multimodal) | Prompt Shields | Deteksi bahan yang dilindungi untuk Teks | Deteksi material yang dilindungi untuk Kode | Deteksi groundedness (pratinjau) | Kategori kustom (cepat) (pratinjau) | Kategori kustom (standar) (pratinjau) | Daftar blokir |
|---|---|---|---|---|---|---|---|---|---|
| AS Timur | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| AS Timur 2 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| US Tengah | ✅ | ✅ | ✅ | ✅ | ✅ | ||||
| US Tengah Utara | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| US Tengah Selatan | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| AS Barat | ✅ | ✅ | ✅ | ✅ | |||||
| US Barat 2 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| AS Barat 3 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| Kanada Timur | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| Kanada Tengah | ✅ | ✅ | ✅ | ✅ | |||||
| Brasil Selatan | ✅ | ✅ | ✅ | ✅ | |||||
| Swiss Utara | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| Jerman Barat Tengah | ✅ | ✅ | ✅ | ✅ | |||||
| Polandia Tengah | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| Swedia Tengah | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| Norwegia Timur | ✅ | ✅ | ✅ | ✅ | |||||
| UK Selatan | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| Prancis Tengah | ✅ | ✅ | ✅ | ✅ | ✅ | ||||
| Eropa Barat | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| Italia Utara | ✅ | ✅ | ✅ | ||||||
| India Utara | ✅ | ✅ | ✅ | ||||||
| India Selatan | ✅ | ✅ | ✅ | ✅ | ✅ | ||||
| India Pusat | ✅ | ✅ | ✅ | ||||||
| Asia Tenggara | ✅ | ✅ | ✅ | ✅ | ✅ | ||||
| Jepang Timur | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| Jepang Barat | ✅ | ✅ | ✅ | ✅ | |||||
| Korea Tengah | ✅ | ||||||||
| Australia Timur | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| Arab Saudi Utara | ✅ | ||||||||
| Afrika Selatan Utara | ✅ | ✅ | ✅ | ✅ | |||||
| Gov (US) Arizona | ✅ | ✅ | |||||||
| Virginia Gov (US) | ✅ | ✅ |
Jangan ragu untuk menghubungi kami jika bisnis Anda membutuhkan wilayah lain untuk tersedia.
Laju kueri
Fitur Content Safety memiliki batas laju kueri dalam requests-per-second (RPS) atau requests-per-10-seconds (RP10S) . Lihat tabel berikut untuk batas tarif untuk setiap fitur.
| Tingkatan harga | API Moderasi (teks dan gambar) |
Prompt Shields | Bahan yang dilindungi deteksi |
Groundedness deteksi (pratinjau) |
Kategori kustom (Cepat) (pratinjau) |
Kategori kustom (standar) (pratinjau) |
|---|---|---|---|---|---|---|
| F0 | 5 RPS | 5 RPS | 5 RPS | 10 RP10S | 5 RPS | 10 RP10S |
| S0 | 1000 RP10S | 1000 RP10S | 1000 RP10S | 50 RP10S | 1000 RP10S | 5 RPS |
Jika Anda memerlukan tarif yang lebih cepat, silakan hubungi kami untuk memintanya.
Hubungi kami
Jika Anda macet, kirim email kepada kami atau gunakan widget umpan balik di bagian bawah halaman Microsoft Learn mana pun.
Langkah berikutnya
Ikuti mulai cepat untuk mulai menggunakan Azure AI Content Safety di aplikasi Anda.