Apa itu Azure AI Content Safety?

2025-06-18

Azure AI Content Safety adalah layanan AI yang mendeteksi konten yang dihasilkan pengguna dan buatan AI yang berbahaya dalam aplikasi dan layanan. Azure AI Content Safety menyertakan API teks dan gambar yang memungkinkan Anda mendeteksi materi yang berbahaya. Content Safety Studio interaktif memungkinkan Anda untuk melihat, menjelajahi, dan mencoba kode sampel untuk mendeteksi konten berbahaya di berbagai modalitas.

Perangkat lunak pemfilteran konten dapat membantu aplikasi Anda mematuhi peraturan atau mempertahankan lingkungan yang dimaksudkan untuk pengguna Anda.

Dokumentasi ini berisi jenis artikel berikut:

Konsep memberikan penjelasan mendalam tentang fungsionalitas dan fitur layanan.
Petunjuk Memulai adalah instruksi untuk memandu Anda dalam membuat permintaan ke layanan.
Panduan berisi instruksi untuk menggunakan layanan dengan cara yang lebih spesifik atau disesuaikan.

Tempat penggunaan

Berikut ini adalah beberapa skenario di mana pengembang atau tim perangkat lunak memerlukan layanan moderasi konten:

Permintaan pengguna dikirimkan ke layanan AI generatif.
Konten yang diproduksi oleh model AI generatif.
Pasar online yang memoderasi katalog produk dan konten buatan pengguna lainnya.
Perusahaan game yang memoderasi artefak game buatan pengguna dan ruang obrolan.
Platform pesan sosial yang memoderasi gambar dan teks yang ditambahkan oleh pengguna mereka.
Perusahaan media enterprise yang mengimplementasikan moderasi terpusat untuk konten mereka.
Penyedia solusi pendidikan K-12 yang memfilter konten yang tidak sesuai untuk siswa dan pendidik.

Penting

Anda tidak dapat menggunakan Azure AI Content Safety untuk mendeteksi gambar eksploitasi anak ilegal.

Fitur produk

Layanan ini membuat beberapa jenis analisis yang tersedia. Tabel berikut ini menjelaskan API yang saat ini tersedia.

Fitur	Fungsi	Panduan konsep	Mulai sekarang
Prompt Shields	Memindai teks untuk risiko serangan input Pengguna pada Model Bahasa Besar.	Konsep Prompt Shields	Mulai Cepat
Deteksi Ketertautan (pratinjau)	Mendeteksi apakah respons teks model bahasa besar (LLM) didasarkan pada bahan sumber yang disediakan oleh pengguna.	Konsep Deteksi Ketertambatan	Mulai Cepat
Deteksi teks material yang dilindungi	Memindai teks yang dihasilkan AI untuk konten teks yang diketahui (misalnya, lirik lagu, artikel, resep, konten web yang dipilih).	Konsep material yang dilindungi	Mulai Cepat
API kategori kustom (standar) (pratinjau)	Memungkinkan Anda membuat dan melatih kategori konten kustom Anda sendiri dan memindai teks untuk kecocokan.	Konsep kategori khusus	Mulai Cepat
API kategori kustom (cepat) (pratinjau)	Memungkinkan Anda menentukan pola konten berbahaya yang muncul dan memindai teks dan gambar untuk kecocokan.	Konsep kategori khusus	Panduan cara penggunaan
API menganalisis teks	Memindai teks untuk konten seksual, kekerasan, kebencian, dan mencelakai diri sendiri dengan berbagai tingkat keparahan.	Kategori bahaya	Mulai Cepat
Menganalisis API gambar	Memindai gambar untuk konten seksual, kekerasan, kebencian, dan mencelakai diri sendiri dengan tingkat keparahan yang beragam.	Kategori bahaya	Mulai Cepat

Studio Keamanan Konten

Azure AI Content Safety Studio adalah alat online yang dirancang untuk menangani konten yang berpotensi menyinggung, berisiko, atau tidak diinginkan menggunakan model pembelajaran mesin moderasi konten mutakhir. Ini menyediakan templat dan alur kerja yang disesuaikan, memungkinkan pengguna untuk memilih dan membangun sistem moderasi konten mereka sendiri. Pengguna dapat mengunggah konten mereka sendiri atau mencobanya dengan konten sampel yang disediakan.

Content Safety Studio tidak hanya berisi model AI siap pakai, tetapi juga menyertakan daftar blokir istilah bawaan Microsoft untuk menandai kata-kata kolot dan tetap mendapatkan informasi terbaru tentang tren konten baru. Anda juga dapat mengunggah daftar blokir Anda sendiri untuk meningkatkan cakupan konten berbahaya yang khusus untuk kasus penggunaan Anda.

Studio juga memungkinkan Anda menyiapkan workflow moderasi, di mana Anda dapat terus memantau dan meningkatkan performa moderasi konten. Ini dapat membantu Anda memenuhi persyaratan konten dari semua jenis industri seperti game, media, pendidikan, E-niaga, dan banyak lagi. Bisnis dapat dengan mudah menghubungkan layanan mereka ke Studio dan memiliki konten mereka yang dimoderasi secara real time, baik yang dihasilkan oleh pengguna maupun buatan AI.

Semua kemampuan ini ditangani oleh Studio dan backend-nya; pelanggan tidak perlu khawatir tentang pengembangan model. Anda dapat memasukkan data untuk validasi cepat dan memantau KPI Anda, seperti metrik teknis (latensi, akurasi, daya ingat), atau metrik bisnis (tingkat pemblokiran, volume blok, proporsi kategori, proporsi bahasa, dan banyak lagi). Dengan operasi dan konfigurasi sederhana, pelanggan dapat menguji solusi yang berbeda dengan cepat dan menemukan yang paling cocok, alih-alih menghabiskan waktu bereksperimen dengan model kustom atau melakukan moderasi secara manual.

Coba Studio Keamanan Konten

Fitur Content Safety Studio

Di Content Safety Studio, fitur Azure AI Content Safety berikut ini tersedia:

Memoderasi Konten Teks: Dengan alat moderasi teks, Anda dapat dengan mudah menjalankan pengujian pada konten teks. Baik Anda ingin menguji satu kalimat atau seluruh himpunan data, alat kami menawarkan antarmuka yang mudah digunakan yang memungkinkan Anda menilai hasil pengujian langsung di portal. Anda dapat bereksperimen dengan tingkat sensitivitas yang berbeda untuk mengonfigurasi filter konten dan manajemen daftar blokir Anda, memastikan bahwa konten Anda selalu dimoderasi sesuai spesifikasi Anda. Plus, dengan kemampuan untuk mengekspor kode, Anda dapat mengimplementasikan alat langsung di aplikasi Anda, menyederhanakan alur kerja Anda dan menghemat waktu.
Konten Gambar Moderat: Dengan alat moderasi gambar, Anda dapat dengan mudah menjalankan pengujian pada gambar untuk memastikan bahwa mereka memenuhi standar konten Anda. Antarmuka ramah pengguna kami memungkinkan Anda mengevaluasi hasil pengujian langsung di portal, dan Anda dapat bereksperimen dengan tingkat sensitivitas yang berbeda untuk mengonfigurasi filter konten Anda. Setelah menyesuaikan pengaturan, Anda dapat dengan mudah mengekspor kode untuk mengimplementasikan alat di aplikasi Anda.
Pantau Aktivitas Online: Halaman pemantauan yang kuat memungkinkan Anda untuk dengan mudah melacak penggunaan dan tren API moderasi Anda di berbagai modalitas. Dengan fitur ini, Anda dapat mengakses informasi respons terperinci, termasuk distribusi kategori dan tingkat keparahan, latensi, kesalahan, dan deteksi daftar blokir. Informasi ini memberi Anda gambaran lengkap tentang performa moderasi konten Anda, memungkinkan Anda mengoptimalkan alur kerja dan memastikan bahwa konten Anda selalu dimoderasi sesuai spesifikasi Anda. Dengan antarmuka ramah pengguna kami, Anda dapat dengan cepat dan mudah menavigasi halaman pemantauan untuk mengakses informasi yang Anda butuhkan untuk membuat keputusan yang tepat mengenai strategi moderasi konten Anda. Anda memiliki alat yang Anda butuhkan untuk memantau kinerja moderasi konten Anda dan mencapai tujuan konten Anda.

Keamanan

ID Microsoft Entra atau Identitas Terkelola

Untuk keamanan yang ditingkatkan, Anda dapat menggunakan ID Microsoft Entra atau Identitas Terkelola (MI) untuk mengelola akses ke sumber daya Anda.

Identitas Terkelola diaktifkan secara otomatis saat Anda membuat sumber daya Content Safety.
MICROSOFT Entra ID didukung dalam skenario API dan SDK. Lihat panduan layanan AI umum untuk Mengautentikasi dengan Microsoft Entra ID. Anda juga dapat memberikan akses ke pengguna lain dalam organisasi Anda dengan menetapkan peran Pengguna Cognitive Services dan Pembaca kepada mereka. Untuk mempelajari selengkapnya tentang memberikan akses pengguna ke sumber daya Azure menggunakan portal Azure, lihat panduan kontrol akses berbasis Peran.

Enkripsi data yang disimpan

Enkripsi

Pelajari cara Azure AI Content Safety menangani enkripsi dan dekripsi data Anda. Kunci yang dikelola pelanggan (CMK), juga dikenal sebagai Bring Your Own Key (BYOK), menawarkan fleksibilitas yang lebih besar untuk membuat, memutar, menonaktifkan, dan mencabut kontrol akses. Anda juga dapat mengaudit kunci enkripsi yang digunakan untuk melindungi data Anda.

Harga

Azure AI Content Safety memiliki tingkat harga F0 dan S0 . Lihat halaman harga Azure untuk informasi selengkapnya.

Batas layanan

Penting

Pemberitahuan Penghentian

Sebagai bagian dari pengelolaan versi dan manajemen siklus hidup Content Safety, kami mengumumkan penghentian secara bertahap terhadap beberapa versi Pratinjau Publik dan GA (General Availability) dari API layanan kami. Sesuai dengan kebijakan penghentian kami:

Versi Pratinjau Publik: Setiap versi Pratinjau Publik baru akan memicu penghentian versi pratinjau sebelumnya setelah periode 90 hari, selama tidak ada perubahan signifikan dan mengganggu yang diperkenalkan.
Versi GA: Ketika versi GA baru dirilis, versi GA sebelumnya akan ditolak setelah periode 90 hari jika kompatibilitas dipertahankan.

Lihat halaman Apa yang baru untuk penghentian fitur mendatang.

Persyaratan input

Lihat daftar berikut untuk persyaratan input untuk setiap fitur.

Menganalisis teks API
- Panjang maksimum default: 10K karakter (pisahkan teks yang lebih panjang sesuai kebutuhan).
API analisis gambar
- Ukuran file gambar maksimum: 4 MB
- Dimensi antara 50 x 50 dan 7200 x 7200 piksel.
- Gambar dapat dalam format JPEG, PNG, GIF, BMP, TIFF, atau WEBP.
Analisis API multimodal (pratinjau):
- Panjang teks maksimum default: 1K karakter.
- Ukuran file gambar maksimum: 4 MB
- Dimensi antara 50 x 50 dan 7200 x 7200 piksel.
- Gambar dapat dalam format JPEG, PNG, GIF, BMP, TIFF, atau WEBP.
Prompt Shields API:
- Panjang perintah maksimum: 10K karakter.
- Hingga lima dokumen dengan total 10K karakter.
API Deteksi Keterkaitan dengan Kenyataan (pratinjau):
- Panjang maksimum untuk sumber grounding: 55.000 karakter (per panggilan API).
- Panjang teks dan kueri maksimum: 7.500 karakter.
- Panjang kueri minimum: 3 kata.
API deteksi material yang dilindungi:
- Panjang maksimum default: 10K karakter.
- Panjang minimum default: 110 karakter (untuk memindai penyelesaian LLM, bukan permintaan pengguna).
API kategori khusus (standar) (versi pratinjau)
- Panjang input inferensi maksimum: 1K karakter.

Dukungan bahasa

Model Azure AI Content Safety untuk materi yang dilindungi, pendeteksian keterkaitan, dan kategori kustom (standar) hanya mendukung bahasa Inggris.

Model Azure AI Content Safety lainnya telah dilatih dan diuji secara khusus pada bahasa berikut: Cina, Inggris, Prancis, Jerman, Spanyol, Italia, Jepang, Portugis. Namun, fitur-fitur ini dapat berfungsi dalam banyak bahasa lain, tetapi kualitasnya mungkin bervariasi. Dalam semua kasus, Anda harus melakukan pengujian Anda sendiri untuk memastikan bahwa itu berfungsi untuk aplikasi Anda.

Untuk informasi selengkapnya, lihat Dukungan bahasa.

Ketersediaan Wilayah

Untuk menggunakan CONTENT Safety API, Anda harus membuat sumber daya Azure AI Content Safety di wilayah yang didukung. Saat ini, fitur Keamanan Konten tersedia di wilayah Azure berikut dengan versi API yang berbeda:

Wilayah	Kategori Kustom	Keterhubungan dengan Kenyataan	Gambar	Multimodal(Gambar dengan Teks)	Tanggapan Insiden	Prompt Shield	Bahan Terproteksi (Teks)	Bahan Terlindungi (Kode)	Teks
Australia Timur	✅		✅		✅	✅	✅	✅	✅
Kanada Timur			✅		✅	✅	✅	✅	✅
US Tengah			✅		✅	✅	✅	✅	✅
US Timur	✅	✅	✅	✅	✅	✅	✅	✅	✅
Wilayah Timur AS 2		✅	✅		✅	✅	✅	✅	✅
Prancis Tengah		✅	✅		✅	✅	✅	✅	✅
Jerman Barat Tengah					✅	✅	✅		✅
Italia Utara					✅	✅	✅		✅
Jepang Timur			✅		✅	✅	✅	✅	✅
Korea Tengah			✅			✅	✅		✅
AS Tengah Bagian Utara			✅		✅	✅	✅	✅	✅
Polandia Tengah			✅			✅	✅	✅	✅
Tengah Selatan Amerika Serikat			✅		✅	✅	✅	✅	✅
India Selatan			✅		✅	✅	✅	✅	✅
Swedia Tengah		✅	✅		✅	✅	✅	✅	✅
Swiss Utara	✅		✅		✅	✅	✅	✅	✅
Swiss Barat			✅		✅	✅	✅	✅	✅
Arab Saudi Utara			✅		✅	✅	✅	✅	✅
UK Selatan		✅	✅		✅	✅	✅	✅	✅
Eropa Barat			✅	✅	✅	✅	✅	✅	✅
Barat Amerika Serikat		✅	✅		✅	✅	✅	✅	✅
Wilayah Barat Amerika Serikat 2			✅		✅	✅	✅	✅	✅
US Barat 3			✅		✅	✅	✅	✅	✅
FairFax - USGovArizona			✅			✅	✅	✅	✅
FairFax - USGovVirginia			✅			✅	✅		✅

Jangan ragu untuk menghubungi kami jika bisnis Anda membutuhkan wilayah lain untuk tersedia.

Laju kueri

Fitur Content Safety memiliki batas kecepatan kueri dalam requests-per-second (RPS) atau requests-per-10-seconds (RP10S). Lihat tabel berikut untuk batas tarif untuk setiap fitur.

Tingkatan harga	API Moderasi (teks dan gambar)	Pelindung Prompt	Bahan yang dilindungi deteksi	Keterhubungan dengan Kenyataan deteksi (pratinjau)	Kategori khusus (Cepat) (pratinjau)	Kategori khusus (standar) (pratinjau)	Multimodal
F0	5 putaran per detik	5 putaran per detik	5 putaran per detik	T/A	5 putaran per detik	5 putaran per detik	5 putaran per detik
S0	1000 RP10S	1000 RP10S	1000 RP10S	50 RPS	1000 RP10S	5 putaran per detik	10 RPS (putaran per detik)

Jika Anda memerlukan tarif yang lebih cepat, silakan hubungi kami untuk memintanya.

Hubungi kami

Jika Anda macet, kirim email kepada kami atau gunakan widget umpan balik di bagian bawah halaman Microsoft Learn mana pun.

Langkah berikutnya

Ikuti panduan cepat untuk menggunakan Azure AI Content Safety di aplikasi Anda.

Mulai cepat Keamanan Konten