Azure AI İçerik Güvenliği nedir?

Azure AI İçerik Güvenliği, uygulama ve hizmetlerde kullanıcı tarafından oluşturulan ve yapay zeka tarafından oluşturulan zararlı içerikleri algılayan bir yapay zeka hizmetidir. Azure AI İçerik Güvenliği, zararlı malzemeleri algılamanıza olanak sağlayan metin ve görüntü API'leri içerir. Etkileşimli Content Safety Studio, farklı yöntemlerdeki zararlı içeriği algılamak için örnek kodu görüntülemenize, keşfetmenize ve denemenize olanak tanır.

İçerik filtreleme yazılımı, uygulamanızın düzenlemelere uymasına veya kullanıcılarınız için hedeflenen ortamı korumasına yardımcı olabilir.

Bu belge aşağıdaki makale türlerini içerir:

• Kavramlar , hizmet işlevselliği ve özellikleri hakkında ayrıntılı açıklamalar sağlar.
• Hızlı başlangıçlar , hizmete istekte bulunma konusunda size yol gösteren başlangıç yönergeleridir.
• Nasıl yapılır kılavuzları , hizmeti daha belirli veya özelleştirilmiş yollarla kullanmaya yönelik yönergeler içerir.

Kullanıldığı yer

Aşağıda, bir yazılım geliştiricisinin veya ekibin içerik denetleme hizmetine ihtiyaç duyması gereken birkaç senaryo vardır.

• Üretici yapay zeka hizmetine gönderilen kullanıcı istemleri.
• Üretken yapay zeka modelleri tarafından üretilen içerik.
• Ürün kataloglarını ve kullanıcı tarafından oluşturulan diğer içeriği ortalayan çevrimiçi marketler.
• Kullanıcı tarafından oluşturulan oyun öğelerini ve sohbet odalarını denetleyen oyun şirketleri.
• Kullanıcıları tarafından eklenen görüntüleri ve metinleri ortalayan sosyal mesajlaşma platformları.
• İçerikleri için merkezi denetim uygulayan kurumsal medya şirketleri.
• Öğrenciler ve eğitimciler için uygun olmayan içeriği filtreleyen K-12 eğitim çözümü sağlayıcıları.

Önemli

Yasa dışı çocuk istismarı görüntülerini algılamak için Azure AI İçerik Güvenliği'ni kullanamazsınız.

Ürün özellikleri

Bu hizmet, çeşitli analiz türlerini kullanılabilir hale getirir. Aşağıdaki tabloda şu anda kullanılabilen API'ler açıklanmaktadır.

Özellik	İşlev	Kavramlar kılavuzu	Kullanmaya başlayın
İstem Kalkanları	Büyük Dil Modeli'ne kullanıcı girişi saldırısı riski için metni tarar.	Komut Kalkanları kavramları	Hızlı Başlangıç
Temellendirme algılama (önizleme)	Büyük dil modellerinin (LLM' ler) metin yanıtlarının, kullanıcılar tarafından sağlanan kaynak malzemelerde yer alıp almadığını algılar.	Temellilik algılama kavramları	Hızlı Başlangıç
Korumalı malzeme metin algılama	Bilinen metin içeriği (örneğin, şarkı sözleri, makaleler, tarifler, seçili web içeriği) için yapay zeka tarafından oluşturulan metni tarar.	Korumalı malzeme kavramları	Hızlı Başlangıç
Özel kategoriler (standart) API (önizleme)	Özel içerik kategorileri oluşturmanıza, eğitmenize ve metni eşleşmelere göre taramanıza olanak tanır.	Özel kategoriler kavramları	Hızlı Başlangıç
Özel kategoriler için hızlı API'si (önizleme)	Ortaya çıkan zararlı içerik desenlerini tanımlamanıza ve eşleşmeler için metin ve görüntüleri taramanıza olanak tanır.	Özel kategoriler kavramları	Nasıl yapılır kılavuzu
Metin API'sini analiz etme	Çoklu önem düzeyiyle cinsel içerik, şiddet, nefret ve kendine zarar verme içeriğini tarar.	Zarar kategorileri	Hızlı Başlangıç
Görüntü API'lerini analiz etme	Cinsel içerik, şiddet, nefret ve kendine zarar verme unsurlarını birden fazla önem seviyesiyle tespit etmek için görüntüleri tarar.	Zarar kategorileri	Hızlı Başlangıç

İçerik Güvenliği Stüdyosu

Azure AI Content Safety Studio, en son teknoloji içeriği denetleme (content moderation) makine öğrenimi (ML) modellerini kullanarak potansiyel olarak rahatsız edici, riskli veya istenmeyen içeriği işlemek için tasarlanmış çevrimiçi bir araçtır. Şablonlar ve özelleştirilmiş iş akışları sunarak kullanıcıların kendi içerik düzenleme sistemlerini seçip oluşturmalarını sağlar. Kullanıcılar kendi içeriklerini karşıya yükleyebilir veya sağlanan örnek içerikle deneyebilir.

Content Safety Studio yalnızca kullanıma açık yapay zeka modellerini değil, aynı zamanda küfürlere bayrak eklemek ve yeni içerik eğilimleriyle güncel kalmak için Microsoft'un yerleşik terim blok listelerini de içerir. Ayrıca, kullanım örneğinize özgü zararlı içeriğin kapsamını geliştirmek için kendi engelleyici listelerinizi karşıya yükleyebilirsiniz.

Studio ayrıca sürekli olarak içerik denetimi performansını izleyip geliştirebileceğiniz bir denetim iş akışı ayarlamanıza da olanak tanır. Oyun, medya, eğitim, E-ticaret ve daha fazlası gibi her türlü sektördeki içerik gereksinimlerini karşılamanıza yardımcı olabilir. İşletmeler, hizmetlerini kolayca Studio'ya bağlayabilir ve ister kullanıcı tarafından ister yapay zeka tarafından oluşturulmuş olsun, içerikleri gerçek zamanlı olarak denetlenebilir.

Bu özelliklerin tümü Studio ve arka planı tarafından yönetilir; müşterilerin model geliştirme konusunda endişelenmesine gerek yoktur. Verilerinizi hızlı doğrulama için ekleyebilir ve teknik ölçümler (gecikme süresi, doğruluk, geri çekme) veya iş ölçümleri (blok oranı, blok hacmi, kategori oranları, dil oranları ve daha fazlası) gibi KPI'lerinizi buna göre izleyebilirsiniz. Basit işlemler ve yapılandırmalarla müşteriler, özel modellerle deneme yapmak veya el ile denetim yapmak yerine farklı çözümleri hızlı bir şekilde test edebilir ve en uygun çözümü bulabilir.

Content Safety Studio'yu deneyin

Content Safety Studio özellikleri

Content Safety Studio'da aşağıdaki Azure AI İçerik Güvenliği özellikleri kullanılabilir:

• Orta Metin İçeriği: Metin denetleme aracıyla, metin içeriği üzerinde testleri kolayca çalıştırabilirsiniz. Tek bir cümleyi veya veri kümesinin tamamını test etmek istediğinizde, aracımız test sonuçlarını doğrudan portalda değerlendirmenizi sağlayan kullanıcı dostu bir arabirim sunar. İçerik filtrelerinizi ve blok listesi yönetiminizi yapılandırmak için farklı duyarlılık düzeyleriyle denemeler yapabilir ve içeriğinizin her zaman tam belirtimlerinize göre denetlenmesini sağlayabilirsiniz. Ayrıca, kodu dışarı aktarma özelliği sayesinde aracı doğrudan uygulamanızda uygulayarak iş akışınızı akışa alabilir ve zamandan tasarruf edebilirsiniz.

• Görüntü İçeriğini Denetleme: Görüntü denetleme aracıyla, içerik standartlarınızı karşıladığından emin olmak için resimler üzerinde testleri kolayca çalıştırabilirsiniz. Kullanıcı dostu arabirimimiz, test sonuçlarını doğrudan portalda değerlendirmenize olanak tanır ve içerik filtrelerinizi yapılandırmak için farklı duyarlılık düzeyleriyle denemeler yapabilirsiniz. Ayarlarınızı özelleştirdikten sonra, aracı uygulamanıza uygulamak için kodu kolayca dışarı aktarabilirsiniz.

• Çevrimiçi Etkinliği İzleme: Güçlü izleme sayfası, farklı modalitelerdeki moderasyon API kullanımınızı ve eğilimlerinizi kolayca izlemenizi sağlar. Bu özellik sayesinde kategori ve önem derecesi dağıtımı, gecikme süresi, hata ve blok listesi algılama gibi ayrıntılı yanıt bilgilerine erişebilirsiniz. Bu bilgiler, içerik denetleme performansınıza kapsamlı bir genel bakış sağlayarak iş akışınızı optimize etmenize ve içeriğinizin her zaman tam ihtiyaçlarınıza uygun olarak denetlendiğini garantilemenize olanak tanır. Kullanımı kolay arabirimimizle, içerik denetleme stratejiniz hakkında bilinçli kararlar vermek için ihtiyaç duyduğunuz bilgilere erişmek üzere izleme sayfasında hızlı ve kolay bir şekilde gezinebilirsiniz. İçerik denetimi performansınızı takip etmek ve içerik hedeflerinize ulaşmak için ihtiyaç duyduğunuz araçlara sahipsiniz.

Güvenlik

Microsoft Entra Kimliği veya Yönetilen Kimlik

Gelişmiş güvenlik için kaynaklarınıza erişimi yönetmek için Microsoft Entra Id veya Managed Identity (MI) kullanabilirsiniz.

• İçerik Güvenliği kaynağı oluşturduğunuzda Yönetilen Kimlik otomatik olarak etkinleştirilir.
• Microsoft Entra Id hem API hem de SDK senaryolarında desteklenir. Microsoft Entra Id ile Kimlik Doğrulaması için genel yapay zeka hizmetleri kılavuzuna bakın. Ayrıca, kuruluşunuzdaki diğer kullanıcılara Bilişsel Hizmetler Kullanıcıları ve Okuyucusu rollerini atayarak da erişim vekleyebilirsiniz. Azure portalını kullanarak Azure kaynaklarına kullanıcı erişimi verme hakkında daha fazla bilgi edinmek için Rol tabanlı erişim denetimi kılavuzuna bakın.

Dinlenme hâlindeki verilerin şifrelenmesi

Şifreleme

Azure AI content Safety'nin verilerinizin şifrelenmesini ve şifresini çözmeyi nasıl işlediğini öğrenin. Kendi Anahtarını Getir (BYOK) olarak da bilinen müşteri tarafından yönetilen anahtarlar (CMK), erişim denetimlerini oluşturmak, döndürmek, devre dışı bırakmak ve iptal etmek için daha fazla esneklik sunar. Verilerinizi korumak için kullanılan şifreleme anahtarlarını da denetleyebilirsiniz.

Fiyatlandırma

Azure AI İçerik Güvenliği'nin F0 ve S0 fiyatlandırma katmanı vardır. Daha fazla bilgi için Azure fiyatlandırma sayfasına bakın.

Hizmet sınırları

Önemli

Kullanımdan Kaldırma Bildirimi

İçerik Güvenliği sürüm oluşturma ve yaşam döngüsü yönetiminin bir parçası olarak, hizmet API'lerimizin belirli Genel Önizleme ve GA sürümlerinin kullanımdan kaldırılmasını duyuruyoruz. Kullanımdan kaldırma ilkemizi izleyerek:

• Genel Önizleme sürümleri: Her yeni Genel Önizleme sürümü, hataya neden olan hiçbir değişiklik yapılmazsa 90 günlük bir sürenin sonunda önceki önizleme sürümünün kullanımdan kaldırılmasını tetikler.
• GA sürümleri: Yeni bir GA sürümü yayımlandığında, uyumluluk korunursa önceki GA sürümü 90 günlük bir süre sonra kullanımdan kaldırılacaktır.

Yenilikler sayfasına, yaklaşmakta olan kullanımdan kaldırma durumları için bakın.

Giriş gereksinimleri

Her özellik için giriş gereksinimleri için aşağıdaki listeye bakın.

• Metin API'sini analiz etme:
  • Varsayılan uzunluk üst sınırı: 10.000 karakter (gerektiğinde uzun metinleri bölün).
• Görüntü API'lerini analiz etme:
  • En büyük görüntü dosyası boyutu: 4 MB
  • 50 x 50 ile 7200 x 7200 piksel arasındaki boyutlar.
  • Resimler JPEG, PNG, GIF, BMP, TIFF veya WEBP biçimlerinde olabilir.
• Çok modüllü API'yi analiz etme (önizleme):
  • Varsayılan en fazla metin uzunluğu: 1K karakter.
  • En büyük görüntü dosyası boyutu: 4 MB
  • 50 x 50 ile 7200 x 7200 piksel arasındaki boyutlar.
  • Resimler JPEG, PNG, GIF, BMP, TIFF veya WEBP biçimlerinde olabilir.
• İstem Kalkanları API'si:
  • En fazla istem uzunluğu: 10.000 karakter.
  • Toplam 10.000 karakter içeren en fazla beş belge.
• Topraklama algılama API'si (önizleme):
  • Topraklama kaynakları için maksimum uzunluk: 55.000 karakter (API çağrısı başına).
  • En fazla metin ve sorgu uzunluğu: 7.500 karakter.
  • En düşük sorgu uzunluğu: 3 sözcük.
• Korumalı malzeme algılama API'leri:
  • Varsayılan uzunluk üst sınırı: 10.000 karakter.
  • Varsayılan minimum uzunluk: 110 karakter (kullanıcı istemlerini değil LLM tamamlamalarını taramak için).
• Özel kategoriler (standart) API (önizleme):
  • En fazla çıkarım girişi uzunluğu: 1K karakter.

Dil desteği

Korumalı malzeme, topraklama algılama ve özel kategoriler (standart) için Azure AI İçerik Güvenliği modelleri yalnızca İngilizce çalışır.

Diğer Azure AI content safety modelleri özellikle şu dillerde eğitilmiş ve test edilmiştir: Çince, İngilizce, Fransızca, Almanca, İspanyolca, İtalyanca, Japonca, Portekizce. Ancak, bu özellikler diğer birçok dilde çalışabilir, ancak kalite değişebilir. Her durumda, uygulamanız için çalıştığından emin olmak için kendi testinizi yapmalısınız.

Daha fazla bilgi için bkz . Dil desteği.

Bölgesel kullanılabilirlik

İçerik Güvenliği API'lerini kullanmak için Azure AI İçerik Güvenliği kaynağınızı desteklenen bir bölgede oluşturmanız gerekir. İçerik Güvenliği özellikleri şu anda farklı API sürümlerine sahip aşağıdaki Azure bölgelerinde kullanılabilir:

Bölge	Özel Kategori	Temellilik	Görsel	Multimodal(Tex ile görüntü)	Olay Yanıtlama	Kalkan	Korumalı Malzeme (Metin)	Korumalı Malzeme (Kod)	Metin
Doğu Avustralya	✅		✅		✅	✅	✅	✅	✅
Doğu Kanada			✅		✅	✅	✅	✅	✅
Orta Amerika			✅		✅	✅	✅	✅	✅
Doğu ABD	✅	✅	✅	✅	✅	✅	✅	✅	✅
Doğu ABD 2		✅	✅		✅	✅	✅	✅	✅
Orta Fransa		✅	✅		✅	✅	✅	✅	✅
Almanya Batı Merkezi					✅	✅	✅		✅
Kuzey İtalya					✅	✅	✅		✅
Doğu Japonya			✅		✅	✅	✅	✅	✅
Kore Orta			✅			✅	✅		✅
Orta Kuzey ABD			✅		✅	✅	✅	✅	✅
Polonya Merkezi			✅			✅	✅	✅	✅
Orta Güney ABD			✅		✅	✅	✅	✅	✅
Güney Hindistan			✅		✅	✅	✅	✅	✅
Orta İsveç		✅	✅		✅	✅	✅	✅	✅
Kuzey İsviçre	✅		✅		✅	✅	✅	✅	✅
Batı İsviçre			✅		✅	✅	✅	✅	✅
Birleşik Arap Emirlikleri Kuzeyi			✅		✅	✅	✅	✅	✅
Güney Birleşik Krallık		✅	✅		✅	✅	✅	✅	✅
Batı Avrupa			✅	✅	✅	✅	✅	✅	✅
Batı ABD		✅	✅		✅	✅	✅	✅	✅
Batı ABD 2			✅		✅	✅	✅	✅	✅
Batı ABD 3			✅		✅	✅	✅	✅	✅
FairFax - USGovArizona			✅			✅	✅	✅	✅
FairFax - USGovVirginia			✅			✅	✅		✅

İşletmenizin kullanılabilir başka bölgelere ihtiyacı varsa bizimle iletişime geçebilirsiniz.

Sorgu oranları

İçerik Güvenliği özellikleri, saniye başına istek (RPS) veya 10 saniye başına istek sayısı (RP10S) içinde sorgu hızı sınırlarına sahiptir. Her bir özelliğe ilişkin hız sınırları için aşağıdaki tabloya bakın.

Fiyatlandırma katmanı	Yönetim API’leri (metin ve resim)	İstem Kalkanları	Korumalı malzeme algılama	Temellilik algılama (önizleme)	Özel kategoriler (hızlı) (önizleme)	Özel kategoriler (standart) (önizleme)	Çok modlu
F0	5 devir/saniye	5 devir/saniye	5 devir/saniye	Yok	5 devir/saniye	5 devir/saniye	5 devir/saniye
S0	1000 RP10S	1000 RP10S	1000 RP10S	50 Saniyede Devir Sayısı	1000 RP10S	5 devir/saniye	10 RPS (Devir/Saniye)

Daha hızlı bir fiyat gerekiyorsa lütfen talep etmek için bizimle iletişime geçin.

Bizimle ulaşın

Takılırsanız bize e-posta gönderin veya herhangi bir Microsoft Learn sayfasının altındaki geri bildirim pencere öğesini kullanın.

Sonraki adımlar

Uygulamanızda Azure AI content Safety kullanmaya başlamak için hızlı başlangıcı izleyin.

İçerik Güvenliği hızlı başlangıç