Aracılığıyla paylaş

Kötüye Kullanım İzleme

  • Makale

Azure OpenAI Hizmeti, hizmetin Kullanım Kuralları'nı veya diğer geçerli ürün koşullarını ihlal eden bir şekilde kullanılmasını öneren yinelenen içerik ve/veya davranışları algılar ve azaltır. Verilerin nasıl işlendiğinin ayrıntıları Veri, Gizlilik ve Güvenlik sayfasında bulunabilir. Şu formu kullanarak değiştirilmiş kötüye kullanım izleme için başvurun: Azure OpenAI Sınırlı Erişim gözden geçirmesi: Değiştirilmiş Kötüye Kullanım İzleme.

Uygunsuz kullanımı izlemenin bileşenleri

Uygunsuz izlemenin çeşitli bileşenleri vardır:

  • İçerik Sınıflandırması: Sınıflandırıcı modelleri, kullanıcı istemlerindeki (girişler) ve tamamlamalardaki (çıkışlar) zararlı dili ve/veya görüntüleri algılar. Sistem, İçerik Gereksinimleri'nde tanımlandığı gibi zarar kategorilerini arar ve İçerik Filtreleme sayfasında daha ayrıntılı olarak açıklandığı gibi önem derecesi düzeylerini atar.

  • Kötüye Kullanım Deseni Yakalama: Azure OpenAI Hizmeti'nin kötüye kullanım izlemesi, müşteri kullanım desenlerini ele alır ve olası kötüye kullanım göstergelerini algılamak için algoritmalar ve buluşsal yöntemler kullanır. Algılanan desenler, örneğin müşterinin istemlerinde ve tamamlamalarında zararlı içeriğin algılandığı sıklığı ve önem derecesini dikkate alır.

  • İnsan İncelemesi ve Kararı: yukarıda açıklandığı gibi, istemler ve/veya tamamlamalar içerik sınıflandırması ve kötüye kullanım deseni yakalama yoluyla işaretlendiğinde, yetkili Microsoft çalışanları bayrak eklenmiş içeriği değerlendirebilir ve önceden tanımlanmış yönergelere ve ilkelere göre sınıflandırmayı veya belirlemeyi onaylayabilir veya düzeltebilir. Verilere yalnızca yetkili Microsoft çalışanları tarafından, ekip yöneticileri tarafından verilen Tam Zamanında (JIT) istek onayıyla Güvenli Erişim İş İstasyonları (SAW) aracılığıyla erişilebilir. Avrupa Ekonomik Alanı'nda dağıtılan Azure OpenAI Hizmeti kaynakları için, yetkili Microsoft çalışanları Avrupa Ekonomik Alanı'nda bulunur.

  • Bildirim ve Eylem: Önceki üç adım temelinde kötü amaçlı davranış eşiği doğrulandığında, müşteri e-postayla belirleme konusunda bilgilendirilir. Ciddi veya yinelenen uygunsuz kullanım durumları dışında, müşterilere genellikle kötü amaçlı davranışı açıklama veya düzeltme ve yinelenmeyi önleme mekanizmaları uygulama fırsatı verilir. Davranışın ele alınamaması veya yinelenen veya ciddi kötüye kullanım, müşterinin Azure OpenAI kaynaklarına ve/veya özelliklerine erişiminin askıya alınmasına veya sonlandırılmasına neden olabilir.

Sonraki adımlar

  • Azure OpenAI'yi destekleyen temel modeller hakkında daha fazla bilgi edinin.
  • Uygulamanızla ilişkili riskleri anlama ve azaltma hakkında daha fazla bilgi edinin: Azure OpenAI modelleri için sorumlu yapay zeka uygulamalarına genel bakış.
  • verilerin içerik filtreleme ve kötüye kullanım izleme ile bağlantılı olarak nasıl işlendiği hakkında daha fazla bilgi edinin: Azure OpenAI Hizmeti için veriler, gizlilik ve güvenlik.