Not
Bu sayfaya erişim yetkilendirme gerektiriyor. Oturum açmayı veya dizinleri değiştirmeyi deneyebilirsiniz.
Bu sayfaya erişim yetkilendirme gerektiriyor. Dizinleri değiştirmeyi deneyebilirsiniz.
Otonom yapay zeka hem kapasiteyi hem de saldırı alanını genişletir. Bir aracı dış araçları çağırabildiğinde, veritabanlarına yazabildiğinde veya aşağı akış işlemlerini tetikleyebildiğinde, arızalar veya kötü amaçlı saldırılar rotadan saptırabilir, hassas verileri sızdırabilir veya zararlı eylemler yürütebilir.
Yalnızca model düzeyinde uygulanan korumalar bu vektörleri açıkta bırakabilir. Microsoft Foundry, bu boşluğu kapatmak için aracılara doğrudan korumalar uygulamanıza ve dört farklı müdahale noktasında tek tek denetimleri yapılandırmanıza olanak tanır.
Müdahale noktaları
| Müdahale Noktası | Açıklama | Bu Müdahale Noktasında Örnek Denetim |
|---|---|---|
| Kullanıcı girişi | Kullanıcıdan modele veya aracıya gönderilen sorgu. Bazen "istem" olarak da adlandırılır. Bu müdahale noktasındaki bazı denetimler, kullanıcı tarafından belge eklemenin etkili olmasını gerektirir. |
Risk: Kullanıcı girişi saldırıları Eylem: Not ekle ve engelle Bu denetim bir ajanın veya modelin koruma rayında belirtildiğinde, kullanıcının girişi jailbreak saldırılarını algılayan bir sınıflandırma modeli tarafından taranır. Bir saldırı algılanırsa, kullanıcının girişinin modele gönderilmesi engellenir ve bu da etkileşimi durdurur. |
| Araç çağrısı (Önizleme) | Aracının gerçekleştirmeyi önerdiği sonraki eylem, temel alınan modeli tarafından oluşturulan eylemdir. Araç çağrısı, hangi aracın çağrıldığı ve aracina gönderilen veriler de dahil olmak üzere birlikte çağrılan bağımsız değişkenlerden oluşur. |
Risk: Nefret (Yüksek) Eylem: Not ekle ve engelle Bu kontrol belirtildiğinde, yazılım bir araç çağrısı yürütmek üzere olduğunda, araca gönderilmesi önerilen içerik nefret içeriğine karşı taranır. Herhangi bir şey algılanırsa, araç çağrısı yürütülemez ve ajan başka bir kullanıcı girişi olana kadar çalışmayı durdurur. |
| Araç yanıtı (Önizleme) | Aracının düzenlemesine ve içerik aracının belleğine eklenmeden veya son kullanıcıya döndürülmeden önce bir araç tarafından geri gönderilen içerik. |
Risk: Dolaylı saldırı Eylem: Not ekle ve engelle Bu kontrol belirtildiğinde, her araçtan bu aracıya gönderilen tam yük, dolaylı istem ekleme saldırı girişimlerine karşı taranır. Algılanırsa, ajan hemen çalışmayı durdurur ve kötü amaçlı içeriğin kaydedilmesini ve aracın yanlış yönlendirilmesini önler. |
| Çıkış | Son içerik, sorgusuna yanıt olarak son kullanıcıya geri gönderilir. |
Risk: Metin için Korumalı Malzeme Eylem: Yalnızca açıklama ekle Bu denetim belirtildiğinde, kullanıcıya görüntülenmesi amaçlanan son içerik belirli telif hakkıyla korunan metin türleri için taranır. Algılanıp algılanmadığını belirten bir bayrak, bu modeli veya aracıyı çağırmak için kullanılan API'nin ek açıklama yanıtında bulunur. |
Not
Performansla ilgili dikkat edilmesi gerekenler
Her müdahale noktasında koruma işlemi yaklaşık 50-100ms gecikmeye neden olur. Gerçek gecikme süresi, içerik uzunluğuna ve koruma alanınızdaki etkin denetimlerin sayısına göre değişir.
Müdahale noktalarında denetimleri yapılandırma
Koruma oluştururken, hangi denetimlerin etkinleştirileceği ve hangi müdahale noktalarının uygulanacağını seçersiniz. Örneğin, araç yanıtlarında dolaylı saldırılara karşı koruma sağlamak için:
- Foundry portalında bir koruma oluşturun.
- "Dolaylı saldırı" riski için bir denetim ekleyin.
- Müdahale noktası olarak "Araç yanıtı" seçeneğini belirleyin.
- Eylem olarak "Açıklama ekle ve engelle" seçeneğini belirleyin.
Ayrıntılı adımlar için bkz. Bir korkuluk oluşturma.
Desteklenen araçlar
Araç çağrısı ve araç yanıt müdahale noktaları, aracın kendisinden denetim desteği gerektirir. Şu anda aşağıdaki araçlar moderasyonu destekler: Azure Yapay Zeka Arama, Azure İşlevleri, OpenAPI, Sharepoint Topraklama, Fabric Veri Aracısı, Bing Topraklama, Bing Özel Arama ve Tarayıcı Otomasyonu. Araç çağrısı veya araç yanıt müdahale noktalarında denetimleri yapılandırdıysanız ancak aracınız bu listede bulunmayan araçları kullanıyorsa, bu denetimler söz konusu araçlar için geçerli olmaz.