Güvenli otonom etken yapay zeka sistemleri

Sütun adı: Tehditleri izleme ve algılama
Desen adı: Güvenli aracı yapay zeka sistemleri

Bağlam ve sorun

Otonom aracı yapay zeka sistemleri sınırlı insan müdahalesi ile araçları planlayabilir, çağırabilir, verilere erişebilir ve eylemler yürütebilir. Özerklik arttıkça, yanlış hizalama, kötüye kullanım ve uzlaşımın olası etkisi de artar.

Yardımcı Desenler ve Uygulamalar makalesi Otonom aracı yapay zeka sistemleri için riski azaltma konusu, aracı davranışların sunduğu tasarım, güvenlik ve idare risklerini özetler. Bu yaklaşım, risk belirlemeden risk azaltmaya geçer ve uygulamada bu riskleri azaltan denetimlere ve tasarım kararlarına odaklanır.

Çözüm

Katmanlı savunma stratejisi gerektiren aracı sistemlerin güvenliğini sağlamak için, her bir katmanda hata oluşumunu varsayarız ve sistemleri, tek bir hatanın kabul edilemez bir zarara neden olmaması için tasarlarız.

Azaltma katmanları içindeki denetimler

Model katmanı denetimleri

Model, aracının akıl yürütme altyapısı görevi görür ve aracının yönergeleri yorumlamasını, eylemleri planlamasını ve saldırgan girişlere yanıt vermesini etkiler. Farklı modeller, ajanın çıktılarını ve eylemlerini etkileyen çeşitli yetenekler ve güvenlik özellikleri sunar. Uygun bir model seçmek yanlış hizalamayı, hataları ve güvenli olmayan sonuçları önlemeye yardımcı olur.

Önerilen denetimler:

  • Kasıtlı model seçimi: Mantık derinliği, reddetme davranışı ve araç kullanım özellikleri aracının özerkliği ve risk profiliyle eşleşen modelleri seçin. Görev yanlış hizalamasını ve güvenli olmayan eylemleri azaltır.
  • Model tedarik zinciri idaresi: Sürümleri izleyerek, güncelleştirmeleri gözden geçirerek ve dağıtımdan önce değişiklikleri doğrulayarak modelleri güvenlik bağımlılıkları olarak değerlendirin. Tedarik zinciri ihlal riskini azaltır.
  • Değerlendirme ve kırmızı takım: Komut enjeksiyonu, niyet bozulması ve güvensiz araçların seçimi gibi otonom tehditlere karşı modelleri sürekli test edin. Aracı ele geçirmeyi ve istenmeyen eylemleri önler.
  • Yetenek hizalaması: Daha basit veya daha kısıtlanmış modeller sistemin gereksinimlerini karşıladığında fazla özellikli modellerden kaçının. Aşırı özerkliği ve artan patlama yarıçapını azaltır.

Güvenlik sistemi katmanı denetimleri

Güvenlik sistemi katmanı, aracılar güvenilmeyen içerik, araçlar, API'ler ve kullanıcılarla etkileşime geçtiğinde çalışma zamanında hataları durdurur. Bu korumalar, aracı ele geçirme, zararlı çıkışlar, hassas veri sızıntısı ve çalışma zamanı kötüye kullanımı gibi operasyonel risklere karşı temel bir savunma oluşturur.

Önerilen denetimler:

  • Giriş ve çıkış filtreleme: Dolaylı istem ekleme dahil olmak üzere kötü amaçlı, manipülatif veya güvenli olmayan girişleri ve çıkışları algılayın ve engelleyin. Ajan ele geçirmeyi ve hassas veri sızıntısını engeller.
  • Aracı korumaları: Görev bağlılığı uygulayın ve yürütme sırasında kapsam dışı veya güvenli olmayan araç çağrılarını önleyin. İstenmeyen eylemleri ve yüksek etkili yanlış kullanımı önler.
  • Loglama ve gözlemlenebilirlik: Denetimi, olay müdahalesini ve iyileştirmeyi desteklemek için aracı planlarını, araç çağrılarını, kararları ve sonuçları kayıt altına alın. Anlaşılırlık hatalarını ve algılanmayan kötüye kullanımı azaltır.
  • Kötüye kullanım ve anomali algılama: Yinelenen atlama girişimlerini veya anormal davranış düzenlerini izleyin. Kalıcı tarama ve gizli veri sızdırmayı azaltır.

Uygulama katmanı denetimleri

Uygulama katmanı, aracının nasıl tasarlandığı, gerçekleştirebileceği eylemleri ve denetimlerin nasıl uygulandığını tanımlar. Burası, güvenlik ilkelerinin uygulanabilir sistem davranışına dönüştüğü yerdir.

Önerilen denetimler:

  • Mikro hizmetler olarak aracılar: Yalıtılmış izinlere ve dar kapsamlı araç erişimine sahip mikro hizmetler gibi aracılar tasarla. Yanlış hizalamayı, patlama yarıçapını ve hassas veri sızıntısını azaltır.
  • Açık eylem şemaları: İzin verilen eylemleri, gerekli girişleri, risk düzeylerini, yürütme kısıtlamalarını ve günlük gereksinimlerini tanımlayın. İstenmeyen eylemleri ve güvenli olmayan araç çağrısını azaltır.
  • Deterministik döngüdeki insan (HITL): Model mantığı yerine düzenleyici mantığı aracılığıyla yüksek riskli veya geri alınamaz eylemler için insan incelemesi uygulayın. Gözetim denetimi boşluklarını ve yanlış hizalamayı azaltır.
  • En az ayrıcalık ve en az eylem tasarımı: Varsayılan olarak izin verilen hiçbir eylem olmadan başlayın ve rol ve risk temelinde özellikleri artımlı olarak etkinleştirin. RBAC'yi uygulamak için her aracıya doğrulanabilir benzersiz bir kimlik atayın. Hassas veri sızıntılarını, aracıların kontrolsüz yayılımını ve aşırı izin verme durumlarını azaltır.
  • Pekiştirici olarak sistem iletileri: Rolleri ve sınırları güçlendirmek için, her zaman belirleyici denetimler tarafından yedeklenen yapılandırılmış sistem yönergelerini kullanın. Aracı ele geçirme ve yanlış hizalamayı azaltır.

Katman denetimlerini konumlandırma

Konumlandırma katmanı, kişilerin aracı bir sistemi anlamasını, güvenmesini ve ona dayanmasını şekillendirir. Kötü konumlandırma, teknik denetimler güçlü olsa bile risk oluşturabilir.

Önerilen denetimler:

  • Açık açık: Kullanıcılar otonom bir yapay zeka aracısı ile etkileşim kurarken bunu açıkça ifade edin. Saydamlık ve açıklama hatalarını azaltır.
  • Yetenek saydamlığı: Sınırlamalar ve belirsizlik de dahil olmak üzere aracının neler yapabileceğini ve yapamayacağını iletin. Aracıları yetkili veya yanılmaz olarak konumlandırmaktan kaçının. Uygunsuz güveni azaltır.
  • Kullanıcı tarafından görünen sınırlar: Kullanıcıların anormal davranışları algılaması için planlanan eylemleri, onayları ve sonuçları ortaya çıkar. Anlaşılırlık hatalarını azaltır.
  • Güvenli UX desenleri: Gözden geçirme, onay ve kapatma mekanizmalarının erişilebilir ve korumalı olduğundan emin olun. Kötüye kullanımı ve aşırı bağımlılığı azaltır.

Microsoft çözümleri

Yukarıdaki denetimler ne uygulanacaklarını açıklar. Aşağıdaki Microsoft çözümleri kimlik, yönetim, çalışma zamanında uygulama ve algılama alanlarında bu azaltmaları operasyonel hale getirmeye yardımcı olur.

Birincil kontrol düzlemi

  • Microsoft Agent 365:
    • Merkezi envanter, idare, erişim sınırları ve aracılar arası görünürlük sağlar.
    • Şunları destekler: ajan yayılmasının önlenmesi, en az ayrıcalık ilkesi ve yönetişim. Destekler: aracı yayılmasını önleme, en az ayrıcalık ilkesi, yönetişim.

Model seçimi ve svalüasyon

Güvenlik sistemi ve çalışma zamanı risk azaltmaları

  • Microsoft Foundry (Korumalar, İçerik Filtreleri, Kötüye Kullanım İzleme)
    • Göreve bağlı kalmayı zorlar, güvenilmeyen girişlere ve çıkışlara filtre uygular ve kötüye kullanım desenlerini algılar.
    • Destekler: Girdi ekleme azaltma, sızıntı önleme.

Kimlik ve veri koruması

  • Microsoft Entra:

    • Aracılar için kimlik, koşullu erişim ve rol tabanlı erişim denetimi sağlar.
    • Destekler: en az ayrıcalık, erişim denetimi.

  • Microsoft Purview:

    • Veri sınıflandırma, yönetim ve ilke uygulama sağlar.
    • Destekler: hassas veri koruması.

UX tasarımı

Algılama ve yanıt (destekleyici)

  • Aracı iş yükleri arasında güvenlik duruşu yönetimi, sinyal bağıntısı ve olay yanıtı için Microsoft Defender ve Microsoft Sentinel.
  • Azure Monitor ve Application Insights ile aracı davranışı ve performansı için telemetri ve gözlemlenebilirlik.

Kılavuz

Bu düzeni benimsemek isteyen kuruluşlar aşağıdaki eyleme dönüştürülebilir uygulamaları uygulayabilir:

Alıştırma Kategorisi Önerilen Eylemler Kaynak
Araçlar, aracılar ve modeller için yönetim Desteklenen çerçeveleri kullanarak aracıları Foundry'ye ekleme veya özel aracıları kaydetme Microsoft Foundry Denetim Düzlemi
İçerik güvenliği ve istem ekleme dayanıklılığı Girişleri ve çıkışları filtreleyin; alınan içeriği güvensiz olarak kabul edin; dolaylı istem enjeksiyonunu engelleyin. Foundry Content Filtreleme ve İstem Koruyucuları
Göreve bağlılık ve araç güvenliği Araç izin listelerini ve belirleyici doğrulamayı zorunlu kılma Dökümhane Aracısı Korumaları
Yapay zeka kırmızı ekibi oluşturma Komut enjeksiyonu, niyet bozma, güvensiz araç seçimi ve sızıntı için sürekli test yapın. Foundry AI Kırmızı Takım Aracısı / PyRIT
Temsilciler için kimlik ve erişim En az ayrıcalık, koşullu erişim ve yaşam döngüsü idaresi uygulama Microsoft Entra
Veri idaresi ve uyumluluk Hassas verileri sınıflandırma ve koruma Microsoft Purview
Duruş yönetimi Yapılandırmayı ve güvenlik açıklarını değerlendirme Bulut için Microsoft Defender
Kötüye kullanımı algılama Loglar ve izleri ilişkilendirin Microsoft Sentinel

Sonuçlar

Avantajlar

  • Aracılar tanımlı amaç, izinler ve sınırlar içinde çalışır.
  • Yüksek riskli eylemler belirlenebilir insan onayı gerektirir.
  • Aracı davranışı büyük ölçekte gözlemlenebilir, denetlenebilir ve yönetilebilir.
  • Hassas verilerin açığa çıkması, asgari ayrıcalık ve politika uygulaması yoluyla azaltılır.
  • Kuruluşlar, aracı kullanımı arttıkça görünürlüğü ve denetimi korur.
  • Güven saydamlık, sorumluluk ve öngörülebilir davranışlar aracılığıyla oluşturulur.

Ödünleşimler

  • Katmanlı denetimleri uygulamak için ek mühendislik çalışması gerekir.
  • Otonom sistemler mimari ve operasyonel karmaşıklık sağlar.
  • İnsan gözetimi, yüksek riskli iş akışlarına uyuşma ekler.
  • İdare ve gözlemlenebilirlik sürekli operasyonel yatırım gerektirir.

Önemli başarı faktörleri

  • Göreve bağlı kalma
  • İnsan katılımı
  • Belirlenmci korumalar
  • Saydamlık ve açıklama
  • Ele geçirme dayanıklılığı
  • En az ayrıcalık ve idare
  • Tedarik zinciri farkındalığı

Özet

İnsan potansiyelinin kilidini açmak güvenle başlar. Aracı sistemlerin otonom olarak planlama, karar verme ve harekete geçme becerisi, küçük yanlış hizalamaların, gözetimlerin veya güvenlik boşluklarının önemli sonuçlara ve güven kaybına yol açabileceği anlamına gelir.

Bu sistemler araçlar, API'ler ve diğer aracılarla daha derin bir şekilde tümleştikçe, davranışları giderek karmaşık hale gelir ve zarara neden olabilecek yollar da öyle olur. Aracı davranışla ilişkili riskler sistemiktir ve tam sistem yığınını kapsayan risk azaltma stratejileri gerektirir.

Kuruluşlar model, güvenlik sistemi, uygulama ve konumlandırma katmanları arasında derinlemesine savunma uygulayarak ve Microsoft'un tümleşik güvenlik ve aracı yönetimi ekosistemi yararlanarak otonom, gözlemlenebilir ve tasarım gereği dayanıklı aracı sistemleri dağıtabilir.

  • Last updated on