AI ajanı paylaşılan sorumluluk modeli

Yapay zeka ajanları, yapay zeka paylaşılan sorumluluk modelinin tarif ettiği istek/yanıt modelinin ötesine üretken yapay zekayı genişletir. Büyük bir dil modelinin aksine, bir ajan sadece bir insanın hareket edebileceği içerik döndürmez. Bunun yerine, bir ajan:

  • Bağımsız hareket eder. Araçları çağırıyor, API'leri çağırıyor, veri yazıyor ve her adımı insan onaylamadan iş akışlarını tetikliyor.
  • Planlar ve döngüler. Hedefleri, ara sonuçların üzerine gerekçeleri ayrıştırır ve geri dönmeden önce kendini birçok kez yeniden başlatır.
  • Durumu ve belleği saklar. Kısa vadeli bağlam ve kalıcı hafıza, gelecekteki davranışları etkiler ve oturum veya kullanıcı sınırlarını aşabilir.
  • Bir kimliği var. Yönetilen kimlikler, token adına veya ayrı bir ajan kimliği kullanarak aşağı akış sistemlerine kimlik doğrulama sağlar ve kendi ayrıcalıklarına sahiptir.
  • Diğer ajanlarla birlikte besteler yapıyor. Çoklu ajan düzenlemesinde, bir ajanın çıktısı diğerinin komutu olur ve yeni bir güven sınırı oluşturur.

Bu davranışların her biri, istek/yanıt yapay zeka modelinde olmayan sorumluluklar getirir.

Note

Bu makale, "sorumluluk"u yönetişim anlamında kullanır: her kontrolü yapılandırması, işletmesi ve izlemesi beklenen kişi. Bu örnek bir rehberliktir ve yasal sonuçlar iletmek veya sizinle Microsoft arasındaki herhangi bir anlaşmanın şartlarını değiştirmek veya çelişmek amacıyla değildir.

Yapay Zeka ajanları bulut ve yapay zeka iş yüklerinden nasıl farklıdır?

Aşağıdaki tablo, yapay zeka ajanı modelinin standart bulut modeli ile üretken yapay zeka (LLM) modelinden nasıl farklılaştığını özetlemektedir.

Endişe Standart bulut modeli Yapay Zeka (LLM) modeli Yapay Zeka ajan modeli
Birincil etkileşim API veya GUI Yanıt için prompt Otonom çok adımlı eylem hedefi
Gerçek dünya yan etkileri Uygulama kodu, açık Kullanıcı çıktı üzerinde işlem yapar Ajan doğrudan araçlar aracılığıyla hareket eder
State Uygulama ve veri katmanı Durumsuz prompt Kalıcı ajan belleği ve bağlam
Identity Kullanıcı veya uygulama kimliği Kullanıcı veya uygulama kimliği Farklı ajan kimliği ve delege edilmiş tokenlar
Güven sınırı Kullanıcıdan Uygulamaya Kullanıcıdan modele Kullanıcıdan ajana, ajandan araçlara, araçlardan diğer ajanlara
En yüksek risk Yanlış yapılandırma, veri açığlığı İstem enjeksiyonu (içerik) Eylemleri yönlendiren ani enjeksiyon; aşırı irade; Kafası karışık yardımcı

Sorumluluk bölümü

Bulut ve yapay zeka ortak sorumluluk modellerinde olduğu gibi, sorumluluk bölümü seçtiğiniz dağıtım modeliyle değişir. Acenteler için ilgili seçenekler şunlardır:

  • SaaS ajanı. Microsoft 365 Copilot ajanları, Microsoft Security Copilot veya yayımlanmış Microsoft Copilot Studio ajanları gibi hazır bir ajan. Microsoft, orkestratör, model, güvenlik sistemleri ve çoğu araç bağlayıcısını işletmektedir. Yapılandırma, veri erişim kapsamı, kimlik ve kullanım sizin sorumluluğunuzdadır.
  • PaaS ajanı. Bir ajanı, Microsoft Foundry Agent Service, özel Microsoft Copilot Studio ajanları veya Azure tarafından yönetilen bir çalışma zamanı üzerinde Semantik Çekirdek ile Microsoft Agent Framework gibi yönetilen bir ajan platformunda oluşturursunuz. Microsoft, çalışma zamanı, model barındırma ve platform güvenlik kontrollerini sağlar. Ajanın talimatlarına, araç ve eklenti seçimine, araç izinlerine, orkestrasyon mantığına, bellek tasarımına ve ajanın kimliği ile yetkilendirmesine sahip olursunuz.
  • IaaS ajanı. Tüm ajan yığınını kendiniz oluşturup barındırıyorsunuz: VM'lerde veya konteynerlerde özel bir orkestratör, kendi kendine yönetilen bir çerçeve ve muhtemelen kendi kendine barındırılan modeller. Fiziksel altyapı hariç neredeyse her şeye sahip olursunuz (ve eğer onu barındırılan bir API olarak kullanırsanız temel modele).

Sorumluluk sola kayıyor, yani SaaS'tan PaaS'a, oradan IaaS temsilcilerine geçerken daha fazla sahiplik alıyorsunuz.

Aşağıdaki diyagram, ajanın dağıtım türüne göre sizinle Microsoft arasındaki sorumluluk alanlarını göstermektedir.

IaaS, PaaS ve SaaS ajanı dağıtımları boyunca yapay zeka ajanı sorumluluk katmanlarının diyagramı; AI ortak sorumluluk modelinin üzerine üç yeni katman (ajan belleği ve durum, araçlar ve eylemler ve ajan orkestrasyonu) eklenmiştir.

AI ajan katmanı genel görünümü

Bir ajanik sistem, mevcut yapay zeka platformu, uygulama ve kullanım katmanlarının üzerine ve etrafına üç yeni katman ekler. Güvenlik sorumluluğu, görevi yapan kişiye bağlıdır, ancak bir sağlayıcı size yapılandırma olarak kontrolleri açıklayabilir.

Yapay zeka platform katmanı (miras alınmış)

Yapay zeka platform katmanı, model, eğitim verileri, ağırlıklar ve çıkarım API'lerini barındırır ve korur. Microsoft, PaaS (Microsoft Foundry ve Azure OpenAI modelleri) ve SaaS (Microsoft Security Copilot ve Microsoft 365 Copilot) için yerleşik giriş ve çıkış güvenlik sistemleri sağlar.

Ajan orkestrasyon katmanı

Orkestrasyon katmanı "beyin döngüsü"dür: planlama, akıl yürütme, araç seçimi, ajanın sistem isteği ve talimatları ile çoklu ajan koordinasyonu. Bu katmanda aşırı müdahale ve anında eyleme geçiş riskleri yaşanır.

Güvenlik Hususları:

  • Ajanın talimatlarını ve kapsamını (en az işlevsellik) kısıtlayın.
  • Döngüye giren, geri getirilen belgeler, araç çıktıları ve diğer ajanların mesajları dahil her türlü güvenilir olmayan içeriği doğrulayın ve temizleyin. Bunların hepsini güvenilmez bir girdi olarak kabul edin, güvenilir talimatlar olarak değil.
  • Planlama engellerini uygulayın: adım ve yineleme sınırları, döngü algılama, bütçe ve maliyet tavanları ve zincirlenebilir araçların listelerini oluşturun.
  • Çok ajanlı sistemler için, her ajanlar arası mesajı bir güven sınırı olarak ele alın ve giriş güvenliğini yeniden uygulan.

Araçlar ve eylemler katmanı

Araçlar ve eylemler katmanı, ajanın gerçek dünyada okumak ve durum değiştirmek için çağırabileceği bağlayıcıları, eklentileri, fonksiyonları, Model Bağlam Protokolü (MCP) sunucularını ve API'leri içerir. Bu katman, LLM modelinden en büyük fark.

Güvenlik Hususları:

  • Araç başına en az ayrıcalık Her alet veya bağlantı sadece gerekli izinleri taşımalı. Aracıya geniş kapsamlı kalıcı bir kimlik tanımlamayın.
  • Her eylem için yetkilendirme, sadece oturum başında değil. Bu kaynakta bu eylemin izin verildiğini tekrar kontrol edin. Bu kontrol, kafa karıştırılmış milletvekili ve aşırı geniş delegasyon risklerini azaltır.
  • İnsan denetimli kontrol noktaları. Yazım, silme, ödeme, üretim değişiklikleri ve harici gönderimler gibi yüksek etkili, geri dönüşü olmayan veya hassas işlemler için bunları talep edin.
  • Eylem denetimi. Her araç çağrısını girdiler, çıktılar, kullanılan kimlik ve karar gerekçesiyle kaydedin.
  • Sandboxing ve çıkış kontrolü. Bunları kod yürütme ve gezinme araçlarına uygulayın.

Ajan belleği ve durum katmanı

Ajan bellek katmanı, kısa süreli konuşma bağlamını ayrıca kalıcı bellek, vektör depoları ve gelecekteki davranışları etkileyen çiz defterlerini kapsar.

Güvenlik Hususları:

  • Belleği kullanıcı ve kiracı bazında kapsamlandırın ve yalıtın. Kullanıcılar arası veya oturumlar arası bellek sızmasını önleyin.
  • Hafıza zehirlenmesine karşı koruma. Enjekte edilen içerik devam edebilir ve sonra yeniden tetiklenebilir.
  • Depolanmış belleği sınıflandırın, saklayın ve silin. Veri sınıflandırma, saklamak ve silme hakkını uygulayın.
  • Bellek depolarını şifreleyin ve erişim kontrolünü uygulayın. Anıyı hassas veri olarak ele alın.

Yapay zeka uygulama katmanı (miras alınmış)

Yapay zeka uygulama katmanı, temellendirme, eklentiler ve uygulama güvenlik sistemiyle birlikte kullanıcının kullandığı uygulama veya arayüzdür. Örnekler arasında Azure Yapay Zeka İçerik Güvenliği ve prompt shields bulunur.

Yapay zeka kullanım katmanı (kalıtılmış, genişletilmiş)

Yapay zeka kullanım katmanı, kullanıcıların ve uygulamaların ajanı nasıl tükettiğini açıklar. Ajanlarla, otonom eylemler için hesap verebilirlik merkezi hale gelir: kabul edilebilir kullanım politikaları, ajana özgü riskler hakkında kullanıcı eğitimi ve ajanın kullanıcı adına aldığı eylemlerin net sahiplendirilmesi.

Sorumluluk matrisi

Aşağıdaki matris, dağıtım modelleri arasında sorumluluğu özetler. C = Müşteri, M = Microsoft, S = Paylaşılan. Matris genel bir rehberdir; Belirli bir hizmetin özel sorumlulukları, hizmetin şartlarına ve yapılandırmasına göre değişebilir.

Miras kalan bulut ve yapay zeka sorumlulukları

Sorumluluk alanı IaaS ajanı PaaS ajanı SaaS temsilcisi
Müşteri verileri (dayanaklandırma ve bellek içerikleri dahil) C C C
Kimlikler ve kullanıcılar C C C
Erişim yönetimi (RBAC, MFA, Koşullu Erişim) C C C
İstemci cihazları ve uç noktaları C C S
Temel model barındırma ve ağırlıklar C/M1 M M
Model giriş/çıkış içerik güvenliği C/M1 S M
Fiziksel altyapı (hostlar, ağ, veri merkezi) M M M

Ajana özgü sorumluluklar

Sorumluluk alanı IaaS ajanı PaaS ajanı SaaS temsilcisi
Ajan talimatları, sistem istemi ve kapsamı C C S
Araç, eklenti ve konnektör seçimi C C S
Araç bazlı izinler (en düşük ayrıcalık) C C S
Ajan kimliği ve devredilen token yönetimi C S S
Eylem başına yetkilendirme kontrolleri C S S
Yüksek etkili eylemler için insan döngüsünde onayı C C C
Orkestrasyon korkulukları (döngü, step ve maliyet sınırları) C S M
Çok ajanlı güven sınırı denetimleri C S S
Bellek tasarımı, izolasyon ve zehirlenme savunması C S M
Araç ve işlem yalıtımı ile dışa çıkış denetimi C S M
Eylem denetimi kaydı ve izleme C S S
Ajan çalışma zamanı ve orkestratör platformu C M M
Kabul edilebilir kullanım politikası ve eylemler için hesap verebilirlik C C C

1 Modeli IaaS üzerinde kendiniz barındırıyorsanız müşteri; IaaS üzerinde barındırılan aracınızdan barındırılan bir model API’sini kullanıyorsanız Microsoft.

Her zaman koruduğun sorumluluklar

Dağıtım modeli ne olursa olsun, her zaman şu konulardan sorumlusunuz:

  • Veri, ajanın belleğine yazılan ve araçlara aktarılan her şey dahil.
  • Kimlik ve en az ayrıcalık: ajanın kendi kimliği ve kullanabileceği her kimlik veya tokenın kapsamı.
  • Eylemlerin yetkilendirilmesi: ajanın yapabileceği şeyler, özellikle geri dönülmez veya hassas işlemler.
  • İnsan denetimi: hangi eylemlerin onay gerektirdiği ve ajanın davranışından kimin sorumlu olduğu.
  • Kabul edilebilir kullanım ve yönetişim: özerk davranış için politikalar, kullanıcı eğitimi ve uyum.

Ajanlara özgü başlıca risklere karşı alınacak tasarım önlemleri

Bu riskler, LLM Uygulamaları için OWASP Top 10, Ajanik Yapay Zeka için OWASP Top 10, MITRE ATLAS ve AI sistemleri için Microsoft Güvenlik Yanıt Merkezi (MSRC) güvenlik açığı şiddet sınıflandırması ile eşleştirilir. Ajanlara özgü aksiyon boyutunu vurguluyorlar.

Risk Mitigation
Anında enjeksiyon harekete geçme. Web sayfası, belge, e-posta veya başka bir ajans gibi güvenilmeyen içerikler, ajanı kötü niyetli araçlara yönlendirir. Tüm araç, geri alma ve ajan çıktılarını güvenilmez olarak kabul edin. Talimatları veriden izole edin. Yüksek etkili işlemleri kısıtlayın.
Aşırı özerklik. Ajanın, görevin ihtiyaç duyduğundan daha fazla aracı, izni veya özerkliği vardır. Her araç için asgari işlevsellik ve asgari ayrıcalık uygulayın, ayrıca talimatların kapsamını sınırlandırın.
Kafası karışık bir milletvekili ya da aşırı geniş bir heyet. Ajan, ayrıcalıklı kimliğini kullanarak talep eden kullanıcının yapamadığı bir şeyi yapar. Token adına ve işlem başına yetkilendirme kullanın. Sürekli geniş bir kimlikten kaçının.
Hafıza zehirlenmesi. Enjekte edilen içerik kalıcı olur ve daha sonra veya oturumlar arasında yeniden tetiklenir. Belleği izole edin ve doğrulayın, kökenini izleyin ve saklamayı zorunlu kılın.
Sınırsız döngüler, maliyet ve kaynak tükenmesi. Kontrolden çıkan planlama. Adım, yineleme ve bütçe sınırlarını uygulayın ve döngüleri algılayın.
Çok ajanlı güven başarısızlıkları. Ele geçirilmiş veya halüsinasyon gören bir ajan, işbirliği yaptığı diğer ajanları kirletir. Her bir ajanlar arası sınırda giriş güvenliğini yeniden uygulayın. Doğrula, güvenme.
Kötü niyetli ya da taklit edilmiş ajanlar. Yetkisiz bir ajan çevrede hareket eder veya bir ajanın kimliği sahte olur. Güçlü ajan kimliği, doğrulama ve tespit ve izleme zorunluluğu uygulayın.

Özelleştirmeden önce yapılandırma yapın

Microsoft'un yapay zeka için önerdiği aynı ilke ajanlar için de geçerlidir ve bu daha güçlüdür çünkü özerklik, yanlış yapmanın maliyetini katlar.

  1. SaaS ajanları (Microsoft 365 Copilot, Microsoft Security Copilot veya yayımlanmış Microsoft Copilot Studio ajanları) ile başlayın. Microsoft, orkestrasyon, güvenlik ve çoğu araç güvenliğine sahiptir. Veri kapsamını ve kimliğini yapılandırıyorsunuz.
  2. PaaS ajanlarına (Microsoft Foundry Agent Service, özel Microsoft Copilot Studio ajanları veya yönetilen bir çalışma zamanında Microsoft Agent Framework) yalnızca hazır çözümler gereksinimlerinizi karşılamadığında geçin. Ajan mantığını, araçlarını, izinlerini, belleğini ve kimliğini devralırsınız.
  3. IaaS ajanlarını yalnızca yapay zeka güvenliği, kimlik ve otonom sistemler riski konusunda derin uzmanlığa sahip olarak oluşturun. Neredeyse tüm yığına sahipsin.

Pratik kural: Bir ajana ne kadar fazla özerklik tanır ve ne kadar geniş bir araç ve izin seti verirseniz, dağıtım modelinden bağımsız olarak sorumluluk matrisinin o kadar büyük bir kısmı size kayar. Özerklik asla hesap verebilirliği azaltmaz.

Sonraki Adımlar

  • Last updated on