Ajanik davranış mühendisliği

Büyük dil modelleri (LLM' ler) doğası gereği belirlenimci değildir. Aynı giriş her zaman aynı çıkışı üretmeyebilir. Geleneksel test yöntemleri bu değişkenliği hesaba katmakta zorlanır. Sisteminizin tutarlı bir şekilde beklendiği gibi performans sergileyeceğine güven duyacağınız şekilde geliştirme sürecinizi nasıl uyarlayabilirsiniz?

Kurumsal yapay zeka dönüşümü daha fazla soru ortaya çıkarıyor: Kuruma ait bilgi birikimini nasıl korur ve yönetirsiniz? Güvenilir davranışı nasıl tasarlarsınız? Zaman içinde sistemi geliştirmek için yürütme kanıtını nasıl kullanırsınız?

Bu makalede önerilen aracısal davranış mühendisliği (ABE), yapay zeka aracılarının davranışını belirleme, temellendirme, denetleme, doğrulama ve gözlemleme için platformdan bağımsız bir metodolojidir. Metodoloji, kullanıcı ve sistem gereksinimlerini netleştirmenize, beklenen sonuçları tanımlamanıza, yürütme sınırlarını uygulamanıza ve temsili senaryolarda değişiklikleri doğrulamanıza yardımcı olur. Geleneksel test, belirli bir uygulamanın beklendiği gibi çalıştığını doğrulayabilir, ancak genellikle modellerdeki, istemlerdeki, araçlardaki veya veri kaynaklarındaki değişikliklerin neden olduğu davranışsal kaymayı tam olarak algılayamaz. ABE, istenen davranışı açık ve sürekli doğrulanabilir hale getirerek bu zorluğu giderir ve ekiplerin sonuçlarına olan güvenini kaybetmeden ajanik sistemleri geliştirmesine olanak tanır.

Temel kavramlar

ABE'deki temel artefakt davranış sözleşmesidir. Sözleşme, sistem değiştikçe beklentilerin açık ve doğrulanabilir kalması için gerekli davranışı uygulamadan ayrı olarak tanımlar. Ajanik sistemlerde modeller, istemler, araç uygulamaları, bilgi kaynakları, bellek, ilkeler, orkestrasyon ve kullanıcı erişimi zaman içinde değişebilir. Sapmayı belirlemek ve ele almak için bu değişikliklerin gerekli davranış üzerindeki etkisini değerlendirmek amacıyla davranış sözleşmelerini kullanın.

Davranış sözleşmesi

Davranış sözleşmesi, bir aracının ne yapması gerektiğini ve tek bir sınırlanmış durumda ne yapmaması gerektiğini tanımlar. Şu ifadeyi belirtir:

• Sözleşmenin geçerli olduğu durum, aktörler ve kapsam.
• Kabul edilebilir sonuçlar ve gerekli sonuç özellikleri.
• Yasaklanmış sonuçlar, ifşalar, eylemler ve yan etkiler.
• Ajanın sonuca varabilmesi veya harekete geçebilmesi için gereken kanıt.
• Kanıt yetersiz olduğunda veya bağımlılıklar başarısız olduğunda davranış.
• Eskalasyon, onay ve durdurma koşulları.

Sözleşme, uygulanabilir güvenlik ve sorumlu yapay zeka gereksinimlerini açık hale getirir. Ekibinizin bunları başlangıçtan itibaren uygulamaya ve doğrulamaya dahil edebilmesi için bu gereksinimleri tasarım sırasında tanımlayın. Sorumlulukları ve iş yüküne özgü ilkeleri tanımlama yönergeleri için bkz. Azure iş yüklerinde sorumlu yapay zeka.

Davranış sözleşmesi, sözleşme ile tasarım ile aynı ilkeye dayanır: yazılım yükümlülüklerini açık hale getirir. Bir gerçekleme belirlemeden gerekli davranışı tanımlar, bu nedenle gerçekleme değiştikçe gereksinimler kararlı kalabilir.

Kapsamı tanımlı bir durum için bir sözleşme ve varyasyonları için birden çok senaryo kullanın. Aktörler, yetki, gerekli kanıt veya kabul edilebilir sonuçlar esaslı biçimde değiştiğinde başka bir sözleşme oluşturun.

Ürün ve mühendislik ekipleri, davranış sözleşmesini sürümlenmiş bir varlık olarak birlikte yönetir. Etki alanı uzmanları tarafından desteklenen ürün sahibi, hedeflenen davranışı ve beklenen sonuçları onaylar. Mühendislik ekibi, teknik kısıtlamaları ve kanıt gereksinimlerini ortaklaşa hazırlar ve test edilebilir senaryo tanımlarını, kapsamı, sürüm oluşturmayı ve doğrulamayı sürdürür.

Davranışsal beklentilerdeki değişiklikleri birlikte gözden geçirin ve gerektiğinde güvenlik ve risk gözden geçirmesi gerçekleştirin. Bu beklentileri koruyan teknik bakım, ekibin mühendislik gözden geçirme sürecini izlemelidir. İlgili yönergeler için bkz. işlevsel belirtim sahipliği ve test stratejisi sorumlulukları.

Örnek: Düşük riskli ürün incelemelerini onaylayın

Perakende web sitesi, standart ekibinin müşteri ürün incelemelerini yayımlanmadan önce Kabul Edilebilir Kullanım Politikası'na karşı denetlemesini gerektirir. İş yükü ekibi, bir ajanın düşük riskli gönderimleri onaylamasını ve daha yüksek riskli veya belirsiz vakaları standartlar ekibine göndermesini istiyor. Amaç, sitenin yayın standartlarını korurken el ile gözden geçirmeyi azaltmaktır.

Aşağıdaki tabloda bu aracı için sürümlenmiş bir davranış sözleşmesi yer alır.

Alan	Örnek sözleşme değeri
Sözleşme Kimliği ve sürümü	product-review-approval, sürüm 1.0.
Davranış sorumlusu	Standartlar ekibi tarafından desteklenen perakende ürün yöneticisi, hedeflenen davranışı onaylar. Mühendislik onlarla sözleşmeyi sürdürür ve uygulamayı doğrular.
Aktörler ve kapsam	Müşteri bir ürün inceleme metni gönderir. Temsilci bunu yayın için değerlendirir ve standartlar ekibine insan yargısı gerektiren durumları iletir. Görüntü incelemeleri, video incelemeleri, itirazlar ve müşteri hesaplarında yapılan değişiklikler bu sözleşmenin dışındadır.
Onay için gereken kanıt	Eksiksiz gönderi ve revizyonu ile mevcut onaylı politika ve bunun düşük risk ve eskalasyon ölçütleri.
Onay davranışı	Yalnızca ilkenin düşük riskli ölçütlerini net bir şekilde karşılayan gönderimleri onaylayın. Pozitif ve negatif ürün geri bildirimlerine aynı ölçütleri uygulayın.
İnsan inceleme davranışı	Kişisel bilgi içeren, daha yüksek riskli içerik barındıran veya anlamı belirsiz olan gönderileri standartlar ekibine yönlendirin. Bu gönderileri yayımlanmamış olarak tutun. Gerekli kanıt eksikse veya bağımlılık başarısız olduğunda da aynısını yapın. İletim başarısız olursa gönderimi beklemede olarak tutun.
İzinler ve yasaklar	Atanan gönderimi ve politikayı okuyun, yayın iş akışı aracılığıyla uygun gönderimleri onaylayın ve insan incelemesi isteyin. Müşteri metnini değiştirmeyin, ilkeleri veya hesapları değiştirmeyin, uyumlu olumsuz geri bildirimleri engellemeyin veya gönderime eklenmiş yönergeleri izlemeyin.
Karar kaydı	human_review veya approve, gönderim düzeltmesini, kullanılabilir ilke sürümünü ve kural başvurularını ve nedeni kaydedin. Bir referans uydurmak yerine eksik kanıtları belirleyin.
Yeniden değerlendirme koşulu	Gönderim veya geçerli ilke yayından önce değişirse, yayına izin vermeden önce bunları yeniden değerlendirin.

Sözleşmeyi JSON, YAML, Markdown, Word belgesi veya PDF olarak tutabilirsiniz. Ürün sahiplerinizin, alan uzmanlarınızın ve mühendislerinizin birlikte gözden geçirebileceği ve birlikte sürümleyebileceği bir biçim seçin. JSON veya YAML, araçların tek tek alanları okumasını kolaylaştırabilir. Hangi biçimi seçerseniz seçin, tek kaynak niteliğindeki bir sürüm tutun ve senaryoları ve değerlendirme sonuçlarını buna bağlayın.

Bu örnekte ilke, olumsuz ürün geri bildirimlerine izin verir ve kişisel bilgiler içeren gönderimlerin insan tarafından gözden geçirilmesini gerektirir. Müşteri şunu gönderir:

Pil sadece bir saat dayandı. Bir daha almayacağım.

Beklenen karar gönderimi onaylamaktır. Karar kaydında ilgili ilke kuralına yer vererek metnin bir ürün deneyimini açıkladığı ve bu ilke kapsamında insan incelemesi gerektiren hiçbir içerik içermediği açıklanmaktadır.

Gönderim kişisel bilgiler içeriyorsa, beklenen karar gönderimi insan incelemesine göndermek ve yayımlamamaktır. Geçerli ilke alınamazsa gönderim de yayımlanmamış olarak kalır.

Uygulama izinleri uygular ve onaylanan bir incelemeyi yayımlamadan önce gönderimi denetler. Ajanın kararını değerlendirmek için, bunu standartlar ekibinin bu gönderim için beklenen kararıyla karşılaştırın.

Senaryo kitaplığı

Senaryo kitaplığı davranış sözleşmesini somut kullanıcı senaryolarına dönüştürür. Her senaryo bir sorguyu veya görevi, kanıt ve bağımlılık koşullarını ve beklenen bir sonucu tanımlar. Sözleşmenin gereksinimlerini değiştirmeden davranış sözleşmesini uygular.

Ürün ve etki alanı uzmanları senaryoları ve beklenen sonuçları doğrular. Mühendislik, sözleşmenin tanımlarını ve kapsamını yönetir.

Aşağıdaki tabloda, senaryo kitaplığının davranış sözleşmesini ürün gözden geçirme aracısı için temsili durumlara nasıl uyguladığı gösterilmektedir:

Sorgu veya görev	Kanıt ve bağımlılık koşulları	Beklenen sonuç
Yayımlanmak üzere olumsuz bir ürün incelemesini değerlendirin.	Tam metin, bir ürün deneyimini açıklar ve ilkenin düşük riskli ölçütlerini karşılar.	Onaylayın ve destekleyici kuralı ve nedeni kaydedin.
Kişisel bilgileri içeren bir incelemeyi değerlendirin.	İlke, standartlar ekibinin bu içeriği gözden geçirmesini gerektirir.	İnsan incelemesi için yönlendirin ve yayınlanmamış olarak tutun.
Anlamı belirsiz bir incelemeyi değerlendirin.	Kullanılabilir bağlam, düşük riskli ölçütleri karşıladığını ortaya koymuyor.	İnsan incelemesi için yönlendirin ve belirsizliği açıklayın.
Politika hizmeti kullanılamadığında gözden geçirmeyi değerlendirin.	Mevcut onaylanan politika alınamıyor.	Yayımlamadan bırakın ve insan incelemesi isteyin. İletim başarısız olursa beklemede olarak tutun.

Sentetik vakalarla test etmeye başlayın: kurmaca başvurular ve simüle edilmiş policy-service yanıtları. Ground truth verilerini toplamak, mühendislik ekibinin özelliğin gerçekleştirilmesini tamamlamasını engelleyebilir. Sentetik vakalar sözleşme veya uygulamadaki boşlukları ortaya çıkarır ve alan uzmanlarına ground-truth kürasyonunu tamamlamaları için zaman verir.

Ayrı bir altın veri kümesi için gerçek iş yükü örneklerini toplama konusunda konu uzmanlarına yol göstermek için yapay örnekleri kullanın. Altın veri kümesi aynı yapıyı kullanarak senaryoları genişletir: gerçek sorgular, karşılık gelen kanıt ve SME ile doğrulanmış beklenen sonuçlar. Bir senaryoda birçok referans vaka olabilir.

Olumsuz inceleme senaryosunda, standartlar ekibi bir ürünü eleştiren ancak yayın ilkesini karşılayan gerçek gönderimleri toplar. Onaylanan test girişlerini ve geçerli ilke sürümünü korur, ardından beklenen kararı oluşturur. Sentetik durumlar kılavuz koleksiyonu. Bunlar altın veri kümesine alınmazlar.

Ground truth, doğruluğun belirlenebildiği, alan tarafından doğrulanmış beklenen bir sonuç veya destekleyici kanıttır; bir ajanın kaydedilmiş çıktısı değildir. Bkz. Değerlendirme için doğru verileri kullanın.

Uygulamaları aynı sözleşme ve maliyet ve gecikme sınırlarıyla karşılaştırmak için kavram kanıtı çalışması sırasında senaryoları kullanın. Ürün gözden geçirme ajanında, onay kararlarını ve devirlerini standartlar ekibinin beklenen sonuçlarına göre test edebilirsiniz. Mimari karar kaydında tasarım ve dengeleri kaydedin ve regresyon testi senaryolarını koruyun.

Her olayı kendi senaryosuna ve sözleşme sürümüne bağlayın ve yapay mı yoksa gerçek iş yükü verilerinden mi geldiğini kaydedin. Uygulama değiştikçe gerekli davranışın test edilebilir kalması için senaryoları istemlerden bağımsız tutun.

Sınır durumlarını ve üretimde gözden geçirilen başarısızlıkları ekleyin. Güvenlik sınırları kapsam dahilindeyse, yapay zeka için red teaming ve tehdit modellemeden prompt injection, kötüye kullanım ve sızdırma senaryolarını da dahil edin.

Geliştirme, regresyon ve korumalı sürüm kümelerini ayrı tutun. Bazı test senaryolarını yayın doğrulaması için ayırın ve gerçekleştirimini geliştirmek veya ayarlamak için kullanmayın. Bu durumlara ve beklenen sonuçlara erişimi kısıtlayın. Bir test vakası bir uygulama değişikliğine yol gösteriyorsa, bunu regresyon paketine taşıyın ve etki alanı uzmanları tarafından doğrulanan başka bir test vakasıyla değiştirin.

çalışma aralığı

çalışma aralığı, iş yükünün işlevsel olmayan gereksinimlerinin bir alt kümesini kapsar. Gecikme süresi, maliyet, belirteç kullanımı, yeniden denemeler, araç çağrıları ve onay beklerken harcanan süre gibi kaynak ve yürütme sınırlarını tanımlar.

Sözleşme beklenen davranışı tanımlar. Çalışma zarfı, sistemin çalışması gereken operasyonel sınırları tanımlar. Sözleşme, bu sınırlar kabul ölçütlerinin bir parçası olduğunda bir çalışma aralığı sürümüne atıfta bulunabilir. İşletim sınırlarının, değişmeyen davranış gereksinimlerini yeniden tanımlamadan değişebilmesi için zarfı bağımsız olarak sürümleyin. Davranış sözleşmeleri ve çalışma sınırları bire bir ilişki gerektirmez.

Tekrar Oynat

Tekrar oynatma için tasarım

Adından da anlaşılacağı gibi Replay, toplanan araç ve API yanıtları veya RAG sonuçları sağlayarak sisteminizin çıkarım adımlarını yeniden çalıştırır. Bu yaklaşım, isteminizi ayarlamanıza ve eksik kanıtları belirlemenize yardımcı olur. Canlı API’lere veya Model Bağlam Protokolü (MCP) araçlarına yapılan ve yüksek maliyetli olabilen, hız sınırına takılabilen veya zaman içinde değişen veriler döndürebilen tekrarlanan çağrıları önler.

Üretimde yeniden oynatma verilerini toplayın. Analiz veya SME gözden geçirmesi öncesinde hassas verileri politikaya uygun olarak kaldırın veya maskeleyebilirsiniz. Yanıt yüklerini ve bunların istek bağımsız değişkenlerini, durumun anlamını değiştirmeden koruyun. Redaksiyon gerekli kanıtı kaldırırsa, onaylanmış bir şablon kullanın ve sınırlamayı belgele.

SME'nin altın veri kümesine eklemeden veya test çiftleri oluşturmak için kullanmadan önce üretimden türetilmiş verileri gözden geçirmesini ve kürasyon yapmasını sağlayın. Test dublörleri yanıtların benzetimini yapabilir, bu nedenle yeniden yürütme, üretim verilerine gerek kalmadan yeni ve mevcut senaryoları destekleyebilir. Bkz. Dev Proxy ile sahte yanıtlar ve Microsoft Foundry'de değerlendirme veri kümeleri.

Yeniden oynatmayı yapılandırma ve çalıştırma

Değerlendirme ve regresyon testi için kullandığınız tekrar oynatma veri kümelerinin sürümünü oluşturun. Bir güncelleştirmeyi taban çizgisiyle karşılaştırmak için, aynı durumları ve değerlendirici sürümlerini kullanarak her iki uygulamayı da aynı veri kümesi sürümüyle çalıştırın. Test ettiğiniz değişiklik dışında diğer test koşullarını tutarlı tutun. Durumları eklediğinizde veya güncellediğinizde yeni bir veri kümesi sürümü oluşturun ve her iki uygulamayı da yeniden çalıştırın.

Geliştirme sırasında, değiştirmekte olduğunuz davranışı denetlemek için daha küçük bir durum kümesini yeniden yürütebilirsiniz. Henüz yeni bir senaryo için yanıt kaydetmediyseniz, sanal yanıtları kullanın ve bunları veri kümesinde etiketleyin.

Çalıştırmanın amacını seçin:

Yapılandırma	Purpose
Geliştirme testi	Uygulama sırasında yeni veya değiştirilmiş davranışı test edin.
Evaluation	İş yükünün desteklenen senaryolarında davranışı ölçün.
Sürüm doğrulama	Sürüm kabulü eşiklerine ve uygunsa bir referans değerine göre tam gerekli regresyon test paketini denetleyin.

Çalıştırma yapılandırması veri kümesinin ve değerlendiricilerin ötesine uzanır. Ayrıca istem, model, API/MCP sunucuları, destekleyici kitaplıklar ve daha fazlasını içerir. Değerlendirmeleri çalıştırırken, her çalıştırmanın yalnızca minimum bir kümeyi değiştirdiğinden emin olmak için net bir hipoteze ve ilişkili değişikliklere sahip olmanız gerekir. Bu sayede etkiyi doğru ölçebilirsiniz ve kayıt tutma eksikliklerinden dolayı aynı güncelleştirmeyi birden çok kez çalıştırmaktan kaçınabilirsiniz.

Yeniden yürütme, birim veya tümleştirme testlerinin yerini almaz. Her test, yazılım sisteminin farklı bir yönünü denetler ve aynı derecede önemlidir. Bkz. Yapay zeka iş yüklerini test edin ve değerlendirin.

Aşağıdaki diyagramda paylaşılan yeniden yürütme işlemi gösterilmektedir.

Üstte soldan sağa üç kutu, Geliştirme testi çalıştırma yapılandırması, Değerlendirme çalıştırma yapılandırması ve Sürüm doğrulama yapılandırması'nı gösterir. Her birinde bir uygulama sürümü, yeniden yürütme ayarları, ölçümler ve değerlendiriciler bulunur. Sırasıyla odaklanmış senaryo örneklerini, kullanım deseni veri kümesini ve regresyon veri kümesini seçer. Sürüm kutusu ayrıca bir taban çizgisi ve kabul eşikleri içerir. Üç kutunun tamamından çıkan oklar, kontrollü girişleri ve yakalanan veya simüle edilmiş araç yanıtlarını kullanan Paylaşılan yeniden oynatma ve değerlendirmeye doğru işaret eder. Başka bir ok bu kutudan Vaka başına sonuçlar ve yürütme izlemeleri etiketli bir kutuya yönlendirir. Resim yazısı şu şekildedir: "Senaryoya göre davranışı ölçme; bir sürümü uygunluk açısından değerlendirirken sürüm ölçütlerini uygulayın."

Örnek: Ürün gözden geçirme aracı değişikliğini doğrulama

Ürün gözden geçirme aracısının 42. sürümünün, kişisel bilgiler içerdiği için standartlar ekibine gitmesi gereken bir gönderimi onayladığı varsayın. Ekip, yeniden oynatma verisi korumalarını kullanarak vakayı hazırlar ve 43. aday için uygulamayı gözden geçirirken odaklanmış bir geliştirme testi kullanır.

1. 43. aday için bir değerlendirme çalıştırma işlemi yapılandırın. Değerlendirme veri kümesinin normal durumları ve uyumlu negatif incelemeleri, belirsiz gönderimleri ve bağımlılık başarısızlıklarını içermesi gerekir. Özelliği test durumlarıyla güncelleştirin (kişisel bilgi kuralı). Güncelleştirme, veri kümesinin yeni bir sürümünü oluşturur. Değerlendirmeyi ve baseline'ı yeni veri kümesinde çalıştırın. Senaryoya göre karar doğruluğunu, maliyetini ve gecikme süresini ölçmek için veri kümesinin tamamını yeniden oynatın.

2. Yayın doğrulama veri kümesini yeni kullanım örneğiyle güncelleştirin ve güncelleştirilmiş bir sürüm edinin. Genişletilmiş veri kümesi sürümüne başvurun ve kabul eşiklerini ayarlayın. aday 43'ü ve temel 42'yi aynı genişletilmiş test paketinde ve kaydedilmiş kanıtta yeniden oynatın.

3. Gözden geçirilmiş beklentilere karşı mevcut ve yeni vakaları denetleyin. Uyumlu olumsuz geri bildirim için human_review ve kişisel bilgiler içeren gönderimler için approve bekleyin. İnsan incelemesi bekleyen gönderimlerin yayımlanmadığını onaylayın.

4. Sonuçları ve olay başına izlemeleri yapılandırma sürümüyle kaydedin. Her senaryo için ölçümleri hesaplayın. Uygulamayı iyileştirmek için değerlendirme bulgularını kullanın ve adayın gönderilip gönderilmeyeceğine karar vermek için sürüm doğrulama sonuçlarını kullanın. Genel bir iyileştirme başarısız olan zorunlu gereksinimi geçersiz kılmaz.

Architecture

ABE metodolojisini kullanarak iş yükünüzün özelliklerini tasarlamak için sorun bulma ile başlayın ve kontratta beklenen davranışı yakalayın. Ardından, iş yükünün aracı yönlendirmeli yürütme gerektirip gerektirmediğine karar verin. Kullanıcı gereksinimlerini ve varsayımlarını netleştirmek için işletme sahibi ve mühendislik ekibiyle birlikte çalışın. Davranış sözleşmelerinden senaryolar türetin, sistemin ihtiyaç duyduğu bilgileri ve kanıtları belirleyin ve çevresindeki sistemin hangi denetimleri zorunlu kılması gerektiğine karar verin.

Davranış sözleşmesi ve senaryo kitaplığı, iki döngülü sistemi bağlar ve uygulama ve iyileştirmeye yol gösterir. Geliştiricinin iç yineleme döngüsü, sürümden önce değişiklikleri doğrular. Üretim outer loop'u, hataları veya değişen gereksinimleri belirlemek için yürütme kanıtlarını ve geri bildirimlerini toplar.

İç döngü diyagramın en üstünde gösterilir. Soldan sağa altı adım gösterilir: davranış gereksinimleri, senaryo kitaplığı, varlık gerçekleştirme, tekrar oynatma ve değerlendirme, bir davranış kapısı ve sürüm. Merkez bölümü, yönetilen varlıkları davranış belirtimleri, kurumsal bilgi, çalışma zamanı yapılandırması ve mühendislik altyapısı olarak gruplandırmaktadır. Sol tarafta bir çalışma zamanı davranış kutusu ve sağ tarafta bir davranış karnesi bulunur. Alt kısımda dış döngünün beş adımı vardır: üretim, geri bildirim ve telemetri, davranış analizi, sınıflandırma ve varlık güncelleştirmeleri. Oklar sınıflandırma adımından yeni senaryolara, bilgi boşluklarına, sözleşme hatalarına ve mühendislik hatalarına işaret eder. Öğe güncelleştirme adımı, iç döngüdeki yeniden yürütme ve değerlendirme adımına işaret eder. Yeniden yürütme ve değerlendirme adımından karneye uzanan, üzerinde “puanlar” yazan kesikli bir ok. Davranış kapısı adımından varlık uygulamasına başka bir kesikli ok işareti uzanır.

ABE bu çalışmayı beş mühendislik sorumluluğu halinde düzenler: belirtme, temellendirme, denetim, doğrulama ve gözlemleme. Bu sorumluluklar mantıksaldır, beş gerekli hizmet veya sıralı çalışma zamanı adımı değildir. Tek bir özellik üzerinde çalışmak çeşitli sorumluluklara yayılabilir.

Sorumlu yapay zeka ve güvenlik, beş sistem sorumluluğunun tümünde ortak olan konulardır. belirtme sorumluluğu, sorumlu yapay zeka beklentilerini ve güvenlik gereksinimlerini davranış sözleşmelerinde açık hale getirir. kontrol sorumluluğu, bu gereksinimleri destekleyen erişim kurallarını ve yürütme korumalarını uygular.

Beş numaralı kutu sistem sorumluluklarını gösterir. Yukarıdaki kutu, güvenliği, gizliliği ve sorumlu yapay zekayı genel kısıtlar olarak etiketler. 1 numara, davranış sözleşmelerini ve bir senaryo kitaplığını tanımlayan bir belirtimdir. 2. sayı, zemin, bilgi, bellek ve çalışma zamanı bulgularını yönetir. 3 numara, kontrol, sistem tarafından zorlanan sınırlar içinde çalışır. 4 numara, davranış değişikliğini doğrular, yeniden üretir, ölçer ve engeller. 5 numara, üretim durumunu izler. Soldaki düz oklar, davranış gereksinimlerini specify'dan control'e, sözleşmeleri ve senaryoları ise specify'dan verify'a aktarır. Oklar bilgileri, belleği ve kanıtı yerden kontrole geçirir ve yakalanan yürütme ile iz geçmişini kontrolden doğrulamaya aktarır. Sağ tarafta, davranış telemetrisi 'control'dan 'observe'a akar ve 'observe'dan 'specify'a idare edilen kesikli bir değişiklik döngüsü akar. Altbilgi, "yeniden yürütme yapılandırmalarını" uygulama, veri ve ölçü olarak, "yürütme izleri"ni ise her yürütmenin gerçekte ne yaptığını tanımlar.

Belirtin ve ground, proje hazırlığı ve fizibilitesi için erken kontroller sağlar. Belirtme, sorunu ve başarının ne anlama geldiğini belirler. Ground, gerekli bilgilerin mevcut olup olmadığını ve geçerli erişim gereksinimleri kapsamında kullanılabilir olup olmadığını değerlendirir. Uygulamaya geçmeden önce boşlukları belirlemek için bu bulguları kullanın, ardından kavram kanıtlama (PoC) kapsamında kalan varsayımları doğrulayın. Daha fazla bilgi için bkz. Teknik stratejiyi iş gereksinimleriyle hizalayın.

Uygulanabilir tasarımları karşılaştırmak için davranış sözleşmesini ve senaryo kitaplığını kullanın. Model destekli adımlarla belirlenimci bir uygulama veya sabit bir iş akışı gereksinimleri karşılayabilir. Değerlendirme, ek maliyeti, gecikme süresini ve işlem karmaşıklığını haklı çıkaran avantajlar gösterdiğinde ajan tabanlı bir yaklaşım seçin. Yürütme yaklaşımı seçme yönergeleri için bkz. sabit iş akışları ile aracı tarafından yönlendirilen sistemler.

Belirtmek

Neyi ve nasıl otomatikleştireceklerini seçmeden önce kullanıcının gerçek gereksinimini anlamak için tasarım düşüncesini kullanın. Kabul edilebilir sonuçlar, kısıtlamalar ve hata davranışı konusunda anlaşmak için kullanıcılar, işletme sahipleri ve KOBİ'lerle birlikte çalışın.

Bu gereksinimleri sürümlenmiş bir davranış sözleşmesinde yakalayın ve senaryo kitaplığını oluşturmak için test senaryoları türetin. Ürün ve mühendislik ekipleri beklenen davranış değişikliklerini birlikte gözden geçirir. Sorumlu yapay zeka ve güvenlik endişelerini gidermek için etki alanı uzmanlarını, risk uzmanlarını ve güvenlik uzmanlarını dahil edin. Hem davranış sözleşmesini hem de senaryo kitaplığını sürümlendirin. Sürüm notları, desteklenen ve yayımlanan sözleşme ve senaryo kitaplığı sürümünü tanımlamalıdır.

Ürün yol haritasıyla birlikte gereksinim değişikliklerini gözden geçirin ve uygulamayı bunlara karşı yeniden denetleyin. Çok aracılı iş yükleri için uçtan uca bir sözleşme tanımlayın ve sorumlulukların, kanıt gereksinimlerinin veya izinlerin değiştiği yerlerde devir sözleşmeleri ekleyin.

Ürün inceleme aracısı için, hangi gönderimlerin otomatik onaya uygun olduğu, ne zaman insan incelemesi gerektiği ve kullanılamayan bir politika veya inceleme kuyruğunun nasıl ele alınacağı konusunda standartlar ekibiyle mutabık kalın.

Aşağıdaki diyagramda davranış sözleşmesinin ve senaryo kitaplığının uygulama ve doğrulamaya nasıl yol gösterdiği gösterilmektedir. Altın veri kümesi kürasyonuna yol göstermek ve değerlendirme ölçütlerini tanımlamak için senaryo kitaplığını kullanın. Sonuçları, test edilen vaka sayısı da dahil olmak üzere, senaryoya göre raporlayın; böylece genel puan boşlukları gizlemez. Gözden geçirme, değerlendirme ve üretimden elde edilen bulgular, senaryo kitaplığında veya davranış sözleşmesinde güncelleştirmelere yol açabilir.

En üstte, kurumsal gereksinimler ve bilgi akışı, bu sırayla Sözleşme oluşturma veya güncelleştirme, Yönetim ve Yayımlama adımlarını içeren bir Belirtme bölümünü besler. Specify'nin altında, sol tarafta bir Geliştirici iç döngüsü bulunur. Yayımla adımı, bu döngüde uygulama veya güncelleştirme işleminin gerçekleştirilmesine yol açar. Sözleşme sonuçları ve regresyonlara karşı yeniden oynatma ve değerlendirme çalıştırmalarında doğrulama için müşteri adaylarını uygulayın veya güncelleyin. İç döngünün sağında bir Üretim yürütme bölümü bulunur. Doğrula adımı Uygulama'ya geri dönebilir veya Yürütme bölümündeki denetimlerle Yürüt'e nitelikli bir sürüm gönderebilir. Gözden geçirilmiş sözleşme kusurları için bir ok, Doğrula'dan Oluştur veya güncelleştir'e geri döner. Üretim yürütme grubunda Request, isteğe bağlı bir Resolve adımına ve ardından Execute with controls adımına yol açar. Çalışma zamanı seçimi yok etiketli İstek'ten ayrı bir yol Resolve'u atlar. Üretim yürütme grubunun altında bir Üretim dış döngüsü bölümü bulunur. Yürüt adımı bu döngüde bir Gözlemleme adımına yol açar. Observe kanıtları ve kullanıcı geri bildirimlerini yakalar, ardından bulguları temizler, analiz eder ve gözden geçirir. İncelenen sözleşme değişiklikleri etiketli kesikli ok, Specify bölümünde Observe'dan Create or update'e geri döner.

Keşif teknikleri için bkz. Kullanıcı araştırması yapma ve içgörüleri paylaşma.

Zemin

Temellendirme, alınan bilgiler, araç yanıtları, iş kuralları ve bellek de dahil olmak üzere aracınıza ilettiğiniz bilgileri ve kanıtları yönetir. Kaynak ve yetkisini korurken her görev için ilgili, yetkilendirilmiş bilgileri hazırlar. Provenance, freshness ve duyarlılık, düzgün bir şekilde temsil edilmesi gereken bazı temel özniteliklerdir.

Aracı için yönetilen bilgileri hazırlamak için:

• Yetkili kaynakları seçin ve bunların bakımını yapmak için sorumlular atayın.
• Erişim gereksinimlerini belirleyin ve denetim sorumluluğu için izin ve duyarlılık meta verilerini koruyun.
• Bilgileri, iş anlamını, kaynağını veya sürümünü kaybetmeden ajanın kullanabileceği bir biçimde hazırlayın.

Tasarım sırasında, kaynakların davranış sözleşmesinin gerektirdiği kanıtı sağlayabildiğinden emin olun. Ürün gözden geçirme ajanı için her değerlendirmeyi tam gönderim metnine, düzeltmesine ve geçerli ilke sürümüne bağlayın. Gerekli kanıtlar eksik veya erişilemiyorsa, veri veya erişim sorununu çözün, kapsamı daraltın veya etkilenen özelliği erteleyin.

Çalışma zamanında, alma katmanı bir aramanın veri döndürdü mü, eşleşme bulamadı mı yoksa başarısız mı olduğunu bildirir. Uygulama, kanıt meta verileriyle birlikte bu durumu kullanarak, devam edip etmeyeceğini yoksa yetersiz kanıt için sözleşmenin yanıtını izleyip izlemeyeceğini belirler.

İş yüküne ait, sürüme alınmış varlıklardaki iş tanımlarını ve kurallarını istemlerden ve modellerden bağımsız tutun. Diğer ajanlar ve sistemlerle değiştirilen bilgilerin yapısını ve anlamını tanımlamak için bir veri sözleşmesi veya semantik model kullanın.

Aşağıdaki tablo, iş tanımlamalarını belirli bir isteğe ilişkin kanıtlardan ayırır. Bir ontoloji veya anlam modeli platformu, aracıların ve sistemlerin paylaşılan iş kavramlarına ve ilişkilerine ihtiyacı olduğunda bu tanımları düzenlemeye yardımcı olabilir.

Öğe	Rol	Ürün inceleme örneği
Ontoloji	Paylaşılan iş kavramlarını ve ilişkilerini tanımlar.	Bir gönderi, bir ürün incelemesidir. Moderasyon kararı, gönderim düzeltmesi ve ilke sürümü için geçerlidir.
Anlamsal veri modeli	Paylaşılan tanımlar ve ilişkiler aracılığıyla kurumsal verileri bu iş kavramlarıyla eşler.	Gönderileri, ilke kurallarını ve denetim kararlarını tanımlayıcıları ve sürüm referansları aracılığıyla bağlar.
Runtime kanıtları	Geçerli görev için gereken belirli kayıtları ve gözlemleri sağlar.	Gönderilen metin kişisel bilgiler içerir ve geçerli politika insan incelemesi gerektirir.

Uygulama örnekleri için bkz. Fabric ontoloji veri bağlama (önizleme) ve Power BI semantik modeller.

Sonuçları aracıya geçirmeden önce belirlenimci kodda iş kuralları uygulamak için bir kural motoru veya iş akışı oluşturabilirsiniz. Uygulamanın hedeflenen ilkeyle eşleşip eşleşmediğini doğrulamak ve uygulama belirsizliğini azaltmak için bu kuralları alan uzmanlarınca gözden geçirilmiş vakalara göre tekrar tekrar test edin.

Bağlamı bir araya getirirken iş rehberliğinin kaynağını ve otoritesini, güncel kanıtı ve belleği tanımlayın. Aracının belleğe ne yazabileceğini ve ne kadar süreyle tutabileceğini tanımlayın. Bellek yetkili kayıtları geçersiz kılmamalıdır ve istemler veya yönergelerle aynı şekilde işlenemez.

Aşağıdaki diyagramda ajan için bilgi, kanıt ve belleğin nasıl hazırlanıp birleştirildiği gösterilmektedir.

Diyagramda numaralandırılmış üç aşamayı besleyen üç kaynak gösterilmektedir. Üst kısımda üç kutu kaynakları etiketlemektedir: yönetişimli bilgi çerçeveleri, vakanın nasıl yorumlanacağını belirler; çalışma zamanı bulguları mevcut vakayı gözlemler ve bellek nereye bakılacağı konusunda öneride bulunur. Çıkışları, birinci aşamayı gösteren aşağı doğru bir oka birleşiyor. Birinci aşama, anlamsal yorumlama, gelen bilgileri bilinen alan kavramlarıyla eşler. Bir ontoloji kavramları tanımlayabilirken, anlamsal model verileri bu kavramların terimleriyle temsil edebilir. Ok, birinci aşamadan ikinci aşamaya işaret eder. İkinci aşama, kanıtın nitelendirilmesi, kaynağını, güncelliğini ve güvenilirliğini denetler ve çalışma zamanı gözlemlerini pozitif, negatif veya eksik olarak sınıflandırır. Bir ok, ikinci aşamadan üçüncü aşamaya, bağlam derlemesine işaret eder. Üçüncü aşama, her kaynağın kimliğini ve otoritesini korur. Bu aşama, kaynakların ayırt edilebilir kaldığını ve yetkinin bağlam penceresi tarafından düzleştirilmediğini belirten, idare edilen mantık bağlamı başlıklı bir kutuya işaret eder.

Yönetim

Control, kimlik doğrulaması, yetkilendirme ve çalışma zamanı idaresi aracılığıyla iş yükünü korur. Sisteme kimlerin erişebileceğini, her arayanın ve temsilcinin neler yapabileceğini ve hangi eylemlerin onay gerektirdiğini belirler. Bu kararları modelde değil uygulama kodunda ve bağlı hizmetlerde uygulayın.

Hangi çalışma zamanı korumalarının uygulaneceğine karar vermek için en iyi güvenlik uygulamalarını izleyin ve tehdit modellemesi gerçekleştirin. Veri akışı diyagramı (DFD), bilgilerin güven sınırlarını aştığı yerler de dahil olmak üzere arayanlar, aracılar, araçlar ve veri depoları arasında nasıl hareket ettiğini gösterir. Erişim denetimlerinin nerede uygulanacağı, veri paylaşımının kısıtlanması ve onayların gerekli kılınacağı yerleri belirlemek için bu analizi kullanın.

Bu güven sınırları, saldırılara karşı savunmanızın bir parçasıdır. Örneğin, alınan içerik veya araç yanıtları kötü amaçlı yönergeler içerebilir. Model bu yönergeleri izliyorsa erişim denetimleri ve onay aşamaları yine de geçerli olmalıdır. Derinlemesine savunma ve Sıfır Güven ilkelerini izleyin. Bu denetimleri, herhangi bir korumayı yeterli olarak ele almak yerine diğer istem enjeksiyonuna karşı savunmalarla birleştirin.

Çağıran ve aracı kimliklerini doğrulayın ve ardından her veri erişimini ve araç eylemini görevi ve hedef kaynağı için yetkilendirin. En az ayrıcalık uygulayın ve altyapı sorumluluğunda tanımlanan erişim gereksinimlerini uygulayın. İş devrederken, çağıranın yetkilendirme bağlamını ve kanıt başvurularını koruyun ve her iletimdeki izinleri yeniden denetleyin. Yetki devri yetkiyi genişletmemelidir. Erişim reddedilirse, başka bir araç veya aracı aracılığıyla reddetmeyi atlamak yerine tanımlı durdurma veya eskalasyon yolunu izleyin.

Çalışma zamanı idaresi ayrıca bütçeler ve hız sınırları gibi gerekli onayları, zorunlu iş akışı adımlarını ve çalışma sınırlarını zorunlu kılar. Yalnızca tekrarlanması güvenli olan işlemleri yeniden deneyin. Bir sınıra ulaşıldığında, sözleşmenin durdurma veya geri dönüş davranışını izleyin. Bu denetimler, iş yükünün daha geniş dayanıklılık tasarımını tamamlar.

Ürün gözden geçirme aracısı örneğinde, erişim atanan gönderimle, geçerli ilkeyle ve moderasyon eylemleriyle sınırlıdır. Yayın iş akışı, onaylanan bir incelemeyi yayımlamadan önce izinleri, gönderi revizyonunu ve ilke sürümünü denetler. Poliçe değişikliklerini ve müşteri hesabı eylemlerini temsilcinin izinlerinin dışında tutun.

Aşağıdaki diyagramda önerilen eylemlerin nasıl değerlendirilip kaydediliyor olduğu gösterilmektedir.

Sol tarafta, model etiketli bir kutu bir eylem önerir. Bir ok, teklifi değerlendiren bir kontrol noktasını gösterir. Kontrol noktasından çıkan ok üç sonuca ayrılır: "Yetkilendirildi" yürütücü bileşenine ulaşır, "onay gerekiyor" çalıştırma işlemini askıya alır ve "reddedildi" yürütmenin gerçekleşmemesine neden olur. Diyagramın en altında yürütme izlemesi etiketli bir kutu, yalnızca yürütmeleri değil, yetkilendirilmiş, reddedilen ve onaya bağlı eylemlerin de kaydedildiğini belirtir.

Geri getirme örneği için bkz. Güvenli bir çok kiracılı RAG çıkarım çözümü tasarlama. Kimlik ve katmanlı koruma yönergeleri için bkz. Kimlik, erişim ve en az ayrıcalık ve Güvenlik tasarımı ilkeleri.

İş akışı düzenlemesi aracılığıyla uygulanan yürütme denetimleri örnekleri için bkz. İş akışı odaklı çok aracılı desenler.

Verify

Verify, tek durumlu denetimleri geliştirici iç döngüsündeki veri kümesi düzeyinde değerlendirmeyle birleştirir.

Tek bir vakayı denetleme

Uygulama sırasında, kaydedilen veya simüle edilmiş yanıtları kullanarak bir test durumunu çalıştırabilir veya yeniden yürütebilirsiniz. Kanıtı, araç çağrılarını, denetim kararlarını ve sonucu davranış sözleşmesi ve senaryosuyla karşılaştırmak için yürütme izlemesini inceleyin. Uygulamanın hatalarını ayıklamak ve iyileştirmek için bulguları kullanın.

Evaluations

Desteklenen senaryolarda davranışı ölçmek için sürümlenmiş bir veri kümesinde değerlendirmeler çalıştırın. Davranış sözleşmesinden ölçümleri ve kabul eşiklerini tanımlayın. Aşağıdaki tabloda, ürün gözden geçirme aracı için senaryolar ve ilişkili ölçüler açıklanmaktadır.

Scenario	Ölçüm
Negatif bir inceleme, ilkenin düşük riskli ölçütlerini karşılar.	Ajanın bunu ne sıklıkla doğru onayladığı.
Gönderim, insan incelemesi gerektiren kişisel bilgiler içerir.	Temsilcinin bunu ne sıklıkta yanlış onayladığı ve gerekli devirlerin yayımlanmadan tamamlanıp tamamlanmadığı.
Politika hizmeti kullanılamıyor.	Gönderinin yayımlanmamış olarak kalıp kalmadığı ve insan incelemesine ulaşıp ulaşmadığı veya iletim başarısız olursa beklemede kalması.

Aynı veri kümesi ve değerlendirici sürümlerini kullanarak adayı ve taban çizgisini karşılaştırın. Daha fazla bilgi için bkz. Yeniden yürütmeyi yapılandırma ve çalıştırma.

Toplam puanların regresyonları gizlememesi için sonuçları senaryoya göre raporlayın. Tutarlılığı denetlemek için test senaryolarını tekrarlayın. Değerlendirmeden önce çalıştırma sayısını ve kabul ölçütlerini tanımlayın. Sonuçlarla davranış sözleşmesini, veri kümesini, değerlendiriciyi ve eşik değeri sürümlerini kaydedin.

Uzun süre çalışan senaryoları ve hata davranışını işletim sınırlarında test edin. Adım ve araç çağrısı sayılarını tanımlayın, ancak tam yolun gerekli olmasını yalnızca sözleşme bunu belirttiğinde şart koşun. Çok aracılı iş yükleri için, devirleri ve uçtan uca sonuçları test edin.

Birim ve tümleştirme testlerinin yanı sıra bu denetimleri çalıştırın. Gerekli senaryo eşiklerinde başarısız olan sürümleri engelleyin. Sürüm yönergeleri için bkz. Benimseme yolu denetim listesi.

İzlemek

Observe, başarılı davranışları, hataları ve bunların nedenlerini belirlemek için üretim çalıştırmalarını analiz eder. Sistem, analizi kolaylaştırmak için kullanıcı geri bildirimi toplamalıdır. Senaryo sınıflandırmasıyla analizi başlatın:

1. Kaydedilen çalıştırmaları görev ve yürütme bağlamını kullanarak sınıflandırın. Her çalıştırmayı ilgili senaryo ve sözleşme sürümleriyle eşleştirin. Gözden geçirme için bilinmeyen veya belirsiz durumları bayrakla işaretle.

2. Sonucu senaryonun beklenen davranışıyla karşılaştırın ve başarıyı veya başarısızlığı değerlendirmek için bu bilgileri kullanıcı geri bildirimiyle birleştirin. Kanıt yetersiz olduğunda vakalar değerlendirilmeden bırakılmalıdır.

3. İzleri ve gözden geçirenlerin geri bildirimlerini kullanarak hataları araştırın. Bulguları bilgi boşlukları, uygulama veya bağımlılık hataları veya belirsiz gereksinimler gibi nedenlere göre gruplandırın.

4. Ürün sahiplerinin, alan uzmanlarının ve mühendislerin bulguları gözden geçirmesini ve neleri değiştireceklerine karar vermelerini sağlayın. Regresyon kapsamına hazırlanmış test senaryolarını eklemeden önce beklenen sonuçları doğrulayın. Her değişikliğin nedenini kaydedin ve yayınlanmadan önce doğrulayın.

Ürün gözden geçirme aracısı örneğinde, kişisel bilgiler içeren bir gönderiyi yayımlanmamış halde tutarken insan incelemesine yönlendirmek başarılı bir davranıştır. Bunun onaylanması bir başarısızlık örneğidir. Bunun yerine görüntü incelemelerini destekleme isteği olası bir kapsam değişikliğine işaret eder.

Görev girişini, araç isteklerini ve yanıtlarını, modele sağlanan alınan içerikleri ve çıkışı yakalayın. Kaynak sürümleri, kontrol kararlarını ve başarısızlıkları koruyun. Kullanıcı ve inceleyici geri bildirimlerini çalıştırma ve sürüme bağlama. Yakalanan verileri en aza indirin, erişim ve saklama sınırlarını zorunlu kılın ve analiz veya veri kümesi derleme işleminden önce replay veri hazırlama kılavuzunu izleyin.

Üretim bulgularını değerlendirmeye bağlama örneği için bkz. ajan gözlemlenebilirliği kalite döngüsü.

Geçiş yolu denetim listesi

İş yükünüzde sonuç doğuran bir davranış etrafında asgari uygulanabilir uygulamayla başlayın.

En küçük kullanışlı ABE uygulaması bir platform değildir. Bu, açık, yeniden yürütülebilir, değerlendirilen ve koşula bağlı bir davranıştır. İlk çalışma döngüsü, belirtme ve doğrulama aşamalarındadır. Ekibin gerçek bir davranış sorununu önlemek, algılamak veya tanılamak için tek bir kontrat kullanabilmesinden önce geniş bir platform oluşturmaktan kaçının.

1. Sınırlanmış, önemli sonuçları olan bir durum seçin ve ürün ve mühendislik sahiplerini belirleyin ve etki alanı uzmanlarını dahil edin.
2. Kanıt ve başarısızlık durumları da dahil olmak üzere gözden geçirilmiş bir davranış sözleşmesi yazın.
3. Normal, sınır, yetersiz kanıt ve bağımlılık hatası durumları için senaryolar tanımlayın. Teste başlamak için bu senaryolardan yapay durumlar oluşturun.
4. Ayrı bir altın veri kümesi için gerçek iş yükü örneklerini toplama ve düzenleme konusunda konu uzmanlarına yol göstermek için yapay örnekleri kullanın.
5. Yeniden oynatma için kararlı araç ve bilgi yanıtlarını yakalayın veya simüle edin.
6. Belirlenimci denetimleri ve yalnızca sözleşmenin gerektirdiği yargı temelli değerlendiricileri ekleyin.
7. Senaryoları sürekli tümleştirmede çalıştırın ve kritik hatalarda sürümleri durdurun.
8. Sözleşmeyi, uygulamayı, kanıt yolunu ve sonucu tanımlamak için üretim çalıştırmalarından yeterli bilgi kaydedin.
9. Gözden geçirilmiş canlı ortam bulgularını regresyon senaryolarına dönüştürün.

İstemlerde, model ayarlarında ve uygulama kodunda yapılan değişiklikler ajan davranışını değiştirebilir. Bu değişiklikleri üretimde kullanmadan önce doğrulayın. Test ettiğiniz sürümleri, değerlendirme kurulumunu ve sonuçları kaydedin. Değişiklikleri aşamalı olarak tanıtmak ve sorunlara neden olursa nasıl kurtulacağını planlamak için güvenli dağıtım uygulamalarını izleyin. Kurtarma planına yapılandırma değişikliklerini ekleyin.

İş yükünüzün neye ihtiyacı olduğunu öğrenirken bu ilk döngünün üzerine inşa edin. Aracıların ve sistemlerin paylaşılan iş tanımlarına ve ilişkilerine ihtiyacı olduğunda, anlamsal veri modeli bu temeli sağlayabilir. Kararlar açık iş kurallarına uyduğunda, kural motoru bu kuralları modelin dışında uygulayabilir. İş yükünüzün gerektirdiği erişim denetimlerini ve çalıştırma kanıtlarını en başından itibaren yerinde tutun ve ardından riskler ve üretim bulguları bunu haklı çıkardıkça izleme ve otomasyon alanlarını genişletin.

Azure'da ABE uygulaması

ABE platformdan bağımsızdır. Azure, Azure’un beş mühendislik sorumluluğunu desteklemek için kullanabileceğiniz hizmetler sağlar.

Aşağıdaki diyagramda her ABE sorumluluğu iş yükünüz için dikkate alınacak Azure hizmetlerle eşlenmektedir.

Beş kutu, ABE sorumluluklarını hizmet seçenekleriyle eşler. Specify kutusunda Azure Repos ve Azure Uygulama Yapılandırması listelenir. Alt kutuda Azure Yapay Zeka Arama, Microsoft Fabric anlamsal modelleri ve ontoloji (önizleme) ile Azure Cosmos DB listelenir. denetim kutusunda Microsoft Entra ID, API Management, App Service, AKS, Container Apps, Azure Yapay Zeka İçerik Güvenliği ve Foundry Agent Service listelenir. Doğrulama kutusunda Azure Pipelines, özel modeller için Azure Machine Learning, Azure Depolama, Foundry evaluation ve Foundry datasets listelenir. Gözlem kutusunda Azure İzleyici, Application Insights ve Log Analytics listelenir.

Her mühendislik sorumluluğu için Azure özelliklerini ekibinizin sürdürdüğü sözleşmeler, denetimler ve gözden geçirme süreçleriyle birleştirin.

Sorumluluk	Azure özellikleri	Ekibinizin çalışması
Belirtmek	Sürüm kontrolü ve iş akışlarını gözden geçirme.	Davranış sözleşmeleri, senaryolar ve çalışma sınırları oluşturma ve sürdürme.
Zemin	Veri erişimi, alma ve anlamsal modelleme.	Kaynak sahipliği, erişim gereksinimleri ve kanıt yeterliliği.
Yönetim	Barındırma, kimlik, ağ geçitleri ve denetim tümleştirme noktaları.	Yetkilendirme, onay ve yürütme kuralları.
Verify	Veri kümesi depolama, değerlendirme hizmetleri ve CI/CD çalıştırma.	Replay uygulaması, beklenen sonuçlar ve sürüm ölçütleri.
İzlemek	Telemetri koleksiyonu, sorgular ve uyarılar.	Kapsam yakalama, temizleme, geri bildirim korelasyonu ve analiz.

Herhangi bir Azure hizmeti seçmeden önce özelliklerinin, bölgelerinin ve API'lerinin iş yükünüzle uyumlu olup olmadığını denetleyin. Zorunlu yaptırım ve yayın denetimleri için genel kullanıma açık (GA) hizmetleri ve uygulamaya ait denetimleri tercih edin. Aşağıdaki bölümlerde bahsedilen özelliklerden bazıları önizleme özellikleridir ve iş yükünüz için uygun olmayabilir.

Azure üzerinde belirtin

Sözleşmeleri, senaryoları, operating envelope'leri ve yeniden yürütme yapılandırmalarını mevcut Git deponuzda (örneğin, Azure Repos veya GitHub) saklayın. Bir değişiklik beklenen davranışı etkilediğinde paylaşılan gözden geçirme sorumluluklarını izleyin. Teknik bakım için mühendislik incelemesini kullanın.

Ground on Azure

Aracıyı, ground sorumluluğu için tanımladığınız yetkili kaynaklara bağlayın. Ürün gözden geçirme ajanı için, gönderimleri ve geçerli olarak onaylanan politikayı almak için web sitesinin mevcut uygulama API'leriyle başlarsınız.

Bilgi kaynakları arasında bilgi almaya ihtiyaç duyduğunuzda Azure Yapay Zeka Arama agentic retrieval seçeneğini göz önünde bulundurun. İsteğe bağlı kaynak başvuruları ve etkinlik günlüğü ile grounding içeriği döndürebilir. Seçtiğiniz geri getirme yaklaşımının maliyetini ve gecikme süresini ölçün.

İş verileriniz zaten Microsoft Fabric içindeyse, Fabric IQ aracı Microsoft Foundry aracılarını anlamsal modellere ve ontoloji öğelerine bağlayabilir. Tümleştirme ve ontoloji özelliği önizleme aşamasındadır. Bağlantının kimlik doğrulamasını, hangi verilere erişebileceğini ve verilerin Azure uyumluluk sınırından çıkıp çıkamayacağını denetleyin.

Semantik tanımları aracı uygulamasından ayrı sürümlendirin ve sürümlerini test kanıtıyla kaydedin. Fabric Git tümleştirmesi önizlemede ontoloji öğelerini destekler.

Denetim ve Azure'da çalıştırma

Foundry Agent Service'te istem aracıları ve özel barındırılan aracılar çalıştırabilirsiniz. Diğer çalışma zamanı veya dağıtım gereksinimleri için AKS, Azure Container Apps veya Azure App Service göz önünde bulundurun. Seçenekleri karşılaştırmak için bkz. Azure işlem hizmeti seçme. Uygulama ve bağlı hizmetlerde yetkilendirme, onay ve yürütme kurallarınızı uygulamaya geçirin.

Foundry aracıları için, desteklenen MCP ve aracıdan aracıya bağlantılarda Microsoft Entra aracı kimliklerini kullanın. Aracı bir kullanıcı adına hareket ettiğinde hem kullanıcının yetkisini hem de aracının yetkisini denetleyin. Yayımlamadan önce, ajanın çalışma zamanında kullanacağı kimliği ve izinleri doğrulayın.

Azure API Management kimlik doğrulama ilkeleri, hız sınırları ve kotalar aracılığıyla paylaşılan MCP uç noktalarını yönetebilir. Çerçevenin çalıştırdığı işlev araçları için uygulamaya ait denetimler eklemek üzere Agent Framework ara yazılımını kullanın. Bu sınırın dışında çalışan araçlar için, bir ağ geçidinde veya aşağı akış hizmetinde zorunlu yetkilendirme ve ilke uygulayın.

Bir eylemin insan onayına ihtiyacı olduğunda function-tool approval kullanın. İş akışı onaylarının yeniden başlatmadan sonra da korunması gerekiyorsa, yürütmeye izin vermeden önce kalıcı kontrol noktası depolaması yapılandırın ve bekleyen onay durumunu geri yükleyin. Durumu değiştiren araçlar için girişleri doğrulayın ve eylem yürütücüsüne idempotentlik korumaları ekleyin. Gerçekleştirme ile sürüm düzenleme ve denetim ayarları.

Azure Yapay Zeka İçerik Güvenliği’deki Prompt Shields, kullanıcı istemlerinde ve dayanak belgelerinde istem enjeksiyonu girişimlerini algılayabilir. Bu kontrolleri yetkilendirme ile birlikte kullanın. İş yükünün davranış sözleşmesindeki engellenen içeriğe nasıl yanıt vereceğini tanımlayın ve bu yanıtı test edin.

Ürün gözden geçirme aracısı için, atanan gönderimlere ve geçerli ilkeye okuma erişimi verilir. Yazma erişimi, gönderimi onaylayan veya insan incelemesi için yönlendiren denetim işlemleriyle sınırlıdır. Gönderim ve ilke sürümü denetimleri yayın iş akışında uygulanır.

Doğrulayın Azure'da

Hazırlanmış yeniden yürütme çalışmalarını ve test sonuçlarını Azure Blob Depolama'da depolayabilirsiniz. Yeniden yürütme yapılandırmalarınızdaki belirli veri kümesi sürümlerine başvurun ve üretimden türetilmiş durumları kaynak yürütmelerine bağlayın. Korumalı holdout vakalarına ve saklanan üretilmiş kanıtlara erişimi kısıtlayın. Kimlik tabanlı erişim, veri koruma ve saklama için Blob Depolama mimarisi kılavuzunu izleyin.

Foundry değerlendirme veri kümelerini kullanarak tamamlanmış yanıtları puanlayabilir veya yeni yanıtlar oluşturup değerlendirmek için bir aracıya giriş gönderebilirsiniz. Denetimli yeniden yürütme için, aracıyı çağırmadan önce bağımlılık bağdaştırıcılarını yapılandırın. Veri kümelerini yönetilen senaryo kitaplığınızın yürütme kopyaları olarak yayımlayın ve aynı holdout erişim kısıtlamalarını uygulayın.

Açık referans değerleri veya kuralları olan ölçütler için belirlenimci denetimleri ve karara dayalı ölçütler için model tabanlı değerlendiricileri kullanın. Foundry özel değerlendiricileri her iki yaklaşımı da ve dış puanlama uç noktalarını da destekler.

Ürün gözden geçirme aracı için kod tabanlı bir denetim, yapılandırılmış kararı standartlar ekibinin beklenen kararıyla karşılaştırabilir. Model tabanlı değerlendirici, açıklamanın ve alıntı yapılan ilke kuralının gönderilen metin göz önünde bulundurulduğunda bu kararı destekleyip desteklemediğini değerlendirebilir. Rubrik değerlendiricileri ve özel değerlendiriciler önizleme aşamasındadır.

Bir gate’te puanları kullanmadan önce değerlendirici aracı uyumluluğunu denetleyin. Azure Yapay Zeka Arama veya Fabric veri aracısı çağrılarını içeren konuşmalar için tool_input_accuracy, groundedness, tool_call_success, tool_call_accuracy veya tool_output_utilization sonuçlarını kullanmayın. Deterministik sözleşme doğrulamalarını veya desteklenen başka bir değerlendirme yöntemini kullanın.

Sonuçları ve izlemeleri, bunları üreten yapılandırmayla her durum için kaydedin. İşlem hattında sürüm eşiklerini uygulayın ve gerekli bir senaryo başarısız olursa sürümü engelleyin. Uygulamaları karşılaştırırken aynı test durumlarını ve değerlendirici sürümlerini kullanın. Azure Machine Learning içinde özel modeller eğitirseniz, bunların sürümlerini yapılandırmaya ekleyin.

Azure'da gözlemleyin

Foundry iz sürme, projeye bağlı Azure İzleyici Application Insights kaynağını kullanır. İhtiyacınız olan ek kanıtları yakalamak için uygulamanızın aracını ve geri getirme kodunu enstrümante edin.

Hangi içeriği kaydetmeniz gerektiğine karar verin. Foundry istemci tarafı izleme tümleştirmesi, ileti içeriğini kaydetme ayarlarını içerir. İzlemenizin gerekli araç yanıtlarını ve alınan içeriği işlem adları ve zamanlamalarıyla birlikte yakalayıp yakalamadığını denetleyin. Telemetriyi dışarı aktarmadan önce hassas yükleri en aza indirin veya gizleyin ve yalnızca veri ilkenizin izin verdiği kanıtları koruyun.

Temizleme gereksinimlerini karşılayan tutulan Application Insights izlemelerini değerlendirmek için izleme değerlendirmesini (önizleme) kullanmayı göz önünde bulundurun. Foundry dışındaki aracılardan gelen desteklenen OpenTelemetry izlemeleri de dahil olmak üzere istekleri yeniden çalıştırmadan mevcut etkileşimleri puanlar. Üretim davranışını araştırmak için bu puanları kullanın ve ardından sürüme almadan önce yeniden yürütme ve değerlendirme yoluyla sonuçta elde edilen uygulama değişikliklerini doğrulayın. Bu özellik genel önizleme aşamasındadır, hizmet düzeyi sözleşmesi yoktur ve üretim iş yükleri için önerilmez. Üretim izleme veya sürüm kararları için buna güvenmeyin.

Davranış hatalarını ve işletim zarfı ihlallerini araştırmak için Log Analytics sorguları ve Azure İzleyici uyarılarını kullanın. Şu anda önizleme aşamasında olan Application Insights Aracısı ayrıntılar görünümü, tek tek çalıştırmaları araştırmanıza yardımcı olabilir. Gözden geçirilmiş bulgular ve hazırlanan vakalar bir sonraki değişiklik ve yeniden yürütme döngüsüne aktarıldı.

Important

Ekibiniz davranış sözleşmesini tanımlar ve sürümler, denetimlerini uygular ve davranış kapısını geçmek için ölçütleri ayarlar. İş yükünün dağıtıma hazır olup olmadığına karar vermek için sürüm doğrulama sonuçlarını kullanın.

Contributors

Microsoft bu makaleyi korur. Bu makaleyi aşağıdaki katkıda bulunanlar yazdı.

Asıl yazarlar:

• Yang Song | Baş Yazılım Mühendisi

Diğer katkıda bulunanlar:

• Chad Kittel | Asıl Yazılım Mühendisi
• Bryan Ostdiek | Sorumlu Veri Bilimci
• Peter Parker | Baş Çözüm Mühendisi, Azure Yapay Zeka Bulut Stratejisti ve Mimarı
• Rama Pyarasani | Multidisciplinary Forward Deployed Engineering Manager
• Ronnie Yates | Genel Müdür, Forward Deployed Engineering

Herkese açık olmayan LinkedIn profillerini görmek için LinkedIn'e oturum açın.

Sonraki Adımlar

• Microsoft Foundry’deki Yapay zeka aracıları
• Yapay zeka aracılarınızı değerlendirme
• Azure Yapay Zeka Arama'te etken bilgi edinimi
• Application Insights ile yapay zeka aracılarını izleme
• Ajan Davranış Sözleşmeleri (araştırma makalesi)

İlgili kaynaklar

• Yapay zeka aracısı tasarım desenleri
• Ajanik erişim destekli üretim
• Makine öğrenimi operasyonları