Azure SRE Aracısı'nda aracı deney alanı

Değişiklikleri dağıtmadan önce özel aracı davranışını gerçek zamanlı olarak test edin. Bölünmüş ekran düzeninde anında geri bildirimle yönergeleri, araçları ve iletimleri düzenleyin. Yapay zeka destekli puanlama ve hızlı düzeltmelerle aracı kalitesini değerlendirin.

Sorun

Etkili aracı yapılandırmaları oluşturmak yinelemeli bir işlemdir. Siz yönergeler yazar, araçları atarsınız ve teslimleri ayarlarsınız. Temsilcinizin amacını yanlış anladığını veya kritik bir araç eksikliğini yalnızca dağıtımdan sonra fark edebileceğinizi keşfedebilirsiniz. Her düzenleme, dağıtma, test etme ve düzeltme döngüsü, zaman kaybına neden olur ve üretim iş akışlarını kesintiye uğratır.

Ayrılmış bir test ortamı olmadan, nasıl davrandıklarını görmek için değişiklikleri dağıtırsınız. Gerçek iş parçacıklarını etkileyen canlı konuşmalarda test edebilirsiniz. Yönergelerinizin yeterince açık olup olmadığını tahmin edebilirsiniz.

Oyun alanı nasıl çalışır?

Oyun alanı, Tuval ve Tablo görünümleriyle birlikte Agent Canvas'ta ayrılmış bir görünümdür. Görünüm geçiş düğmesinden Test Oyun Alanı'nı seçerek düzenleyip test edebileceğiniz bölünmüş ekran ortamına girebilirsiniz.

Neyi test etmek istediğinizi seçin

Test etmek istediğiniz öğeyi seçmek için üstteki Özel ajan/araç açılır listesini kullanın.

Varlık	Neleri test edebilirsiniz?
Özel ajan	Canlı sohbette yönergeler, araçlar, iletimler ve bellek
Temsilciniz	Orkestratör komut istemini geçersiz kılın ve yönlendirme davranışını test edin
Sistem aracı	Özel parametrelerle yerleşik araçları yürütme
Kusto aracı	Bağlı kümelerinizde sorgu çalıştırma

Yan yana düzenleme ve test

Özel ajanlar için oyun alanı iki panele ayrılır.

Düzenleyicisi:

• Form görünümü: Özel aracı adını, yönergeleri, devretme yönergelerini, özel aracı devretme işlemini, araçları ve bilgi bankası erişimini düzenleyin.
• YAML görünümü: Tam aracı yapılandırmasını YAML olarak düzenleyin.

Test etme:

• Test sekmesi: Geçerli yapılandırmayı kullanarak aracınızla sohbet edin.
• Değerlendirme sekmesi: Yapay zeka destekli kalite analizini çalıştırın.

Uyarı

Yapılandırmayı değiştirdiğinizde, değişikliklerinizi kaydetmek için Uygula'yı veya değişiklikleri geri almak için İptal et'i seçene kadar sohbet girişi devre dışı bırakılır. Bu davranış eski yapılandırmaların test edilmesini engeller. Uygula'nın seçilmesi, güncelleştirilmiş yapılandırmayı sıfırdan test edebilmeniz için yeni bir sohbet yazışması da başlatır.

Bu yaklaşımı farklı kılan nedir?

Canlı konuşmalardaki testlerden farklı olarak, oyun alanı değişikliklerin üretim iş parçacıklarını etkilemediği yalıtılmış bir ortam sağlar. Bölünmüş ekran düzeni, görünümler arasında geçiş yapmadan veya dağıtımları beklemeden yönerge değişikliklerinin etkisini hemen gördüğünüz anlamına gelir.

Değerlendirme özelliği el ile test etme özelliğinin ötesine geçer. Yapay zeka, eksik olabilecek sorunları ortaya çıkarabilmek için aracı yapılandırmanızı ve sohbet davranışınızı analiz eder: belirsiz yönergeler, eksik araçlar, güvenlik boşlukları ve amaç yanlış hizalaması.

Önce	Sonra
Değişiklikleri dağıtın, ardından canlı sohbette test edin	Yalıtılmış bir ortamda anında test edin
Yönergelerin açık olup olmadığını tahmin edin	Yapay zeka destekli netlik puanlarını alma
Olaylar sırasında eksik araçları ve gereçleri bulma	Değerlendirme aracı boşluklarını proaktif olarak ortaya çıkar
Düzenleme ve test için birden çok sekme arasında geçiş yapma	Düzenleyici ve sohbeti yan yana kullanarak bölünmüş ekran kullanma

Aracı kalitesini değerlendirme

Değerlendirme sekmesi, aracı yapılandırmanız için yapay zeka destekli kalite puanlaması sağlar. Geçerli kurulumunuzu ve son sohbet davranışınızı analiz etmek için Değerlendir'i seçin.

Değerlendirme aşağıdaki puanları döndürür:

Puan	Ölçüleri
Genel	Birleşik kalite puanı (0-100)
Niyet eşleşmesi	Ajanınızın davranışı hedefiyle ne ölçüde uyum sağlıyor (1-5)
Tamlık	İstemin rol, hedef ve operasyonel yönergeleri kapsayıp kapsamadığı
Araç uyumu	Doğru araçların yapılandırılıp yapılandırılmadığı
İstem netliği	Yönergeler ne kadar net ve eyleme dönüştürülebilir
Eyleme Geçilebilirlik	Yanıtların somut, yürütülebilir sonraki adımları içerip içermediği
Safety	Hata işleme, onay istemleri ve korumalar

Hızlı düzeltmeler

Değerlendirme iyileştirmeleri tanımladığında Gözden geçir ve uygula'yı seçerek hızlı düzeltmeler iletişim kutusunu açın. İstediğiniz düzeltmeleri seçin, YAML farkını önizleyin ve ardından Seçili düzeltmeleri kabul et düğmesini kullanın. Düzenlemeye devam etmeyi veya hemen kaydetmeyi seçebilirsiniz.

Tip

Birkaç test konuşması yaptıktan sonra değerlendirmeyi başlatın. Değerlendirme, daha doğru puanlama sağlamak için yapılandırmanızla birlikte sohbet davranışını da dikkate alır.

Uyarı

Değerlendirmeyi çalıştırdıktan sonra aracı yapılandırmasını değiştirirseniz sonuçlar güncel değil olarak işaretlenir ve yeniden değerlendirmeniz istenir. Benzer şekilde, bir değerlendirmeden sonra yeni sohbet etkinliği sonuçları eski olarak işaretler. En son testlerinizi yansıtan içgörüler elde etmek için yeniden değerlendirin.

Araçları yalıtarak test edin

Sistem araçlarını ve Kusto araçlarını aracı oyun alanından bağımsız olarak test edebilirsiniz.

Sistem araçları

Yerleşik özellikleri bağımsız olarak test etmek için Özel aracı/Araç açılan listesinden bir sistem aracı seçin. Ham JSON çıkışını görmek için parametre değerlerini girin ve Yürütme Aracı'nı seçin.

Kusto araçları

Sorgunuzu bağlı kümelerde test etmek için bir Kusto aracı seçin. Test panelinde satır sayıları, sütunlar ve yürütme süresi içeren sorgu sonuçları gösterilir. KQL'nizi ayarlayın ve yeniden çalıştırın.

Adım adım yönergeler için bkz . Oyun alanında bir aracı test edin.

Yapay zeka destekli yapılandırma

Oyun alanı, özel aracı yönergelerini iyileştirmeye yönelik iki yapay zeka yardım özelliği içerir:

• Yapay zeka ile geliştirme: Yönergelerinizi ve iletim açıklamanızı yerinde yeniden yazar. Bu özellik geçerli metninizi doğrudan yapay zeka ile geliştirilmiş bir sürümle değiştirir, bu nedenle kaydetmeden önce değişiklikleri gözden geçirin.
• Yapay zeka önerilerini görüntüleme: Formun yanında yapay zeka önerilerini gösteren salt okunur bir panel açar: iyileştirme önerileri, olası sorunlar hakkında uyarılar ve yönergelerinizin ve iletim açıklamanızın geliştirilmiş sürümleri. Bu özellik yapılandırmanızı değiştirmez. Düzenleme sırasında başvuru olarak kullanın.

Başlayın

Kaynak	Öğrendikleriniz
Oyun alanında bir aracı test edin	Oyun alanı arayüzünün adım adım kılavuzu

İlgili içerik

Kaynak	Açıklama
Özel ajanlar	Özel aracılar nasıl çalışır ve ne zaman kullanılır?
Kusto araçları	Temsilciniz için yeniden kullanılabilir KQL sorguları oluştur
Python kodu yürütme	Özel Python araçları oluşturma