Application Insights ile yapay zeka aracılarını izleme

Application Insights'taki Aracı ayrıntıları görünümü , Microsoft Foundry, Copilot Studio ve üçüncü taraf aracılar dahil olmak üzere birden çok kaynakta yapay zeka aracılarını izlemek için birleşik bir deneyim sağlar.

Bu özellik telemetriyi ve tanılamayı birleştirerek müşterilerin aracı performansını izlemesine, belirteç kullanımını ve maliyetlerini analiz etmesini, hataları gidermesine ve aracınızın davranışını iyileştirmesine olanak tanır.

Uyarı

Azure Monitor Aracısı Gözlemlenebilirliği, OpenTelemetry Generative AI Semantics temel alır.

Önkoşullar

Aracı ayrıntıları görünümünü kullanabilmeniz için önce yapay zeka aracısı veri toplama uygulamanız gerekir.

Yapay zeka aracılarınızı izleme

Ajan ayrıntıları görünümüne erişin

Telemetri, Application Insights'a iletildikten sonra:

1. Azure portalında Application Insights kaynağınıza gidin.

2. Gezinti menüsünde Aracılar (Önizleme) öğesini seçin.

   

Uyarı

Ayrıca, Foundry'den Temsilci detayları sayfasına da erişebilirsiniz. Aracınızdan Monitoring sekmesine gidin, ardından Azure Monitor'da Görüntüle seçeneğini belirleyin.

İzleri araştır

Belirli ajan çalıştırmalarının detaylarını incelemek için:

1. Aracı ayrıntıları görünümünden birini seçin:

   • Aracı Çalıştırmalarıyla İzleri Görüntüleme - Tüm aracı çalıştırmalarını görüntüleme
   • Gen AI Hataları ile İzlemeleri Görüntüleme - Başarısız veya sorunlu çalıştırmalara odaklanma
   • Araç Çağrıları veya Modeller kutucuklarındaki herhangi bir araç çağrısı veya modeli

   

   Arama katmanı, seçiminizle eşleşen filtrelenmiş izlemeleri görüntüler.

2. Aşağıdakileri yapmak için arama özelliklerini kullanın:

   • İzlemeleri, pahalı işlemleri tanımlamak için kullanılan çoğu belirteç gibi ölçümlere göre sıralayın
   • Belirli olayları yalıtmak için zaman aralığına göre filtreleme
   • İstem içeriğinde arama yap (hassas veri günlüğü etkinleştirildiyse)

3. Kapsamlı analiz için uçtan uca işlem ayrıntıları görünümüne ulaşmak için herhangi bir izleme seçin.

   

Uçtan uca işlem ayrıntıları görünümü

Uçtan uca işlem ayrıntıları artık basit bir görünüm sunuyor. Bu görünümde, çağrılan aracılar, temel alınan büyük dil modeli (LLM), yürütülen araçlar ve daha fazlasını içeren aracı adımları, bir hikaye gibi net bir şekilde gösterilir.

Basit görünüm, gerekli değişiklikleri yapmak için ilgili telemetriyi hızlı bir şekilde bulmanıza ve Foundry'ye veya diğer araçlara geçiş yapmanıza olanak tanır.

Uyarı

Geleneksel görünüme dönmek için üst eylem çubuğunda Basit görünümden ayrıl'ı seçin.

Örneğimizde yüksek jeton kullanımını araştırıyorduk. İşlem ayrıntıları, büyük istem bağlamı ve/veya pahalı bir modelin belirteç kullanımını ve maliyetlerini artırdığını belirlemenize olanak sağlar.

Grafana ile izleme görünümlerini özelleştirme

Application Insights'teki Aracı ayrıntıları görünümü, yapay zeka aracılarınızı izlemek için önceden tanımlanmış, kullanıma hazır bir deneyim sunar. Daha gelişmiş özelleştirme ve görselleştirme gereksinimleri için Aracı ayrıntıları görünümünde üst gezinti çubuğundan Grafana'da Keşfet'i seçebilirsiniz.

Azure Monitor, Gen AI izleme için tasarlanmış, kullanıma başlamanızı kolaylaştıracak önceden oluşturulmuş Grafana panoları içerir.

• Aracı Çerçevesi - Aracı yürütmeyi ve performansı izleme
• Agent Framework iş akışı - Aracı iş akışı desenlerini ve bağımlılıklarını izleme
• Döküm- Foundry'ye özgü ölçüm ve telemetri verilerini görselleştirin

Bu panolar izleme stratejiniz için bir başlangıç noktası görevi görür. Bunları şu şekilde özelleştirebilirsiniz:

• Tercihlerinize uygun farklı görselleştirme panelleri kullanma
• Belirli ölçümleri ortaya çıkaracak yeni sorguları düzenleme veya oluşturma
• Ortamınıza ve kullanım örneklerinize özgü panolar oluşturmak için Kaydet olarak kullanma

Application Insights ile Grafana kullanma hakkında daha fazla bilgi edinmek için Application Insights'ta Grafana ile Panolar ve Azure Monitor Panolarını Grafana ile Kullanma bölümüne bakın.

Sonraki Adımlar

• Telemetri bağıntısıyla Application Insights'ta bağıntının nasıl çalıştığını öğrenin.
• Application Insights tarafından izlenen tüm bileşenlerinizdeki sunucu tarafı telemetri verilerini tek bir görünümde ilişkilendiren uçtan uca işlem tanılama deneyimini keşfedin.