Üretken yapay zekada gözlemlenebilirlik (klasik)

Uyarı

Bu belge , Microsoft Foundry (klasik) portalını ifade eder.

Yeni portal hakkında bilgi edinmek için Microsoft Foundry (yeni) belgelerini görüntüleyin.

Önemli

Bu makalede işaretlenen (önizleme) öğeler şu anda genel önizleme aşamasındadır. Bu önizleme, hizmet düzeyi sözleşmesi olmadan sağlanır ve üretim iş yükleri için önerilmez. Bazı özellikler desteklenmiyor olabileceği gibi özellikleri sınırlandırılmış da olabilir. Daha fazla bilgi için bkz. Microsoft Azure Önizlemeleri için Uygun Kullanım Koşulları.

Yapay zeka uygulama yaşam döngüsü, yapay zeka sistemlerinin doğru, ilgili ve güvenilir çıkışlar sunmasını sağlamak için sağlam değerlendirme çerçeveleri gerektirir. Sıkı değerlendirme olmadan yapay zeka sistemleri yanlış, tutarsız, zayıf topraklanmış veya zararlı olabilecek yanıtlar üretme riski taşır. Gözlemlenebilirlik, ekiplerin model seçiminden üretim izlemesine kadar geliştirme yaşam döngüsü boyunca yapay zeka çıkışlarının hem kalitesini hem de güvenliğini ölçmesini ve geliştirmesini sağlar.

Uyarı

Değerlendirme için Microsoft Foundry SDK'sı ve Foundry portalı genel önizleme aşamasındadır, ancak API'ler genellikle model ve veri kümesi değerlendirmesi için kullanılabilir (aracı değerlendirmesi genel önizlemede kalır). Bu makalede işaretlenen Azure AI Değerlendirme SDK'sı ve değerlendiriciler şu anda her yerde genel önizleme aşamasındadır.

Gözlemlenebilirlik nedir?

Yapay zeka gözlemlenebilirliği, yapay zeka sistemlerini yaşam döngüleri boyunca izleme, anlama ve sorunlarını giderme özelliğini ifade eder. Ekipler performans, kalite, güvenlik ve işletim durumuyla ilgili görünürlük elde etmek için otomatik kalite geçitlerini izleyebilir, değerlendirebilir, CI/CD işlem hatlarıyla tümleştirebilir ve değerlendirme ölçümleri, günlükler, izlemeler ve model çıkışları gibi sinyalleri toplayabilir.

Temel gözlemlenebilirlik özellikleri

Microsoft Foundry, yapay zeka uygulama yaşam döngüsü boyunca kapsamlı gözlemlenebilirlik sağlamak için birlikte çalışan üç temel özellik sağlar:

Evaluation

Değerlendiriciler geliştirme boyunca yapay zeka yanıtlarının kalitesini, güvenliğini ve güvenilirliğini ölçer. Microsoft Foundry, genel amaçlı kalite ölçümleri (tutarlılık, akıcılık), RAG'a özgü ölçümler (bağlam dayanağı, alaka düzeyi), güvenlik ve emniyet (nefret/adaletsizlik, şiddet, korumalı materyaller) ve araca özgü ölçümler (araç çağrısı doğruluğu, görev tamamlama) için yerleşik değerlendiriciler sağlar. Ekipler ayrıca etki alanına özgü gereksinimlerine göre uyarlanmış özel değerlendiriciler de oluşturabilir.

Yerleşik değerlendiricilerin tam listesi için bakınız: Yerleşik değerlendiriciler başvurusu.

İzleme

Üretim izleme, dağıtılan yapay zeka uygulamalarınızın gerçek dünya koşullarında kaliteyi ve performansı korumasını sağlar. Azure İzleyici Application Insights ile tümleşik olan Microsoft Foundry, operasyonel ölçümleri, belirteç tüketimini, gecikme süresini, hata oranlarını ve kalite puanlarını izleyen gerçek zamanlı panolar sunar. Ekipler, çıkışlar kalite eşiklerinde başarısız olduğunda veya zararlı içerik üreterek hızlı sorun çözümüne olanak tanıyacak uyarılar ayarlayabilir.

Üretim izlemesini ayarlama hakkında ayrıntılı bilgi için bkz. Aracıları izleme panosu.

Takip Etme

Dağıtılmış izleme, yapay zeka uygulamalarının yürütme akışını yakalar ve LLM çağrıları, araç çağrıları, aracı kararları ve hizmetler arası bağımlılıklar hakkında görünürlük sağlar. OpenTelemetry standartlarında oluşturulan ve Application Insights ile tümleşik olan izleme, karmaşık aracı davranışlarında hata ayıklamaya, performans sorunlarını belirlemeye ve çok adımlı akıl yürütme zincirlerini anlamaya olanak tanır. Microsoft Foundry, LangChain, Semantik Çekirdek ve OpenAI Aracıları SDK'sı gibi popüler çerçeveler için izlemeyi destekler.

İzleme uygulaması hakkında yönergeler için bkz. Uygulamanızı izleme kılavuzu ve SDK ile Aracılar Kullanarak İzleme.

Değerlendiriciler nedir?

Değerlendiriciler, geliştirme yaşam döngüsü boyunca yapay zeka yanıtlarının kalitesini, güvenliğini ve güvenilirliğini ölçen özel araçlardır.

Yerleşik değerlendiricilerin tam listesi için bakınız: Yerleşik değerlendiriciler başvurusu.

Değerlendiriciler, güvenilirlik, güvenlik ve etkinliğin sağlanması için yapay zeka yaşam döngüsünün her aşamasına entegre edilir.

Model seçimini, yapay zeka uygulaması oluşturmayı ve kullanıma hazır hale getirmeyi gösteren yapay zeka uygulama yaşam döngüsü diyagramı.

Yapay zeka uygulama yaşam döngüsü değerlendirmesinin üç aşaması

Temel model seçimi

Farklı modellerdeki kalite, görev performansı, etik konular ve güvenlik profillerini karşılaştırarak doğru temel modeli seçin.

Mevcut Araçlar: Microsoft Foundry benchmark, genel veri kümeleri veya kendi verilerinizdeki modelleri karşılaştırmak için kullanılır ve belirli model uç noktalarını test etmek için Azure Yapay Zeka Değerlendirme SDK'sı.

Üretim öncesi değerlendirme

Dağıtımdan önce kapsamlı test, yapay zeka aracınızın veya uygulamanızın üretime hazır olmasını sağlar. Bu aşama, değerlendirme veri kümeleri aracılığıyla performansı doğrular, uç durumları tanımlar, sağlamlığı değerlendirir ve görev uyumluluğu, temellik, ilgi ve güvenlik gibi önemli ölçümleri ölçer. Üretime hazır, çok dönüşlü konuşmalar, araç çağrıları ve durum yönetimi olan aracılar oluşturmak için Foundry Agent Service'e bakın.

Altı adımlı modeller ve uygulamalar için üretim öncesi değerlendirme diyagramı.

Değerlendirme araçları ve yaklaşımları:

• Kendi verilerinizi getirin: Kalite, güvenlik veya özel değerlendiricilerle kendi verilerinizi kullanarak yapay zeka aracılarını ve uygulamalarını değerlendirin. Foundry'nin değerlendirme sihirbazını veya Azure AI Değerlendirme SDK kullanın ve Foundry portalında sonuçları görüntüleyin.

• Yapay zeka kırmızı ekip oluşturma aracısı: Yapay zeka kırmızı ekip oluşturma aracısı , güvenlik ve güvenlik açıklarını belirlemek için Microsoft'un PyRIT çerçevesini kullanarak karmaşık saldırgan saldırıların simülasyonunu oluşturur. İnsan unsurunun devrede olduğu süreçlerle en iyi şekilde kullanılır.

Alternatif olarak, üretici yapay zeka uygulamalarınızı test etme amacıyla Foundry portalını da kullanabilirsiniz.

Üretim sonrası izleme

Dağıtımdan sonra sürekli izleme , yapay zeka uygulamanızın gerçek dünya koşullarında kaliteyi korumasını sağlar:

• operasyonel ölçümler: Temel yapay zeka aracısı operasyonel ölçümlerinin düzenli ölçümü
• Sürekli değerlendirme: Üretim trafiğinin örneklenmiş hızda kalite ve güvenlik değerlendirmesi
• Zamanlanmış değerlendirme: Sistem kaymasını algılamak için test veri kümelerini kullanarak zamanlanmış kalite ve güvenlik değerlendirmesi
• Zamanlanmış kırmızı ekip oluşturma: Güvenlik ve güvenlik açıklarını araştırmak için zamanlanmış saldırgan testler
• Azure İzleyici uyarıları: Çıkışların kalite eşikleri başarısız olduğunda veya zararlı içerik ürettiğinde bildirimler

Azure İzleyici Application Insights ile tümleşik olan Foundry Gözlemlenebilirlik panosu performans, güvenlik ve kalite ölçümleri hakkında gerçek zamanlı içgörüler sunarak hızlı sorun çözümüne olanak tanır ve kullanıcı güvenini korur.

Değerlendirme bilgi sayfası

Amaç	Süreç	Parametreler, rehberlik ve örnekler
İzleme nasıl ayarlanır?	Dağıtılmış izlemeyi yapılandırma	Uygulamanızı izleme Agent SDK ile izleme
Ne için değerlendirme yapıyorsun?	İlgili değerlendiricileri tanımlama veya oluşturma	Yerleşik değerlendiriciler Özel değerlendiriciler Python SDK örnekleri C# SDK örnekleri
Hangi verileri kullanmalısınız?	İlgili veri kümesini yükleyin veya oluşturun	Yapay veri kümesi oluşturma Bulutta yapay zeka kırmızı ekip testi yürütme
Değerlendirmeler nasıl çalıştırılır?	Değerlendirmeyi çalıştırma	Aracı değerlendirme çalıştırmaları Uzak bulut çalıştırma Yerel çalıştırma
Modelim/uygulamam nasıl performans göstermiş?	Sonuçları analiz etme	Değerlendirme sonuçlarını görüntüleme
Nasıl geliştirebilirim?	Değerlendirme sonuçlarını analiz etme ve aracıları iyileştirme	Değerlendirmeleri yeniden çalıştırarak aracıları iyileştirme, bkz . Portalda üretken yapay zeka modellerini ve uygulamalarını değerlendirme. Değerlendirme sonuçlarını analiz etme.

Bölge desteği, hız sınırları ve sanal ağ desteği

Hangi bölgelerin yapay zeka destekli değerlendiricileri desteklediğini, değerlendirme çalıştırmalarına uygulanan hız sınırlarını ve ağ yalıtımı için sanal ağ desteğinin nasıl yapılandırıldığını öğrenmek için bkz. bölge desteği, hız sınırları ve değerlendirme için sanal ağ desteği.

Pricing

Risk ve güvenlik değerlendirmeleri ve sürekli değerlendirmeler gibi gözlemlenebilirlik özellikleri, Azure fiyatlandırma sayfanızda listelenen tüketime göre faturalandırılır.

Önemli

Ajanlar çalışma ortamında yapılan değerlendirmeler, tüm Foundry projeleri için varsayılan olarak etkindir, ve tüketim bazlı faturalamaya dahil edilir. Oyun alanı değerlendirmelerini kapatmak için ajanların oyun alanında ölçüm kutusunu seçin ve tüm değerlendiricilerin seçimini kaldırın.

Ajanlar oyun alanının ve seçili ölçüm kutusunun gösterildiği Döküm portalının ekran görüntüsü.

İlgili içerik

• Yerleşik değerlendiriciler referansı
• Değerlendirme için sanal ağ desteği
• Azure AI Değerlendirme SDK'si ile Değerlendirin
• Foundry kullanarak üretken yapay zeka uygulamalarını değerlendirme
• Dökümhane portalında değerlendirme sonuçlarına bakın
• Döküm Saydamlığı Notu