Unity AI Gateway gözlemlenebilirliği

Unity AI Gateway gözlemlenebilirliği, Unity Kataloğu sistem tabloları tarafından desteklenen tek bir kontrol düzleminden her yapay zeka hizmeti için maliyet, kullanım, performans ve erişimi izlemenizi sağlar. Ekipler organizasyon genelinde kodlama ajanları, yardımcı pilotlar ve özel ajanları benimsedikçe, hangi modellere veya araçlara kimlerin eriştiğini, maliyetlerinin ne kadar olduğunu ve uç noktaların sağlıklı olup olmadığını görmek zorlaşıyor. Her istek Unity AI Gateway üzerinden geçtiği için, bu soruları tek bir yerde yanıtlayabilirsiniz.

Note

Bu sistem tablolarına erişim varsayılan olarak hem hesap hem de metastore yöneticisi rolleri gerektirir. Yöneticiler, sistem tablolarına erişimi yönetebilir veya tablo erişimi vermeden kullanım analizini paylaşmak için AI Gateway kullanım panosunu yayımlayabilir.

Requirements

Maliyeti izleme

Workspace UI'den, AI Gateway > Govern > Usage Dashboard > Maliyet Analizi'ne gidip uç nokta, Azure Databricks tarafından sağlanan temel model veya kullanıcı tarafından zaman içinde dolar harcamalarını takip edebilirsiniz. Yerleşik dashboard, kullanım ve faturalama tablolarından yararlanır:

Note

Dış model harcamaları, her sağlayıcının yayımlanan fiyatlarından hesaplanır ve yalnızca bilgilendirme niteliğindedir. Bkz. Dış modeller.

Harcamaları özel boyutlara göre ilişkilendirmek için, maliyetleri işletme birimine, projeye veya kuruluşunuzun önem verdiği herhangi bir boyuta göre gruplandırmak üzere istek ya da hizmet etiketlerini kullanın (bkz. Kullanıcıya, ekibe veya projeye göre temel model harcamalarını izleme).

Bkz. Unity AI Gateway maliyetini analiz et.

Monitör kullanımı ve performansı

Unity AI Gateway kullanım paneli (AI Gateway > Govern > Usage Dashboard), gateway üzerinden yönetilen tüm uç noktalar için talep hacmi, token tüketimi ve gecikmeyi takip eder. Her model veya MCP Servisi'nin ayrıca Katalog Explorer arayüzünden çıkmadan sağlık izleme için yerleşik bir Metrikler sekmesi vardır. Daha derin analiz için, gateway üzerinden yönlendirilen her istek için token sayıları, gecikme, talep eden ve talep etiketleri gibi kullanım metriklerini analiz etmek üzere tabloyu sorgulayın system.ai_gateway.usage ( bkz. kullanım tablosu şeması).

Note

Unity AI Gateway uç noktaları günlüklerini system.ai_gateway.usage hedefine yazar; buna karşılık model sunma uç noktaları (eski) günlüklerini system.serving.endpoint_usage hedefine yazar.

Yaygın kullanımlar:

  • Tüm yapay zeka hizmetlerinizi tek bir yerden, yapay zeka yığınınızda izleyin ve optimize edin
  • Ekipler arasında kodlama ajanının benimsenmesini ve model popülaritesini takip edin
  • Optimizasyon fırsatlarını tespit etmek için en aktif kullanıcıları, hizmetleri ve modelleri belirleyin

Bkz. Track model kullanımı.

İstekleri ve yanıtları inceleyin

Bir model servisindeki çıkarım tablolarını , istek ve yanıt yüklerini Unity Katalog tablosuna kaydetmek için etkinleştirin. Çıkarım tablolarını kullanarak şunları yapabilirsiniz:

  • Başarısız veya beklenmeyen yanıtlar için sorun giderme
  • Kişisel olarak tanımlanabilir bilgilerin maskelenmesi gibi koruma mekanizmalarının düzgün çalıştığını doğrulayın
  • Denetim hassas veri maruziyeti

Bkz. Çıkarım tablolarına talepleri ve yanıtları kaydet.

Denetleme erişimi

Kimin hangi yapay zeka hizmetine ne zaman eriştiğini kanıtlamak için system.access.audit tablosunu sorgulayın. Bir insan arayanı onun adına hareket eden bir ajandan ayırt etmek için, run_by içindeki run_asve identity_metadata alanlarını kullanın.

Yaygın kullanımlar:

  • Uyumluluk ve düzenleyici raporlama için bir erişim yolu oluşturun
  • İnsan arayanı onun adına hareket eden bir ajandan ayırt etmek
  • Ekiplerinizin kullandığı kodlama ajanları arasında merkezi bir denetim izi tutun

bkz. Denetim günlüğü sistem tablosu referansı.

Bağımlılıkları izleme

Lineage, temel modeller ile Model Hizmetler arasındaki bağımlılıkları ve bunların sonraki tüketicilerini takip eder. Bir Model Hizmetin kullanımdan kaldırılmasının veya değiştirilmesinin etkisini ölçmek ve sahiplerini bilgilendirmek için lineage'i kullanın.

Bkz. Unity Catalog'da Veri Soyağacı.

Ek kaynaklar

  • Last updated on