Unity AI Gateway hizmetleri için model kullanımı

Important

Bu özellik Beta sürümündedir. Hesap yöneticileri bu özelliğe erişimi hesap konsolu Önizlemeler sayfasından denetleyebilir. Bkz. Azure Databricks önizlemelerini yönetme.

Bu sayfada, kullanım izleme sistemi tablosunu kullanarak Unity AI Gateway hizmetleri için kullanımın nasıl izleneceği açıklanır.

Kullanım izleme tablosu, bir model hizmeti için istek ve yanıt ayrıntılarını otomatik olarak yakalar ve belirteç kullanımı ve gecikme süresi gibi temel ölçümleri günlüğe kaydeder. Bu tablodaki verileri kullanarak kullanıcıları izleyebilir, maliyetleri izleyebilir ve model hizmeti performansı ve tüketimi hakkında içgörüler elde edebilirsiniz.

Kullanım izleme, Databricks tarafından sağlanan model hizmetlerine yönelik istekleri de yakalar ai_query .

Hesap ve çalışma alanı yöneticileri, İdare Merkezi'ndeki yapay zeka sayfasında yapay zeka kullanımına yönelik birleştirilmiş bir genel bakış görüntüleyebilir.

Requirements

Kullanım tablosunu sorgulama

Unity AI Gateway, kullanım verilerini sistem tablosuna system.ai_gateway.usage kaydeder. Tabloyu kullanıcı arabiriminde görüntüleyebilir veya Databricks SQL'den veya not defterinden sorgulayabilirsiniz.

Note

Yalnızca hesap yöneticilerinin tabloyu görüntüleme veya sorgulama system.ai_gateway.usage izni vardır.

Tabloyu kullanıcı arabiriminde görüntülemek için model hizmeti sayfasındaki kullanım izleme tablosu bağlantısına tıklayarak tabloyu Katalog Gezgini'nde açın.

Databricks SQL'den veya not defterinden tabloyu sorgulamak için:

SELECT * FROM system.ai_gateway.usage;

Tip

Genie Code (Aracı modu) bunu sizin için yapabilir. Şu örnek istemi deneyin:

Query the system.ai_gateway.usage table to analyze AI Gateway usage showing request count and total tokens, grouped by endpoint name for the last 7 days.

Yerleşik kullanım panosu

Note

Bazı çalışma alanlarında henüz Govern açılır menüsü görünmez. Bu çalışma alanlarında bunun yerine Unity AI Gateway sayfasındaki tek başına Pano Oluştur, Panoyu Görüntüle ve Güncelleştir düğmelerini kullanın.

Yerleşik kullanım panosu oluşturma

Hesap yöneticileri kullanımı izlemek, maliyetleri izlemek ve model hizmeti performansı ve tüketimi hakkında içgörüler elde etmek için yerleşik bir Unity AI Gateway kullanım panosu oluşturabilir. Unity AI Gateway sayfasında, sağ üst kısımdaki İdare'ye ve ardından Kullanım Panosu Oluştur'a tıklayın. Pano sorgularını çalıştıran ambar otomatik olarak seçilir.

Note

Gösterge paneli oluşturma, SELECT tablosunda system.ai_gateway.usage izinleri gerektirdiğinden yalnızca hesap yöneticileriyle sınırlıdır. Panonun verileri usage tablonun saklama politikalarına tabidir. Bkz. Hangi sistem tabloları kullanılabilir?.

Yerleşik kullanım panosunun daha yeni bir sürümü kullanılabilir olduğunda, hesap yöneticileri Unity AI Ağ Geçidi sayfasındaki İdare açılan listesinde pano sürümü satırında Güncelleştir'e tıklayabilir.

Panoyu yönetmek için aşağıdaki pano yapılandırma seçeneklerini kullanabilirsiniz:

  • Kapsam: Panonun kapsamının hesap mı yoksa çalışma alanı mı olduğunu seçin.
  • İzinler: Sorguların pano sahibinin izinlerini veya her görüntüleyicinin izinlerini kullanarak çalıştırılıp çalıştırılmayacağını seçin. Bkz. Paylaşılan veri izinleri nelerdir?.
  • Otomatik güncelleştirmeler: Bu seçeneği etkinleştirdiğinizde, daha yeni bir sürüm kullanıma sunulduğunda ve bir hesap yöneticisi Unity AI Ağ Geçidi sayfasını ziyaret ettiğinde pano otomatik olarak güncelleştirilir.

ai-gateway gösterge paneli güncelleme seçenekleri

Pano, sürüm 0.3 veya üzerine güncellendiğinde, pano her 6 saatte bir yenilensin diye otomatik olarak bir zamanlama oluşturulur. Gerekirse, bu zamanlama Lakeview panosunda devre dışı bırakılabilir. Bkz. Zamanlama oluşturma.

Kullanım panosunu görüntüleme

Panoyu görüntülemek için Unity AI Gateway sayfasının sağ üst köşesindeki Yönet'e ve ardından Kullanım Panosu'na tıklayın. Pano yeni bir sekmede açılır. Yerleşik pano Unity AI Gateway model hizmeti kullanımı, performansı ve maliyeti hakkında kapsamlı görünürlüğe sahiptir. Birden çok sayfa izleme isteği, belirteç tüketimi, gecikme süresi ölçümleri, hata oranları, maliyet dökümleri, dış MCP sunucu trafiği ve kodlama aracısı etkinliğini içerir.

ai-gateway kullanım panosu

Pano varsayılan olarak çalışma alanları arası analiz sağlar. Tüm pano sayfaları tarih aralığına ve çalışma alanı kimliğine göre filtrelenebilir.

  • Genel bakış sekmesi: Günlük istek hacmi, zaman içindeki belirteç kullanımı eğilimleri, belirteç tüketimine göre en çok kullanılan kullanıcılar ve toplam benzersiz kullanıcı sayısı gibi üst düzey kullanım ölçümlerini gösterir. Unity AI Gateway etkinliğinin hızlı bir anlık görüntüsünü almak ve en etkin kullanıcıları ve modelleri belirlemek için bu sekmeyi kullanın.
  • Performans sekmesi: Gecikme yüzdebirlik dilimleri (P50, P90, P95, P99), ilk bayt süresi, hata oranları ve HTTP durum kodu dağıtımları gibi önemli performans ölçümlerini izler. Model hizmeti durumunu izlemek ve performans sorunlarını veya güvenilirlik sorunlarını belirlemek için bu sekmeyi kullanın.
  • Kullanım sekmesi: Model hizmetine, çalışma alanına ve istek sahibine göre ayrıntılı tüketim dökümlerini gösterir. Bu sekmede belirteç kullanım düzenleri, istek dağıtımları ve önbellek isabet oranları gösterilir.
  • Maliyet Gözlemlenebilirliği sekmesi: Model hizmetine, hedef modele, kullanıcıya, hizmet etiketlerine ve istek etiketlerine göre maliyet dökümlerini gösterir. Bu sekme, dış modeller için tahmini maliyeti de içerir. Bkz. Unity AI Gateway maliyetini izleme.
  • Dış MCP Sunucusu sekmesi: Dış MCP sunucu trafiği için istek hacmini, hata oranlarını, kullanıcıları ve bağlantıları ve günlük kullanım eğilimlerini gösterir.
  • Kodlama Aracıları sekmesi: İmleç, Claude Code, Gemini CLI ve Codex CLI gibi tümleşik kodlama aracılarının etkinliğini izler. Bu sekmede etkin günler, kodlama oturumları, işlemeler ve geliştirici aracı kullanımını izlemek için eklenen veya kaldırılan kod satırları gibi ölçümler gösterilir. Daha fazla ayrıntı için Kodlama aracı gösterge paneli'ne bakın.

Kullanım tablosu şeması

Tabloda system.ai_gateway.usage aşağıdaki şema vardır:

Sütun adı Türü Description Example
account_id STRING Hesap kimliği. 11d77e21-5e05-4196-af72-423257f74974
workspace_id STRING Çalışma alanı kimliği. 1653573648247579
request_id STRING İstek için benzersiz bir tanımlayıcı. b4a47a30-0e18-4ae3-9a7f-29bcb07e0f00
invocation_id STRING Her bir çıkarım çağrısı için benzersiz bir tanımlayıcı. Koruma kontrolleri veya çok turlu ajan çağrıları gibi birden çok çağrı, aynı request_id öğesini paylaşabilir. Bunları ayırt etmek için kullanın invocation_id . c0a8012e-9f3b-4d21-8a7e-1b2c3d4e5f60
schema_version INTEGER Kullanım kaydının şema sürümü. 1
endpoint_id STRING Unity AI Gateway model hizmetinin benzersiz kimliği. 43addf89-d802-3ca2-bd54-fe4d2a60d58a
endpoint_name STRING Unity AI Gateway model hizmetinin adı. databricks-gpt-5-2
endpoint_tags MAP Oluşturma veya güncelleştirme zamanında model hizmetinde yapılandırılan etiketler. Model hizmetine yönelik tüm istekler için geçerlidir ve hizmetleri takıma, maliyet merkezine veya projeye göre kategorilere ayırmak için kullanışlıdır. {"team": "engineering"}
endpoint_metadata STRUCT creator, creation_time, last_updated_time, destinations, inference_table ve fallbacks dahil olmak üzere model hizmeti meta verileri. {"creator": "user.name@email.com", "creation_time": "2026-01-06T12:00:00.000Z", ...}
event_time TIMESTAMP İsteğin alındığı zaman damgası. 2026-01-20T19:48:08.000+00:00
latency_ms LONG Milisaniye cinsinden toplam gecikme süresi. 300
time_to_first_byte_ms LONG İlk bayta ulaşma süresi, milisaniye cinsinden. 300
destination_type STRING Hedef türü (örneğin, dış model veya temel model). PAY_PER_TOKEN_FOUNDATION_MODEL
destination_name STRING Hedef modelin veya sağlayıcının adı. databricks-gpt-5-2
destination_id STRING Hedefin benzersiz kimliği. 507e7456151b3cc89e05ff48161efb87
destination_model STRING İstek için kullanılan belirli model. GPT-5.2
requester STRING İsteği yapan kullanıcı veya hizmet sorumlusunun kimliği. user.name@email.com
requester_type STRING İstek sahibinin türü (kullanıcı, hizmet sorumlusu veya kullanıcı grubu). USER
ip_address STRING İstekte bulunanın IP adresi. 1.2.3.4
url STRING İsteğin URL'si. https://<workspace-url>/ai-gateway/mlflow/v1/chat/completions
user_agent STRING İstekte bulunanın kullanıcı aracısı. OpenAI/Python 2.13.0
api_type STRING API çağrısının türü (örneğin, sohbet, tamamlamalar veya eklemeler). mlflow/v1/chat/completions
request_tags MAP Databricks-Ai-Gateway-Request-Tags HTTP üst bilgisi kullanılarak ayrı ayrı isteklerle gönderilen, kullanıcı tarafından sağlanan etiketler. Kullanımı belirli projelere, ekiplere, ortamlara veya son kullanıcılara bağlamak için istek etiketlerini kullanın. Bkz. Kullanım izleme için etiketleme istekleri ve Kullanım izleme için etiket istekleri. {"project": "chatbot", "team": "ml-platform"}
invocation_metadata STRUCT Çıkarım çağrısı hakkında sistem tarafından oluşturulan meta veriler. çağrısını başlatan hizmeti veya yolu içerir source. {"source": "EXTERNAL_CLIENT"}
input_tokens LONG Giriş belirteçlerinin sayısı. 100
output_tokens LONG Çıkış belirteçlerinin sayısı. 100
total_tokens LONG Toplam belirteç sayısı (giriş + çıkış). 200
token_details STRUCT Ayrıntılı belirteç dökümü, cache_read_input_tokens, cache_creation_input_tokens ve output_reasoning_tokens dahil. {"cache_read_input_tokens": 100, ...}
response_content_type STRING Yanıtın içerik türü. application/json
status_code INT Yanıtın HTTP durum kodu. 200
routing_information STRUCT Geri dönüş girişimleri için yönlendirme ayrıntıları. İstek sırasında denenen her model için attempts, priority, action, destination, destination_id, status_code, error_code, latency_ms, start_time ve end_time içeren bir dizi içerir. {"attempts": [{"priority": "1", ...}]}

Kullanım izleme için etiket istekleri

İstek etiketleri, çağıranın tek tek isteklere iliştirtiği özel anahtar-değer çiftleridir. Proje, ekip, ortam, son kullanıcı veya kuruluşunuzla ilgili başka bir boyuta göre kullanımı özniteliklendirmek için istek etiketlerini kullanın. İstek etiketleri tabloya system.ai_gateway.usage kaydedilir ve kullanım verilerini filtrelemek, toplamak ve analiz etmek için kullanılabilir.

Tekil istekleri etiketlemek için, dize anahtarlarını dize değerleriyle eşleyen bir JSON nesnesi içeren Databricks-Ai-Gateway-Request-Tags HTTP üstbilgisini ekleyin. İstek etiketleri, kullanım tablosundaki request_tags sütununa ve çıkarım tablolarına kaydedilir.

REST API, OpenAI SDK ve Anthropic SDK ile istek etiketlerinin nasıl ayarlanacağını gösteren örnekler için Kullanım izleme için istekleri etiketleme bölümüne bakın.

Örneğin, istek etiketlerini kullanarak kullanımı projeye göre toplayabilirsiniz:

SELECT
  request_tags['project'] AS project,
  COUNT(*) AS request_count,
  SUM(total_tokens) AS total_tokens
FROM system.ai_gateway.usage
WHERE request_tags['project'] IS NOT NULL
GROUP BY request_tags['project']
ORDER BY total_tokens DESC;

Limitations

  • Unity AI Gateway, 1 MiB'den büyük akışsız ve eklemeyen yanıtlar için belirteç kullanımını izlemez.

Ek kaynaklar

  • Last updated on