Aracılığıyla paylaş

Model hizmet maliyetlerini izleme

Bu makalede, Azure Databricks hesabınızda mozaik yapay zeka modeli sunma uç noktalarının maliyetini izlemek için sistem tablolarının nasıl kullanılacağına ilişkin örnekler sağlanmaktadır.

Gereksinimler

Faturalama kullanım sistemi tablosu SKU'su

Faturalanabilir kullanım sistemi tablosunu kullanarak Azure Databricks'te model sunma maliyetlerini izleyebilirsiniz. Faturalama kullanım sistemi tablosu etkinleştirildikten sonra tablo, Databricks hesabınızdaki en son kullanımla otomatik olarak doldurulur. Maliyetler system.billing.usage tablosunda sku_name sütununda aşağıdakilerden biri olarak görünür:

sku_name Açıklama
<tier>_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_<region> Bu SKU, bir uç nokta sıfıra ölçeklendirilmesinin ardından başlatıldığı zaman tahakkuk eden tüm DBU'ları içerir.
<tier>_SERVERLESS_REAL_TIME_INFERENCE_<region> Diğer tüm model sunma maliyetleri bu SKU altında gruplandırılır. Burada tier Azure Databricks platform katmanınıza ve region Azure Databricks dağıtımınızın bulut bölgesine karşılık gelir.

Kullanımı sorgulama ve görselleştirme

Mozaik Yapay Zeka Modeli Sunma ile ilişkili tüm DBU'ları (Databricks Birimleri) toplamak için tabloyu sorgulayabilirsiniz system.billing.usage . Aşağıda, SQL kullanarak son 30 gün boyunca günde DSU sunan modeli toplayan bir örnek sorgu verilmiştir:


SELECT SUM(usage_quantity) AS model_serving_dbus,
usage_date
FROM system.billing.usage
WHERE sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
GROUP BY(usage_date)
ORDER BY usage_date DESC

LIMIT 30

Toplu çıkarım iş yükleri kullanımı

Toplu çıkarım iş yükleri için kullanılan DBU'ları (Databricks Birimleri) yalıtmak için tabloyu sorgulayabilirsiniz system.billing.usage .


SELECT *
FROM system.billing.usage u
WHERE u.workspace_id = <workspace_id>
  AND u.billing_origin_product = "MODEL_SERVING"
  AND u.product_features.model_serving.offering_type = "BATCH_INFERENCE"

Toplu çıkarım iş yükleri olan tüm model sunan uç noktaların listesi için aşağıdakileri kullanın:


SELECT DISTINCT(usage_metadata.endpoint_name)
FROM system.billing.usage
WHERE u.workspace_id = <workspace_id>
  AND u.billing_origin_product = "MODEL_SERVING"
  AND u.product_features.model_serving.offering_type = "BATCH_INFERENCE";

Ek örnekler için bkz. Toplu çıkarım iş yüklerinin maliyetlerini görüntüleme .

Maliyet gözlemlenebilirlik panosu

Model hizmet maliyetlerinizi izlemeye başlamanıza yardımcı olmak için GitHub'dan örnek maliyet ilişkilendirme panosunu indirin. Bkz . Model Sunma maliyeti ilişkilendirme panosu.

JSON dosyasını indirdikten sonra panoyu çalışma alanınıza aktarın. Panoları içeri aktarma yönergeleri için bkz Pano dosyasını içeri aktarma.

Bu panoyu nasıl kullanacağınız

Bu gösterge panosu, Yapay Zeka/İş Zekası ile desteklenmektedir ve sistem tablolarına erişiminizin olması gerekir. Çalışma alanı düzeyinde hizmet veren uç nokta maliyetlerinize ve kullanımınıza ilişkin içgörüler sağlar.

Aşağıdaki adımlar çalışmaya başlamanızı sağlar:

  1. Çalışma alanı kimliğini girin.
  2. Başlangıç tarihini ve bitiş tarihini seçin.
  3. Açılan listeden belirli bir uç nokta adını seçerek panoyu filtreleyin (belirli bir uç noktayla ilgileniyorsanız).
  4. Ayrıca, uç noktanız için özel etiketler kullanıyorsanız etiket anahtarını girin.

Not

Model Sunma, aşırı harcamaların önüne geçmek için çalışma alanında varsayılan sınırları uygular. Bkz. Model Sunma sınırları ve bölgeleri.

Kullanabileceğiniz grafikler

Aşağıdaki grafikler bu panoya eklenmiştir. Bunlar, maliyet ilişkilendirme panosu sunan modelin kendi özelleştirilmiş sürümünü oluşturmanız için başlangıç noktası olmalıdır.

  • Son 7 Gün Üst Uç Nokta Tüketimi
  • Günlük Toplam $DBU Kullanımı
  • Uç Nokta Türüne Göre Maliyet Sunan Model
    • Jeton Başına Ödeme
    • CPU/GPU
    • Temel Model
  • Model Sunum Türü Başına Günlük Tüketim
  • En Yüksek Maliyetli 10 Hizmet Veren Uç Nokta
  • Jeton Başına En Yüksek Maliyetli İlk 10 Uç Nokta
  • LLM İnce Ayarlama Son 7 günün Harcaması
  • LLM E-posta Başına Harcamayı İnce Ayarlama

Maliyetleri izlemek için etiketleri kullanma

Başlangıçta, toplam maliyetler genel model sunma maliyetlerini gözlemlemek için yeterli olabilir. Ancak uç nokta sayısı arttıkça kullanım örneğine, iş birimine veya diğer özel tanımlayıcılara göre maliyetleri bölmek isteyebilirsiniz. Model hizmeti, model sunma uç noktalarınıza uygulanabilecek özel etiketler oluşturmayı destekler.

Model sunma uç noktalarına uygulanan tüm özel etiketler sütunun system.billing.usage altındaki custom_tags tabloya yayılır ve maliyetleri toplamak ve görselleştirmek için kullanılabilir. Databricks, hassas maliyet izleme için her uç noktaya açıklayıcı etiketler eklenmesini önerir.

Örnek sorgular

Maliyete göre en önemli uç noktalar:


SELECT
  usage_metadata.endpoint_name AS endpoint_name,
  SUM(usage_quantity) AS model_serving_dbus
FROM
  system.billing.usage
WHERE
  sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
  AND usage_metadata.endpoint_name IS NOT NULL
GROUP BY endpoint_name
ORDER BY model_serving_dbus DESC
LIMIT 30;

Zaman içinde etiketlenmiş maliyetler ("iş_birimi": "veri bilimi"):


SELECT
  SUM(usage_quantity) AS model_serving_dbus,
  usage_date
FROM
  system.billing.usage
WHERE sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
  AND custom_tags['business_unit'] = 'data science'
GROUP BY usage_date
ORDER BY usage_date DESC

LIMIT 30

Ek kaynaklar

Hesabınızdaki işlerin maliyetini izleme örnekleri için bkz. sistem tablolarıile iş maliyetlerini & performansı izleme.

  • Last updated on