Memantau biaya penyajian dan penggunaan model

Artikel ini menyediakan contoh cara menggunakan tabel sistem untuk memantau biaya titik akhir Penyajian Model AI Mosaik di akun Azure Databricks Anda.

Persyaratan

• Untuk mengakses tabel sistem, ruang kerja Anda harus diaktifkan untuk Katalog Unity. Untuk informasi selengkapnya, lihat Mengaktifkan tabel sistem.

Tabel SKU sistem penggunaan penagihan

Anda dapat melacak biaya penyajian model di Azure Databricks menggunakan tabel sistem penggunaan yang dapat ditagih. Setelah tabel sistem penggunaan penagihan diaktifkan, tabel secara otomatis diisi dengan penggunaan terbaru di akun Databricks Anda. Biaya muncul dalam system.billing.usage tabel dengan kolom sku_name sebagai salah satu hal berikut:

sku_name	Deskripsi
<tier>_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_<region>	SKU ini mencakup semua DBA yang dikumpulkan ketika titik akhir dimulai setelah penskalakan ke nol.
<tier>_SERVERLESS_REAL_TIME_INFERENCE_<region>	Semua biaya penyajian model lainnya dikelompokkan di bawah SKU ini. Jika tier sesuai dengan tingkat platform Azure Databricks Anda dan region sesuai dengan wilayah cloud penyebaran Azure Databricks Anda.

Mengkueri dan memvisualisasikan penggunaan

Anda dapat mengkueri tabel system.billing.usage untuk mengagregasi semua DBU (Databricks Unit) yang terkait dengan Penyajian Model AI Mosaic. Berikut ini adalah contoh kueri yang menggabungkan model yang melayani DBA per hari selama 30 hari terakhir menggunakan SQL:

SELECT SUM(usage_quantity) AS model_serving_dbus,
usage_date
FROM system.billing.usage
WHERE sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
GROUP BY(usage_date)
ORDER BY usage_date DESC

LIMIT 30

Penggunaan beban kerja inferensi batch

Anda dapat mengkueri tabel system.billing.usage guna mengisolasi DBUs (Unit Databricks) yang digunakan untuk beban kerja inferensi batch.

SELECT *
FROM system.billing.usage u
WHERE u.workspace_id = <workspace_id>
  AND u.billing_origin_product = "MODEL_SERVING"
  AND u.product_features.model_serving.offering_type = "BATCH_INFERENCE"

Untuk daftar semua model yang melayani titik akhir yang memiliki beban kerja inferensi batch, gunakan yang berikut ini:

SELECT DISTINCT(usage_metadata.endpoint_name)
FROM system.billing.usage
WHERE u.workspace_id = <workspace_id>
  AND u.billing_origin_product = "MODEL_SERVING"
  AND u.product_features.model_serving.offering_type = "BATCH_INFERENCE";

Lihat Melihat biaya untuk beban kerja inferensi batch untuk contoh tambahan.

Dasbor pengamatan biaya

Untuk membantu Anda memulai memantau biaya penyajian model Anda, unduh contoh dasbor atribusi biaya dari GitHub. Lihat Dasbor atribusi biaya Penyajian Model.

Setelah Anda mengunduh file JSON, impor dasbor ke ruang kerja Anda. Untuk petunjuk tentang mengimpor dasbor, lihat Mengimpor file dasbor.

Cara menggunakan dasbor ini

Dasbor ini didukung oleh AI/BI dan Anda harus memiliki akses ke tabel sistem. Ini memberikan wawasan tentang biaya dan penggunaan titik akhir penyajian Anda di tingkat ruang kerja.

Langkah-langkah berikut ini akan membuat Anda memulai:

1. Masukkan ID ruang kerja.
2. Pilih tanggal mulai dan tanggal selesai.
3. Filter dasbor dengan memilih nama titik akhir tertentu di daftar dropdown (jika Anda tertarik dengan titik akhir tertentu).
4. Secara terpisah, masukkan kunci tag jika Anda menggunakan tag kustom untuk titik akhir Anda.

Catatan

Penyajian Model memberlakukan batas default pada ruang kerja untuk memastikan bahwa tidak ada pengeluaran yang tak terkendali. Lihat Pembatasan dan Wilayah Layanan Model.

Bagan yang bisa Anda gunakan

Bagan berikut disertakan dalam dasbor ini. Ini dimaksudkan untuk menjadi titik awal bagi Anda untuk membangun versi model yang disesuaikan sendiri yang melayani dasbor atribusi biaya.

• Konsumsi Titik Akhir Teratas 7 Hari Terakhir
• Total Penggunaan $DBU Harian
• Biaya Penyajian Model berdasarkan Jenis Titik Akhir
  • Bayar Per Token
  • CPU/GPU
  • Model Fondasi
• Konsumsi Harian Per Model Penyajian
• 10 Titik Akhir Penyajian Paling Mahal
• 10 Titik Akhir Bayar Per Token Paling Mahal
• LLM Fine tuning Pengeluaran 7 hari Terakhir
• LLM Penyempurnaan Biaya Per Email

Menggunakan tag untuk memantau biaya

Awalnya, biaya keseluruhan mungkin cukup untuk mengamati biaya penggunaan model secara keseluruhan. Namun, karena jumlah titik akhir meningkat, Anda mungkin ingin memecah biaya berdasarkan kasus penggunaan, unit bisnis, atau pengidentifikasi kustom lainnya. Penyajian model mendukung pembuatan tag kustom yang dapat diterapkan pada titik akhir penyajian model Anda.

Semua tag kustom yang diterapkan ke model yang melayani titik akhir disebarluaskan ke system.billing.usage tabel di bawah custom_tags kolom dan dapat digunakan untuk menggabungkan dan memvisualisasikan biaya. Databricks merekomendasikan untuk menambahkan tag deskriptif ke setiap titik akhir untuk pelacakan biaya yang tepat.

Contoh kueri

Titik akhir teratas berdasarkan biaya:

SELECT
  usage_metadata.endpoint_name AS endpoint_name,
  SUM(usage_quantity) AS model_serving_dbus
FROM
  system.billing.usage
WHERE
  sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
  AND usage_metadata.endpoint_name IS NOT NULL
GROUP BY endpoint_name
ORDER BY model_serving_dbus DESC
LIMIT 30;

Biaya dengan tag ("business_unit": "ilmu data") seiring waktu:

SELECT
  SUM(usage_quantity) AS model_serving_dbus,
  usage_date
FROM
  system.billing.usage
WHERE sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
  AND custom_tags['business_unit'] = 'data science'
GROUP BY usage_date
ORDER BY usage_date DESC

LIMIT 30

Sumber Daya Tambahan:

Untuk contoh tentang cara memantau biaya pekerjaan di akun Anda, lihat Memantau biaya pekerjaan & performa dengan tabel sistem.