Özellik Deposu maliyet yönetimi

Bu sayfa, Azure Databricks Feature Store’un bilgi işlem için nasıl ücretlendirme yaptığını ve bu maliyetlerin nasıl izlenip optimize edileceğini açıklar. Özellik Deposu, maliyeti üzerinden ücretlendirilir: temeldeki sunucusuz işlem kaynakları, çevrimiçi depo ve sunum altyapısı için üzerine ek bir ücret olmadan ödeme yaparsınız.

  • Özellik somutlaştırma, sunucusuz işlem gücü olarak çalışır ve faturalamada FEATURE_STORE ürünü altında görünür; sunucusuz işler ve Lakeflow işlem hatlarıyla aynı ücret üzerinden faturalandırılır.
  • Özellik sunum uç noktaları, Model Serving SKU'su kapsamında faturalandırılır.
  • Çevrimiçi mağazalar, kapasite birimi (CU) ve replika sayılarına göre Lakebase işlem kaynakları üzerinden faturalandırılır.

Özellik Deposu nasıl faturalandırılır?

Özellik somutlaştırma

Özellik Görünümlerini oluştururken, Azure Databricks özellik değerlerini hesaplamak ve çevrimdışı ve çevrimiçi hedeflere yazmak için sunucusuz bir işlem hattı çalıştırır. Buna toplu materyalizasyon işleri, akış ardışık düzenleri ve Kafka veri alımı dahildir. Bu işlem hatları sunucusuz bilgi işlem üzerinde çalışır ve 1x çarpanla, altyapıdaki sunucusuz platformun üzerine herhangi bir ek ücret eklenmeden, maliyet üzerinden fiyatlandırılır.

Faturalanabilir kullanım sistemi tablosunda, somutlaştırma kullanımı, billing_origin_product değeri FEATURE_STORE olarak ayarlanmış şekilde ve sunucusuz bir işlem SKU’suyla (JOBS_SERVERLESS_COMPUTE, çalışma alanı katmanınız ve bölgeniz ile başlayan) görünür. Kullanım is_serverless ve is_photon şeklindedir ve usage_metadata, data_source (DELTA_TABLE_SOURCE veya KAFKA_SOURCE) ile operation'yı (FEATURE_MATERIALIZATION veya KAFKA_INGESTION) içerir; böylece maliyeti toplu işleme ve akış iş yüklerine göre ayrıştırabilirsiniz.

İşlem maliyetini azaltmak için çevrimdışı hedefi, çevrimiçi hedefi paylaşan ve tek materialize_features bir çağrıda tetikleyen özellikleri gruplandırarak tek bir işlem hattında çalıştırmalarını sağlayın. Bkz. Özellik Görünümlerini Somutlaştırma. Sunucusuz işlemin nasıl faturalandığı hakkında daha fazla bilgi için bkz. İş akışları için sunucusuz işlemle Lakeflow İşlerinizi çalıştırma.

Uç noktalara hizmet veren özellik

Özellik sunma uç noktaları, gerçek zamanlı uygulamalara önceden derlenmiş ve isteğe bağlı özellikler sunar. Model Sunma üzerinde çalışırlar ve özel model sunum uç noktalarıyla aynı şekilde Model Sunma SKU'su (SERVERLESS_REAL_TIME_INFERENCE ) ile faturalandırılırlar. Ücretler, uç noktanın istek trafiğini işlemek için sağladığı işlem kapasitesine göre değişir. Serve özellik tablolarına ve Model Serving fiyatlandırma sayfasına bakınız.

Çevrimiçi mağazalar

Çevrimiçi mağazalar, çevrimiçi çıkarım için düşük gecikme süresiyle özellikler sunar. Azure Databricks çevrimiçi mağazası Lakebase tarafından desteklenmektedir ve sağladığı kapasite birimleri (CU) ile okuma replikalarına göre Lakebase işlem kaynağı üzerinden ücretlendirilir. Her kapasite birimi örneğe işlem, bellek ve depolama ayırır ve daha yüksek kullanılabilirlik ve okuma aktarım hızı için okuma çoğaltmaları ekleyebilirsiniz. Boyutlandırma yönergeleri için Databricks Online Feature Stores, kapasite birimlerinin işlem kaynaklarına nasıl karşılık geldiğini öğrenmek için İşlem kaynaklarını yönetme bölümüne ve Lakebase fiyatlandırma sayfasına bakın.

Etiketler ve sunucusuz kullanım politikalarıyla öznitelik maliyetleri

Önemli

Bu özellik, Özel Önizleme sürümündedir. Denemek için Azure Databricks temsilcinize ulaşın.

Bir materialization veya Stream oluşturduğunuzda, özel etiketler, sunucusuz kullanım ilkesi veya her ikisini birden belirtin. Azure Databricks bunları, oluşturduğu görev veya Lakeflow işlem hattına uygular; böylece yaptığı harcamalar, faturalandırılabilir kullanım sistem tablosunda atıfınızı taşır. Bir politika oluşturmak ve kimliğini almak için Sunucusuz kullanım politikası oluştur sayfasına bakınız.

Her iki değer de iş veya boru hattı oluşturulduğunda uygulanır. Mevcut hesaplamayı farklı şekilde ilişkilendirmek için yeni bir somutlaştırma veya Stream oluşturun.

Öznitelik somutlaştırma hesaplaması

tags, budget_policy_id veya her ikisini de materialize_features öğesine geçirin:

materialized = fe.materialize_features(
    features=features,
    offline_config=offline_config,
    trigger=trigger,
    tags={"team": "ml-platform", "project": "churn"},
    budget_policy_id="555e8888-e999-4444-a777-446655440000",
)

Tam imza için Özellik Görünümlerini Maddeleştirme bölümüne bakınız.

Öznitelik tarafından yönetilen veri alma işlem kaynakları

Bir Akış için, create_stream’e geçirdiğiniz IngestionConfig üzerinde tags ve budget_policy_id’i ayarlayın:

from databricks.feature_engineering.entities import IngestionConfig, IngestionDestination

ingestion_config = IngestionConfig(
    ingestion_destination=IngestionDestination(
        delta_table_name="my_catalog.my_schema.events_ingestion"
    ),
    tags={"team": "ml-platform", "project": "churn"},
    budget_policy_id="555e8888-e999-4444-a777-446655440000",
)

Kalan veri alma seçenekleri için Akış Ayarlama bölümüne bakın.

Atfın neye uygulandığını hesaplayın

Etiketler ve sunucusuz kullanım politikası, özellikleri somutlaştıran veya Stream verilerini içeri alan işlem kaynakları için geçerlidir: toplu somutlaştırma işi, akış Lakeflow işlem hattı ve onu orkestre eden iş ile bir Stream’in içeri alma Lakeflow işlem hattı ve bunun ileri doldurma ve geri doldurma işleri. Yeni bir çevrimiçi tablo oluşturduğunuzda, bunlar o tabloyu senkronize tutan Lakeflow işlem hattı için de geçerlidir.

Bu bilgiler çevrimiçi mağazanın kendisine uygulanmaz. Bir çevrimiçi mağazanın kendi hesaplamasını atfetmek için, mağazada sunucusuz kullanım politikası belirleyin. Bkz. Databricks Online Özellik Mağazaları.

Sınırlamalar

  • Zaten var olan bir çevrimiçi tabloya gerçekleştirme, ne tags ne de budget_policy_id uygular ve hiçbir hata döndürmez. Bu tabloyu senkronize tutan Lakeflow boru hattı, oluşturulduğu etiketleri korur. Atıfı değiştirmek için yeni bir çevrimiçi tabloya ulaşın.
  • En fazla 25 etiket iletebilirsiniz.
  • Bir etiket anahtarı 127 karaktere kadar olabilir ve bir etiket değeri 65.535 karaktere kadar olabilir. İkisi de boş olamaz.
  • Bir etiket anahtarı databricks: ile başlayamaz. Bu ön ek ayrılmıştır ve denetim büyük/küçük harf ayrımını göz ardı eder.

Kullanımı ve maliyetleri izleme

Faturalanabilir kullanım sistemi tablosunu system.billing.usagekullanarak Özellik Deposu maliyetlerini izleyebilirsiniz. Somutlaştırma kullanımı billing_origin_product = 'FEATURE_STORE' ile gösterilir:

SELECT
  usage_date,
  usage_metadata.data_source,
  usage_metadata.operation,
  usage_metadata.job_id,
  usage_metadata.dlt_pipeline_id,
  identity_metadata.run_as,
  sum(usage_quantity) AS dbus,
  usage_unit
FROM system.billing.usage
WHERE billing_origin_product = 'FEATURE_STORE'
GROUP BY ALL;

Maliyetleri toplu işlem ile streaming'e göre ayırmak için usage_metadata.data_source ve operation kullanın. usage_metadata.job_id ve usage_metadata.dlt_pipeline_id alanları, her maliyet satırını oluşturan belirli bir gerçekleştirme işini veya işlem hattını tanımlar, böylece işlem hattı başına ilişkilendirme için bunlara göre gruplandırabilirsiniz.

custom_tags sütunu, sunucusuz kullanım ilkesinin taşıdığı etiketlerin yanı sıra birlikte ilettiğiniz etiketleri de içerir; böylece harcamaları ilişkilendirmek için custom_tags['<key>'] ölçütüne göre gruplandırabilir veya filtreleyebilirsiniz. Politika etiketlerinin faturalama kayıtlarına nasıl ulaştığı için, faturalama kayıtlarındaki sunucusuz kullanım politika etiketlerini analiz et.

Özellik sunma ve çevrimiçi mağaza maliyetleri ayrı ayrı izlenir:

  • Özellik sunum uç noktaları, Model Sunma SKU'su altında görünür. Bkz: Model sunumu maliyetlerini izleme.
  • Çevrimiçi mağaza hesaplaması, Lakebase (veritabanı) sunucusuz SKU’su altında yer alır.

Faturalanabilir kullanım tablosu ve nasıl sorgu yapılacağı hakkında ayrıntılı bilgi için bkz. Faturalanabilir kullanım sistemi tablosu başvurusu.

Maliyet iyileştirme için en iyi uygulamalar

  • Özellikleri paylaşılan gerçekleştirme işlem hatlarında gruplandırma: Çevrimdışı hedefi, çevrimiçi hedefi ve tetikleyiciyi paylaşan özellikler tek bir işlem hattında bir araya getirilebilir ve bu da ödeme yaptığınız işlem hattı sayısını azaltır.
  • Çevrimiçi mağazaları yeniden kullanma: Tek bir çevrimiçi mağazada birden çok özellik tablosu yayımlayabilirsiniz. Geliştirme, test ve eğitim için ayrı mağazalar oluşturmak yerine tek bir çevrimiçi mağazayı projeler arasında paylaşın.
  • Doğru boyutta çevrimiçi mağaza kapasitesi: Performansa ve maliyete göre test ve ölçeği artırma veya azaltma için küçük bir kapasite birimiyle başlayın.
  • Kullanımda olmayan kaynakları silin: Çevrimiçi mağazalar sürekli maliyete neden olur. Artık gerekli olmayan çevrimiçi depoları ve gerçekleştirme işlem hatlarını silin.
  • Uygun bir gerçekleştirme tetikleyicisi seçin: Daha az sıklıkta zamanlanan tetikleyicilerin maliyeti sürekli veya sık yeniden gerçekleştirilmesinden daha düşüktür. Tetikleyiciyi özelliklerinizin ne kadar yeni olması gerektiğiyle eşleştirin.

Ek kaynaklar

  • Son güncelleştirme: