Databricks Özellik Deposu ve eski Çalışma Alanı Özellik Deposu sürüm notları

Bu sayfada Unity Kataloğu istemcisinde Databricks Özellik Mühendisliği istemcisinin ve Databricks Çalışma Alanı Özellik Deposu istemcisinin sürümleri listelenmiştir. her iki istemci de PyPI'de kullanılabilir: databricks-feature-engineering ve databricks-feature-store.

Kitaplıklar şunlar için kullanılır:

• Özellik tabloları oluştur, oku ve yaz.
• Özellik verilerinde modelleri eğitin.
• Gerçek zamanlı sunum için özellik tablolarını çevrimiçi mağazalarda yayımlayın.

Kullanım belgeleri için bkz. Databricks Özellik Deposu. Python API belgeleri için bkz. Özellik Mühendisliği Python API'si.

Unity Kataloğu'nda Özellik Mühendisliği istemcisi, Unity Kataloğu'ndaki özellikler ve özellik tabloları için çalışır. Çalışma Alanı Özellik Deposu istemcisi, Çalışma Alanı Özellik Deposu'ndaki özellikler ve özellik tabloları için çalışır. Her iki istemci de Machine Learning için Databricks Runtime'a önceden yüklenmiştir. Ayrıca PyPI'den (databricks-feature-engineering ) yükledikten pip install databricks-feature-engineering sonra Databricks Runtime'da da çalıştırılabilir. Yalnızca birim testi için her iki istemci de yerel olarak veya CI/CD ortamlarında kullanılabilir.

Databricks Runtime ve Databricks Runtime ML sürümleriyle istemci sürümü uyumluluğunu gösteren bir tablo için bkz. Özellik Mühendisliği uyumluluk matrisi. Databricks Çalışma Alanı Özellik Deposu istemcisinin eski sürümleri PyPI'de databricks-feature-store olarak kullanılabilir.

databricks-feature-engineering 0.18.1

Bu sürüm, Özellik Görünümleri için aşağıdaki iyileştirmeleri içermektedir:

• Lakebase ile çevrimiçi hizmet artık 64 karakterden uzun özellik isimlerini destekliyor.
• RollingWindow artık window_duration=Hiç'i Delta kaynaklarında ömür boyu Son toplama için kabul ediyor; yalnızca çevrimiçi tablo tetikleyici tabanlı materyalizasyon ile.
• FeatureViewSource tabanlı özellikler artık compute_features(), ile önizleme yapılabiliyor, birden fazla kaynak tablosunu kapsayan bağımlılıklar dahil.
• SawtoothWindow artık create_training_set() ve compute_features() dilinde ömür boyu toplama pencerelerini (window_duration=Hiç) destekler.
• Hata düzeltmeleri ve iyileştirmeler.

databricks-feature-engineering 0.18.0

• Özellik Kaynağını Görüntüle:
  • Yeni FeatureViewSource, diğer özelliklerden oluşturulan bir özelliği tanımlar ve değerleri üzerinde satır bazında bir CustomUDF uygular. compute_features() dışında, eğitim ve sunum yaşam döngüsü genelinde desteklenir.
• CustomUDF özellikleri:
  • create_feature(), CustomUDFinput_bindings öğesini Unity Catalog işlev imzasına göre doğrular ve bağlı sütun türlerini işlev parametre türleriyle karşılaştırır; uyumsuzlukları eğitim ya da sunum sırasında değil, özellik oluşturulduğunda bildirir.
• Akış özellikleri:
  • create_stream(), kod çözme işleminden sonra yalnızca eşleşen kayıtları tutan bir SQL koşulu olan record_type_filter ile veri alımından sütunları çıkaran excluded_columns öğelerini ekler. update_stream() ayrıca kabul eder excluded_columns.
• Maddeleşme:
  • materialize_features(), maliyet takibi ve atıf için tags ile budget_policy_id kabul eder.
  • CronSchedule bir özelliğin toplama pencerelerinden ve zamanlamasından elde edilen türetilmiş bir zamanlama modunu destekler; ayrıca manuel cron ifadesi de vardır.
• Pencereli özellik için start_time geçitlemesi:
  • Pencereli özellikler artık her zaman start_time uygular. Pencere sonu bir özelliğin start_time önüne geçen eğitim satırları hariç tutulur; böylece çevrimdışı eğitim setleri çevrimiçi sunulan değerlerle eşleşir. Kesim noktasını kontrol etmek için pencereli bir özellikte start_time değerini ayarlayın.
• Diğer değişiklikler:
  • Toplama özellikleri, oluşturulduğunda zaman serisi sütunlarını reddeder DATE . Bunun yerine bir TIMESTAMP sütun kullanın.
  • ColumnSelection özellikleri, create_training_set() ve compute_features() içinde kaynak yerleşme gecikmesini uygular ve henüz yerleşmemiş kaynak satırlarını hariç tutar.
  • Özellikli UDF giriş ve çıkışlarında Databricks Runtime 18 dizi türleri desteği eklendi.
  • start_time, birleştirme gecikmesi ve kaynak dengeleme gecikmesi gibi özellik zamanlaması alanları artık istemci okumaları ve yazmaları arasında korunur.
  • Hata düzeltmeleri ve iyileştirmeler.

databricks-feature-engineering 0.17.1

• Hata düzeltmeleri ve iyileştirmeler.

databricks-feature-engineering 0.17.0

• SawtoothWindow toplulaştırmaları (Önizleme):
  • Yeni SawtoothWindow zaman penceresi sınıfı, uzun toplama pencerelerini (örneğin 30, 60 veya 90 gün) sürekli taze tutuyor: pencerenin arka kenarı sabit günlük adımlarla ilerlerken, ön kenar en son akış olaylarıyla güncel kalıyor ve her olayda tam yeniden hesaplama yapılmasını engelliyor. Avg, Count, Min, Max ve Sum toplamaları için desteklenir. window_duration iki günden uzun olmalıdır; daha kısa pencereler için kullanılır RollingWindow .
• LastN toplulaştırma (Önizleme):
  • Yeni LastN toplama işlevi, bir penceredeki en son N değeri, özelliğin zaman serisi sütununa göre sıralı bir dizi olarak döndürür. RollingWindow ve SlidingWindow zaman pencereleriyle desteklenir.
• Ömür boyu toplama pencereleri:
  • SlidingWindow artık tüm geçmiş veriler üzerinde toplulaştırma yapan ömür boyu (sonsuz) pencereleri destekliyor. Yaşam süresi pencereleri yalnızca toplu işleme özellikleri için kullanılabilir; create_training_set() ve compute_features() içinde bir tane tanımlamak için window_duration değerini None olarak ayarlayın.
• CustomUDF özellikleri (Önizleme):
  • create_feature() için yeni CustomUDF işlev türü, kayıtlı bir Unity Catalog işlevini kaynak sütunlara satır satır uygular. input_bindings her UC fonksiyon parametresini onu dolduran kaynak sütuna eşler. CustomUDF, yalnızca RequestSource (istek zamanlı) özellikler üzerinde doğrudan çalışır; diğer özellik türlerine uygulanamaz.
• Akış kaynak dönüşümleri (Önizleme):
  • StreamSource şimdi, transformation_sql akışın şema dönüşümünden sonra uygulanan SQL SELECT ifadesini kabul eder ve özellik hesaplamasından önce kayıtları dönüştürmek için kullanılır. Ayarlandığında, dönüştürülmüş çıktı şemasını dataframe_schema aracılığıyla sağlayın.
• Akış kaynakları için şema kaydı (Önizleme):
  • create_stream(), artık şemaları satır içinde sağlamak yerine SchemaRegistryConfig kullanarak, Unity Catalog Bağlantısı üzerinden harici bir şema kayıt defterinden (örneğin Confluent) akış anahtarı ve veri yükü şemalarını çözümleyebilir. Avro ve Protobuf formatları desteklenmektedir.
• Özel hizmet bağımlılıkları (Önizleme):
  • Artık özellik sunumu için ek pip bağımlılıkları belirtebilirsiniz. create_feature_spec() ve log_model(), özellik UDF'lerinizin ihtiyaç duyduğu ancak varsayılan olarak kullanılamayan kitaplıklar için model sunma ortamına yüklenecek pip paketlerinin (veya Unity Catalog Volume extra_pip_requirements yollarının) listesi olan .whl değerini kabul eder. Özellik spesifikasyonuna göre ilan edilen bağımlılıklar, model sunulduğunda da devam eder.
• Diğer geliştirmeler:
  • Hata düzeltmeleri ve iyileştirmeler.

databricks-feature-engineering 0.16.1

• create_training_set ve score_batch, kullanılabildiğinde çevrimdışı materyalize edilmiş toplulaştırma özelliklerini yeniden kullanarak eğitim kümesi oluşturmayı ve toplu çıkarımı hızlandırır. Bkz. Özellik Görünümlerini Somutlaştırma.
• RequestSource özellikleri artık varlık ve zaman aralığı sütunları gerektirmez.
• First içindeki yanlış Last ve create_training_set sonuçları düzeltildi. Bu toplamalar artık varsayılan olarak null değerleri içerir; null giriş sütunlarını dışlamak için bir filter_condition ekleyin.
• Kaynak satırlar null içerdiğinde compute_features öğesinin sıfır veya null döndürmesi sorunu düzeltildi.
• Hata düzeltmeleri ve iyileştirmeler.

databricks-feature-engineering 0.16.0

• Özellik Görünümleri Genel Önizlemesi:
  • Özellik Görünümleri artık Genel Önizleme aşamasındadır. is_beta_feature_view() üzerindeki list_beta_feature_views() ve FeatureEngineeringClient yardımcı programları, Beta API kapsamında kaydedilmiş ve Genel Önizleme biçimine geçirilmesi gereken özellikleri tespit eder.
  • Feature.clone() yöntemi, Beta Özellik Görünümlerini Genel Önizleme'ye geçirme konusunda yardımcı olur.
  • create_pipeline Feature Views için kullanımdan kaldırılmıştır; bunun yerine materialized features API'sini kullanın.
• Akış özellikleri:
  • StreamSource, Kafka veya Delta kaynaklarıyla desteklenen akış özelliklerini tanımlamak için artık create_feature() içinde desteklenmektedir.
  • create_training_set, artık StreamSource ile tanımlanan özellikler üzerinde eğitimi destekliyor.
  • Akış özellik kaynaklarını yönetmek için create_stream üzerinde yeni get_stream, update_stream, delete_stream, list_streams ve FeatureEngineeringClient yöntemleri.
  • StreamingMode materialize_features tetikleyicisi, mikro toplu işlem gerçekleştirmeyi seçer.
• Diğer geliştirmeler:
  • Yeni list_features() API'de FeatureEngineeringClient katalog veya şemadaki özellikler listelenir.
  • Yeni grant_feature_serving_access() yardımcı program, somutlaştırılmış özelliklerin çevrimiçi olarak sunulması için gereken izinleri verir ve uygulamadan önce erişimi önizlemek için bir dry_run modu sunar.
  • DeltaTableSource.from_sql() şimdi doğrudan bir SparkSession kabul eder.
  • DeltaTableSource.dataframe_schema , kullanım dışı bırakılan schema_json parametrenin yerini alır.
  • RollingWindow kaldırılan ContinuousWindow diğer adın yerini alır.
  • öğesinden offsetkullanım dışı parametresi RollingWindow kaldırıldı; bunun yerine kullanındelay.
  • Varsayılan kataloglu 2 parçalı Unity Catalog adlarına yönelik destek kaldırıldı.
  • Hata düzeltmeleri ve iyileştirmeler.

databricks-feature-engineering 0.15.0

• RequestSource (Beta):
  • Yeni RequestSource sınıf, özellik tablosu araması gerektirmeden doğrudan modele geçirilen verilerden istek zamanında hesaplanan özellikleri etkinleştirir.
  • create_feature(), create_training_set(), score_batch() ve compute_features()'ün tümü RequestSource destekli özellikleri destekler.
  • log_model RequestSource özellikleri otomatik olarak model imzasına aktarır.
• ColumnSelection (Beta):
  • Yeni ColumnSelection sınıf, bir özellik kaynağından belirli çıkış sütunlarının seçilmesine olanak tanıyarak daha ayrıntılı özellik tanımları sağlar.
  • create_feature(), create_training_set(), compute_features() ve log_model içinde desteklenir.
• Diğer geliştirmeler:
  • Delta tablosu güncellemelerinde somutlaştırmayı tetikleyen yeni TableTriggermaterialize_features tetikleyici türü.
  • score_batch artık Databricks Runtime Sunucusuz çalışma zamanlarında çalıştırılır.
  • DeltaTableSource.from_sql(), GROUP BY ve ORDER BY gibi desteklenmeyen SQL yan tümcelerini artık reddeder.
  • RequestSource.from_dataframe() var olan bir DataFrame'den istek şemasını çıkarsar.
  • Flask bağımlılığı databricks-feature-engineering öğesinden kaldırıldı.
  • Hata düzeltmeleri ve iyileştirmeler.

databricks-feature-engineering 0.14.0

• Batch Bildirim Özellikleri (Beta):
  • Bildirim temelli özellik tanımlarını toplamalar ve zaman pencereleriyle Unity Kataloğu işlevleri olarak depolamak için bildirim temelli özellikler API'leri.
  • Gerçekleştirilmiş özellikler API'si, yapılandırılabilir cron zamanlamalarını kullanarak özelliklerin çevrimiçi mağazalara otomatik toplu gerçekleşmesini planlar.
  • Gerçekleştirilmiş özellikler, Unity Kataloğu'nda kayıtlı modeller için çevrimiçi sunumda kullanılabilir.
  • Belirli bir noktada doğru özellik hesaplaması yapabilmek için SlidingWindow ve TumblingWindow sınıflarıyla kayan ve yuvarlanan pencere desteği sağlar.
  • filter_condition parametresi, bilgi işlem özellikleri sırasında kaynak verilerin filtrelenmesine izin verir.
• Diğer geliştirmeler:
  • Yeni list_online_stores() API, katalog veya şemadaki tüm çevrimiçi depoları listeler.
  • Çevrimiçi mağazaları oluştururken veya güncelleştirirken usage_policy_id faturalama takibi desteği.
  • Çevrimiçi mağazalar silindiğinde veya kullanılamadığında geliştirilmiş hata iletileri.
  • Hata düzeltmeleri ve performans geliştirmeleri.

databricks-feature-engineering 0.13.0

• Databricks tarafından yönetilen çevrimiçi özellik depolarını yönetmek için API'ler.
• publish_table()şimdi daha net tablo belirtimi için , source_table_nameve online_table_name parametrelerini kabul ederpublish_mode.
• Geliştirilmiş okuma ölçeklenebilirliği için read_replica_count çevrimiçi mağaza oluşturma veya güncelleştirme desteği.
• Hata düzeltmeleri ve iyileştirmeler.

databricks-feature-engineering 0.12.1

• Özellik aramaları için varsayılan değerleri destekler.
• Hata düzeltmeleri ve iyileştirmeler.

databricks-feature-engineering 0.11.0 versiyonu

• Sürüm 3.0 için mlflow destek ekleyin.
• Hata düzeltmeleri ve iyileştirmeler.

databricks-feature-engineering 0.10.2

• Sürüm 2.20.0 ve üzeri için mlflow destek ekleyin.
• 2.x sürümü için numpy destek ekleyin.
• Hata düzeltmeleri ve iyileştirmeler.

databricks-feature-engineering 0.9.0

• prebuilt_env çağrılarında score_batch kullanma desteği.
• Photon ile belirli bir noktada özellik birleştiren performans iyileştirmeleri.
• Hata düzeltmeleri ve iyileştirmeler.

databricks-feature-engineering 0.8.0

• Modelle çıkarım yapılabilmesi için params çağrılarında ek parametrelerin geçirilmesine olanak tanıyacak score_batch kullanma desteği.
• Hata düzeltmeleri ve iyileştirmeler.

databricks-feature-engineering 0.7.0

• Unity Kataloğu'ndaki bazı görünümler artık çevrimdışı model eğitimi ve değerlendirmesi için özellik tabloları olarak kullanılabilir. Bkz. bir özellik tablosundan okuma, Unity Kataloğu.
• Eğitim kümeleri artık özellik aramalarıyla veya özellik belirtimleriyle oluşturulabilir. Bkz. Python SDK başvurusu.

databricks-feature-engineering 0.6.0

• Yerel Spark ile belirli bir noktaya birleştirmelerin çalıştırılması, Tempo ile mevcut desteğe ek olarak artık desteklenmektedir. Fikri önerdiği için Semyon Sinchenko'ya çok teşekkür ederiz!
• StructType artık PySpark veri türü olarak desteklenmektedir. StructType çevrimiçi hizmet için desteklenmez.
• write_table artık sıvı kümeleme etkin olan tablolara yazmayı destekliyor.
• timeseries_columns parametresi create_table olarak yeniden adlandırıldıtimeseries_column. Mevcut iş akışları parametresini timeseries_columns kullanmaya devam edebilir.
• score_batch artık env_manager parametresini destekliyor. Daha fazla bilgi için MLflow belgelerine bakın.

databricks-özellik-mühendisliği 0.5.0

• kullanıcıların Unity Kataloğu'nda FeatureSpec'in sahibini güncelleyebilmesine olanak tanıyan yeni API update_feature_specdatabricks-feature-engineering.

databricks-özellik-mühendisliği 0.4.0

• Küçük hata düzeltmeleri ve iyileştirmeler.

databricks-feature-engineering 0.3.0

• log_model şimdi çevrimiçi model sunma için performans iyileştirmeleri içeren yeni databricks-feature-lookup PyPI paketini kullanıyor.

databricks-feature-store 0.17.0

• databricks-feature-store kullanım dışı bırakıldı. Bu paketteki tüm mevcut modüller 0.2.0 ve üzeri sürümlerde databricks-feature-engineering kullanılabilir. Ayrıntılar için bkz . Python API'si.

Databricks Feature Engineering 0.2.0

• databricks-feature-engineering şimdi tüm databricks-feature-storemodüllerini içerir. Ayrıntılar için bkz . Python API'si.

Databricks Özellik Mağazası sürüm 0.16.3

• Özellik tablolarıyla AutoML kullanılırken zaman aşımı hatasını düzeltir.

databricks-feature-engineering 0.1.3

• UpgradeClient'da küçük geliştirmeler.

databricks-feature-store 0.16.2

• Artık Özellik ve İşlev Sunma uç noktaları oluşturabilirsiniz. Ayrıntılar için bkz . Özellik ve İşlev Sunma.

databricks-feature-store 0.16.1

• Küçük hata düzeltmeleri ve iyileştirmeler.

databricks-feature-engineering 0.1.2 ve databricks-feature-store 0.16.0

• Küçük hata düzeltmeleri ve iyileştirmeler.
  • Belirli çalışma alanı kurulumlarıyla günlüğe kaydedilen yanlış iş kökeni URL'leri düzeltildi.

Databricks Feature Engineering 0.1.1

• Küçük hata düzeltmeleri ve iyileştirmeler.

databricks-feature-engineering 0.1.0

• Unity Catalog Python kullanıcısında Özellik Mühendisliği'nin PyPI'ye Genel Kullanıma Sunulması

databricks-feature-store 0.15.1

• Küçük hata düzeltmeleri ve iyileştirmeler.

databricks-feature-store 0.15.0

• Artık bir modeli kayıt altına aldığınızda, bir örnek girişi otomatik olarak elde edebilir ve kayıt altına alabilirsiniz. Bunu yapmak için infer_model_exampleçağırdığınızda Truelog_model olarak ayarlayın. Örnek, parametresinde training_set belirtilen eğitim verilerini temel alır.

databricks-feature-store 0.14.2

• MariaDB Bağlayıcısı/J >=2.7.5'ten Aurora MySQL'e yayımlamadaki hata düzeltildi.

databricks-feature-store 0.14.1

• Küçük hata düzeltmeleri ve iyileştirmeler.

databricks-feature-store 0.14.0

0.14.0 sürümünden itibaren, primary_keys bağımsız değişkeninde tarih damgası anahtar sütunlarını belirtmeniz gerekir. Zaman damgası anahtarları, özellik tablosundaki her satırı benzersiz olarak tanımlayan "birincil anahtarların" bir parçasıdır. Diğer birincil anahtar sütunları gibi zaman damgası anahtar sütunları da NULL değerleri içeremez.

Aşağıdaki örnekte DataFrame user_features_df şu sütunları içerir: user_id, ts, purchases_30dve is_free_trial_active.

0.14.0 ve üzeri

fs = FeatureStoreClient()

fs.create_table(
name="ads_team.user_features",
primary_keys=["user_id", "ts"],
timestamp_keys="ts",
features_df=user_features_df,
)

0.13.1 ve altı

fs = FeatureStoreClient()

fs.create_table(
name="ads_team.user_features",
primary_keys="user_id",
timestamp_keys="ts",
features_df=user_features_df,
)

databricks-feature-store 0.13.1

• Küçük hata düzeltmeleri ve iyileştirmeler.

Databricks Özellik Deposu 0.13.0

• Gereken mlflow-skinny en düşük sürüm artık 2.4.0'dır.
• Sağlanan DataFrame tüm gerekli arama anahtarlarını içermiyorsa eğitim kümesi oluşturma işlemi başarısız olur.
• Unity Kataloğu'nda özellik tabloları kullanan bir model günlüğe kaydedildiğinde, model için otomatik olarak bir MLflow imzası da günlüğe kaydedilir.

Databricks Özellik Mağazası 0.12.0

• Artık API'yi kullanarak çevrimiçi bir mağazayı drop_online_table silebilirsiniz.

databricks-özellik-deposu 0.11.0

• Unity Kataloğu etkin çalışma alanlarında artık hem çalışma alanı hem de Unity Kataloğu özellik tablolarını Cosmos DB çevrimiçi mağazalarında yayımlayabilirsiniz. Bunun için Databricks Runtime 13.0 ML veya üzeri gerekir.

Databricks özelliği mağazası 0.10.0

• Küçük hata düzeltmeleri ve iyileştirmeler.

databricks-feature-store sürüm 0.9.0

• Küçük hata düzeltmeleri ve iyileştirmeler.

databricks-feature-store 0.8.0

• Küçük hata düzeltmeleri ve iyileştirmeler.

databricks-feature-store sürüm 0.7.1

• Eksik bağımlılık sorununu düzeltmek için flask'yi bağımlılık olarak ekleyin; bu sorun score_batch ile modelleri puanlarken ortaya çıkar.

databricks-feature-store 0.7.0

• Küçük hata düzeltmeleri ve iyileştirmeler.

Databricks Feature Store 0.6.1

• Databricks Özellik Deposu istemcisinin PyPI'ye ilk genel sürümü.