Özellik Mühendisliği ve Çalışma Alanı Özellik Deposu Python API'si
Bu sayfada Databricks Özellik Mühendisliği ve Databricks Çalışma Alanı Özellik Deposu'nun Python API'sinin belgelerine bağlantılar ve istemci paketleri databricks-feature-engineering
ve databricks-feature-store
hakkında bilgiler sağlanır.
Not
Sürüm 0.17.0 itibariyle databricks-feature-store
kullanım dışı bırakılmıştır. Bu paketteki tüm mevcut modüller artık 0.2.0 ve sonraki sürümlerde databricks-feature-engineering
kullanılabilir. öğesine geçiş databricks-feature-engineering
hakkında bilgi için bkz . Databricks-feature-engineering'e geçiş.
Uyumluluk matrisi
Kullanmanız gereken paket ve istemci, aşağıdaki tabloda gösterildiği gibi özellik tablolarınızın bulunduğu yere ve hangi Databricks Runtime ML sürümünü çalıştırdığınıza bağlıdır.
Databricks Runtime ML sürümünüzde yerleşik olarak bulunan paket sürümünü tanımlamak için bkz . Özellik Mühendisliği uyumluluk matrisi.
Databricks Runtime sürümü | uygulamasındaki özellik tabloları için | Paketi kullanma | Python istemciyi kullanma |
---|---|---|---|
Databricks Runtime 14.3 ML ve üzeri | Unity Kataloğu | databricks-feature-engineering |
FeatureEngineeringClient |
Databricks Runtime 14.3 ML ve üzeri | Çalışma alanı | databricks-feature-engineering |
FeatureStoreClient |
Databricks Runtime 14.2 ML ve altı | Unity Kataloğu | databricks-feature-engineering |
FeatureEngineeringClient |
Databricks Runtime 14.2 ML ve altı | Çalışma alanı | databricks-feature-store |
FeatureStoreClient |
Sürüm notları
Bkz . Databricks özellik mühendisliği ve eski çalışma alanı özellik deposu için sürüm notları.
Özellik Mühendisliği Python API başvurusu
Bkz. Özellik Mühendisliği Python API başvurusu.
Çalışma Alanı Özellik Deposu Python API başvurusu (kullanım dışı)
Not
- Sürüm 0.17.0 itibariyle
databricks-feature-store
kullanım dışı bırakılmıştır. Bu paketteki tüm mevcut modüller artık 0.2.0 ve sonraki sürümlerdedatabricks-feature-engineering
kullanılabilir.
v0.17.0 içindatabricks-feature-store
, en son Çalışma Alanı Özellik Deposu API başvurusu için Bkz. Özellik Mühendisliği Python API'sinde Databricks FeatureStoreClient
başvurusu.
v0.16.3 ve altı için, Özellik Deposu Python API'sinin başvurusunu indirmek veya görüntülemek için tablodaki bağlantıları kullanın. Databricks Runtime ML sürümünüz için önceden yüklenmiş sürümü belirlemek için uyumluluk matrisine bakın.
Sürüm | PDF’yi İndir | Çevrimiçi API başvurusu |
---|---|---|
v0.3.5 - v0.16.3 | Özellik Deposu Python API 0.16.3 başvurusu PDF | Çevrimiçi API başvurusu |
v0.3.5 ve altı | Özellik Deposu Python API 0.3.5 başvurusu PDF | Çevrimiçi API başvurusu kullanılamıyor |
Python paketi
Bu bölümde, Databricks Özellik Mühendisliği ve Databricks Çalışma Alanı Özellik Deposu'nı kullanmak için Python paketlerinin nasıl yükleneceği açıklanmaktadır.
Özellik Mühendisliği
Not
- Sürüm 0.2.0 itibariyle,
databricks-feature-engineering
Unity Kataloğu ve Çalışma Alanı Özellik Deposu'ndaki özellik tablolarıyla çalışmaya yönelik modüller içerir.databricks-feature-engineering
aşağıdaki sürüm 0.2.0 yalnızca Unity Kataloğu'ndaki özellik tablolarıyla çalışır.
Databricks Özellik Mühendisliği API'leri Python istemci paketi databricks-feature-engineering
aracılığıyla kullanılabilir. İstemci PyPI üzerinde kullanılabilir ve Databricks Runtime 13.3 LTS ML ve üzeri sürümlerde önceden yüklenmiştir.
Hangi istemci sürümünün hangi çalışma zamanı sürümüne karşılık gelen bir başvuru için uyumluluk matrisine bakın.
İstemciyi Databricks Runtime'a yüklemek için:
%pip install databricks-feature-engineering
İstemciyi yerel bir Python ortamına yüklemek için:
pip install databricks-feature-engineering
Çalışma Alanı Özellik Deposu (kullanım dışı)
Not
- Sürüm 0.17.0 itibariyle
databricks-feature-store
kullanım dışı bırakılmıştır. Bu paketteki tüm mevcut modüller artık , sürüm 0.2.0 ve sonraki sürümlerdedatabricks-feature-engineering
kullanılabilir. - Daha fazla bilgi için bkz . databricks-feature-engineering'e geçiş.
Databricks Özellik Deposu API'leri Python istemci paketi databricks-feature-store
aracılığıyla kullanılabilir. İstemci PyPI üzerinde kullanılabilir ve Machine Learning için Databricks Runtime'da önceden yüklenmiştir. Hangi çalışma zamanının hangi istemci sürümünü içerdiğine yönelik bir başvuru için uyumluluk matrisi bölümüne bakın.
İstemciyi Databricks Runtime'a yüklemek için:
%pip install databricks-feature-store
İstemciyi yerel bir Python ortamına yüklemek için:
pip install databricks-feature-store
Geçiş: databricks-feature-engineering
Paketi yüklemek databricks-feature-engineering
için yerine pip install databricks-feature-store
kullanınpip install databricks-feature-engineering
. içindeki databricks-feature-store
modüllerin tümü öğesine databricks-feature-engineering
taşındı, bu nedenle herhangi bir kodu değiştirmeniz gerekmez. gibi from databricks.feature_store import FeatureStoreClient
içeri aktarma deyimleri, yüklendikten databricks-feature-engineering
sonra çalışmaya devam eder.
Unity Kataloğu'nda özellik tablolarıyla çalışmak için kullanın FeatureEngineeringClient
. Çalışma Alanı Özellik Deposu'na gitmek için kullanmanız FeatureStoreClient
gerekir.
Desteklenen senaryolar
Databricks Runtime ve Machine Learning için Databricks Runtime dahil olmak üzere Databricks'te şunları yapabilirsiniz:
- Özellik tabloları oluşturma, okuma ve yazma.
- Özellik verilerinde modelleri eğitin ve puanlar.
- Gerçek zamanlı sunum için özellik tablolarını çevrimiçi mağazalarda yayımlayın.
Yerel bir ortamdan veya Databricks dışındaki bir ortamdan şunları yapabilirsiniz:
- Yerel IDE desteğiyle kod geliştirme.
- Sahte çerçeveler kullanarak birim testi.
- Databricks'te çalıştırılacak tümleştirme testleri yazma.
Sınırlamalar
İstemci kitaplığı yalnızca Databricks Runtime ve Machine Learning için Databricks Runtime dahil olmak üzere Databricks üzerinde çalıştırılabilir. Yerel bir ortamdan veya Databricks dışında bir ortamdan Unity Kataloğu veya Özellik Deposu API'lerinde Özellik Mühendisliği çağırmayı desteklemez.
Birim testi için istemcileri kullanma
Birim testlerinin çalıştırılmasına yardımcı olmak için Unity Kataloğu istemcisinde Özellik Mühendisliği'ni veya Özellik Deposu istemcisini yerel olarak yükleyebilirsiniz.
Örneğin, bir yöntemin update_customer_features
doğru çağırdığını FeatureEngineeringClient.write_table
doğrulamak için (veya Çalışma Alanı Özellik Deposu FeatureStoreClient.write_table
için), şunları yazabilirsiniz:
from unittest.mock import MagicMock, patch
from my_feature_update_module import update_customer_features
from databricks.feature_engineering import FeatureEngineeringClient
@patch.object(FeatureEngineeringClient, "write_table")
@patch("my_feature_update_module.compute_customer_features")
def test_something(compute_customer_features, mock_write_table):
customer_features_df = MagicMock()
compute_customer_features.return_value = customer_features_df
update_customer_features() # Function being tested
mock_write_table.assert_called_once_with(
name='ml.recommender_system.customer_features',
df=customer_features_df,
mode='merge'
)
Tümleştirme testi için istemcileri kullanma
Unity Kataloğu istemcisinde Özellik Mühendisliği veya Databricks'teki Özellik Deposu istemcisi ile tümleştirme testleri çalıştırabilirsiniz. Ayrıntılar için bkz . Geliştirici Araçları ve Kılavuzu: CI/CD kullanma.