Not
Bu sayfaya erişim yetkilendirme gerektiriyor. Oturum açmayı veya dizinleri değiştirmeyi deneyebilirsiniz.
Bu sayfaya erişim yetkilendirme gerektiriyor. Dizinleri değiştirmeyi deneyebilirsiniz.
Bu sayfada Databricks Özellik Mühendisliği ve Databricks eski Çalışma Alanı Özellik Deposu'nun Python API belgelerine bağlantılar ve databricks-feature-engineering
ve databricks-feature-store
istemci paketleri hakkında bilgi sağlanır.
Not
Sürüm 0.17.0 itibariyle databricks-feature-store
kullanım dışı bırakılmıştır. Bu paketteki tüm mevcut modüller artık 0.2.0 ve sonraki sürümlerde databricks-feature-engineering
kullanılabilir. öğesine geçiş databricks-feature-engineering
hakkında bilgi için bkz . Databricks-feature-engineering'e geçiş.
Uyumluluk matrisi
Kullanmanız gereken paket ve istemci, aşağıdaki tabloda gösterildiği gibi özellik tablolarınızın bulunduğu yere ve hangi Databricks Runtime ML sürümünü çalıştırdığınıza bağlıdır.
Databricks Runtime ML sürümünüzde yerleşik olarak bulunan paket sürümünü tanımlamak için bkz . Özellik Mühendisliği uyumluluk matrisi.
Databricks Runtime sürümü | uygulamasındaki özellik tabloları için | Paketi kullanma | Python istemciyi kullanma |
---|---|---|---|
Databricks Runtime 14.3 ML ve üzeri | Unity Kataloğu | databricks-feature-engineering |
FeatureEngineeringClient |
Databricks Runtime 14.3 ML ve üzeri | Çalışma alanı | databricks-feature-engineering |
FeatureStoreClient |
Databricks Runtime 14.2 ML ve altı | Unity Kataloğu | databricks-feature-engineering |
FeatureEngineeringClient |
Databricks Runtime 14.2 ML ve altı | Çalışma alanı | databricks-feature-store |
FeatureStoreClient |
Not
-
databricks-feature-engineering<=0.7.0
mlflow>=2.18.0
ile uyumlu değildir.databricks-feature-engineering
'ı MLflow 2.18.0 ve üzeri sürümlerle kullanmak içindatabricks-feature-engineering
sürümü 0.8.0 veya üzeri bir sürüme güncelleyin.
Sürüm notları
Bkz. Databricks özellik mühendisliği ve eski Çalışma Alanı Özellik Deposu sürüm notları.
Özellik Mühendisliği Python API başvurusu
Bkz. Özellik Mühendisliği Python API referans kılavuzu.
Çalışma Alanı Özellik Mağazası Python API başvuru kılavuzu (kullanım dışı)
Not
- Sürüm 0.17.0 itibariyle
databricks-feature-store
kullanım dışı bırakılmıştır. Bu paketteki tüm mevcut modüller artık 0.2.0 ve sonraki sürümlerdedatabricks-feature-engineering
kullanılabilir.
v0.17.0 içindatabricks-feature-store
, en son Çalışma Alanı Özellik Deposu API başvurusuFeatureStoreClient
Databricks başvurusu.
v0.16.3 ve altı için, Özellik Deposu Python API'sinin başvurusunu indirmek veya görüntülemek için tablodaki bağlantıları kullanın. Databricks Runtime ML sürümünüz için önceden yüklenmiş sürümü belirlemek için uyumluluk matrisine bakın.
Sürüm | PDF’yi İndir | Çevrimiçi API başvurusu |
---|---|---|
v0.3.5 - v0.16.3 | Özellik Deposu Python API 0.16.3 başvurusu PDF | Çevrimiçi API başvurusu |
v0.3.5 ve altı | Özellik Deposu Python API 0.3.5 referans PDF | Çevrimiçi API referansı kullanılamıyor |
Python paketi
Bu bölümde, Databricks Özellik Mühendisliği ve Databricks Çalışma Alanı Özellik Deposu'nı kullanmak için Python paketlerinin nasıl yükleneceği açıklanmaktadır.
Özellik Mühendisliği
Not
- Sürüm 0.2.0 itibariyle,
databricks-feature-engineering
Unity Kataloğu ve Çalışma Alanı Özellik Deposu'ndaki özellik tablolarıyla çalışmaya yönelik modüller içerir.databricks-feature-engineering
aşağıdaki sürüm 0.2.0 yalnızca Unity Kataloğu'ndaki özellik tablolarıyla çalışır.
Databricks Özellik Mühendisliği API'leri Python istemci paketi databricks-feature-engineering
aracılığıyla kullanılabilir. İstemci PyPI üzerinde kullanılabilir ve Databricks Runtime 13.3 LTS ML ve üzeri sürümlerde önceden yüklenmiştir.
Hangi istemci sürümünün hangi çalışma zamanı sürümüne karşılık geldiğine dair referans için uyumluluk matrisine göz atın.
İstemciyi Databricks Runtime'a yüklemek için:
%pip install databricks-feature-engineering
İstemciyi yerel bir Python ortamına yüklemek için:
pip install databricks-feature-engineering
Çalışma Alanı Özellik Deposu (kullanım dışı)
Not
- Sürüm 0.17.0 itibariyle
databricks-feature-store
kullanım dışı bırakılmıştır. Bu paketteki tüm mevcut modüller artık , sürüm 0.2.0 ve sonraki sürümlerdedatabricks-feature-engineering
kullanılabilir. - Daha fazla bilgi için databricks-feature-engineering'e geçiş bölümüne bakın.
Databricks Özellik Deposu API'leri Python istemci paketi databricks-feature-store
aracılığıyla kullanılabilir. İstemci PyPI üzerinde kullanılabilir ve Machine Learning için Databricks Runtime'da önceden yüklenmiştir. Hangi çalışma zamanının hangi istemci sürümünü içerdiğine yönelik bir başvuru için uyumluluk matrisi bölümüne bakın.
İstemciyi Databricks Runtime'a yüklemek için:
%pip install databricks-feature-store
İstemciyi yerel bir Python ortamına yüklemek için:
pip install databricks-feature-store
Geçiş yap databricks-feature-engineering
Paketi yüklemek için databricks-feature-engineering
yerine pip install databricks-feature-engineering
kullanın. içindeki databricks-feature-store
modüllerin tümü öğesine databricks-feature-engineering
taşındı, bu nedenle herhangi bir kodu değiştirmeniz gerekmez.
from databricks.feature_store import FeatureStoreClient
gibi içeri aktarma deyimleri, databricks-feature-engineering
yüklendikten sonra çalışmaya devam eder.
Unity Kataloğu'nda özellik tablolarıyla çalışmak için kullanın FeatureEngineeringClient
. Çalışma Alanı Özellik Deposu'na gitmek için kullanmanız FeatureStoreClient
gerekir.
Desteklenen senaryolar
Databricks'te, Databricks Runtime ve Makine Öğrenimi için Databricks Runtime dahil olmak üzere, şunları yapabilirsiniz:
- Özellik tabloları oluştur, oku ve yaz.
- Özellik verileri üzerinde modelleri eğitin ve puanlayın.
- Gerçek zamanlı sunum için özellik tablolarını çevrimiçi mağazalarda yayımlayın.
Yerel bir ortamdan veya Databricks dışındaki bir ortamdan şunları yapabilirsiniz:
- Yerel IDE desteğiyle kod geliştirme.
- Sahte framework'ler kullanarak birim testi.
- Databricks'te çalıştırılacak tümleştirme testleri yazma.
Sınırlamalar
Databricks, Databricks Runtime ve Yapay Öğrenme için Databricks Runtime dahil olmak üzere sadece istemci kütüphanesinin çalıştırılabileceği platformdur. Yerel bir ortamdan veya Databricks dışında bir ortamdan Unity Kataloğu veya Özellik Deposu API'lerinde Özellik Mühendisliği çağırmayı desteklemez.
Birim testi için istemcileri kullanma
Birim testlerinin çalıştırılmasına yardımcı olmak için Unity Kataloğu istemcisinde Özellik Mühendisliği'ni veya Özellik Deposu istemcisini yerel olarak yükleyebilirsiniz.
Örneğin, bir yöntemin update_customer_features
doğru çağırdığını FeatureEngineeringClient.write_table
doğrulamak için (veya Çalışma Alanı Özellik Deposu FeatureStoreClient.write_table
için), şunları yazabilirsiniz:
from unittest.mock import MagicMock, patch
from my_feature_update_module import update_customer_features
from databricks.feature_engineering import FeatureEngineeringClient
@patch.object(FeatureEngineeringClient, "write_table")
@patch("my_feature_update_module.compute_customer_features")
def test_something(compute_customer_features, mock_write_table):
customer_features_df = MagicMock()
compute_customer_features.return_value = customer_features_df
update_customer_features() # Function being tested
mock_write_table.assert_called_once_with(
name='ml.recommender_system.customer_features',
df=customer_features_df,
mode='merge'
)
Tümleştirme testi için istemcileri kullanma
Unity Kataloğu istemcisinde Özellik Mühendisliği veya Databricks'teki Özellik Deposu istemcisi ile tümleştirme testleri çalıştırabilirsiniz. Ayrıntılar için bkz . Geliştirici Araçları ve Kılavuzu: CI/CD kullanma.