Python API
Bu sayfada Databricks Özellik Mühendisliği ve Databricks Çalışma Alanı Özellik Deposu'nun Python API'sinin belgelerine bağlantılar ve istemci paketleri databricks-feature-engineering ve databricks-feature-storehakkında bilgiler sağlanır.
Not
Sürüm 0.17.0 itibariyle databricks-feature-store kullanım dışı bırakılmıştır. Bu paketteki tüm mevcut modüller artık 0.2.0 ve sonraki sürümlerde databricks-feature-engineering kullanılabilir. öğesine geçiş databricks-feature-engineeringhakkında bilgi için bkz . Databricks-feature-engineering'e geçiş.
Uyumluluk matrisi
Kullanmanız gereken paket ve istemci, aşağıdaki tabloda gösterildiği gibi özellik tablolarınızın bulunduğu yere ve hangi Databricks Runtime ML sürümünü çalıştırdığınıza bağlıdır.
Databricks Runtime ML sürümünüzde yerleşik olarak bulunan paket sürümünü tanımlamak için bkz . Özellik Mühendisliği uyumluluk matrisi.
| Databricks Runtime sürümü | uygulamasındaki özellik tabloları için | Paketi kullanma | Python istemciyi kullanma |
|---|---|---|---|
| Databricks Runtime 14.3 ML ve üzeri | Unity Kataloğu | databricks-feature-engineering |
FeatureEngineeringClient |
| Databricks Runtime 14.3 ML ve üzeri | Çalışma alanı | databricks-feature-engineering |
FeatureStoreClient |
| Databricks Runtime 14.2 ML ve altı | Unity Kataloğu | databricks-feature-engineering |
FeatureEngineeringClient |
| Databricks Runtime 14.2 ML ve altı | Çalışma alanı | databricks-feature-store |
FeatureStoreClient |
Özellik Mühendisliği Python API başvurusu
Bkz. Özellik Mühendisliği Python API başvurusu.
Çalışma Alanı Özellik Deposu Python API başvurusu (kullanım dışı)
Not
- Sürüm 0.17.0 itibariyle
databricks-feature-storekullanım dışı bırakılmıştır. Bu paketteki tüm mevcut modüller artık 0.2.0 ve sonraki sürümlerdedatabricks-feature-engineeringkullanılabilir.
v0.17.0 içindatabricks-feature-store, en son Çalışma Alanı Özellik Deposu API başvurusu için Bkz. Özellik Mühendisliği Python API'sinde Databricks FeatureStoreClient başvurusu.
v0.16.3 ve altı için, Özellik Deposu Python API'sinin başvurusunu indirmek veya görüntülemek için tablodaki bağlantıları kullanın. Databricks Runtime ML sürümünüz için önceden yüklenmiş sürümü belirlemek için uyumluluk matrisine bakın.
| Sürüm | PDF’yi İndir | Çevrimiçi API başvurusu |
|---|---|---|
| v0.3.5 - v0.16.3 | Özellik Deposu Python API 0.16.3 başvurusu PDF | Çevrimiçi API başvurusu |
| v0.3.5 ve altı | Özellik Deposu Python API 0.3.5 başvurusu PDF | Çevrimiçi API başvurusu kullanılamıyor |
Python paketi
Bu bölümde, Databricks Özellik Mühendisliği ve Databricks Çalışma Alanı Özellik Deposu'nı kullanmak için Python paketlerinin nasıl yükleneceği açıklanmaktadır.
Özellik Mühendisliği
Not
- Sürüm 0.2.0 itibariyle,
databricks-feature-engineeringUnity Kataloğu ve Çalışma Alanı Özellik Deposu'ndaki özellik tablolarıyla çalışmaya yönelik modüller içerir.databricks-feature-engineeringaşağıdaki sürüm 0.2.0 yalnızca Unity Kataloğu'ndaki özellik tablolarıyla çalışır.
Databricks Özellik Mühendisliği API'leri Python istemci paketi databricks-feature-engineeringaracılığıyla kullanılabilir. İstemci PyPI üzerinde kullanılabilir ve Databricks Runtime 13.3 LTS ML ve üzeri sürümlerde önceden yüklenmiştir.
Hangi istemci sürümünün hangi çalışma zamanı sürümüne karşılık gelen bir başvuru için uyumluluk matrisine bakın.
İstemciyi Databricks Runtime'a yüklemek için:
%pip install databricks-feature-engineering
İstemciyi yerel bir Python ortamına yüklemek için:
pip install databricks-feature-engineering
Çalışma Alanı Özellik Deposu (kullanım dışı)
Not
- Sürüm 0.17.0 itibariyle
databricks-feature-storekullanım dışı bırakılmıştır. Bu paketteki tüm mevcut modüller artık , sürüm 0.2.0 ve sonraki sürümlerdedatabricks-feature-engineeringkullanılabilir. - Daha fazla bilgi için bkz . databricks-feature-engineering'e geçiş.
Databricks Özellik Deposu API'leri Python istemci paketi databricks-feature-storearacılığıyla kullanılabilir. İstemci PyPI üzerinde kullanılabilir ve Machine Learning için Databricks Runtime'da önceden yüklenmiştir. Hangi çalışma zamanının hangi istemci sürümünü içerdiğine yönelik bir başvuru için uyumluluk matrisi bölümüne bakın.
İstemciyi Databricks Runtime'a yüklemek için:
%pip install databricks-feature-store
İstemciyi yerel bir Python ortamına yüklemek için:
pip install databricks-feature-store
Geçiş: databricks-feature-engineering
Paketi yüklemek databricks-feature-engineering için yerine pip install databricks-feature-storekullanınpip install databricks-feature-engineering. içindeki databricks-feature-store modüllerin tümü öğesine databricks-feature-engineeringtaşındı, bu nedenle herhangi bir kodu değiştirmeniz gerekmez. gibi from databricks.feature_store import FeatureStoreClient içeri aktarma deyimleri, yüklendikten databricks-feature-engineeringsonra çalışmaya devam eder.
Unity Kataloğu'nda özellik tablolarıyla çalışmak için kullanın FeatureEngineeringClient. Çalışma Alanı Özellik Deposu'na gitmek için kullanmanız FeatureStoreClientgerekir.
Desteklenen senaryolar
Databricks Runtime ve Machine Learning için Databricks Runtime dahil olmak üzere Databricks'te şunları yapabilirsiniz:
- Özellik tabloları oluşturma, okuma ve yazma.
- Özellik verilerinde modelleri eğitin ve puanlar.
- Gerçek zamanlı sunum için özellik tablolarını çevrimiçi mağazalarda yayımlayın.
Yerel bir ortamdan veya Databricks dışındaki bir ortamdan şunları yapabilirsiniz:
- Yerel IDE desteğiyle kod geliştirme.
- Sahte çerçeveler kullanarak birim testi.
- Databricks'te çalıştırılacak tümleştirme testleri yazma.
Sınırlamalar
İstemci kitaplığı yalnızca Databricks Runtime ve Machine Learning için Databricks Runtime dahil olmak üzere Databricks üzerinde çalıştırılabilir. Yerel bir ortamdan veya Databricks dışında bir ortamdan Unity Kataloğu veya Özellik Deposu API'lerinde Özellik Mühendisliği çağırmayı desteklemez.
Birim testi için istemcileri kullanma
Birim testlerinin çalıştırılmasına yardımcı olmak için Unity Kataloğu istemcisinde Özellik Mühendisliği'ni veya Özellik Deposu istemcisini yerel olarak yükleyebilirsiniz.
Örneğin, bir yöntemin update_customer_features doğru çağırdığını FeatureEngineeringClient.write_table doğrulamak için (veya Çalışma Alanı Özellik Deposu FeatureStoreClient.write_tableiçin), şunları yazabilirsiniz:
from unittest.mock import MagicMock, patch
from my_feature_update_module import update_customer_features
from databricks.feature_engineering import FeatureEngineeringClient
@patch.object(FeatureEngineeringClient, "write_table")
@patch("my_feature_update_module.compute_customer_features")
def test_something(compute_customer_features, mock_write_table):
customer_features_df = MagicMock()
compute_customer_features.return_value = customer_features_df
update_customer_features() # Function being tested
mock_write_table.assert_called_once_with(
name='ml.recommender_system.customer_features',
df=customer_features_df,
mode='merge'
)
Tümleştirme testi için istemcileri kullanma
Unity Kataloğu istemcisinde Özellik Mühendisliği veya Databricks'teki Özellik Deposu istemcisi ile tümleştirme testleri çalıştırabilirsiniz. Ayrıntılar için bkz . Geliştirici Araçları ve Kılavuzu: CI/CD kullanma.
Tümleşik geliştirme ortamında (IDE) için istemcilerini kullanma
Unity Kataloğu'nda Özellik Mühendisliği istemcisini veya Databricks ile yazılım geliştirme için IDE ile Özellik Deposu istemcisini kullanabilirsiniz. Ayrıntılar için bkz . Visual Studio Code ile dbx kullanma.