Not
Bu sayfaya erişim yetkilendirme gerektiriyor. Oturum açmayı veya dizinleri değiştirmeyi deneyebilirsiniz.
Bu sayfaya erişim yetkilendirme gerektiriyor. Dizinleri değiştirmeyi deneyebilirsiniz.
Bu sayfada Databricks Özellik Mühendisliği ve Databricks eski Çalışma Alanı Özellik Deposu'nun Python API belgelerine bağlantılar ve databricks-feature-engineering ve databricks-feature-storeistemci paketleri hakkında bilgi sağlanır.
Not
Sürüm 0.17.0 itibariyle databricks-feature-store kullanım dışı bırakılmıştır. Bu paketteki tüm mevcut modüller artık 0.2.0 ve sonraki sürümlerde databricks-feature-engineering kullanılabilir. öğesine geçiş databricks-feature-engineeringhakkında bilgi için bkz . Databricks-feature-engineering'e geçiş.
Uyumluluk matrisi
Kullanmanız gereken paket ve istemci, aşağıdaki tabloda gösterildiği gibi özellik tablolarınızın bulunduğu yere ve hangi Databricks Runtime ML sürümünü çalıştırdığınıza bağlıdır.
Databricks Runtime ML sürümünüzde yerleşik olarak bulunan paket sürümünü tanımlamak için bkz . Özellik Mühendisliği uyumluluk matrisi.
| Databricks Runtime sürümü | uygulamasındaki özellik tabloları için | Paketi kullanma | Python istemciyi kullanma |
|---|---|---|---|
| Databricks Runtime 14.3 ML ve üzeri | Unity Kataloğu | databricks-feature-engineering |
FeatureEngineeringClient |
| Databricks Runtime 14.3 ML ve üzeri | Çalışma alanı | databricks-feature-engineering |
FeatureStoreClient |
| Databricks Runtime 14.2 ML ve altı | Unity Kataloğu | databricks-feature-engineering |
FeatureEngineeringClient |
| Databricks Runtime 14.2 ML ve altı | Çalışma alanı | databricks-feature-store |
FeatureStoreClient |
Not
-
databricks-feature-engineering<=0.7.0mlflow>=2.18.0ile uyumlu değildir.databricks-feature-engineering'ı MLflow 2.18.0 ve üzeri sürümlerle kullanmak içindatabricks-feature-engineeringsürümü 0.8.0 veya üzeri bir sürüme güncelleyin.
Sürüm notları
Bkz. Databricks özellik mühendisliği ve eski Çalışma Alanı Özellik Deposu sürüm notları.
Özellik Mühendisliği Python API başvurusu
Bkz. Özellik Mühendisliği Python API referans kılavuzu.
Çalışma Alanı Özellik Mağazası Python API başvuru kılavuzu (kullanım dışı)
Not
- Sürüm 0.17.0 itibariyle
databricks-feature-storekullanım dışı bırakılmıştır. Bu paketteki tüm mevcut modüller artık 0.2.0 ve sonraki sürümlerdedatabricks-feature-engineeringkullanılabilir.
v0.17.0 içindatabricks-feature-store, en son Çalışma Alanı Özellik Deposu API başvurusuFeatureStoreClientDatabricks başvurusu.
v0.16.3 ve altı için, Özellik Deposu Python API'sinin başvurusunu indirmek veya görüntülemek için tablodaki bağlantıları kullanın. Databricks Runtime ML sürümünüz için önceden yüklenmiş sürümü belirlemek için uyumluluk matrisine bakın.
| Sürüm | PDF’yi İndir | Çevrimiçi API başvurusu |
|---|---|---|
| v0.3.5 - v0.16.3 | Özellik Deposu Python API 0.16.3 başvurusu PDF | Çevrimiçi API başvurusu |
| v0.3.5 ve altı | Özellik Deposu Python API 0.3.5 referans PDF | Çevrimiçi API referansı kullanılamıyor |
Python paketi
Bu bölümde, Databricks Özellik Mühendisliği ve Databricks Çalışma Alanı Özellik Deposu'nı kullanmak için Python paketlerinin nasıl yükleneceği açıklanmaktadır.
Özellik Mühendisliği
Not
- Sürüm 0.2.0 itibariyle,
databricks-feature-engineeringUnity Kataloğu ve Çalışma Alanı Özellik Deposu'ndaki özellik tablolarıyla çalışmaya yönelik modüller içerir.databricks-feature-engineeringaşağıdaki sürüm 0.2.0 yalnızca Unity Kataloğu'ndaki özellik tablolarıyla çalışır.
Databricks Özellik Mühendisliği API'leri Python istemci paketi databricks-feature-engineeringaracılığıyla kullanılabilir. İstemci PyPI üzerinde kullanılabilir ve Databricks Runtime 13.3 LTS ML ve üzeri sürümlerde önceden yüklenmiştir.
Hangi istemci sürümünün hangi çalışma zamanı sürümüne karşılık geldiğine dair referans için uyumluluk matrisine göz atın.
İstemciyi Databricks Runtime'a yüklemek için:
%pip install databricks-feature-engineering
İstemciyi yerel bir Python ortamına yüklemek için:
pip install databricks-feature-engineering
Çalışma Alanı Özellik Deposu (kullanım dışı)
Not
- Sürüm 0.17.0 itibariyle
databricks-feature-storekullanım dışı bırakılmıştır. Bu paketteki tüm mevcut modüller artık , sürüm 0.2.0 ve sonraki sürümlerdedatabricks-feature-engineeringkullanılabilir. - Daha fazla bilgi için databricks-feature-engineering'e geçiş bölümüne bakın.
Databricks Özellik Deposu API'leri Python istemci paketi databricks-feature-storearacılığıyla kullanılabilir. İstemci PyPI üzerinde kullanılabilir ve Machine Learning için Databricks Runtime'da önceden yüklenmiştir. Hangi çalışma zamanının hangi istemci sürümünü içerdiğine yönelik bir başvuru için uyumluluk matrisi bölümüne bakın.
İstemciyi Databricks Runtime'a yüklemek için:
%pip install databricks-feature-store
İstemciyi yerel bir Python ortamına yüklemek için:
pip install databricks-feature-store
Geçiş yap databricks-feature-engineering
Paketi yüklemek için databricks-feature-engineering yerine pip install databricks-feature-engineering kullanın. içindeki databricks-feature-store modüllerin tümü öğesine databricks-feature-engineeringtaşındı, bu nedenle herhangi bir kodu değiştirmeniz gerekmez.
from databricks.feature_store import FeatureStoreClient gibi içeri aktarma deyimleri, databricks-feature-engineering yüklendikten sonra çalışmaya devam eder.
Unity Kataloğu'nda özellik tablolarıyla çalışmak için kullanın FeatureEngineeringClient. Çalışma Alanı Özellik Deposu'na gitmek için kullanmanız FeatureStoreClientgerekir.
Desteklenen senaryolar
Databricks'te, Databricks Runtime ve Makine Öğrenimi için Databricks Runtime dahil olmak üzere, şunları yapabilirsiniz:
- Özellik tabloları oluştur, oku ve yaz.
- Özellik verileri üzerinde modelleri eğitin ve puanlayın.
- Gerçek zamanlı sunum için özellik tablolarını çevrimiçi mağazalarda yayımlayın.
Yerel bir ortamdan veya Databricks dışındaki bir ortamdan şunları yapabilirsiniz:
- Yerel IDE desteğiyle kod geliştirme.
- Sahte framework'ler kullanarak birim testi.
- Databricks'te çalıştırılacak tümleştirme testleri yazma.
Sınırlamalar
Databricks, Databricks Runtime ve Yapay Öğrenme için Databricks Runtime dahil olmak üzere sadece istemci kütüphanesinin çalıştırılabileceği platformdur. Yerel bir ortamdan veya Databricks dışında bir ortamdan Unity Kataloğu veya Özellik Deposu API'lerinde Özellik Mühendisliği çağırmayı desteklemez.
Birim testi için istemcileri kullanma
Birim testlerinin çalıştırılmasına yardımcı olmak için Unity Kataloğu istemcisinde Özellik Mühendisliği'ni veya Özellik Deposu istemcisini yerel olarak yükleyebilirsiniz.
Örneğin, bir yöntemin update_customer_features doğru çağırdığını FeatureEngineeringClient.write_table doğrulamak için (veya Çalışma Alanı Özellik Deposu FeatureStoreClient.write_tableiçin), şunları yazabilirsiniz:
from unittest.mock import MagicMock, patch
from my_feature_update_module import update_customer_features
from databricks.feature_engineering import FeatureEngineeringClient
@patch.object(FeatureEngineeringClient, "write_table")
@patch("my_feature_update_module.compute_customer_features")
def test_something(compute_customer_features, mock_write_table):
customer_features_df = MagicMock()
compute_customer_features.return_value = customer_features_df
update_customer_features() # Function being tested
mock_write_table.assert_called_once_with(
name='ml.recommender_system.customer_features',
df=customer_features_df,
mode='merge'
)
Tümleştirme testi için istemcileri kullanma
Unity Kataloğu istemcisinde Özellik Mühendisliği veya Databricks'teki Özellik Deposu istemcisi ile tümleştirme testleri çalıştırabilirsiniz. Ayrıntılar için bkz . Geliştirici Araçları ve Kılavuzu: CI/CD kullanma.