Freigeben über

Python-API für Feature Engineering und Workspace Feature Store

  • Artikel

Diese Seite enthält Links zur Python-API-Dokumentation von Databricks Feature Engineering und Databricks Workspace Feature Store sowie Informationen zu den Clientpaketen databricks-feature-engineering und databricks-feature-store.

Hinweis

Ab Version 0.17.0 ist databricks-feature-store veraltet. Alle vorhandenen Module dieses Pakets sind jetzt in databricks-feature-engineering ab Version 0.2.0 verfügbar. Informationen zum Migrieren zu databricks-feature-engineering finden Sie unter Migrieren zu databricks-feature-engineering.

Kompatibilitätsmatrix

Das Paket und der Client, die Sie verwenden sollten, hängen davon ab, wo sich Ihre Featuretabellen befinden und welche Databricks Runtime ML-Version Sie ausführen, wie in der folgenden Tabelle dargestellt.

Informationen zum Ermitteln der Paketversion in Ihrer Databricks Runtime ML-Version finden Sie in der Feature Engineering-Kompatibilitätsmatrix.

Databricks Runtime-Version Für Featuretabellen in Verwenden Sie das Paket Python-Client
Databricks Runtime 14.3 ML und höher Unity Catalog databricks-feature-engineering FeatureEngineeringClient
Databricks Runtime 14.3 ML und höher Arbeitsbereich databricks-feature-engineering FeatureStoreClient
Databricks Runtime 14.2 ML und niedriger Unity Catalog databricks-feature-engineering FeatureEngineeringClient
Databricks Runtime 14.2 ML und niedriger Arbeitsbereich databricks-feature-store FeatureStoreClient

Versionshinweise

Weitere Informationen finden Sie unter Versionshinweise für Databricks-Feature Engineering und den Legacy-Feature Store für Arbeitsbereiche.

Referenz zur Python-API für Feature Engineering

Weitere Informationen finden Sie in der Referenz zur Python-API für Feature Engineering.

Referenz zur Python-API für Workspace Feature Store (veraltet)

Hinweis

  • Ab Version 0.17.0 ist databricks-feature-store veraltet. Alle vorhandenen Module dieses Pakets sind jetzt in databricks-feature-engineering ab Version 0.2.0 verfügbar.

Bei databricks-feature-store v0.17.0 finden Sie unter Databricks FeatureStoreClient in der Referenz zur Python-API für Feature Engineering Informationen zur aktuellen Referenz zur Workspace Feature Store-API.

Bei v0.16.3 und niedriger verwenden Sie die Links in der Tabelle, um die Referenz zur Python-API für Feature Store herunterzuladen oder anzuzeigen. Informationen zur Ermittlung der vorinstallierten Version für Ihre Databricks Runtime ML-Version finden Sie in der Kompatibilitätsmatrix.

Version PDF herunterladen Referenz zur Online-API
v0.3.5 bis v0.16.3 Referenz zur Python-API 0.16.3 für Feature Store (PDF) Referenz zur Online-API
v0.3.5 und niedriger Feature Store Python-API 0.3.5-Referenz-PDF Referenz zur Online-API nicht verfügbar

Python-Paket

In diesem Abschnitt wird beschrieben, wie Sie die Python-Pakete installieren, um Databricks Feature Engineering und Databricks Workspace Feature Store zu verwenden.

Featureentwicklung

Hinweis

  • Ab Version 0.2.0 enthält databricks-feature-engineering Module für die Arbeit mit Featuretabellen sowohl in Unity Catalog als auch in Workspace Feature Store. Versionen von databricks-feature-engineering vor 0.2.0 funktionieren nur mit Featuretabellen in Unity Catalog.

Die Databricks Feature Engineering-APIs sind über das Python-Clientpaket databricks-feature-engineering verfügbar. Der Client ist unter PyPI verfügbar und ist in Databricks Runtime 13.3 LTS ML und höher vorinstalliert.

Eine Referenz dafür, welche Clientversion welcher Laufzeitversion entspricht, finden Sie in der Kompatibilitätsmatrix.

So installieren Sie den Client in Databricks Runtime:

%pip install databricks-feature-engineering

So installieren Sie den Client in einer lokalen Python-Umgebung:

pip install databricks-feature-engineering

Workspace Feature Store (veraltet)

Hinweis

  • Ab Version 0.17.0 ist databricks-feature-store veraltet. Alle vorhandenen Module dieses Pakets sind jetzt in databricks-feature-engineering ab Version 0.2.0 verfügbar.
  • Weitere Informationen finden Sie unter Migrieren zu databricks-feature-engineering.

Die Databricks Feature Store-APIs sind über das Python-Clientpaket databricks-feature-store verfügbar. Der Client ist unter PyPI verfügbar und ist in Databricks Runtime für Machine Learning vorinstalliert. Eine Referenz dafür, welche Runtime welche Clientversion enthält, finden Sie in der Kompatibilitätsmatrix.

So installieren Sie den Client in Databricks Runtime:

%pip install databricks-feature-store

So installieren Sie den Client in einer lokalen Python-Umgebung:

pip install databricks-feature-store

Migrieren zu databricks-feature-engineering

Verwenden Sie zum Installieren des Pakets databricks-feature-engineering pip install databricks-feature-engineering anstelle von pip install databricks-feature-store. Alle Module in databricks-feature-store wurden in databricks-feature-engineering verschoben, sodass Sie keinen Code ändern müssen. Import-Anweisungen wie from databricks.feature_store import FeatureStoreClient funktionieren nach der Installation von databricks-feature-engineering weiterhin.

Verwenden für die Arbeit mit Featuretabellen in Unity Catalog FeatureEngineeringClient. Für Workspace Feature Store müssen Sie FeatureStoreClient verwenden.

Unterstützte Szenarios

Auf Databricks, einschließlich Databricks Runtime und Databricks Runtime for Machine Learning, können Sie:

  • Erstellen, Lesen und Schreiben von Featuretabellen
  • Trainieren und Bewerten von Modellen zu Featuredaten
  • Veröffentlichen von Featuretabellen in Onlinespeichern für Echtzeitbereitstellung

Aus einer lokalen Umgebung oder einer Umgebung außerhalb von Databricks können Sie:

  • Entwickeln sie Code mit lokaler IDE-Unterstützung.
  • Durchführen von Komponententests mit simulierten Frameworks
  • Schreiben von Integrationstests für die Ausführung in Databricks

Einschränkungen

Die Clientbibliothek kann nur in Databricks ausgeführt werden, einschließlich Databricks Runtime und Databricks Runtime für Machine Learning. Der Aufruf von Feature Engineering in Unity Catalog- oder Feature Store-APIs aus einer lokalen Umgebung oder aus einer anderen Umgebung als Databricks wird nicht unterstützt.

Verwenden der Clients für Komponententests

Sie können den Feature Engineering in Unity Catalog-Client oder den Feature Store-Client lokal installieren, um Komponententests auszuführen.

Um beispielsweise zu überprüfen, ob eine Methode update_customer_features ordnungsgemäß FeatureEngineeringClient.write_table aufruft (oder für den Workspace Feature Store FeatureStoreClient.write_table) könnten Sie Folgendes schreiben:

from unittest.mock import MagicMock, patch

from my_feature_update_module import update_customer_features
from databricks.feature_engineering import FeatureEngineeringClient

@patch.object(FeatureEngineeringClient, "write_table")
@patch("my_feature_update_module.compute_customer_features")
def test_something(compute_customer_features, mock_write_table):
  customer_features_df = MagicMock()
  compute_customer_features.return_value = customer_features_df

  update_customer_features()  # Function being tested

  mock_write_table.assert_called_once_with(
    name='ml.recommender_system.customer_features',
    df=customer_features_df,
    mode='merge'
  )

Verwenden der Clients für Integrationstests

Sie können Integrationstests mit dem Feature Engineering in Unity Catalog-Client oder dem Feature Store-Client auf Databricks ausführen. Ausführliche Informationen finden Sie unter Tools und Anleitungen für Entwickler: Verwenden von CI/CD.