Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
SdpSource definiert Feature Views in der Ausgabetabelle einer ausgelösten Lakeflow-Pipeline, und Feature Store führt die Pipeline für Sie aus, bevor jede Materialisierung und Rückfüllung durchgeführt wird. Nutze es, um Features bereitzustellen und Modelle mit Features zu trainieren, die Joins, mehrstufige Transformationen oder benutzerdefinierte Fensterung benötigen, ohne die Pipeline selbst planen oder Backfilling durchführen zu müssen.
Wann SdpSource verwendet werden sollte
Verwenden Sie SdpSource, wenn Ihre Funktionen Logik benötigen, die ein DeltaTableSource mit transformation_sql nicht ausdrücken kann. Diese Logik schreibt man in einer Lakeflow-Pipeline und verweist dann Feature-Ansichten auf eine der Output-Tabellen der Pipeline.
Mit SdpSourceorchestriert der Feature Store die Pipeline und verwaltet Synchronisationen in Online- und Offline-Stores:
- Jeder Materialisierungslauf aktualisiert die Pipeline, bevor die Ausgabetabelle gelesen wird.
- Materialisierte Features synchronisieren sich jedes Mal mit ihren Online- und Offline-Stores, wenn die Materialisierung läuft, auf dem von dir festgelegten Trigger oder Zeitplan.
- Ein Backfill aktualisiert die Ausgabetabelle vollständig und füllt dann die gewünschten Funktionen über die Zeiträume hinweg nach.
- Sie können viele Feature Views auf einer Pipeline registrieren, indem Sie oder
ColumnSelectionverwenden.
Wenn Sie die Pipeline selbst planen oder die Pipeline kontinuierlich ist, verwenden Sie stattdessen DeltaTableSource für die Output-Tabelle der Pipeline. Der Feature Store liest dann die Tabelle, führt aber die Pipeline nicht aus.
Wie der Feature Store die Pipeline betreibt
Jeder Materialisierungslauf für SdpSource Features bewirkt Folgendes:
- Der Lauf startet eine Aktualisierung der Pipeline. Wenn ein Update bereits läuft, wartet der Run darauf, dass es zuerst fertig ist. Wenn dieses Update erfolgreich abgeschlossen ist, ein vollständiges Update ist und nicht mehr als 10 Minuten vor Beginn des Durchlaufs gestartet wurde, wird es wiederverwendet. Andernfalls startet der Durchlauf sein eigenes Update. Abgleich-Updates sowie teilweise Updates oder reine Validierungsupdates werden nicht wiederverwendet. Eine Pipeline führt jeweils ein Update aus, sodass Läufe, die eine Pipeline teilen, abwechselnd ausgeführt werden.
- Nach Abschluss des Updates liest der Feature Store die Ausgabetabelle und materialisiert die Features auf die gleiche Weise wie bei einem
DeltaTableSource.
Wenn das Pipeline-Update fehlschlägt, abgebrochen wird oder nicht innerhalb von 4 Stunden abgeschlossen ist, schlägt der Materialisierungslauf fehl und es werden keine Feature-Werte für diesen Lauf geschrieben.
Ein Backfill folgt diesen Schritten nicht. Es startet eine eigene vollständige Aktualisierung der Ausgabetabelle und verwendet eine andere Aktualisierung nicht erneut. Siehe Backfill-Pipeline-Quellfunktionen.
Ein wiederverwendetes Update könnte die Eingabetabellen vor dem Commit gelesen haben, der den Run gestartet hat. Zeilen aus diesem Commit erscheinen dann nach dem nächsten Durchlauf in den Feature-Werten. Läufe auf derselben Pipeline, die zur gleichen Zeit starten, teilen sich nicht immer ein Update und können jeweils ein eigenes Update nacheinander ausführen.
Die Ausgabetabelle einer Pipeline existiert erst, wenn das erste Update der Pipeline sie erstellt, sodass man eine Feature View erstellen kann, bevor die Pipeline überhaupt ausgeführt wird. Feature Store verfolgt dies mit pipeline_state der Quelle:
-
PENDING: Die Pipeline ist noch nicht ausgeführt, daher existiert die Ausgabetabelle nicht. Der Feature Store validiert die Spalten des Features, nachdem die Pipeline erstmals ausgeführt wurde. -
RESOLVED: Die Ausgabetabelle existiert, und die Spalten des Features werden dagegen validiert. -
ERROR: Der Pipeline-Run oder die Validierung der Ausgabetabelle ist fehlgeschlagen. Beheben Sie die Pipeline oder die Feature-Definition und führen Sie die Pipeline dann erneut aus.
Feature Store löst den Zustand jedes Mal auf, wenn es das Feature verwendet: wenn eine Materialisierung ausgeführt wird und wenn du compute_features, refresh_sdp_source oder create_training_set aufrufst.
Requirements
- Eine ausgelöste Lakeflow-Pipeline, die bereits existiert. Kontinuierliche Pipelines werden nicht unterstützt.
- „KANN AUSFÜHREN“-, „KANN VERWALTEN“- oder „IST BESITZER“-Berechtigung für die Pipeline. Siehe Identitäten, Berechtigungen und Privilegien für Pipelines verwalten.
-
SELECTfür die Ausgabetabelle der Pipeline, nachdem sie vorhanden ist, sowie die Feature-View-Berechtigungen, die benötigt werden, um Features zu erstellen und zu materialisieren. - Die Ausgabetabelle und alle Eingabetabellen müssen Unity-Catalog-Tabellen sein, benannt mit dreiteiligen Namen (
catalog.schema.table). - Das
databricks-feature-engineeringPython-Paket muss Version 0.18.3 oder höher haben. Weitere Anforderungen finden Sie unter Anforderungen.
Erstelle Features aus einer Pipeline
Um Feature Views in der Output-Tabelle einer Pipeline zu definieren und zu materialisieren, folgen Sie diesen Schritten.
Finden Sie die Pipeline-ID
Die Pipeline-ID erscheint im Pipeline-Details-Bereich der Benutzeroberfläche „Pipelines“.
Definiere ein SdpSource
Geben Sie die Pipeline und die Ausgabetabelle an, aus der gelesen werden soll. Um ein TableTriggerzu verwenden, listen Sie außerdem die Tabellen auf, aus denen die Pipeline in input_tablesliest:
from databricks.feature_engineering import FeatureEngineeringClient
from databricks.feature_engineering.entities import SdpSource
fe = FeatureEngineeringClient()
source = SdpSource(
pipeline_id="1234abcd-5678-90ef-1234-567890abcdef",
output_table="main.features.tutor_review_stats",
input_tables=["main.raw.reviews", "main.raw.tutors"],
)
Erstellen Sie Feature-Ansichten für die Quelle
Sie können viele Feature-Ansichten für eine Quelle erstellen. Das folgende Beispiel erstellt ein ColumnSelection Feature für einen Wert, den die Pipeline berechnet, und ein Aggregationsfeature, das Feature Store über die Ausgabetabelle berechnet:
from datetime import timedelta
from databricks.feature_engineering.entities import (
AggregationFunction,
Avg,
ColumnSelection,
TumblingWindow,
)
avg_score_7d = fe.create_feature(
source=source,
entity=["tutor_id"],
timeseries_column="window_end",
function=ColumnSelection("avg_score_7d"),
catalog_name="main",
schema_name="features",
name="tutor_avg_score_7d",
)
daily_review_count = fe.create_feature(
source=source,
entity=["tutor_id"],
timeseries_column="window_end",
function=AggregationFunction(
Avg(input="review_count"),
time_window=TumblingWindow(window_duration=timedelta(days=1)),
),
catalog_name="main",
schema_name="features",
name="tutor_daily_review_count",
)
Führen Sie die Pipeline aus.
Wenn die Pipeline noch nicht ausgeführt wurde, führen Sie sie einmal aus, sodass die Ausgabetabelle existiert und die Features aufgelöst werden.
refresh_sdp_source startet ein Update für jede Pipeline hinter den gegebenen Features, wartet auf das Ende der Updates und gibt eine Zuordnung von der Pipeline-ID zur Aktualisierungs-ID zurück:
updates = fe.refresh_sdp_source(features=[avg_score_7d, daily_review_count], wait=True)
Die Features materialisieren
Um das ColumnSelection Feature für einen Online-Shop bereitzustellen, führen Sie Folgendes aus:
from databricks.feature_engineering.entities import OnlineStoreConfig, TableTrigger
fe.materialize_features(
features=[avg_score_7d],
online_config=OnlineStoreConfig(
catalog_name="main",
schema_name="features_online",
table_name_prefix="tutor_",
online_store_name="my_online_store",
),
trigger=TableTrigger(),
)
Überprüfen Sie die Features im Catalog Explorer
Der Definitionsabschnitt des Feature zeigt die Pipeline und die Ausgabetabelle, und der Pipeline-Status zeigt nach dem ersten erfolgreichen Durchlauf der Pipeline Resolved an. Der Abschnitt „Materialisierte Features“ zeigt die Ergebnisse der einzelnen Materialisierungsläufe. Siehe Feature-Views in Unity Catalog erkunden.
Für alle Parameter SdpSource siehe SdpSource.
Mit Pipeline-Quellfunktionen entwickeln
Training, Batch-Scoring und compute_features führen die Pipeline nicht aus. Um mit der neuesten Pipeline-Ausgabe zu arbeiten, führen Sie die Pipeline zuerst mit refresh_sdp_source aus:
fe.refresh_sdp_source(features=[avg_score_7d, daily_review_count], wait=True)
Weitere Informationen zum Training mit Feature Views finden Sie unter Trainieren mit Features aus der Pipelinequelle.
Verwenden Sie Feature-Tabellen, die eine Pipeline schreibt
Wenn eine Lakeflow-Pipeline bereits eine Feature-Tabelle schreibt, kannst du Feature Views darüber definieren, ohne die Pipeline zu verändern. Nutze die Feature-Tabelle als Ausgabetabelle SdpSource und erstelle für jede Spalte, die du bedienen möchtest, ein ColumnSelection Feature. Eine ColumnSelection Funktion gibt für jede Entität den neuesten Wert einer Spalte zurück, sodass die Funktion die Werte der Tabelle unverändert weitergibt.
Ordnen Sie die Merkmalstabelle der Merkmalsdefinition wie folgt zu:
-
output_table: Der dreiteilige Name der Merkmalstabelle. Die Pipeline muss diese Tabelle schreiben, also verwenden Sie für eine Feature-Tabelle, die von etwas anderem geschrieben wird, stattdessen aDeltaTableSource. -
entity: Die Spalten des Primärschlüssels der Tabelle, die die Entität identifizieren, wie zum Beispieluser_id. -
timeseries_column: Eine Zeitstempelspalte in der Tabelle. Jede Funktion in einerSdpSourcebenötigt eines, also fügen Sie in der Pipeline eine hinzu, wenn dieFunktionstabelle keine Zeitstempelspalte hat. -
input_tables: Die Tabellen, die die Pipeline liest. EineColumnSelectionFunktion wird durch einen Tabellenauslöser materialisiert, was diese daher erforderlich macht.
Das folgende Beispiel stellt die country-Spalte einer Funktionstabelle bereit, in die eine Pipeline schreibt:
from databricks.feature_engineering.entities import ColumnSelection, SdpSource
source = SdpSource(
pipeline_id="1234abcd-5678-90ef-1234-567890abcdef",
output_table="main.features.user_profile",
input_tables=["main.raw.users"],
)
user_country = fe.create_feature(
source=source,
function=ColumnSelection("country"),
entity=["user_id"],
timeseries_column="updated_at",
catalog_name="main",
schema_name="features",
name="user_country",
)
Um das Feature online bereitzustellen, materialisiere es wie in Mit einem Tabellentrigger materialisieren. Feature Store führt die Pipeline vor jeder Materialisierung aus, sodass die Online-Werte der Feature-Tabelle folgen.
Materialisiere mit einem Tabellen-Trigger
Ein TableTrigger auf einem SdpSource-Feature beobachtet das input_tables der Quelle, nicht die Ausgabetabelle. Funktionen auf derselben Ausgabetabelle und demselben Trigger, die du in einem materialize_features-Aufruf materialisierst, teilen sich einen Job, und dieser Job überwacht input_tables von allen. Ein Update einer dieser Tabellen startet einen Run für jede Funktion im Job und TABLE_TRIGGER_CONDITION_ALL_UPDATED wartet, bis jede dieser Tabellen aktualisiert wurde. Der Job kann bis zu 25 Tabellen insgesamt beobachten, und mehr als 10 nur, wenn Dateiereignisse auf jeder beobachteten Tabelle aktiviert sind. Sieh dir an, wie Tabellen zum Trigger-Limit zählen. Wenn eine Eingabetabelle aktualisiert wird, führt der Materialisierungsauftrag die Pipeline aus und materialisiert dann die Features.
ColumnSelection-Merkmale werden durch einen Tabellen-Trigger materialisiert, daher muss ein SdpSource, das von einem ColumnSelection-Merkmal verwendet wird, input_tables auflisten. Aggregationsfunktionen können stattdessen ein CronSchedule verwenden.
Der Feature Store prüft nicht, ob die Pipeline aus den Tabellen in input_tablesliest. Wenn du eine Tabelle weglässt, die die Pipeline liest, starten Updates zu dieser Tabelle keinen Lauf.
Wenn eine Pipeline mehrere Tabellen liest, die zu unterschiedlichen Zeiten aktualisiert werden, verwenden Sie die Einstellungen TableTrigger , um zu steuern, wann ein Run startet:
from datetime import timedelta
from databricks.feature_engineering.entities import TableTrigger, TableTriggerCondition
trigger = TableTrigger(
condition=TableTriggerCondition.TABLE_TRIGGER_CONDITION_ALL_UPDATED,
wait_after_last_change=timedelta(minutes=10),
min_time_between_triggers=timedelta(hours=1),
)
-
condition: Starte einen Lauf, wenn eine Eingabetabelle aktualisiert wird (TABLE_TRIGGER_CONDITION_ANY_UPDATED, der Standard) oder erst, nachdem jede Eingabetabelle aktualisiert wurde (TABLE_TRIGGER_CONDITION_ALL_UPDATED). -
wait_after_last_change: Warte, bis die Eingabetabellen so lange keine Updates erhalten haben, damit eine Reihe von Updates landet, bevor der Lauf beginnt. -
min_time_between_triggers: Läufe höchstens so oft starten.
Für die erlaubten Werte siehe TableTrigger.
Quellfunktionen der Abgleichspipeline
Ein Pipeline-Update erfasst Zeilen, die spät in den Quellen der Pipeline ankommen, sodass der nächste Materialisierungslauf sie ohne Nachfüllen veröffentlicht. Füllen Sie eine SdpSource Funktion auf, wenn ein normales Pipeline-Update die Ausgabe nicht korrigieren kann, zum Beispiel wenn Sie die Logik einer Streaming-Tabelle ändern, Zeilen in ihrer Quelle korrigieren oder Zeilen wiederherstellen müssen, die über ein Wasserzeichen hinausgefallen sind. Ein Backfill aktualisiert die Ausgabetabelle vollständig und füllt dann die gewünschten Features für die von Ihnen angegebenen Zeiträume nach. Siehe Backfill-Funktionen aus einer Pipeline-Quelle.
Ändere eine Pipeline, nachdem du Features registriert hast
Ändere die Ein- oder Ausgabetabellen einer Pipeline nicht, nachdem du Feature Views darauf registriert hast. Feature Store speichert input_tables, wenn Sie eine Funktion erstellen, und aktualisiert sie nicht, wenn sich die Pipeline ändert. Wenn eine Ausgabetabelle entfernt wird oder ihr Schema nicht mehr zum Merkmal passt, schlägt der nächste Materialisierungslauf fehl. Trainingsdaten können zudem inkonsistent mit dem zuvor materialisierten Datenbestand werden.
Um die Ein- und Ausgaben einer Pipeline zu ändern, erstellen Sie eine neue Pipeline mit der Änderung und registrieren neue Feature-Ansichten darauf.
Das Löschen einer Feature View löscht nicht deren Pipeline. Wenn du die Pipeline löschst, scheitern Materialisierungsausläufe für deren Features. Neue Funktionen aus einer bestehenden Pipeline erstellen.
Troubleshooting
CAN_RUN permission is required on the pipeline
Die Pipeline existiert nicht, oder du hast keine CAN RUN-, CAN MANAGE- oder IS OWNER-Berechtigung dafür. Sie benötigen diese Berechtigung, um ein Feature aus der Pipeline zu erstellen und dessen Features zu materialisieren. Überprüfen Sie die Pipeline-ID im Fehler oder bitten Sie den Pipeline-Eigentümer, die Berechtigung zu erteilen.
Pipeline '<id>' is continuous
SdpSource unterstützt nur ausgelöste Pipelines. Schalten Sie die Pipeline in den Trigger-Modus um oder verwenden Sie einen DeltaTableSource auf der Ausgabetabelle der Pipeline.
output_table '<name>' is not an output of pipeline '<id>'
Die Ausgabetabelle existiert, aber die Pipeline befüllt sie nicht. Vergleiche den Tabellennamen mit den im Fehler angegebenen Outputs.
Ein Materialisierungslauf schlägt beim Update der Pipeline fehl
In der Fehlermeldung des Laufs wird das Pipeline-Update genannt. Öffnen Sie das Update in der Laufhistorie der Pipeline, um zu sehen, warum es fehlgeschlagen ist. Wenn das Update nach 4 Stunden noch läuft, schlägt der Run fehl, aber das Update läuft weiter.
A table trigger starts an SDP-sourced feature's materialization when its input_tables update
Die Features verwenden ein TableTrigger, oder sind ColumnSelection Features, aber ihr SdpSource hat kein input_tables. Verwenden Sie ein CronSchedule für Aggregations-Features, oder erstellen Sie die Features mit input_tables neu.
Einschränkungen
-
SdpSourceFunktionen sind nur im Batchmodus verfügbar. Streaming-Materialisierung wird nicht unterstützt. - Es werden nur ausgelöste Pipelines unterstützt. Für kontinuierliche Pipelines oder Pipelines, die Sie selbst planen, verwenden Sie ein
DeltaTableSourcein der Ausgabetabelle. -
CustomUDF-Funktionen unterstützenSdpSourcenicht. -
input_tableskann bis zu 25 Tabellen ohne Duplikate auflisten. Jede Tabelle muss existieren, wenn du das Feature erstellst. EinTableTriggerüberwacht dasinput_tablesjedes Features im Job, insgesamt bis zu 25 Tabellen. Um mehr als 10 Tabellen zu überwachen, aktivieren Sie Dateiereignisse auf jeder beobachteten Tabelle. Wenn es mehr Tabellen gibt, als der Trigger überwachen kann, wirdmaterialize_featuresabgelehnt. - Ein
TableTriggerkann auf jede beliebige Eingabetabelle oder auf alle Eingabetabellen warten, bis sie aktualisiert werden. Es kann nicht auf eine bestimmte Teilmenge warten. - Ein Backfill aktualisiert die gesamte Ausgabetabelle vollständig, selbst wenn du einen Zeitbereich angibst. Der Zeitraum gilt nur für Aggregationsmerkmale.