Referenz zu Pipelineeigenschaften

Referenz für JSON-Konfigurationseinstellungen und Tabelleneigenschaften der Pipeline. Weitere Informationen zur Verwendung dieser Eigenschaften und Konfigurationen finden Sie in den folgenden Artikeln:

Konfiguration von Lakeflow-Pipelines und Apache Spark™ Declarative Pipelines

Lakeflow-Pipelines basieren auf Apache Spark™ Declarative Pipelines (SDP). Die Pipelinekonfiguration ist weitgehend eine Obermenge der SDP-Projektspezifikation. Unterschiede bei der Verwendung von Eigenschaften zwischen SDP- und Lakeflow-Pipelines sind zu beachten. Einen Vergleich der Funktionen, die Lakeflow-Pipelines und SDP teilen, finden Sie unter Apache Spark Declarative Pipelines.

Pipelinekonfigurationen

  • id

    Typ: string

    Dies ist ein global eindeutiger Bezeichner für diese Pipeline. Der Bezeichner wird vom System zugewiesen und kann nicht geändert werden.

    Nur Lakeflow-Pipelines. SDP weist keinen Pipelinebezeichner zu

  • name

    Typ: string

    Dies ist ein Anzeigename für diese Pipeline. Der Name kann verwendet werden, um Pipelineaufträge auf der Benutzeroberfläche zu identifizieren.

    Verfügbar in SDP als erforderliches name Feld

  • configuration

    Typ: object

    Eine optionale Liste der Einstellungen, die der Spark-Konfiguration des Clusters hinzugefügt werden sollen, der die Pipeline ausführt. Diese Einstellungen werden von der Pipelinelaufzeit gelesen und sind für Pipelineabfragen über die Spark-Konfiguration verfügbar.

    Elemente müssen als key:value-Paare formatiert werden.

    Verfügbar in SDP als configuration

  • parameters

    Typ: object

    Von Bedeutung

    Dieses Feature befindet sich in der Betaversion. Arbeitsbereichsadministratoren können den Zugriff auf dieses Feature über die Vorschauseite steuern. Siehe Manage Azure Databricks Previews.

    Eine optionale Zuordnung von Schlüssel-Wert-Paaren, auf die der Pipelinequellcode mithilfe der benannten Parametersyntax verweisen kann (z. B :source_catalog. ). Verwenden Sie Parameter, um den gleichen Pipelinequellcode in Umgebungen oder Datasets wiederzuverwenden, ohne die Quelle zu bearbeiten.

    Schlüssel können alphanumerische Zeichen, Unterstriche (_), Bindestriche (-) und Punkte (.) enthalten. Werte sind immer Zeichenfolgen.

    Sie können diese Standardwerte beim Starten einer Aktualisierung, für einen Pipelinevorgang in einem Auftrag oder mit Pushdownauftragsparametern überschreiben. Pipelineparameter können nur aus SQL-Quellcode referenziert werden. Siehe Verwendung von Parametern mit Pipelines.

    Nur Lakeflow-Pipelines

  • libraries

    Typ: array of objects

    Ein Array von Codedateien, die den Pipelinecode und erforderliche Artefakte enthalten.

    Verfügbar in SDP als , als librarieseine Liste von Quelldatei-Globmustern anstelle eines Arrays von Codedateiobjekten angegeben

  • clusters

    Typ: array of objects

    Dies ist ein Array von Spezifikationen für die Cluster zum Ausführen der Pipeline.

    Wenn dies nicht angegeben ist, wählen Pipelines automatisch eine Standardclusterkonfiguration für die Pipeline aus.

    Nur Lakeflow-Pipelines. SDP verwaltet keine Berechnung

  • development

    Typ: boolean

    Ein Kennzeichen, das angibt, ob die Pipeline im development- oder production-Modus ausgeführt werden soll.

    Der Standardwert ist false.

    Nur Lakeflow-Pipelines

  • notifications

    Typ: array of objects

    Ein optionales Array von Spezifikationen für E-Mail-Benachrichtigungen, wenn ein Pipelineupdate abgeschlossen ist, schlägt mit einem wiederholungsfähigen Fehler fehl, schlägt mit einem nicht behebbaren Fehler fehl, oder ein Flow ist fehlerhaft.

    Nur Lakeflow-Pipelines

  • continuous

    Typ: boolean

    Dies ist ein Flag, das angibt, ob die Pipeline kontinuierlich ausgeführt werden soll.

    Der Standardwert ist false.

    Nur Lakeflow-Pipelines

  • catalog

    Typ: string

    Der Name des Standardkatalogs für die Pipeline, in dem alle Datasets und Metadaten für die Pipeline veröffentlicht werden. Durch Festlegen dieses Werts wird der Unity-Katalog für die Pipeline aktiviert.

    Wird diese Einstellung nicht festgelegt, veröffentlicht die Pipeline im Legacy-Hive-Metastore unter Verwendung des in storage angegebenen Speicherorts.

    Gibt im Legacyveröffentlichungsmodus den Katalog an, der das Zielschema enthält, in dem alle Datasets aus der aktuellen Pipeline veröffentlicht werden. Weitere Informationen finden Sie unter LIVE-Schema (Legacy).

    Verfügbar in SDP als catalog

  • schema

    Typ: string

    Der Name des Standardschemas für die Pipeline, in dem standardmäßig alle Datasets und Metadaten für die Pipeline veröffentlicht werden. Siehe Festlegen des Zielkatalogs und des Schemas.

    Verfügbar in SDP as database, die auch den Alias akzeptiert schema

  • target (Legacy)

    Typ: string

    Der Name des Zielschemas, in dem alle in der aktuellen Pipeline definierten Datasets veröffentlicht werden.

    Wenn Sie target anstelle von schema festlegen, wird die Pipeline so konfiguriert, dass der legacy-Veröffentlichungsmodus verwendet wird. Weitere Informationen finden Sie unter LIVE-Schema (Legacy).

    Nur Lakeflow-Pipelines

  • storage (Legacy)

    Typ: string

    Dies ist ein Speicherort im DBFS oder Cloudspeicher, an dem für die Pipelineausführung erforderliche Ausgabedaten und Metadaten gespeichert werden. Tabellen und Metadaten werden in Unterverzeichnissen dieses Speicherorts gespeichert.

    Wenn die storage Einstellung nicht angegeben ist, wird das System standardmäßig an einem Speicherort in dbfs:/pipelines/.

    Die storage-Einstellung kann nach dem Erstellen einer Pipeline nicht mehr geändert werden.

    Verfügbar in SDP als erforderliches storage Feld. In Lakeflow-Pipelines ist storage eine Legacyeinstellung

  • channel

    Typ: string

    Die Version der zu verwendenden Pipelinelaufzeit. Die unterstützten Werte sind:

    • preview, um Ihre Pipeline mit anstehenden Änderungen an der Laufzeitversion zu testen.
    • current, um die aktuelle Runtimeversion zu verwenden.

    Das feld channel ist optional. Der Standardwert ist current. Databricks empfiehlt die Verwendung der aktuellen Runtimeversion für Produktionsworkloads.

    Nur Lakeflow-Pipelines

  • edition

    Geben Sie string ein

    Die Produktedition zum Ausführen der Pipeline. Mit dieser Einstellung können Sie die beste Produktedition basierend auf den Anforderungen Ihrer Pipeline auswählen:

    • CORE zum Ausführen von Workloads zur Streamerfassung
    • PRO um Streaming-Ingestion- und CDC-Workloads zur Änderungsdatenerfassung auszuführen.
    • ADVANCED zum Ausführen von Streaming-Ingest-Workloads, CDC-Workloads und Workloads, die Anforderungen zur Erzwingung von Datenqualitätsbeschränkungen erfordern.

    Das feld edition ist optional. Der Standardwert ist ADVANCED.

    Nur Lakeflow-Pipelines

  • photon

    Typ: boolean

    Dieses Flag gibt an, ob für die Ausführung der Pipeline Was ist Photon? verwendet werden soll. Photon ist die Hochleistungs-Spark-Engine von Azure Databricks. Pipelines mit Photon-Unterstützung werden mit einer anderen Rate als Nicht-Photon-Pipelines abgerechnet.

    Das feld photon ist optional. Der Standardwert ist false.

    Nur Lakeflow-Pipelines

  • serverless

    Typ: boolean

    Ein Flag, das angibt, ob die Pipeline serverlose Berechnung verwendet. Siehe Konfigurieren einer serverlosen Pipeline.

    Nur Lakeflow-Pipelines

  • event_log

    Typ: object

    Konfiguration für das Ereignisprotokollziel der Pipeline als Objekt mit name, catalogund schema Feldern, die das Ereignisprotokoll in einer Unity-Katalog-Tabelle veröffentlichen. Siehe Pipelineereignisprotokoll.

    Nur Lakeflow-Pipelines

  • tags

    Typ: object

    Eine optionale Zuordnung von benutzerdefinierten Tags für die Pipeline. Maximal 25 Tags können hinzugefügt werden.

    Nur Lakeflow-Pipelines

  • budget_policy_id

    Typ: string

    Die ID der Serverlosen Budgetrichtlinie, die auf diese Pipeline angewendet werden soll, wird verwendet, um die serverlose Nutzung für die Kostennachverfolgung zu attributieren. Dieses Feld wird nur in der JSON- oder YAML-Konfiguration angezeigt, wenn Sie eine Richtlinie explizit festlegen. Wenn sie nicht festgelegt ist, löst Azure Databricks automatisch eine Standardrichtlinie auf. Die aufgelöste Richtlinie wird in der Benutzeroberfläche für Pipelineeinstellungen angezeigt, wird jedoch nicht in die JSON- oder YAML-Konfiguration geschrieben.

    Nur Lakeflow-Pipelines

  • root_path

    Typ: string

    Der Stammpfad für die Pipeline. Wenn festgelegt, wird dieses Verzeichnis beim Ausführen Python Quelldateien hinzugefügtsys.path, sodass Module relativ zu ihr importiert werden können.

    Nur Lakeflow-Pipelines

  • environment

    Typ: object

    Eine Umgebungsspezifikation, die zum Installieren Python Abhängigkeiten für die Pipeline verwendet wird.

    Nur Lakeflow-Pipelines

  • pipelines.maxFlowRetryAttempts

    Typ: int

    Wenn während eines Pipelineupdates ein wiederholungsfähiger Fehler auftritt, ist dies die maximale Anzahl von Wiederholungen, bevor die Pipelineaktualisierung fehlschlägt.

    Verwenden Sie dies, um Wiederholungen für einen einzelnen Fluss zu binden, der anfällig für wiederholungsfähige Fehler ist, sodass es kein gesamtes Update stagnieren kann.

    Standard: Zwei Wiederholungsversuche. Wenn ein wiederholungsfähiger Fehler auftritt, versucht die Pipelinelaufzeit, den Fluss dreimal auszuführen, einschließlich des ursprünglichen Versuchs.

    Nur Lakeflow-Pipelines

  • pipelines.numUpdateRetryAttempts

    Typ: int

    Wenn während eines Updates ein wiederholungsfähiger Fehler auftritt, ist dies die maximale Anzahl von Wiederholungsversuchen, bevor das Update dauerhaft fehlschlägt. Der Wiederholungsversuch wird als vollständiges Update ausgeführt.

    Verwenden Sie dies, um gebundene Wiederholungen für ein gesamtes Update auszuführen, sodass ein hängen gebliebenes Update dauerhaft fehlschlägt, anstatt auf unbestimmte Zeit erneut zu versuchen.

    Dieser Parameter gilt nur für Pipelines, die das Verhalten des automatischen Wiederholungs- und Neustarts verwenden. Wiederholungen werden nicht für Ad-hoc-Updates versucht, die vom Editor ausgeführt werden, oder wenn Sie ein Validate Update ausführen.

    Default:

    • Fünf für ausgelöste Pipelines.
    • Unbegrenzt für fortlaufende Pipelines.

    Nur Lakeflow-Pipelines

Eigenschaften der Pipelinetabelle

Zusätzlich zu den von Delta Lake unterstützten Tabelleneigenschaften können Sie die folgenden Tabelleneigenschaften festlegen.

  • pipelines.autoOptimize.zOrderCols

    Standardwert: Keiner

    Eine optionale Zeichenfolge mit einer durch Trennzeichen getrennten Liste von Spaltennamen, nach der diese Tabelle in Z-Reihenfolge geordnet werden soll. Beispiel: pipelines.autoOptimize.zOrderCols = "year,month"

    Databricks empfiehlt flüssiges Clustering anstelle der Z-Sortierung zum Optimieren des Datenlayouts in Pipelinetabellen. Damit Databricks die Clusterspalten automatisch auswählen und verwalten können, verwenden Sie CLUSTER BY AUTO (cluster_by_auto=True in Python). Siehe Verwenden von Flüssigclustering für Tabellen.

    Nur Lakeflow-Pipelines

  • pipelines.reset.allowed

    Standardwert: true

    Steuert, ob eine vollständige Aktualisierung für diese Tabelle zulässig ist

    Verfügbar in SDP als pipelines.reset.allowed

  • pipelines.autoOptimize.managed

    Standardwert: true

    Aktiviert oder deaktiviert die automatisch geplante Optimierung dieser Tabelle

    Für Pipelines, die von der Vorhersageoptimierung verwaltet werden, wird diese Eigenschaft nicht verwendet.

    Nur Lakeflow-Pipelines

Triggerintervall für Pipelines

Sie können ein Pipelinetriggerintervall für die gesamte Pipeline oder als Teil einer Datasetdeklaration angeben. Siehe Festlegen des Auslöserintervalls für fortlaufende Pipelines.

  • pipelines.trigger.interval

    Der Standardwert basiert auf dem Flowtyp:

    • Fünf Sekunden für Streamingabfragen.
    • Eine Minute für vollständige Abfragen, wenn alle Eingabedaten aus Delta-Quellen stammen.
    • Zehn Minuten für vollständige Abfragen, wenn einige Datenquellen möglicherweise nicht Delta sind.

    Der Wert ist eine Zahl plus der Zeiteinheit. Dies sind die gültigen Zeiteinheiten:

    • second, seconds
    • minute, minutes
    • hour, hours
    • day, days

    Sie können die Singular- oder Pluraleinheit verwenden, wenn Sie den Wert definieren, z. B.:

    • {"pipelines.trigger.interval" : "1 hour"}
    • {"pipelines.trigger.interval" : "10 seconds"}
    • {"pipelines.trigger.interval" : "30 second"}
    • {"pipelines.trigger.interval" : "1 minute"}
    • {"pipelines.trigger.interval" : "10 minutes"}
    • {"pipelines.trigger.interval" : "10 minute"}

    Nur Lakeflow-Pipelines

Clusterattribute, die nicht vom Benutzer festgelegt werden können

Da Pipelines Clusterlebenszyklus verwalten, werden viele Clustereinstellungen vom System festgelegt und können von Benutzern nicht manuell konfiguriert werden, entweder in einer Pipelinekonfiguration oder in einer Clusterrichtlinie, die von einer Pipeline verwendet wird. In der folgenden Tabelle sind diese Einstellungen aufgeführt und der Grund, warum sie nicht manuell festgelegt werden können.

Nur Lakeflow-Pipelines. SDP verwaltet keine Berechnung, sodass diese Clusterattribute nicht angewendet werden.

  • cluster_name

    SDP legt die Namen der Cluster fest, die zum Ausführen von Pipelineupdates verwendet werden. Diese Namen können nicht überschrieben werden.

  • data_security_mode

    access_mode

    Diese Werte werden automatisch vom System festgelegt.

  • spark_version

    SDP-Cluster werden auf einer benutzerdefinierten Version von Databricks Runtime ausgeführt, die ständig aktualisiert wird, um die neuesten Features einzuschließen. Die Spark-Version ist mit der Databricks Runtime-Version gebündelt und kann nicht überschrieben werden.

  • autotermination_minutes

    Da SDP die automatische Beendigungs- und Wiederverwendungslogik des Clusters verwaltet, kann die automatische Beendigungszeit des Clusters nicht außer Kraft gesetzt werden.

  • runtime_engine

    Obwohl Sie dieses Feld steuern können, indem Sie Photon für Ihre Pipeline aktivieren, können Sie diesen Wert nicht direkt festlegen.

  • effective_spark_version

    Dieser Wert wird automatisch vom System festgelegt.

  • cluster_source

    Dieses Feld wird vom System festgelegt und ist schreibgeschützt.

  • docker_image

    Da SDP den Clusterlebenszyklus verwaltet, können Sie keinen benutzerdefinierten Container mit Pipelineclustern verwenden.

  • workload_type

    Dieser Wert wird vom System festgelegt und kann nicht überschrieben werden.

Quell- und Abfrageoptionen

Einige Datenaufnahme- und Verarbeitungsverhalten sind für die Datenquelle oder Abfrage und nicht als Pipelineeigenschaften konfiguriert. Dazu gehören Schemaentwicklung, Schemahinweise und Rückschlüsse, Grenzwerte für Die Aufnahmerate und Dateifilterung. Um sie zu konfigurieren, verwenden Sie die Optionen für read_files und automatisches Laden. Informationen zur Schemaentwicklung finden from_jsonSie unter "Inferieren und Entwickeln des Schemas mithilfe von from_json Pipelines".

  • Last updated on