Konfigurieren von Pipelines

Konfigurieren Sie die grundlegenden Einstellungen für eine Pipeline, einschließlich Quellcode, Zielkatalog und Schema, Berechnung und Pipelinemodus, in der Arbeitsbereichsbenutzeroberfläche.

Databricks empfiehlt, neue Pipelines ohne Server zu entwickeln. Konfigurationsanweisungen für serverlose Pipelines finden Sie unter Konfigurieren einer serverlosen Pipeline.

Die Konfigurationsanweisungen auf dieser Seite verwenden Unity-Katalog. Anweisungen zum Konfigurieren von Pipelines mit legacy Hive metastore finden Sie unter Lakeflow-Pipelines mit legacy Hive metastore verwenden.

Auf dieser Seite werden Funktionen für den aktuellen Standardveröffentlichungsmodus für Pipelines erläutert. Pipelines, die vor dem 5. Februar 2025 erstellt wurden, können den Legacy-Veröffentlichungsmodus und LIVE das virtuelle Schema verwenden. Weitere Informationen finden Sie unter LIVE-Schema (Legacy).

Hinweis

Die Benutzeroberfläche verfügt über eine Option zum Anzeigen und Bearbeiten von Einstellungen in JSON. Sie können die meisten Einstellungen entweder mit der Benutzeroberfläche oder mit einer JSON-Spezifikation konfigurieren. Einige erweiterte Optionen sind nur mit der JSON-Konfiguration verfügbar.

JSON-Konfigurationsdateien sind auch bei der Bereitstellung von Pipelines in neuen Umgebungen oder bei Verwendung der CLI oder der REST-API hilfreich.

Eine vollständige Referenz zu den JSON-Konfigurationseinstellungen der Pipeline finden Sie unter Pipelinekonfigurationen.

Pipelineeinstellungen

Pipelineeinstellungen sind in zwei Kategorien unterteilt:

• Quellcode: Die Sammlung von Dateien, die Datasets mithilfe der Pipelinesyntax deklarieren. Siehe "Quellcode konfigurieren".
• Infrastruktur: Einstellungen, die die Berechnung steuern, wie Updates verarbeitet werden und wo Tabellen gespeichert werden.

Die meisten Einstellungen weisen angemessene Standardwerte auf, aber zwei erfordern vor der Ausführung in der Produktion Aufmerksamkeit:

• Zielkatalog und -schema: Um Daten außerhalb der Pipeline verfügbar zu machen, deklarieren Sie einen Zielkatalog und ein Schema. Die Daten werden standardmäßig im Unity-Katalog veröffentlicht. Siehe Festlegen des Zielkatalogs und des Schemas.
• Datenzugriff: Die für die Ausführung verwendete Berechnung muss über Berechtigungen für Ihre Datenquellen und, sofern angegeben, einen Speicherort verfügen.

Konfigurieren einer neuen Pipeline

Gehen Sie wie folgt vor, um eine neue Pipeline zu konfigurieren:

1. Klicken Sie oben auf der Randleiste auf das Neu und wählen Sie dann ETL-Pipeline.

2. Geben Sie oben ihrer Pipeline einen eindeutigen Namen.

3. Unter dem Namen sehen Sie den Standardkatalog und das Standardschema, das für Sie ausgewählt wurde. Ändern Sie diese, um Ihrer Pipeline unterschiedliche Standardwerte zu geben.

   Im Standardkatalog und im Standardschema werden Datasets ausgelesen oder in diese geschrieben, wenn Sie Datasets nicht mit einem Katalog oder Schema in Ihrem Code qualifizieren. Weitere Informationen finden Sie unter Datenbankobjekte in Azure Databricks .

4. Wählen Sie Ihre bevorzugte Option zum Erstellen einer Pipeline aus:

   • Beginnen Sie mit Beispielcode in SQL , um eine neue Pipeline- und Ordnerstruktur zu erstellen, einschließlich Beispielcode in SQL.
   • Beginnen Sie mit Beispielcode in Python , um eine neue Pipeline- und Ordnerstruktur zu erstellen, einschließlich Beispielcode in Python.
   • Beginnen Sie mit einer einzelnen Transformation , um eine neue Pipeline- und Ordnerstruktur mit einer neuen leeren Codedatei zu erstellen.
   • Fügen Sie vorhandene Ressourcen hinzu, um eine Pipeline zu erstellen, die Sie vorhandenen Codedateien in Ihrem Arbeitsbereich zuordnen können.
   • Erstellen Sie ein Projekt mit Quellcodeverwaltung, um eine Pipeline mit einem neuen deklarativen Automatisierungs-Bundle-Projekt zu erstellen oder die Pipeline einem bestehenden Bundle hinzuzufügen.

   Sie können sowohl SQL- als auch Python-Quellcodedateien in Ihrer ETL-Pipeline haben. Wenn Sie eine neue Pipeline erstellen und eine Sprache für den Beispielcode auswählen, gilt die Sprache nur für den Beispielcode, der standardmäßig in Ihrer Pipeline enthalten ist.

5. Wenn Sie Ihre Auswahl treffen, werden Sie an die neu erstellte Pipeline umgeleitet.

   Die ETL-Pipeline wird mit den folgenden Standardeinstellungen erstellt:

   • Unity-Katalog
   • Aktueller Kanal
   • Serverloses Computing

   Diese Konfiguration wird für viele Anwendungsfälle empfohlen, einschließlich Entwicklung und Tests, und eignet sich gut für Produktionsworkloads, die nach einem Zeitplan ausgeführt werden sollen. Ausführliche Informationen zur Planung von Pipelines finden Sie unter Pipeline-Aufgabe für Aufträge.

   Sie können diese Einstellungen über die Werkzeugleiste der Pipeline anpassen.

Alternativ können Sie eine ETL-Pipeline über den Arbeitsbereichsbrowser erstellen:

1. Klicken Sie im linken Seitenbereich auf "Arbeitsbereich ".
2. Wählen Sie einen beliebigen Ordner aus, einschließlich Git-Ordnern.
3. Klicken Sie in der oberen rechten Ecke auf "Erstellen ", und klicken Sie auf die ETL-Pipeline.

Sie können auch eine ETL-Pipeline auf der Seite "Aufträge und Pipelines" erstellen:

1. Klicken Sie in Ihrem Arbeitsbereich auf Aufträge & Pipelines in der Randleiste.
2. Klicken Sie unter "Neu" auf "ETL-Pipeline".

Compute-Konfigurationsoptionen

Databricks empfiehlt immer die Verwendung der erweiterten automatischen Skalierung. Standardwerte für andere Computekonfigurationen funktionieren gut für viele Pipelines.

Serverlose Pipelines entfernen Konfigurationsoptionen für die Rechenleistung. Konfigurationsanweisungen für serverlose Pipelines finden Sie unter Konfigurieren einer serverlosen Pipeline.

Verwenden Sie die folgenden Einstellungen zum Anpassen von Computekonfigurationen:

• Arbeitsbereichsadministratoren können eine Clusterrichtlinie konfigurieren. Mithilfe von Computerrichtlinien können Administratoren steuern, welche Computeoptionen Benutzern zur Verfügung stehen. Siehe Eine Compute-Richtlinie auswählen.
• Optional können Sie den Clustermodus so konfigurieren, dass er mit fester Größe oder automatischer Skalierung (Legacy) ausgeführt wird. Siehe Optimieren der Lakeflow-Pipelineclusternutzung mit automatischer Skalierung.
• Legen Sie für Workloads mit aktivierter automatischer Skalierung Min-Worker und Max-Worker fest, um Grenzwerte für Skalierungsverhalten festzulegen. Siehe Konfigurieren der klassischen Berechnung für Pipelines.
• Sie können die Photonbeschleunigung optional deaktivieren. Siehe Was ist Photon?.

• Verwenden Sie Clustertags , um die Kosten zu überwachen, die mit Pipelines verbunden sind. Siehe Konfigurieren von Computetags.
• Konfigurieren Sie Instanztypen , um den Typ der virtuellen Computer anzugeben, die zum Ausführen der Pipeline verwendet werden. Siehe Auswählen von Instanztypen zum Ausführen einer Pipeline.
  • Wählen Sie einen Workertyp aus, der für die in Ihrer Pipeline konfigurierten Workloads optimiert ist.
  • Sie können optional einen Treibertyp auswählen, der sich von Ihrem Arbeitstyp unterscheidet. Dies kann hilfreich sein, um die Kosten in Pipelines mit großen Arbeitertypen und einer geringen Rechnerauslastung des Treibers zu reduzieren oder eine größere Treibervariante zu wählen, um Speicherprobleme in Workloads mit vielen kleinen Arbeitern zu vermeiden.

Ausführungsbenutzer festlegen

Mit der Funktion „Ausführen als Benutzer“ können Sie die Identität, die eine Pipeline zur Ausführung verwendet, sowie das Eigentum der von ihr erstellten oder aktualisierten Tabellen ändern. Dies ist in Situationen hilfreich, in denen der ursprüngliche Benutzer, der die Pipeline erstellt hat, deaktiviert wurde, z. B. wenn er das Unternehmen verlassen hat. In diesen Fällen kann die Pipeline nicht mehr funktionieren, und auf die von ihr veröffentlichten Tabellen kann für andere nicht mehr zugegriffen werden. Indem Sie die Pipeline so aktualisieren, dass sie unter einer anderen Identität ausgeführt wird, z. B. unter einem Dienstprinzipal, und die Eigentümerschaft der veröffentlichten Tabellen neu zuweisen, können Sie den Zugriff wiederherstellen und sicherstellen, dass die Pipeline weiterhin funktioniert. Das Ausführen von Pipelines als Dienstprinzipale gilt als bewährte Methode, da sie nicht an einzelne Benutzer gebunden sind, wodurch sie sicherer, stabiler und zuverlässiger für automatisierte Workloads sind.

Erforderliche Berechtigungen

Für den Benutzer, der die Änderung vornimmt:

• CAN_MANAGE Berechtigungen für die Pipeline
• CAN_USE-Rolle für das Dienstprinzipal (wenn die Ausführung auf einen Dienstprinzipal festgelegt wird)

Für den ausführenden Benutzer oder Dienstprinzipal:

• Arbeitsbereichszugriff:

  • Berechtigung zum Arbeitsbereichszugriff für den Betrieb innerhalb des Arbeitsbereichs
  • Berechtigung Kann verwenden für Clusterrichtlinien, die von der Pipeline verwendet werden
  • Berechtigung zur Compute-Erstellung im Arbeitsbereich

• Quellcodezugriff:

  • Berechtigung Kann lesen für alle im Pipelinequellcode enthaltenen Notebooks erhalten.
  • Kann Leseberechtigung für Arbeitsbereichsdateien erhalten, wenn die Pipeline sie verwendet

• Unity-Katalogberechtigungen (für Pipelines mit Unity-Katalog):

  • USE CATALOG für den Zielkatalog
  • USE SCHEMA und CREATE TABLE im Zielschema
  • MODIFY-Berechtigung für vorhandene Tabellen, die von der Pipeline aktualisiert werden
  • CREATE SCHEMA-Berechtigung, wenn die Pipeline neue Schemas erstellt

• Legacy-Hive-Metaspeicherberechtigungen (für Pipelines mit Hive-Metaspeicher):

  • SELECT und MODIFY Berechtigungen für Zieldatenbanken und Tabellen

• Zusätzlicher Cloudspeicherzugriff (falls zutreffend):

  • Berechtigungen zum Lesen von Quellspeicherorten
  • Berechtigungen zum Schreiben an Zielspeicherorte

Den ausführenden Benutzer festlegen

Sie können den run-as Benutzer in den Pipeline-Einstellungen über die Pipeline-Überwachungsseite oder im Pipeline-Editor festlegen. So wechseln Sie den Benutzer auf der Pipeline-Überwachungsseite:

1. Klicken Sie auf Aufträge und Pipelines , um die Liste der Pipelines zu öffnen, und wählen Sie den Namen der Pipeline aus, die Sie bearbeiten möchten.
2. Klicken Sie auf der Piplineüberwachungsseite auf "Einstellungen".
3. Klicken Sie in der Seitenleiste der Pipeline-Einstellungen auf Bearbeiten neben Ausführen als.
4. Wählen Sie im Bearbeitungs-Widget eine der folgenden Optionen aus:
   • Ihr eigenes Benutzerkonto
   • Ein Dienstprinzipal, für den Sie über die CAN_USE-Berechtigung verfügen
5. Klicken Sie auf "Speichern ", um die Änderungen anzuwenden.

Wenn Sie den ausführenden Benutzer erfolgreich aktualisieren:

• Die Pipelineidentität ändert sich, sodass der neue Benutzer oder Dienstprinzipal für alle zukünftigen Ausführungen verwendet wird.
• In Unity Catalog-Pipelines wird der Besitzer von Tabellen, die von der Pipeline veröffentlicht wurden, aktualisiert, sodass er der neuen ausführenden Identität entspricht.
• Zukünftige Pipeline-Updates verwenden die Berechtigungen und Anmeldeinformationen der neuen ausführenden Identität
• Wie bei jeder Einstellungsänderung wird die neue Identität erst beim nächsten Pipeline-Update wirksam: Kontinuierliche Pipelines werden automatisch mit der neuen Identität neu gestartet, während ausgelöste Pipelines sie beim nächsten Lauf verwenden. Die Änderung der Ausführungsrechte kann eine laufende Aktualisierung unterbrechen. Sehen Sie sich an, wie Konfigurationsänderungen wirksam werden.

Hinweis

Wenn die Aktualisierung von "run-as" fehlschlägt, erhalten Sie eine Fehlermeldung, die den Grund für den Fehler erklärt. Häufige Probleme sind unzureichende Berechtigungen für den Service Principal.

Weitere Konfigurationsüberlegungen

Die folgenden Konfigurationsoptionen stehen auch für Pipelines zur Verfügung:

• Die Advanced-Produktedition bietet Ihnen Zugriff auf alle Pipeline-Funktionen. Sie können optional Pipelines mit den Produkteditionen Pro oder Core ausführen. Siehe "Produktedition auswählen".
• Sie können den Pipelinemodus Fortlaufend verwenden, wenn Sie Pipelines in der Produktion ausführen. Siehe Ausgelöste vs. Continuous Pipeline-Modus.
• Wenn Ihr Arbeitsbereich nicht für Unity Catalog konfiguriert ist oder Ihre Arbeitslast den legacy Hive-Metastore verwenden muss, lesen Sie Lakeflow-Pipelines mit legacy Hive-Metastore verwenden.
• Fügen Sie Benachrichtigungen für E-Mail-Updates basierend auf Erfolgs- oder Fehlerbedingungen hinzu. Siehe Hinzufügen von E-Mail-Benachrichtigungen für Pipelineereignisse.
• Verwenden Sie das Feld Parameter, um Schlüssel-Wert-Paare zu deklarieren, auf die Ihr SQL-Quellcode mit der Syntax für benannte Parameter verweisen kann und die beim Starten eines Updates oder durch einen Job überschrieben werden können. Siehe Verwendung von Parametern mit Pipelines.
• Verwenden Sie das Feld Configuration, um Spark-Konfigurationswerte festzulegen, die das Verhalten der Pipeline steuern, z. B. pipelines.enzyme.enabled. Siehe Pipeline-Eigenschaften-Referenz. Für Python Pipelines, die parametrisieren müssen, macht das Feld "Konfiguration" auch Werte für spark.conf.get() verfügbar. Siehe Referenzparameter mithilfe des Konfigurationsfelds.
• Tags konfigurieren. Tags sind Schlüssel-Wert-Paare für die Pipeline, die in der Jobs & Pipelines-Liste sichtbar sind. Pipelinetags sind nicht mit der Abrechnung verbunden.
• Verwenden Sie den Vorschaukanal , um Ihre Pipeline mit ausstehenden Pipelinelaufzeitänderungen zu testen und neue Features zu testen.

Wie Konfigurationsänderungen wirksam werden

Wenn Sie die Einstellungen einer Pipeline bearbeiten und speichern, gilt die Änderung für das nächste Pipelineupdate:

• Fortlaufende Pipelines werden automatisch mit der aktualisierten Konfiguration neu gestartet. Dadurch kann ein aktives Update unterbrochen werden.
• Wenn Sie den Typ von "Ausgelöst" in "Fortlaufend" ändern, wird automatisch ein neues Update mit den aktualisierten Einstellungen gestartet. Umgekehrt wird durch das Ändern des Typs von kontinuierlich zu ausgelöst eine aktive (kontinuierliche) Aktualisierung abgebrochen.

Auswählen einer Produktedition

Wählen Sie die Produktedition mit den besten Features für Ihre Pipelineanforderungen aus. Die folgenden Produkt editionen sind verfügbar:

• Core zum Ausführen von Workloads zur Streamerfassung Wählen Sie die Core Edition, wenn Ihre Pipeline keine erweiterten Funktionen wie Änderungsdatenerfassung (CDC) oder Expectations erfordert.
• Pro zum Ausführen von Streamerfassungs- und CDC-Workloads. Die Pro Produkt edition unterstützt alle Core Features sowie Unterstützung für Workloads, die Tabellen basierend auf Änderungen in Quelldaten aktualisieren müssen.
• Advanced zum Ausführen von Streamerfassungsworkloads, CDC-Workloads und Workloads, die Erwartungen erfordern. Die Advanced-Produktedition unterstützt die Funktionen der Core- und Pro-Editionen und umfasst Datenqualitätsbeschränkungen mit Expectations.

Sie können die Produktedition auswählen, wenn Sie eine Pipeline erstellen oder bearbeiten. Sie können eine andere Edition für jede Pipeline wählen. Ausführliche Informationen, einschließlich einer umfassenderen Funktionsaufschlüsselung nach Edition, finden Sie auf der Produktseite der Apache Spark™ Declarative Pipelines auf Databricks.

Die Produktedition bestimmt außerdem, wie lange vergangene Pipelineupdates in der Pipeline-UI und der Pipelines-API sichtbar bleiben:

Auflage	Aufbewahrung früherer Updates
Core	5 Tage
Pro	30 Tage
Advanced	30 Tage

Aktive (nicht terminale) Updates werden unabhängig von der Edition immer angezeigt. Wenn ein Update älter als das Aufbewahrungsfenster ist, schließt Azure Databricks es aus Listenantworten aus, behält es aber im zugrunde liegenden Ereignisprotokoll bei.

Hinweis: Wenn Ihre Pipeline Features enthält, die von der ausgewählten Produktedition nicht unterstützt werden, z. B. Erwartungen, erhalten Sie eine Fehlermeldung, die den Grund für den Fehler erklärt. Anschließend können Sie die Pipeline bearbeiten, um die entsprechende Edition auszuwählen.

Quellcode konfigurieren

Sie können den Ressourcenbrowser im Lakeflow Pipelines Editor verwenden, um den Quellcode zu konfigurieren, der Ihre Pipeline definiert. Pipelinequellcode wird in SQL- oder Python-Skripts definiert, die in Arbeitsbereichsdateien gespeichert sind. Wenn Sie Ihre Pipeline erstellen oder bearbeiten, können Sie eine oder mehrere Dateien hinzufügen. Der Pipelinequellcode befindet sich standardmäßig im transformations Ordner im Stammordner Ihrer Pipeline.

Da Pipelines Datasetabhängigkeiten automatisch analysieren, um das Verarbeitungsdiagramm zu erstellen, können Sie Quellcoderessourcen in beliebiger Reihenfolge hinzufügen.

Weitere Informationen zur Verwendung des Lakeflow Pipelines-Editors finden Sie unter Entwickeln und Debuggen von ETL-Pipelines mit dem Lakeflow Pipelines Editor.

Verwalten externer Abhängigkeiten für Pipelines, die Python verwenden

Pipelines unterstützen die Verwendung externer Abhängigkeiten in Ihren Pipelines, z. B. Python-Pakete und -Bibliotheken. Informationen zu Optionen und Empfehlungen für die Verwendung von Abhängigkeiten finden Sie unter "Verwalten von Python-Abhängigkeiten für Pipelines".

Verwenden von Python-Modulen, die in Ihrem Azure Databricks-Arbeitsbereich gespeichert sind

Zusätzlich zur Implementierung Ihres Python-Codes in Pipelinequellcodedateien können Sie Databricks Git Folders oder Arbeitsbereichsdateien verwenden, um Ihren Code als Python-Module zu speichern. Das Speichern Ihres Codes als Python-Module ist besonders nützlich, wenn Sie allgemeine Funktionen haben, die Sie in mehreren Pipelines oder Notebooks in derselben Pipeline verwenden möchten. Informationen zum Verwenden von Python-Modulen mit Ihren Pipelines finden Sie unter Importieren von Python-Modulen aus Git-Ordnern oder Arbeitsbereichsdateien.