Teilen über

Versionshinweise zu Lakeflow Spark Declarative Pipelines und dem Releaseupgradeprozess

In diesem Artikel werden der Release-Prozess und die Verwaltung der Laufzeit der Lakeflow Spark Declarative Pipelines erläutert. Außerdem werden Links zu Versionshinweisen für jede Version der Lakeflow Spark Declarative Pipelines bereitgestellt.

Lakeflow Spark Declarative Pipelines-Laufzeitkanäle

Note

Die Databricks-Runtime-Versionen, die mit einer Lakeflow Spark Declarative Pipelines-Version verwendet werden, finden Sie in den Versionshinweisen zu dieser Version.

Lakeflow Spark Declarative Pipelines-Cluster verwenden Laufzeiten basierend auf Databricks Runtime- Versionshinweisen und Kompatibilität. Databricks aktualisiert automatisch die Lakeflow Spark Declarative Pipelines-Laufzeiten, um Verbesserungen und Upgrades auf die Plattform zu unterstützen. Sie können das channel Feld in den Lakeflow Spark Declarative Pipelines-Einstellungen verwenden, um die Laufzeitversion der Lakeflow Spark Declarative Pipelines zu steuern, die Ihre Pipeline ausführt. Die unterstützten Werte sind:

  • current, um die aktuelle Runtimeversion zu verwenden.
  • preview, um Ihre Pipeline mit anstehenden Änderungen an der Laufzeitversion zu testen.

Standardmäßig werden Ihre Pipelines mit der current Runtimeversion ausgeführt. Databricks empfiehlt die Verwendung der current Runtime für Produktionsworkloads. Informationen zur Verwendung der preview-Einstellung zum Testen Ihrer Pipelines mit der nächsten Runtimeversion finden Sie unter Automatisieren der Tests Ihrer Pipelines mit der nächsten Runtimeversion.

Important

Features, die als „allgemein verfügbar“ oder „Öffentliche Vorschauversion“ gekennzeichnet sind, sind im current-Kanal verfügbar.

Weitere Informationen zu den Kanälen der Lakeflow Spark Declarative Pipelines finden Sie im channel-Feld in den Pipeline-Einstellungen der Lakeflow Spark Declarative Pipelines.

Informationen dazu, wie Lakeflow Spark Declarative Pipelines den Upgradeprozess für jede Version verwalten, finden Sie unter Wie funktionieren Upgrades für Lakeflow Spark Declarative Pipelines?.

Wie finde ich die Databricks Runtime-Version für ein Pipelineupdate?

Sie können das Lakeflow Spark Declarative Pipelines-Ereignisprotokoll abfragen, um die Databricks-Runtime-Version für ein Pipelineupdate zu finden. Weitere Informationen finden Sie unter Runtime-Informationen.

Lakeflow Spark Declarative Pipelines Versionshinweise

Lakeflow Spark Declarative Pipelines Versionshinweise sind nach Jahr und Woche des Jahres organisiert. Da Lakeflow Spark Declarative Pipelines versionslos ist, werden sowohl Arbeitsbereichs- als auch Laufzeitänderungen automatisch vorgenommen. Die folgenden Versionshinweise bieten eine Übersicht über Änderungen und Fehlerbehebungen in den einzelnen Versionen:

Wie funktionieren Upgrades von Lakeflow Spark Declarative Pipelines?

Lakeflow Spark Declarative Pipelines gilt als versionsloses Produkt, was bedeutet, dass Databricks die Runtime der Lakeflow Spark Declarative Pipelines automatisch aktualisiert, um Verbesserungen und Upgrades auf die Plattform zu unterstützen. Databricks empfiehlt, externe Abhängigkeiten für Lakeflow Spark Declarative Pipelines einzuschränken.

Databricks funktioniert proaktiv, um zu verhindern, dass automatische Upgrades Fehler oder Probleme in die Produktion Lakeflow Spark Declarative Pipelines einführen. Siehe Lakeflow Spark Declarative Pipelines-Upgradeprozess.

Insbesondere für Benutzer, die Lakeflow Spark Declarative Pipelines mit externen Abhängigkeiten bereitstellen, empfiehlt Databricks proaktives Testen von Pipelines mit preview Kanälen. Siehe Automatisieren des Testens Ihrer Pipelines mit der nächsten Laufzeitversion.

Upgradeprozess von Lakeflow Spark Declarative Pipelines

Databricks verwaltet die Databricks-Runtime, die von Lakeflow Spark Declarative Pipelines verwendet wird, Computeressourcen. Lakeflow Spark Declarative Pipelines aktualisiert die Laufzeit automatisch in Ihren Azure Databricks-Arbeitsbereichen und überwacht die Integrität Ihrer Pipelines nach dem Upgrade.

Wenn Lakeflow Spark Declarative Pipelines erkennt, dass eine Pipeline aufgrund eines Upgrades nicht gestartet werden kann, wird die Laufzeitversion für die Pipeline auf die vorherige Version zurückgesetzt, die als stabil bekannt ist, und die folgenden Schritte werden automatisch ausgelöst:

  • Die Lakeflow Spark Declarative Pipelines-Laufzeit der Pipeline wird an die vorherige bekanntermaßen zuverlässige Version angeheftet.
  • Der Support von Databricks wird über das Problem benachrichtigt.
    • Wenn das Problem mit einer Regression in der Laufzeit zusammenhängt, löst Databricks das Problem.
    • Wenn das Problem durch eine benutzerdefinierte Bibliothek oder Paket verursacht wird, das von der Pipeline verwendet wird, kontaktiert Databricks Sie, um das Problem zu beheben.
  • Wenn das Problem behoben ist, initiiert Databricks das Upgrade erneut.

Important

Lakeflow Spark Declarative Pipelines setzt nur Pipelines zurück, die im Produktionsmodus ausgeführt werden, wenn der Kanal auf current gesetzt ist.

Automatisieren des Testens Ihrer Pipelines mit der nächsten Laufzeitversion

Um sicherzustellen, dass Änderungen in der nächsten Lakeflow Spark Declarative Pipelines-Laufzeitversion keine Auswirkungen auf Ihre Pipelines haben, verwenden Sie das Feature Lakeflow Spark Declarative Pipelines Kanäle:

  1. Erstellen Sie eine Stagingpipeline, und legen Sie den Kanal auf preview fest.
  2. Erstellen Sie in der Benutzeroberfläche von Lakeflow Spark Declarative Pipelines einen Zeitplan, um die Pipeline wöchentlich auszuführen, und aktivieren Sie Warnungen, um eine E-Mail-Benachrichtigung bei Pipelinefehlern zu erhalten. Databricks empfiehlt, wöchentliche Testläufe von Pipelines zu planen, insbesondere wenn Sie benutzerdefinierte Pipelineabhängigkeiten verwenden.
  3. Wenn Sie eine Benachrichtigung über einen Fehler erhalten und ihn nicht beheben können, öffnen Sie ein Supportticket bei Databricks.

Pipelineabhängigkeiten

Lakeflow Spark Declarative Pipelines unterstützt externe Abhängigkeiten in Ihren Pipelines; Sie können beispielsweise jedes Python-Paket mit dem %pip install Befehl installieren. Lakeflow Spark Declarative Pipelines unterstützt auch die Verwendung von globalen und clusterbezogenen Init-Skripts. Diese externen Abhängigkeiten, insbesondere init-Skripts, erhöhen jedoch das Risiko von Problemen mit Runtimeupgrades. Um diese Risiken zu mindern, minimieren Sie die Verwendung von init-Skripts in Ihren Pipelines. Wenn Ihre Verarbeitung init-Skripts erfordert, automatisieren Sie das Testen Ihrer Pipeline, um Probleme frühzeitig zu erkennen; Informationen finden Sie auch unter Automatisieren des Testens Ihrer Pipelines mit der nächsten Laufzeitversion. Wenn Sie init-Skripts verwenden, empfiehlt Databricks, ihre Testhäufigkeit zu erhöhen.

  • Last updated on