Versionshinweise zu Delta Live Tables und zum Releaseupgradeprozess

  • Artikel

In diesem Artikel wird der Releaseprozess von Delta Live Tables erläutert, wie die Delta Live Tables-Runtime verwaltet wird, und es werden Links zu Versionshinweisen für jede Delta Live Tables-Version bereitgestellt.

Delta Live Tables-Laufzeitkanäle

Delta Live Tables-Cluster verwenden eine Runtime basierend auf Versionshinweisen zu Databricks Runtime-Versionen und -Kompatibilität. Databricks aktualisiert automatisch die Delta Live Tables-Runtime, um Verbesserungen und Upgrades der Plattform zu unterstützen. Sie können das channel Feld in den Delta Live Tables-Pipelineeinstellungen verwenden, um die Laufzeitversion von Delta Live Tables zu steuern, die Ihre Pipeline ausführt. Die unterstützten Werte sind:

  • current, um die aktuelle Runtimeversion zu verwenden.
  • preview, um Ihre Pipeline mit anstehenden Änderungen an der Runtimeversion zu testen.

Standardmäßig werden Ihre Pipelines mit der current Runtimeversion ausgeführt. Databricks empfiehlt die Verwendung der current Runtime für Produktionsworkloads. Informationen zur Verwendung der preview-Einstellung zum Testen Ihrer Pipelines mit der nächsten Runtimeversion finden Sie unter Automatisieren der Tests Ihrer Pipelines mit der nächsten Runtimeversion.

Informationen zu den Databricks Runtime-Versionen, die mit einer Delta Live Tables-Version verwendet werden, finden Sie in den Versionshinweisen zu diesem Release.

Weitere Informationen zu Delta Live Tables-Kanälen finden Sie im channel Feld in den Delta Live Tables Pipeline-Einstellungen.

Informationen dazu, wie Delta Live Tables den Upgradeprozess für die einzelnen Versionen verwaltet, finden Sie unter Wie funktionieren Delta Live Tables-Upgrades?.

Wie finde ich die Databricks Runtime-Version für ein Pipelineupdate?

Sie können das Delta Live Tables-Ereignisprotokoll abfragen, um die Databricks-Runtime-Version für ein Pipelineupdate zu finden. Weitere Informationen finden Sie unter Runtimeinformationen.

Delta Live Tables, Versionshinweise

Versionshinweise zu Delta Live Tables sind nach Jahr und Woche des Jahres organisiert. Da Delta Live Tables versionslos ist, werden Änderungen am Arbeitsbereich und an der Runtime automatisch vorgenommen. Die folgenden Versionshinweise bieten eine Übersicht über Änderungen und Fehlerbehebungen in den einzelnen Versionen:

Wie funktionieren Delta Live Tables-Upgrades?

Delta Live Tables gilt als versionsloses Produkt, was bedeutet, dass Databricks die Delta Live Tables-Runtime automatisch aktualisiert, um Verbesserungen und Upgrades auf der Plattform zu unterstützen. Databricks empfiehlt, externe Abhängigkeiten für Delta Live Tables-Pipelines einzuschränken.

Databricks arbeitet proaktiv daran, zu verhindern, dass automatische Upgrades Fehler oder Probleme in Delta Live Tables-Pipelines in der Produktion verursachen. Siehe Upgradeprozess für Delta Live Tables.

Insbesondere für Benutzer, die Delta Live Tables-Pipelines mit externen Abhängigkeiten bereitstellen, empfiehlt Databricks, Pipelines proaktiv mit preview Kanälen zu testen. Siehe Automatisieren des Testens Ihrer Pipelines mit der nächsten Laufzeitversion.

Upgradeprozess für Delta Live Tables

Databricks verwaltet die Databricks Runtime, die von Delta Live Tables-Computeressourcen verwendet wird. Delta Live Tables aktualisiert die Runtime automatisch in Ihren Azure Databricks-Arbeitsbereichen und überwacht die Integrität Ihrer Pipelines nach dem Upgrade.

Wenn Delta Live Tables erkennt, dass eine Pipeline aufgrund eines Upgrades nicht gestartet werden kann, wird die Runtimeversion für die Pipeline auf die vorherige Version zurückgesetzt, die sich als stabil erwiesen hat, und die folgenden Schritte werden automatisch ausgelöst:

  • Die Delta Live Tables-Runtime der Pipeline wird an die vorherige bekannte gute Version angeheftet.
  • Die Benutzeroberfläche von Delta Live Tables zeigt einen visuellen Indikator an, dass die Pipeline aufgrund eines Upgradefehlers an eine frühere Version angeheftet wird.
  • Der Support von Databricks wird über das Problem benachrichtigt.
    • Wenn das Problem mit einer Regression in der Laufzeit zusammenhängt, löst Databricks das Problem.
    • Wenn das Problem durch eine benutzerdefinierte Bibliothek oder Paket verursacht wird, das von der Pipeline verwendet wird, kontaktiert Databricks Sie, um das Problem zu beheben.
  • Wenn das Problem behoben ist, initiiert Databricks das Upgrade erneut.

Wichtig

Delta Live Tables stellt nur Pipelines wieder her, die im Produktionsmodus ausgeführt und auf Kanal current ausgeführt werden.

Automatisieren des Testens Ihrer Pipelines mit der nächsten Laufzeitversion

Um sicherzustellen, dass Änderungen in der nächsten Delta Live Tables-Runtimeversion keine Auswirkungen auf Ihre Pipelines haben, verwenden Sie das Feature Delta Live Tables-Kanäle:

  1. Erstellen Sie eine Stagingpipeline, und legen Sie den Kanal auf preview fest.
  2. Erstellen Sie auf der Delta Live Tables-Benutzeroberfläche einen Zeitplan, um die Pipeline wöchentlich auszuführen, und aktivieren Sie Warnungen, um eine E-Mail-Benachrichtigung für Pipelinefehler zu erhalten. Databricks empfiehlt, wöchentliche Testläufe von Pipelines zu planen, insbesondere wenn Sie benutzerdefinierte Pipelineabhängigkeiten verwenden.
  3. Wenn Sie eine Benachrichtigung über einen Fehler erhalten und ihn nicht beheben können, öffnen Sie ein Supportticket bei Databricks.

Pipelineabhängigkeiten

Delta Live Tables unterstützt externe Abhängigkeiten in Ihren Pipelines; Sie können beispielsweise jedes Python-Paket mithilfe des %pip install-Befehls installieren. Delta Live Tables unterstützt auch die Verwendung von globalen und clusterbezogenen init-Skripts. Diese externen Abhängigkeiten, insbesondere init-Skripts, erhöhen jedoch das Risiko von Problemen mit Runtimeupgrades. Um diese Risiken zu mindern, minimieren Sie die Verwendung von init-Skripts in Ihren Pipelines. Wenn Ihre Verarbeitung init-Skripts erfordert, automatisieren Sie das Testen Ihrer Pipeline, um Probleme frühzeitig zu erkennen; Informationen finden Sie auch unter Automatisieren des Testens Ihrer Pipelines mit der nächsten Laufzeitversion. Wenn Sie init-Skripts verwenden, empfiehlt Databricks, ihre Testhäufigkeit zu erhöhen.