Share via

Delta Live Tables release 2022.49

  • Artikel

6 december - 9 december 2022

Deze functies en verbeteringen zijn uitgebracht met de release van 2022.49 van Delta Live Tables.

Databricks Runtime-versies die door deze release worden gebruikt

Kanaal:

  • CURRENT (standaard): Databricks Runtime 11.0.11
  • PREVIEW: Databricks Runtime 11.3.2

Nieuwe functies en verbeteringen in deze release

  • U kunt nu bestanden importeren uit een Databricks Git-map als Python-modules. U kunt bestanden importeren uit het huidige opslagplaatspad of een opgegeven opslagplaatspad met behulp van sys.path.append().

  • Verbeterde automatische schaalaanpassing is nu algemeen beschikbaar. Met deze release is Enhanced Autoscaling de standaardmodus voor automatisch schalen voor nieuwe pijplijnen die zijn gemaakt in de gebruikersinterface. Databricks raadt het bijwerken van pijplijnen aan die gebruikmaken van de bestaande automatische schaalaanpassing van clusters om verbeterde automatische schaalaanpassing te gebruiken.

  • Voor pijplijnen die worden uitgevoerd in de continue modus, is de standaardlimiet voor opnieuw proberen nu 2 wanneer er fouten optreden die opnieuw kunnen worden geprobeerd. Inclusief de oorspronkelijke poging hebben alle stromen drie pogingen (met exponentieel uitstel) om uit te voeren wanneer er niet-fatale fouten optreden. Voorheen waren de standaardinstellingen niet-gebonden nieuwe pogingen voor batchstromen en vijf nieuwe pogingen voor streamingstromen.

  • De configuratieparameter pipelines.maxFlowRetryAttempts is nu van toepassing op de limiet voor opnieuw proberen voor alle stromen, inclusief batch- en streamingstromen, en continue of geactiveerde pijplijnen. Eerder toegepast pipelines.maxFlowRetryAttempts op alle limieten voor opnieuw proberen in de geactiveerde modus, maar alleen batchstromen in continue modus; nieuwe pogingen voor streamingpijplijnen in continue modus werden beheerd door pipelines.numStreamRetryAttempts. Voor bestaande pijplijnen pipelines.numStreamRetryAttempts wordt nog steeds ondersteund voor streamingstromen in continue modus. Als beide pipelines.numStreamRetryAttempts en pipelines.maxFlowRetryAttempts zijn ingesteld, pipelines.numStreamRetryAttempts heeft deze prioriteit voor streamingstromen in de continue modus. Anders wordt de geconfigureerde waarde voor pipelines.maxFlowRetryAttempts gebruikt. Zie de referentie voor eigenschappen van Delta Live Tables.

Opgeloste fouten in deze release

  • In deze release wordt een fout opgelost waardoor onjuiste DBU-berekeningen per uur worden weergegeven voor clusters met Photon-functionaliteit.

  • In deze release wordt een fout opgelost waardoor onderhoudstaken voor Delta Live Tables mislukken in werkruimten met Unity Catalog.

  • In deze release wordt een fout opgelost waarbij het stoppen of opnieuw opstarten van een continue pijplijn die gegevens opneemt met automatisch laadprogramma, ervoor zorgt dat de pijplijn enkele minuten vastloopt.