Sdílet prostřednictvím

Delta Live Tables verze 2022.49

  • Článek

6. prosince – 9, 2022

Tyto funkce a vylepšení byly vydány ve verzi Delta Live Tables z roku 2022.49.

Verze Databricks Runtime používané touto verzí

Kanál:

  • CURRENT (výchozí): Databricks Runtime 11.0.11
  • PREVIEW: Databricks Runtime 11.3.2

Nové funkce a vylepšení v této verzi

  • Teď můžete importovat soubory ze složky Databricks Git jako moduly Pythonu. Soubory můžete importovat z aktuální cesty k úložišti nebo ze zadané cesty k úložišti pomocí sys.path.append().

  • Rozšířené automatické škálování je teď obecně dostupné. V této verzi je vylepšené automatické škálování výchozím režimem automatického škálování pro nové kanály vytvořené v uživatelském rozhraní. Databricks doporučuje aktualizovat kanály, které používají stávající automatické škálování clusteru k použití rozšířeného automatického škálování.

  • U kanálů spuštěných v průběžném režimu je výchozí limit opakování 2, když dojde k opakovaným selháním. Včetně původního pokusu mají všechny toky tři pokusy (s exponenciálním zpětným ukončením), které se spustí, když dojde k nevýkonným selháním. Dříve byly výchozí hodnoty pro dávkové toky nevázané a pět opakování pro toky streamování.

  • Parametr pipelines.maxFlowRetryAttempts konfigurace se teď vztahuje na limit opakování pro všechny toky, včetně toků dávkových a streamovaných a průběžných nebo aktivovaných kanálů. Dříve se pipelines.maxFlowRetryAttempts použily na všechna omezení opakování v aktivovaném režimu, ale pouze dávkové toky v průběžném režimu; opakování pro kanály streamování v průběžném pipelines.numStreamRetryAttemptsrežimu byly řízeny . U existujících kanálů pipelines.numStreamRetryAttempts je nadále podporováno streamování toků v průběžném režimu. Pokud jsou obě pipelines.numStreamRetryAttempts i pipelines.maxFlowRetryAttempts nastavené, pipelines.numStreamRetryAttempts má prioritu pro toky streamování v nepřetržitém režimu. V opačném případě se použije nakonfigurovaná hodnota.pipelines.maxFlowRetryAttempts Viz referenční informace k vlastnostem Delta Live Tables.

Opravy chyb v této verzi

  • Tato verze opravuje chybu způsobující zobrazení nesprávných výpočtů DBU za hodinu pro clustery s podporou Photon.

  • Tato verze opravuje chybu, která způsobuje selhání úloh údržby dynamických tabulek Delta v pracovních prostorech s podporou katalogu Unity.

  • Tato verze opravuje chybu, kdy zastavení nebo restartování průběžného kanálu, který ingestuje data pomocí automatického zavaděče, způsobí zablokování kanálu několik minut.