Vydání DLT 2022.49

6. – 9. prosince 2022

Tyto funkce a vylepšení byly vydány ve verzi DLT z roku 2022.49.

Verze Databricks Runtime využívané tímto vydáním

kanál:

• CURRENT (výchozí): Databricks Runtime 11.0.11
• PREVIEW: Databricks Runtime 11.3.2

Nové funkce a vylepšení v této verzi

• Teď můžete importovat soubory ze složky Databricks Git jako moduly Pythonu. Soubory můžete importovat z aktuální cesty k úložišti nebo ze zadané cesty k úložišti pomocí sys.path.append().

• Rozšířené automatické škálování je teď obecně dostupné. V této verzi je vylepšené automatické škálování výchozím režimem automatického škálování pro nové kanály vytvořené v uživatelském rozhraní. Databricks doporučuje aktualizovat datové kanály, které používají stávající automatické škálování clusteru, aby používaly rozšířené automatické škálování clusteru.

• U potrubí spuštěných v průběžném režimu je nyní standardní limit pokusů 2, když dojde k opakovatelným selháním. Včetně původního pokusu mají všechny toky tři pokusy (s exponenciálním zpožděním) k běhu, když dojde k nefatálním chybám. Dříve byly výchozí hodnoty pro dávkové toky nevázané a pět opakování pro toky streamování.

• Parametr konfigurace pipelines.maxFlowRetryAttempts se nyní vztahuje na limit opakování pro všechny proudy, včetně dávkových a streamovacích proudů, a nepřetržitých nebo spouštěných kanálů. Dříve se pipelines.maxFlowRetryAttempts použily na všechna omezení opakování v aktivovaném režimu, ale pouze dávkové toky v průběžném režimu; opakované pokusy o kanály streamování v nepřetržitém režimu byly řízeny pipelines.numStreamRetryAttempts. U stávajících potrubí pipelines.numStreamRetryAttempts nadále podporuje streamovací toky v průběžném režimu. Pokud jsou nastavené pipelines.numStreamRetryAttempts i pipelines.maxFlowRetryAttempts, má pipelines.numStreamRetryAttempts prioritu pro toky streamování v nepřetržitém režimu. V opačném případě se použije nakonfigurovaná hodnota pro pipelines.maxFlowRetryAttempts. Viz referenční informace o vlastnostech kanálu.

Opravy chyb v této verzi

• Tato verze opravuje chybu způsobující zobrazení nesprávných výpočtů DBU za hodinu pro clustery s podporou Photon.

• Tato verze opravuje chybu, která způsobuje selhání úloh údržby DLT v pracovních prostorech s podporou katalogu Unity.

• Tato verze opravuje chybu, kdy zastavení nebo restartování průběžné pipeline, která ingestuje data pomocí Auto Loaderu, způsobí pozastavení pipeline na několik minut.