Verze DLT 2022.37

14. – 22. září 2022

Tyto funkce a vylepšení byly vydány ve verzi DLT z roku 2022.37.

Verze Databricks Runtime používané tímto vydáním

Channel:

• AKTUÁLNÍ (výchozí): Databricks Runtime 10.3.7
• PREVIEW: Databricks Runtime 11.0.5

Nové funkce a vylepšení v této verzi

• Požadavek rozhraní API počáteční aktualizace teď vrátí pole request_id v textu odpovědi. request_id je stabilní identifikátor původního požadavku, který spouští aktualizaci. Pokud se aktualizace opakuje nebo restartuje, nová aktualizace dědí request_id.

{
  "update_id": "the ID of the update that was started",
  "request_id": "The ID of the request that started this update"
}

Nová žádost rozhraní API requests (GET /pipelines/{pipeline_id}/requests/{request_id}) vrátí stav aktualizace kanálu přidružené k request_id. Odpověď obsahuje informace o nejnovější aktualizaci.

{
  "status": "ACTIVE",
  "latest_update": {}
}

• Kód Pythonu teď může volat operace spark.sql mimo dlt.table() nebo dlt.view() funkce, pokud operace nečte z materializovaného zobrazení ani streamovací tabulky.

• Položky protokolu událostí teď obsahují vlastnost maturity označující stabilitu schématu událostí. Možné hodnoty jsou stable, evolvinga deprecated. Další informace o protokolu událostí DLT naleznete v protokolu událostí kanálu.

• Chybová zpráva je vylepšena v případě nekompatibilních změn zdrojových tabulek používaných streamovací tabulkou.

• Při vytváření nebo úpravě kanálu teď můžete v uživatelském rozhraní DLT vybrat zásadu clusteru. Dříve nastavení zásad clusteru pro kanál vyžadovalo úpravu nastavení JSON kanálu.

• Rychlejší spuštění potrubí Tato verze zahrnuje vylepšení, která zrychlují krok SETTING_UP_TABLES při spuštění pipeline.

Opravy chyb v této verzi

• Tato verze opravuje chybu, která brání rozšířenému automatickému škálování ve správném škálování nahoru, pokud nejsou k dispozici žádné nečinné instance clusteru.