Omezení potrubí

Níže jsou uvedená omezení deklarativních kanálů Sparku Lakeflow, které jsou důležité při vývoji kanálů:

• Pracovní prostor Azure Databricks je omezen na 200 souběžných aktualizací pipeline. Počet datových sad, které může jeden kanál obsahovat, závisí na konfiguraci kanálu a složitosti úloh.
• Datové sady pipeline je možné definovat pouze jednou. Z tohoto důvodu mohou být cílem pouze jedné operace ve všech kanálech. Výjimkou jsou streamované tabulky se zpracováním toku s přidáváním, které umožňuje zapisovat do streamované tabulky z více streamovacích zdrojů. Viz Použití více toků k zápisu do jednoho cíle.
• Identitní sloupce mají následující omezení. Další informace o sloupcích identit v tabulkách Delta najdete v tématu Použití sloupců identit v Delta Lake.
  • Sloupce identit nejsou podporovány u tabulek, které jsou cílem zpracování AUTO CDC.
  • Sloupce identity můžou být při aktualizacích materializovaných zobrazení přepočítané. Proto Databricks doporučuje používat sloupce pro identitu v pipelinech pouze se streamovanými tabulkami.
• Jenom klienti a aplikace Azure Databricks mají přístup k materializovaným zobrazením a streamovaným tabulkám publikovaným z kanálů, včetně těch, které vytvořil Databricks SQL. Abyste ale mohli materializovaná zobrazení a streamované tabulky zpřístupnit externě, můžete pomocí sink rozhraní API zapisovat do tabulek v externí instanci Delta. Viz Použití jímek k streamování záznamů do externích služeb pomocí deklarativních kanálů Sparku Lakeflow.
• Pro spouštění a dotazování potoků katalogu Unity existují omezení výpočetní kapacity Databricks. Viz požadavky pro kanály, které publikují do katalogu Unity.
• Dotazy na časovou cestu Delta Lake jsou podporovány pouze u streamingových tabulek a nejsou podporovány v materializovaných zobrazeních. Podívejte se na Práci s historií tabulek Delta Lake.
• Nelze povolit Iceberg čtení na materializovaných zobrazeních a streamovaných tabulkách.
• Funkce pivot() není podporována. Operace pivot ve Sparku vyžaduje dychtivé načítání vstupních dat pro výpočet výstupního schématu. Tato funkce není v kanálech podporovaná.