Omezení potrubí

Níže jsou uvedená omezení deklarativních kanálů Sparku Lakeflow, které jsou důležité při vývoji kanálů:

• Pracovní prostor Azure Databricks je omezen na 1000 souběžných aktualizací pipeline. Počet datových sad, které může jeden kanál obsahovat, závisí na konfiguraci kanálu a složitosti úloh.

• Konfigurace kanálu zahrnuje odkazy na zdrojové soubory a složky.

  • Pokud konfigurace odkazuje pouze na jednotlivé poznámkové bloky nebo soubory, je limit pro každý kanál 100 zdrojových souborů.

  • Pokud konfigurace zahrnuje složky, můžete zahrnout až 50 zdrojových položek tvořených soubory nebo složkami.

    Odkazování na složku nepřímo odkazuje na soubory v této složce. V tomto případě je limit počtu souborů odkazovaných (přímo nebo nepřímo) 1000.

  Pokud potřebujete více než 100 zdrojových souborů, uspořádejte je do složek. Informace o tom, jak používat složky pro ukládání zdrojových souborů, najdete v prohlížeči prostředků kanálu v editoru kanálu Lakeflow.

• Datové sady pipeline je možné definovat pouze jednou. Z tohoto důvodu mohou být cílem pouze jedné operace ve všech kanálech. Výjimkou jsou streamované tabulky se zpracováním toku s přidáváním, které umožňuje zapisovat do streamované tabulky z více streamovacích zdrojů. Viz Výchozí toky a toky připojení.

• Identitní sloupce mají následující omezení. Další informace o sloupcích identit v tabulkách Delta najdete v tématu Sloupce identity.

  • Sloupce identit nejsou podporovány u tabulek, které jsou cílem zpracování AUTO CDC.
  • Sloupce identity můžou být při aktualizacích materializovaných zobrazení přepočítané. Proto Databricks doporučuje používat sloupce pro identitu v pipelinech pouze se streamovanými tabulkami.

• Ve výchozím nastavení je k materializovaným zobrazením a streamovaným tabulkám přístup pouze Azure Databricks klienty a aplikacemi. Pokud je chcete zpřístupnit externím systémům, přečtěte si téma Přístup k materializovaným zobrazením a tabulkám streamování pomocí externích systémů.

• Pro spouštění a dotazování potoků katalogu Unity existují omezení výpočetní kapacity Databricks. Viz požadavky pro kanály, které publikují do katalogu Unity.

• Dotazy na cestování v čase v Delta Lake jsou podporovány pouze u streamovaných tabulek a nejsou podporovány v materializovaných zobrazeních. Viz Práce s historií tabulek.

• Funkce pivot() není podporována. Operace pivot ve Sparku vyžaduje dychtivé načítání vstupních dat pro výpočet výstupního schématu. Tato funkce není v kanálech podporovaná.

Kvóty prostředků deklarativních kanálů Lakeflow Spark najdete v tématu Omezení prostředků.