Limitações do sistema de pipeline

Veja a seguir as limitações dos Pipelines Declarativos do Lakeflow Spark que são importantes para saber à medida que você desenvolve seus pipelines:

• Um workspace do Azure Databricks é limitado a 200 atualizações de pipeline simultâneas. O número de conjuntos de dados que um único pipeline pode conter é determinado pela configuração do pipeline e pela complexidade da carga de trabalho.
• Os conjuntos de dados de pipeline podem ser definidos apenas uma vez. Por isso, eles podem ser o alvo de apenas uma única operação em todos os pipelines. A exceção são as tabelas de streaming com processamento de fluxo de acréscimo, que permitem gravar na tabela de streaming de várias fontes de streaming. Consulte Usar vários fluxos para gravar em um único destino.
• As colunas de identidade têm as seguintes limitações. Para saber mais sobre colunas de identidade em tabelas Delta, consulte Usar colunas de identidade no Delta Lake.
  • Colunas de identidade não são suportadas com tabelas que são o destino do processamento AUTO CDC.
  • As colunas de identidade podem ser recomputadas durante atualizações para exibições materializadas. Por isso, Databricks recomenda usar colunas de identidade em pipelines apenas com tabelas de streaming.
• Exibições materializadas e tabelas de streaming publicadas de pipelines, incluindo as criadas pelo Databricks SQL, só podem ser acessadas por clientes e aplicativos do Azure Databricks. No entanto, para tornar suas exibições materializadas e tabelas de streaming acessíveis externamente, você pode usar a API sink para gravar em tabelas em uma instância externa do Delta. Consulte Coletores em Pipelines Declarativos do Lakeflow Spark.
• Existem limitações para a computação do Databricks necessária para executar e consultar os pipelines do Unity Catalog. Consulte os Requisitos para pipelines que publicam no Catálogo do Unity.
• As consultas de viagem no tempo do Delta Lake têm suporte apenas com tabelas de streaming e não têm suporte com exibições materializadas. Consulte o histórico da tabela Work with Delta Lake.
• Você não pode habilitar leituras de Iceberg em exibições materializadas e tabelas de streaming.
• Não há suporte para a função pivot(). A operação pivot no Spark requer o carregamento adiantado de dados de entrada para calcular o esquema da saída. Não há suporte para essa funcionalidade em pipelines.