Limitações de pipeline

Veja a seguir as limitações dos pipelines do Lakeflow que são importantes para saber à medida que você desenvolve seus pipelines:

• Um espaço de trabalho do Azure Databricks é limitado a 1.000 atualizações simultâneas de pipeline. O número de conjuntos de dados que um único pipeline pode conter é limitado a 1.000, mas uma atualização de pipeline pode ficar sem memória ou outros recursos antes de atingir esse limite. O limite útil é determinado pela configuração do pipeline e pela complexidade da carga de trabalho. Para limites de recursos, veja Limites de recursos.

• A configuração de um pipeline inclui referências a arquivos e pastas de origem.

  • Se a configuração fizer referência apenas a notebooks ou arquivos individuais, o limite por pipeline será de 100 arquivos de origem.

  • Se a configuração incluir pastas, você poderá incluir até 50 entradas de origem compostas por arquivos ou pastas.

    Referenciar uma pasta indiretamente faz referência aos arquivos dentro dessa pasta. Nesse caso, o limite no número de arquivos referenciados (direta ou indiretamente) é 1000.

  Se você precisar de mais de 100 arquivos de origem, organize-os em pastas. Para saber como usar pastas para armazenar arquivos-fonte, consulte Navegador de ativos do pipeline no editor de pipelines do Lakeflow.

• Os conjuntos de dados de pipeline podem ser definidos apenas uma vez. Por isso, eles podem ser o alvo de apenas uma única operação em todos os pipelines. A exceção são as tabelas de streaming com processamento de fluxo de acréscimo, que permitem gravar na tabela de streaming de várias fontes de streaming. Consulte fluxos padrão e fluxos de acréscimo.

• As colunas de identidade têm as seguintes limitações. Para saber mais sobre colunas de identidade em tabelas Delta, consulte colunas de identidade.

  • Colunas de identidade não têm suporte com tabelas que são o destino do processamento de AUTO CDC.
  • As colunas de identidade podem ser recomputadas durante atualizações para exibições materializadas. Por isso, o Databricks recomenda usar colunas de identidade em pipelines apenas com tabelas de streaming.

• Por padrão, exibições materializadas e tabelas de streaming só podem ser acessadas por Azure Databricks clientes e aplicativos. Para torná-los acessíveis a sistemas externos, consulte exibições materializadas do Access e tabelas de streaming usando sistemas externos.

• Existem limitações para a computação do Databricks necessária para executar e consultar os pipelines do Unity Catalog. Confira os Requisitos para pipelines que publicam no Catálogo do Unity.

• As consultas de viagem no tempo do Delta Lake têm suporte apenas com tabelas de streaming e não têm suporte com exibições materializadas. Consulte Trabalhar com o histórico de tabelas.

• Não há suporte para a função pivot(). A operação pivot no Spark requer o carregamento adiantado de dados de entrada para calcular o esquema da saída. Não há suporte para essa funcionalidade em pipelines.

• A identidade run-as de um pipeline pode ser um grupo de contas, mas o grupo deve ser um grupo de contas atribuído ao workspace. Grupos locais do workspace não podem ser usados como uma identidade de execução, assim como os grupos integrados amplos admins, users e account users. Consulte Definir a identidade run-as para um grupo.

Para cotas de recursos dos pipelines do Lakeflow, consulte Limites de recursos.