Gerenciar a configuração de pipelines do Delta Live Tables
Como o Delta Live Tables automatiza complexidades operacionais como gerenciamento de infraestrutura, orquestração de tarefas, recuperação de erros e otimização de desempenho, muitos de seus pipelines podem ser executados com configuração manual mínima. No entanto, o Delta Live Tables também permite que você gerencie a configuração de pipelines que exigem configurações não padrão ou otimize o desempenho e o uso de recursos. Esses artigos fornecem detalhes sobre gerenciar a configuração dos pipelines do Delta Live Tables, incluindo configurações que determinam como os pipelines são executados, opções para a computação que executa um pipeline e gerenciamento de dependências externas, como bibliotecas Python.
Gerenciar configurações de pipeline
A configuração de um pipeline do Delta Live Tables inclui configurações que definem o código-fonte que implementa o pipeline. Isso também inclui configurações que controlam a infraestrutura do pipeline, gerenciamento de dependência, como as atualizações são processadas e como as tabelas são salvas no workspace. A maioria das configurações é opcional, mas algumas exigem mais atenção.
Para saber mais sobre as opções de configuração para pipelines e como usá-los, consulte Definir configurações de pipeline para Delta Live Tables.
Para obter especificações detalhadas das configurações do Delta Live Tables, propriedades que controlam como as tabelas são gerenciadas e opções de computação não configuráveis, consulte Referência de propriedades do Delta Live Tables.
Gerenciar dependências externas para pipelines que usam Python
O Delta Live Tables dá suporte ao uso de dependências externas em seus pipelines, como pacotes e bibliotecas Python. Para saber mais sobre opções e recomendações para usar dependências, consulte Gerenciar dependências do Python para pipelines do Delta Live Tables.
Usar módulos Python armazenados em seu workspace do Azure Databricks
Além de implementar seu código Python em notebooks do Databricks, você pode usar pastas Git do Databricks ou arquivos de workspace para armazenar seu código como módulos Python. Armazenar seu código como módulos Python é útil principalmente quando você tem uma funcionalidade comum que deseja usar em vários pipelines ou vários notebooks no mesmo pipeline. Para saber como usar módulos Python com seus pipelines, consulte Importar módulos Python de pastas Git ou arquivos de workspace.
Otimizar a utilização da computação de pipeline
Use o Dimensionamento Automático Aprimorado para otimizar a utilização dos pipelines pelo cluster. O Dimensionamento Automático Aprimorado adiciona recursos adicionais somente quando o sistema determina que esses recursos aumentarão a velocidade de processamento do pipeline. Os recursos são liberados quando não são mais necessários e os clusters são desligados assim que todas as atualizações de pipeline são concluídas.
Para saber mais sobre o Dimensionamento Automático Aprimorado, incluindo detalhes de configuração, consulte Otimizar a utilização de cluster de pipelines do Delta Live Tables com Dimensionamento Automático Aprimorado.