Usar parâmetros no Lakeflow Designer

Os parâmetros são valores nomeados definidos para a preparação de dados visuais como um todo. Você pode referenciar parâmetros em código de operadores SQL e Python, em campos de configuração de operadores suportados e em expressões que habilitam ou desativam operadores. Parâmetros permitem que você execute a mesma preparação visual de dados em diferentes ambientes, por exemplo, um catálogo de testes durante o desenvolvimento e um catálogo de produção em produção.

Defina parâmetros

Para gerenciar parâmetros, selecione Parâmetros no painel esquerdo. Cada parâmetro tem um valor definido quando você o define. Quando a preparação visual de dados roda em um cronograma ou como um job, você pode sobrescrever esse valor. Veja substituir valores de parâmetros em produção.

O painel lista os operadores que usam cada parâmetro. Selecione o nome de um operador para focalizá-lo na tela.

Referenciar um parâmetro a partir de um operador

Como você referencia um parâmetro depende de onde você o usa:

  • Operador SQL: use a sintaxe de marcador de parâmetro com nome, como :environment. Consulte Usar marcadores de parâmetro nomeados.
  • operador do Python: Chame dbutils.widgets.get(), como dbutils.widgets.get("environment"). Consulte a ferramenta Widgets (dbutils.widgets).
  • Campos de configuração de operador suportados: No painel de configuração do operador, selecione Parâmetros no canto superior direito. Selecione um campo e insira uma expressão como :source_table. Campos suportados incluem:
    • Fonte: Tabela, caminho de arquivo e formato de arquivo.
    • Saída: Catálogo, Esquema, Tabela, Visualização, Volume, Nome do Arquivo e modo Escrita.
    • Limite: Limite.
    • Combinar: Operação de conjunto, Estratégia de mesclagem, União por nome e Permitir colunas ausentes.

Quando você abre um operador SQL ou Python para edição, o Lakeflow Designer mostra um exemplo de como referenciar os parâmetros disponíveis acima do editor de origem.

Combinar parâmetros com texto fixo

Em uma expressão de parâmetro para um operador Source ou Output, use :parameter_name para substituir um valor inteiro. Para combinar parâmetros com texto fixo, inclua o texto entre aspas e use ||. Por exemplo, a seguinte expressão da Tabela de Origem constrói um nome de tabela totalmente qualificado:

:catalog || '.' || :schema || '.' || :table

Habilitar ou desativar um operador por meio de um parâmetro

Você pode usar um parâmetro para ativar ou desativar qualquer operador configurado. No painel de Parâmetros , selecione Desabilitado e insira uma expressão booleana. Por exemplo, :skip_operator desativa o operador quando o parâmetro é true. Um operador desativado não produz linhas de saída.

Para ativar ou desativar manualmente um operador, veja Renomear, copiar, excluir e desativar operadores.

Substituir os valores dos parâmetros em produção

Em tempo de execução, uma preparação visual de dados lê seus parâmetros da mesma forma, seja rodando interativamente ou como um trabalho, então o mesmo arquivo funciona em todos os seus ambientes sem alterações. Forneça valores diferentes para cada ambiente da seguinte forma:

  • Ao agendar um trabalho na interface do usuário: substitua os valores dos parâmetros para cada agendamento. Por exemplo, agende a mesma preparação de dados visuais para rodar todos os dias ao meio-dia com um environment parâmetro definido para test, e novamente às 14h com environment definido para production. Consulte Agendar como uma tarefa.
  • Ao fazer a implantação com um pacote: defina os valores dos parâmetros por meio do parameters do trabalho e use os destinos do pacote para fornecer valores diferentes por ambiente. Os alvos de desenvolvimento e produção do bundle permitem implantar a mesma tarefa em ambientes separados com configurações específicas de cada ambiente. Consulte os modos de implantação de Pacotes de Automação Declarativa e a configuração de Pacotes de Automação Declarativa.

Recursos adicionais

  • Última atualização em