Utilização de parâmetros no Lakeflow Designer

Os parâmetros são valores nomeados definidos para a preparação dos dados visuais como um todo. Pode referenciar parâmetros em código de operadores SQL e Python, em campos de configuração de operadores suportados e em expressões que ativam ou desativam operadores. Os parâmetros permitem executar a mesma preparação visual de dados contra diferentes ambientes, por exemplo, um catálogo de testes durante o desenvolvimento e um catálogo de produção em produção.

Definir parâmetros

Para gerir parâmetros, selecione Parâmetros no painel esquerdo. Cada parâmetro tem um valor que defines ao defini-lo. Quando a preparação visual dos dados é executada de forma agendada ou como um trabalho, pode sobrepor esse valor. Ver substituir os valores dos parâmetros em produção.

O painel lista os operadores que utilizam cada parâmetro. Selecione um nome de operador para o focar na tela.

Referenciar um parâmetro a partir de um operador

A forma como referencias um parâmetro depende de onde o utilizas:

  • Operador SQL: Use a sintaxe de marcadores de parâmetros nomeados, como :environment. Ver Usar marcadores de parâmetros nomeados.
  • Operador Python: Chame dbutils.widgets.get(), como dbutils.widgets.get("environment"). Consulte a ferramenta Widgets (dbutils.widgets).
  • Campos de configuração de operadores suportados: No painel de configuração do operador, selecione Parâmetros no canto superior direito. Selecione um campo e introduza uma expressão como :source_table. Campos suportados incluem:
    • Fonte: Tabela, caminho do ficheiro e formato do ficheiro.
    • Saída: Catálogo, Esquema, Tabela, Vista, Volume, Nome do Ficheiro e modo de escrita.
    • Limite: Limite.
    • Combinar: Definir a operação, Unir a estratégia, Unir por nome e Permitir colunas em falta.

Quando abre um operador SQL ou Python para edição, o Lakeflow Designer mostra um exemplo de como referenciar os parâmetros disponíveis acima do editor de código-fonte.

Combinar parâmetros com texto fixo

Numa expressão de parâmetro para um operador Fonte ou Saída, use :parameter_name para substituir um valor inteiro. Para combinar parâmetros com texto fixo, inclua o texto em aspas simples e use ||. Por exemplo, a seguinte expressão da Tabela de Origem constrói um nome de tabela totalmente qualificado:

:catalog || '.' || :schema || '.' || :table

Ativar ou desativar um operador através de um parâmetro

Pode usar um parâmetro para ativar ou desativar qualquer operador configurado. No seu painel de Parâmetros, selecione Desativado e introduza uma expressão Booleana. Por exemplo, :skip_operator desativa o operador quando o parâmetro é true. Um operador desativado não produz linhas de saída.

Para ativar ou desativar manualmente um operador, consulte Renomear, copiar, eliminar e desativar operadores.

Substituir os valores dos parâmetros em produção

Em tempo de execução, uma preparação visual de dados lê os seus parâmetros da mesma forma, seja a correr de forma interativa ou como um trabalho, por isso o mesmo ficheiro funciona em todos os seus ambientes sem alterações. Forneça valores diferentes para cada ambiente da seguinte forma:

  • Quando agendas um trabalho na interface: Sobrepõe os valores dos parâmetros para cada agendamento. Por exemplo, agendar a mesma preparação de dados visuais para correr todos os dias ao meio-dia com um environment parâmetro definido para test, e novamente às 14h com environment definido para production. Consulte Agendar como tarefa.
  • Quando implementas com um bundle: define os valores dos parâmetros através do job parameters, e usa bundle targets para fornecer valores diferentes por ambiente. Os destinos de desenvolvimento e de produção do bundle permitem-lhe implementar a mesma tarefa para ambientes separados com definições específicas de cada ambiente. Veja modos de implementação dos Pacotes de Automação Declarativa e configuração dos Pacotes de Automação Declarativa.

Recursos adicionais

  • Última atualização a