Используйте параметры в Lakeflow Designer

Параметры называются значениями, определяемыми для визуальной подготовки данных в целом. Вы можете использовать параметры в коде операторов SQL и Python, в поддерживаемых полях конфигурации операторов и в выражениях, которые включают или отключают операторы. Параметры позволяют запускать одну и ту же визуальную подготовку данных в разных средах, например, используя тестовый каталог во время разработки и рабочий каталог в производственной среде.

Определить параметры

Чтобы управлять параметрами, выберите «Параметры» на левой панели. Каждый параметр имеет значение, заданное при его определении. Когда подготовка визуальных данных выполняется по расписанию или как задача, вы можете переопределить это значение. См. Переопределение значений параметров в production.

Сошлитесь на параметр оператора

То, как вы ссылаетесь на параметр, зависит от того, где вы его используете:

  • Оператор SQL: используйте синтаксис маркера именованных параметров, например :environment. См. раздел "Использование именованных маркеров параметров".
  • оператор Python: вызовdbutils.widgets.get(), напримерdbutils.widgets.get("environment"). См. инструмент мини-приложений (dbutils.widgets).
  • Поддерживаемые поля конфигурации операторов: в панели конфигурации оператора выберите параметры в верхнем правом углу. Выберите поле и введите выражение, например :source_table. Поддерживаемые области включают:
    • Источник: таблица, путь к файлу и формат файла.
    • Вывод: каталог, схема, таблица, просмотр, том, имя файла и режим записи.
    • Лимит: Лимит.
    • Объединить: Операция над множествами, Стратегия слияния, Объединение по имени и Разрешить отсутствующие столбцы.

При открытии оператора SQL или Python для редактирования конструктор Lakeflow показывает пример ссылки на доступные параметры над исходным редактором.

Объедините параметры с фиксированным текстом

В выражении параметров для оператора Source или Output используйте :parameter_name для замены целого значения. Чтобы объединить параметры с фиксированным текстом, заключите текст в кавычки и используйте ||. Например, следующее выражение Source Table строит полностью квалифицированное имя таблицы:

:catalog || '.' || :schema || '.' || :table

Включение или отключение оператора с параметром

Вы можете использовать параметр, чтобы включить или отключить любой настроенный оператор. В панели параметров выберите «Отключено » и введите булевое выражение. Например, :skip_operator отключает оператор, когда параметр равен true. Отключённый оператор не выдаёт выходных строк.

Чтобы вручную включить или отключить оператора, см. раздел «Переименование, копирование, удаление и отключение операторов».

Переопределить значения параметров в рабочей среде

Во время выполнения визуальная подготовка данных считывает свои параметры одинаково, независимо от того, выполняется ли она интерактивно или как задача, поэтому один и тот же файл работает во всех ваших средах без изменений. Предоставляйте разные значения для каждой среды следующим образом:

  • При планировании задания в пользовательском интерфейсе: переопределите значения параметров для каждого расписания. Например, запланируйте одну и ту же визуальную подготовку данных так, чтобы она запускалась каждый день в полдень с параметром environment, установленным в test, и снова в 14:00 с environment установленным в production. См. Запланировать как задание.
  • При развертывании с помощью пакета: задайте значения параметров с помощью задания parametersи используйте целевые объекты пакета для предоставления различных значений для среды. Целевые среды разработки и промышленной эксплуатации для пакета позволяют развертывать одну и ту же задачу в отдельных средах с параметрами, специфичными для каждой среды. См. режимы развертывания пакетов декларативной автоматизации и конфигурацию пакетов декларативной автоматизации.

Дополнительные ресурсы

  • Последнее обновление: