Поделиться через


Справочник по конфигурации

В этой статье приведены справочные сведения о ключах, поддерживаемых конфигурацией пакетов ресурсов Databricks (YAML). См. раздел "Что такое пакеты ресурсов Databricks?".

Полные примеры пакетов см. в примерах конфигурации пакета и репозитория GitHub.

Артефакты

Type: Map

Определяет атрибуты для создания артефактов, где каждый ключ — имя артефакта, а значение — карта, определяющая параметры сборки артефакта. Для получения информации о сопоставлении artifacts смотрите артефакты .

Параметры артефактов, определенные на верхнем уровне конфигурации пакета, можно переопределить в карте targets. См. раздел "Переопределение" с параметрами целевого объекта.

artifacts:
  <artifact-name>:
    <artifact-field-name>: <artifact-field-value>
Ключ Тип Описание
build Струна Необязательный набор команд сборки, выполняемых локально перед развертыванием.
dynamic_version Булев Следует ли динамически обновлять версию wheel на основе метки времени файла whl. Если этот параметр установлен на true, новый код можно развернуть без необходимости обновлять версию в setup.py или pyproject.toml. Этот параметр действителен только в том случае, если type задано значение whl. См. артефакты.
executable Струна Тип исполняемого файла. Допустимые значения: bash, shи cmd.
files Последовательность Относительный или абсолютный путь к созданным файлам артефактов. См. артефакты.name.files.
path Струна Локальный путь каталога для артефакта.
type Струна Требуется, если артефакт является колесом Python. Тип артефакта. Допустимые значения — whl и jar.

Пример

artifacts:
  default:
    type: whl
    build: poetry build
    path: .

Артефакты.name.files

Type: Sequence

Относительный или абсолютный путь к созданным файлам артефактов.

Ключ Тип Описание
source Струна Обязательно. Исходный файл артефакта.

пакет

Type: Map

Атрибуты пакета при развертывании в этом целевом объекте.

Ключ Тип Описание
cluster_id Струна Идентификатор кластера, который будет использоваться для запуска пакета. См. cluster_id.
compute_id Струна Устарело. Идентификатор вычислительных ресурсов, используемых для запуска пакета.
databricks_cli_version Струна Версия интерфейса командной строки Databricks, используемая для пакета. См. databricks_cli_version.
deployment Карта Определение развертывания пакета. Поддерживаемые атрибуты см. в режимах развертывания пакета ресурсов Databricks. См. bundle.deployment.
git Карта Сведения об элементе управления версиями Git, связанном с вашим пакетом. Поддерживаемые атрибуты см. git. См. git.
name Струна Имя комплекта.
uuid Струна Зарезервировано. Универсальный уникальный идентификатор (UUID) для пакета, который однозначно идентифицирует пакет во внутренних системах Databricks. Это создается при инициализации проекта пакета с помощью шаблона Databricks (с помощью команды databricks bundle init).

пакет.развёртывание

Type: Map

Определение развертывания пакета

Ключ Тип Описание
fail_on_active_runs Булев Происходит ли сбой при активных запусках. Если для этого задано значение true, развертывание, которое выполняется, может быть прервано.
lock Карта Атрибуты блокировки развертывания. См. bundle.deployment.lock.

bundle.deployment.lock (заблокировка развертывания пакета)

Type: Map

Атрибуты блокировки развертывания.

Ключ Тип Описание
enabled Булев Включена ли эта блокировка.
force Булев Следует ли принудительно применить эту блокировку, если она включена.

экспериментальный

Type: Map

Определяет атрибуты для экспериментальных функций.

Ключ Тип Описание
python Карта Устарело. Вместо этого используйте сопоставление python верхнего уровня.
python_wheel_wrapper Булев Следует ли использовать оболочку колеса Python.
scripts Карта Команды для выполнения.
use_legacy_run_as Булев Следует ли использовать устаревшее поведение run_as.

включать

Type: Sequence

Указывает список глобов пути, содержащих файлы конфигурации для включения в пакет. См. включить.

Разрешения

Type: Sequence

Последовательность, определяющая разрешения для применения к ресурсам, определенным в пакете, где каждый элемент в последовательности является разрешением для определенной сущности.

См. разрешения и Установите разрешения на ресурсы в комплектах ресурсов Databricks.

Ключ Тип Описание
group_name Струна Имя группы, которая имеет набор разрешений на определённом уровне.
level Струна Разрешенное разрешение для пользователя, группы, субъекта-службы, определенного для этого разрешения. Допустимые значения этого ключа различаются в зависимости от того, определены ли разрешения на верхнем уровне пакета или для определенного ресурса. Смотрите раздел "Настройка разрешений для ресурсов" в пакетах ресурсов Databricks.
service_principal_name Струна Имя субъекта-службы, которому задан набор разрешений на уровне.
user_name Струна Имя пользователя, которому назначен набор разрешений на определённом уровне.

Пример

permissions:
  - level: CAN_VIEW
    group_name: test-group
  - level: CAN_MANAGE
    user_name: someone@example.com
  - level: CAN_RUN
    service_principal_name: 123456-abcdef

Предустановки

Type: Map

Определяет настройки развертывания пакета. См. пользовательские предустановки.

Ключ Тип Описание
jobs_max_concurrent_runs Целое число Максимальное число параллельных запусков для задачи.
name_prefix Струна Префикс для запусков заданий пакета.
pipelines_development Булев Следует ли блокировать развертывания конвейеров в режиме разработки.
source_linked_deployment Булев Следует ли связать развертывание с источником пакета.
tags Карта Теги для развертывания пакета.
trigger_pause_status Струна Статус приостановки для применения ко всем триггерам и расписаниям рабочих заданий. Допустимые значения : PAUSED или UNPAUSED.

питон

Type: Map

Настраивает загрузку кода Python, определенного в пакете databricks-bundles. Дополнительные сведения см. в разделе "Конфигурация пакета" в Python.

Ключ Тип Описание
mutators Последовательность Мутаторы содержат список полностью квалифицированных путей к функциям мутатора, например [my_project.mutators:add_default_cluster].
resources Последовательность Ресурсы содержат список полных путей функций для загрузки ресурсов, определенных в коде Python, таких как ["my_project.resources:load_resources"]
venv_path Струна Путь к виртуальной среде. Если этот параметр включен, код Python выполняется в этой среде. Если он отключен, по умолчанию используется интерпретатор Python, доступный в текущей оболочке.

ресурсы

Type: Map

Карта, определяющая ресурсы для пакета, где каждый ключ является именем ресурса, а значением является карта, определяющая ресурс. Дополнительная информация о поддерживаемых ресурсах Databricks Asset Bundles и справочнике по определению ресурсов см. в ресурсах Databricks Asset Bundles.

resources:
  <resource-type>:
    <resource-name>:
      <resource-field-name>: <resource-field-value>
Ключ Тип Описание
alerts Карта Определения оповещений (версии 2) для пакета, где каждый ключ — это имя оповещения. См. оповещение.
apps Карта Определения приложений Databricks для пакета, где каждый ключ — это имя приложения. См. app.
clusters Карта Определения кластера для пакета, где каждый ключ — это имя кластера. См. кластер.
dashboards Карта Определения панели мониторинга для пакета, где каждый ключ — это имя панели мониторинга. См. панель мониторинга .
database_catalogs Карта Определения каталога базы данных для пакета, где каждый ключ — это имя каталога базы данных. См. database_catalog.
database-instances Карта Определения экземпляра базы данных для пакета, где каждый ключ — это имя экземпляра базы данных. См. database_instance.
experiments Карта Определения экспериментов для пакета, где каждый ключ — это имя эксперимента. См. эксперимент.
jobs Карта Определения заданий для пакета, где каждый ключ — это имя задания. См. задание.
model_serving_endpoints Карта Определения конечных точек обслуживания модели для пакета, где каждый ключ — это имя конечной точки обслуживания модели. См. model_serving_endpoint.
models Карта Определения модели для пакета, где каждый ключ — это имя модели. См. модель (устаревшая версия).
pipelines Карта Определения конвейера для пакета, где каждый ключ — это имя конвейера. См. конвейер.
quality_monitors Карта Определения монитора качества для пакета, где каждый ключ — это имя монитора качества. См. quality_monitor (каталог Unity).
registered_models Карта Определения зарегистрированной модели для пакета, где каждый ключ — это имя зарегистрированной модели каталога Unity. См. registered_model (каталог Unity).
schemas Карта Определения схемы для пакета, где каждый ключ — это имя схемы. См. схему (каталог Unity).
secret_scopes Карта Определения области секрета для пакета, где каждый ключ — это имя области секрета. См. secret_scope.
sql_warehouses Карта Определения хранилища SQL для пакета, где каждый ключ — это имя хранилища SQL. См. sql_warehouse.
synced_database_tables Карта Синхронизированные определения таблицы базы данных для пакета, где каждый ключ — это имя таблицы базы данных. См. synced_database_table.
volumes Карта Определения томов для пакета, где каждый ключ — это название тома. См. volume (Unity Catalog).

запуск_как

Type: Map

Идентификатор, используемый при выполнении рабочих процессов пакетов ресурсов Databricks. См. Задайте идентификатор выполнения для рабочего процесса пакетов ресурсов Databricks.

Ключ Тип Описание
service_principal_name Струна Идентификатор приложения активного субъекта-службы. Для этого поля требуется роль servicePrincipal/user.
user_name Струна Электронная почта активного пользователя рабочей области. Пользователи, не являющиеся администраторами, могут задать это поле только для собственного сообщения электронной почты.

Сценарии

Type: Map

Скрипты, которые можно запустить с помощью bundle run. См. статью "Выполнение скриптов".

scripts:
  <script-name>:
    <script-field-name>: <script-field-value>
Ключ Тип Описание
content Струна Команды для выполнения

синхронизировать

Type: Map

Файлы и пути к файлам для включения или исключения в пакет. См. синхронизацию с.

Ключ Тип Описание
exclude Последовательность Список файлов или папок, которые следует исключить из пакета.
include Последовательность Список файлов или папок для включения в пакет.
paths Последовательность Пути локальных папок, которые могут находиться вне корневого каталога пакета, для синхронизации с рабочей областью при развертывании пакета.

Цели

Type: Map

Определяет целевые объекты развертывания для пакета. См. цели

targets:
  <target-name>:
    <target-field-name>: <target-field-value>
Ключ Тип Описание
artifacts Карта Артефакты, которые необходимо включить в целевое развертывание. См. артефакты.
bundle Карта Атрибуты пакета при развертывании в этом целевом объекте. См. пакет.
cluster_id Струна Идентификатор кластера, используемого для этого целевого объекта.
compute_id Струна Устарело. Идентификатор вычислительных ресурсов, используемых для этого целевого объекта.
default Булев Указывает, является ли этот целевой объект целевым объектом по умолчанию.
git Карта Параметры управления версиями Git для целевого объекта. См. git.
mode Струна Режим развертывания целевого объекта. Допустимые значения: development или production. См. режимы развертывания пакета ресурсов Databricks.
permissions Последовательность Разрешения для развертывания и запуска пакета в целевом объекте. Просмотр разрешений.
presets Карта Предустановки развертывания для целевого объекта. См. предустановки.
resources Карта Определения ресурсов для целевого объекта. См. ресурсы.
run_as Карта Удостоверение, используемое для запуска пакета, см. в разделе Указание удостоверения выполнения для рабочего процесса пакетов активов Databricks. См. run_as.
sync Карта Локальные пути для синхронизации с целевой рабочей областью при запуске или развертывании пакета. См. синхронизацию с.
variables Карта Пользовательские определения переменных для целевого объекта. См. переменные.
workspace Карта Рабочая область Databricks для целевого объекта. См. рабочую область .

Переменные

Type: Map

Определяет пользовательскую переменную для пакета. См. переменные.

variables:
  <variable-name>:
    <variable-field-name>: <variable-field-value>
Ключ Тип Описание
default Любое Значение по умолчанию для переменной.
description Струна Описание переменной.
lookup Карта Имя alert, cluster_policy, cluster, dashboard, instance_pool, job, metastore, pipeline, query, service_principalили объект warehouse, для которого требуется получить идентификатор. См. переменные.name.lookup.
type Струна Тип переменной, простой или сложной. Задайте этот ключ только в том случае, если переменная сложна. Допустимые значения: complex.

Переменные. name.lookup

Type: Map

Имя оповещения, cluster_policy, кластера, панели мониторинга, instance_pool, задания, хранилища метаданных, конвейера, запроса, service_principal или объекта хранилища, для которого требуется получить идентификатор. Для получения информации об использовании поиска, см. раздел "Получение значения идентификатора объекта".

Ключ Тип Описание
alert Струна Имя оповещения, для которого требуется получить идентификатор.
cluster Струна Имя кластера, для которого требуется получить идентификатор.
cluster_policy Струна Имя cluster_policy, для которого требуется получить идентификатор.
dashboard Струна Имя панели мониторинга, для которой требуется получить идентификатор.
instance_pool Струна Имя instance_pool, для которого требуется получить идентификатор.
job Струна Имя задания, для которого требуется получить идентификатор.
metastore Струна Имя хранилища метаданных, для которого требуется получить идентификатор.
notification_destination Струна Имя "notification_destination", для которого нужно получить идентификатор.
pipeline Струна Имя конвейера, для которого требуется получить идентификатор.
query Струна Имя запроса, для которого требуется получить идентификатор.
service_principal Струна Имя service_principal, для которого требуется получить идентификатор.
warehouse Струна Имя хранилища, для которого требуется получить идентификатор.

рабочее пространство

Type: Map

Определяет рабочую область Databricks для пакета. См. рабочую область .

Ключ Тип Описание
artifact_path Струна Путь артефакта, используемый в рабочей области как для развертываний, так и для выполнения рабочих процессов
auth_type Струна Тип проверки подлинности.
azure_client_id Струна Идентификатор клиента Azure
azure_environment Струна Среда Azure
azure_login_app_id Струна Идентификатор приложения для входа Azure
azure_tenant_id Струна Идентификатор клиента Azure
azure_use_msi Булев Следует ли использовать MSI для Azure
azure_workspace_resource_id Струна Идентификатор ресурса рабочей области Azure
client_id Струна Идентификатор клиента для рабочей области
file_path Струна Путь к файлу, используемый в рабочей области как для развертываний, так и для выполнения рабочих процессов
google_service_account Струна Имя учетной записи службы Google
host Струна URL хоста рабочей области в Databricks
profile Струна Имя профиля рабочей области Databricks
resource_path Струна Путь к ресурсу рабочей области
root_path Струна Корневой путь рабочей области Databricks
state_path Струна Путь состояния рабочей области

Общие объекты

Git

Type: Map

Определяет данные о системе контроля версий Git.

Ключ Тип Описание
branch Струна Имя ветви Git. См. git.
origin_url Струна URL-адрес источника репозитория. См. git.