Přepsání nastavení úloh v balíčcích prostředků Databricks
Tento článek popisuje, jak přepsat nastavení úloh Azure Databricks v sadách prostředků Databricks. Podívejte se , co jsou sady prostředků Databricks?
V konfiguračních souborech sady Azure Databricks můžete pomocí task
mapování v definici úlohy spojit nastavení úloh v mapování úloh nejvyšší úrovně resources
s nastavením úlohy v targets
mapování, například (tři tečky označují vynechaný obsah pro stručnost):
# ...
resources:
jobs:
<some-unique-programmatic-identifier-for-this-job>:
# ...
tasks:
- task_key: <some-unique-programmatic-identifier-for-this-task>
# Task settings.
targets:
<some-unique-programmatic-identifier-for-this-target>:
resources:
jobs:
<the-matching-programmatic-identifier-for-this-job>:
# ...
tasks:
- task_key: <the-matching-programmatic-identifier-for-this-key>
# Any more task settings to join with the settings from the
# resources mapping for the matching top-level task_key.
# ...
Pokud chcete spojit mapování nejvyšší úrovně resources
a targets
mapování pro stejnou task
, task
musí být mapování task_key
nastaveno na stejnou hodnotu.
Pokud je v mapování nejvyšší úrovně resources
i mapování pro stejnou task
úlohu definováno jakékoli nastavení úlohy, bude mít nastavení v targets
mapování nejvyšší úrovně resources
přednost před targets
nastavením.
Příklad 1: Nastavení úlohy definované v mapování více zdrojů a bez konfliktů nastavení
V tomto příkladu spark_version
se mapování nejvyšší úrovně zkombinuje s mapováním node_type_id
na nejvyšší úrovni resources
a num_workers
v resources
mapování targets
definuje nastavení pro pojmenované task_key
my-task
(tři tečky označují vynechaný obsah pro stručnost):
# ...
resources:
jobs:
my-job:
name: my-job
tasks:
- task_key: my-key
new_cluster:
spark_version: 13.3.x-scala2.12
targets:
development:
resources:
jobs:
my-job:
name: my-job
tasks:
- task_key: my-task
new_cluster:
node_type_id: Standard_DS3_v2
num_workers: 1
# ...
Při spuštění databricks bundle validate
v tomto příkladu je výsledný graf následující (tři tečky označují vynechaný obsah pro stručnost):
{
"...": "...",
"resources": {
"jobs": {
"my-job": {
"tasks": [
{
"new_cluster": {
"node_type_id": "Standard_DS3_v2",
"num_workers": 1,
"spark_version": "13.3.x-scala2.12"
},
"task-key": "my-task"
}
],
"...": "..."
}
}
}
}
Příklad 2: Nastavení konfliktních úloh definovaných v mapování více zdrojů
V tomto příkladu spark_version
jsou num_workers
definovány jak v mapování nejvyšší úrovně resources
, tak v resources
mapování v targets
. spark_version
a v mapování mají přednost před spark_version
mapováním nejvyšší úrovně a num_workers
v mapování nejvyšší úrovněresources
.targets
resources
num_workers
Tím se definuje nastavení pro task_key
pojmenovaný my-task
(tři tečky označují vynechaný obsah pro stručnost):
# ...
resources:
jobs:
my-job:
name: my-job
tasks:
- task_key: my-task
new_cluster:
spark_version: 13.3.x-scala2.12
node_type_id: Standard_DS3_v2
num_workers: 1
targets:
development:
resources:
jobs:
my-job:
name: my-job
tasks:
- task_key: my-task
new_cluster:
spark_version: 12.2.x-scala2.12
num_workers: 2
# ...
Při spuštění databricks bundle validate
v tomto příkladu je výsledný graf následující (tři tečky označují vynechaný obsah pro stručnost):
{
"...": "...",
"resources": {
"jobs": {
"my-job": {
"tasks": [
{
"new_cluster": {
"node_type_id": "Standard_DS3_v2",
"num_workers": 2,
"spark_version": "12.2.x-scala2.12"
},
"task_key": "my-task"
}
],
"...": "..."
}
}
}
}