Zastępowanie ustawień zadań podrzędnych w pakietach zasobów usługi Databricks
W tym artykule opisano sposób zastępowania ustawień zadań usługi Azure Databricks w pakietach zasobów usługi Databricks. Zobacz Co to są pakiety zasobów usługi Databricks?
W plikach konfiguracji pakietu usługi Azure Databricks można użyć task
mapowania w definicji zadania, aby dołączyć ustawienia zadań podrzędnych w mapowaniu najwyższego poziomu resources
z ustawieniami zadania zadania w targets
mapowaniu, na przykład (wielokropek wskazuje pominiętą zawartość dla zwięzłości):
# ...
resources:
jobs:
<some-unique-programmatic-identifier-for-this-job>:
# ...
tasks:
- task_key: <some-unique-programmatic-identifier-for-this-task>
# Task settings.
targets:
<some-unique-programmatic-identifier-for-this-target>:
resources:
jobs:
<the-matching-programmatic-identifier-for-this-job>:
# ...
tasks:
- task_key: <the-matching-programmatic-identifier-for-this-key>
# Any more task settings to join with the settings from the
# resources mapping for the matching top-level task_key.
# ...
Aby połączyć mapowanie najwyższego poziomu resources
i mapowanie dla tego samego task
elementu , task
mapowania task_key
muszą być ustawione na tę samą targets
wartość.
Jeśli jakiekolwiek ustawienie zadania zadania jest zdefiniowane zarówno w mapowaniu najwyższego poziomu resources
, jak i targets
mapowaniu dla tego samego task
elementu , ustawienie w targets
mapowaniu ma pierwszeństwo przed ustawieniem w mapowaniu najwyższego poziomu resources
.
Przykład 1: Ustawienia zadania zadania zdefiniowane w wielu mapowaniach zasobów i bez konfliktów ustawień
W tym przykładzie spark_version
w mapowaniu najwyższego poziomu resources
jest łączone i node_type_id
num_workers
w resources
mapowaniu w programie w targets
celu zdefiniowania ustawień task_key
nazwanych my-task
(wielokropek wskazuje pominiętą zawartość w celu zwięzłości):
# ...
resources:
jobs:
my-job:
name: my-job
tasks:
- task_key: my-key
new_cluster:
spark_version: 13.3.x-scala2.12
targets:
development:
resources:
jobs:
my-job:
name: my-job
tasks:
- task_key: my-task
new_cluster:
node_type_id: Standard_DS3_v2
num_workers: 1
# ...
Po uruchomieniu databricks bundle validate
tego przykładu wynikowy wykres jest następujący (wielokropek wskazuje pominiętą zawartość w celu zwięzłości):
{
"...": "...",
"resources": {
"jobs": {
"my-job": {
"tasks": [
{
"new_cluster": {
"node_type_id": "Standard_DS3_v2",
"num_workers": 1,
"spark_version": "13.3.x-scala2.12"
},
"task-key": "my-task"
}
],
"...": "..."
}
}
}
}
Przykład 2. Ustawienia zadania powodujące konflikt zdefiniowane w wielu mapowaniach zasobów
W tym przykładzie spark_version
wartości i num_workers
są zdefiniowane zarówno w mapowaniu najwyższego poziomuresources
, jak i w mapowaniu w targets
pliku resources
. spark_version
i num_workers
w resources
mapowaniu mają targets
pierwszeństwo spark_version
przed i num_workers
w mapowaniu najwyższego poziomu resources
. Definiuje ustawienia nazwanych task_key
my-task
(wielokropek wskazuje pominiętą zawartość dla zwięzłości):
# ...
resources:
jobs:
my-job:
name: my-job
tasks:
- task_key: my-task
new_cluster:
spark_version: 13.3.x-scala2.12
node_type_id: Standard_DS3_v2
num_workers: 1
targets:
development:
resources:
jobs:
my-job:
name: my-job
tasks:
- task_key: my-task
new_cluster:
spark_version: 12.2.x-scala2.12
num_workers: 2
# ...
Po uruchomieniu databricks bundle validate
tego przykładu wynikowy wykres jest następujący (wielokropek wskazuje pominiętą zawartość w celu zwięzłości):
{
"...": "...",
"resources": {
"jobs": {
"my-job": {
"tasks": [
{
"new_cluster": {
"node_type_id": "Standard_DS3_v2",
"num_workers": 2,
"spark_version": "12.2.x-scala2.12"
},
"task_key": "my-task"
}
],
"...": "..."
}
}
}
}