Feladatfeladat-beállítások felülbírálása a Databricks-eszközcsomagokban
Ez a cikk azt ismerteti, hogyan bírálhatja felül az Azure Databricks-feladatfeladatok beállításait a Databricks-eszközcsomagokban. Mik azok a Databricks-eszközcsomagok?
Az Azure Databricks csomagkonfigurációs fájljaiban a task
feladatdefiníción belüli leképezéssel összekapcsolhatja a feladattevékenység-beállításokat egy legfelső szintű resources
leképezésben a feladatfeladat-beállításokkal egy targets
leképezésben, például (a három pont a kihagyott tartalmat jelzi a rövidség kedvéért):
# ...
resources:
jobs:
<some-unique-programmatic-identifier-for-this-job>:
# ...
tasks:
- task_key: <some-unique-programmatic-identifier-for-this-task>
# Task settings.
targets:
<some-unique-programmatic-identifier-for-this-target>:
resources:
jobs:
<the-matching-programmatic-identifier-for-this-job>:
# ...
tasks:
- task_key: <the-matching-programmatic-identifier-for-this-key>
# Any more task settings to join with the settings from the
# resources mapping for the matching top-level task_key.
# ...
A legfelső szintű resources
leképezéshez és az targets
azonos task
leképezéshez való csatlakozáshoz a task
megfeleltetéseket task_key
ugyanarra az értékre kell állítani.
Ha bármely feladatfeladat-beállítás a legfelső szintű resources
leképezésben és targets
a task
leképezésben is meg van adva, akkor a targets
leképezésben lévő beállítás elsőbbséget élvez a legfelső szintű leképezés beállításával resources
szemben.
1. példa: Több erőforrás-megfeleltetésben definiált feladattevékenység-beállítások beállítások ütközése nélkül
Ebben a példában spark_version
a legfelső szintű resources
megfeleltetésben a rendszer a node_type_id
num_workers
névvel ellátott my-task
tartalom beállításait task_key
adja meg a leképezésben resources
targets
(a három pont a kihagyott tartalmat jelöli a rövidítéshez):
# ...
resources:
jobs:
my-job:
name: my-job
tasks:
- task_key: my-key
new_cluster:
spark_version: 13.3.x-scala2.12
targets:
development:
resources:
jobs:
my-job:
name: my-job
tasks:
- task_key: my-task
new_cluster:
node_type_id: Standard_DS3_v2
num_workers: 1
# ...
Ebben databricks bundle validate
a példában az eredményként kapott gráf a következő (a három pont a kihagyott tartalmat jelzi a rövidítéshez):
{
"...": "...",
"resources": {
"jobs": {
"my-job": {
"tasks": [
{
"new_cluster": {
"node_type_id": "Standard_DS3_v2",
"num_workers": 1,
"spark_version": "13.3.x-scala2.12"
},
"task-key": "my-task"
}
],
"...": "..."
}
}
}
}
2. példa: Több erőforrás-megfeleltetésben definiált ütköző feladatfeladat-beállítások
Ebben a példában a spark_version
legfelső szintű resources
leképezésben és num_workers
a leképezésben targets
is definiálva van.resources
spark_version
és num_workers
a leképezésben targets
elsőbbséget élvez spark_version
a legfelső szintű resources
leképezésnél.num_workers
resources
Ez határozza meg a névvel ellátott my-task
beállításokat task_key
(a három pont a kihagyott tartalmat jelzi a rövidség kedvéért):
# ...
resources:
jobs:
my-job:
name: my-job
tasks:
- task_key: my-task
new_cluster:
spark_version: 13.3.x-scala2.12
node_type_id: Standard_DS3_v2
num_workers: 1
targets:
development:
resources:
jobs:
my-job:
name: my-job
tasks:
- task_key: my-task
new_cluster:
spark_version: 12.2.x-scala2.12
num_workers: 2
# ...
Ebben databricks bundle validate
a példában az eredményként kapott gráf a következő (a három pont a kihagyott tartalmat jelzi a rövidítéshez):
{
"...": "...",
"resources": {
"jobs": {
"my-job": {
"tasks": [
{
"new_cluster": {
"node_type_id": "Standard_DS3_v2",
"num_workers": 2,
"spark_version": "12.2.x-scala2.12"
},
"task_key": "my-task"
}
],
"...": "..."
}
}
}
}