Fürtbeállítások felülbírálása a Databricks-eszközcsomagokban

Ez a cikk azt ismerteti, hogyan bírálhatja felül az Azure Databricks-fürtök beállításait a Databricks-eszközcsomagokban. Mik azok a Databricks-eszközcsomagok?

Az Azure Databricks csomagkonfigurációs fájljaiban az alábbiak szerint csatlakoztathatja a fürtbeállításokat egy legfelső szintű resources leképezésben a fürt beállításaival egy targets leképezésben.

Feladatok esetén a job_cluster_key feladatdefiníción belüli leképezéssel összekapcsolhatja a legfelső szintű resources leképezés fürtbeállításait a leképezés fürtbeállításaival targets , például (a három pont a kihagyott tartalmat jelzi a rövidség kedvéért):

# ...
resources:
  jobs:
    <some-unique-programmatic-identifier-for-this-job>:
      # ...
      job_clusters:
        - job_cluster_key: <some-unique-programmatic-identifier-for-this-key>
          new_cluster:
            # Cluster settings.

targets:
  <some-unique-programmatic-identifier-for-this-target>:
    resources:
      jobs:
        <the-matching-programmatic-identifier-for-this-job>:
          # ...
          job_clusters:
            - job_cluster_key: <the-matching-programmatic-identifier-for-this-key>
              # Any more cluster settings to join with the settings from the
              # resources mapping for the matching top-level job_cluster_key.
          # ...

Ha bármely fürtbeállítás a legfelső szintű resources leképezésben és targets a job_cluster_keyleképezésben is definiálva van, akkor a targets leképezésben lévő beállítás elsőbbséget élvez a legfelső szintű megfeleltetés beállításával resources szemben.

Delta Live Tables-folyamatok esetén használja a label folyamatdefiníción belüli cluster leképezést, hogy összekapcsolja a legfelső szintű resources leképezés fürtbeállításait a targets leképezés fürtbeállításaival, például (a három pont a kihagyott tartalmat jelzi a rövidség kedvéért):

# ...
resources:
  pipelines:
    <some-unique-programmatic-identifier-for-this-pipeline>:
      # ...
      clusters:
        - label: default | maintenance
          # Cluster settings.

targets:
  <some-unique-programmatic-identifier-for-this-target>:
    resources:
      pipelines:
        <the-matching-programmatic-identifier-for-this-pipeline>:
          # ...
          clusters:
            - label: default | maintenance
              # Any more cluster settings to join with the settings from the
              # resources mapping for the matching top-level label.
          # ...

Ha bármely fürtbeállítás a legfelső szintű resources leképezésben és targets a labelleképezésben is definiálva van, akkor a targets leképezésben lévő beállítás elsőbbséget élvez a legfelső szintű megfeleltetés beállításával resources szemben.

1. példa: Több erőforrásleképezésben definiált új feladatfürt-beállítások, beállítások ütközése nélkül

Ebben a példában spark_version a legfelső szintű resources megfeleltetésben a rendszer a node_type_idnum_workers névvel ellátott my-cluster tartalom beállításait job_cluster_key adja meg a leképezésben resourcestargets (a három pont a kihagyott tartalmat jelöli a rövidítéshez):

# ...
resources:
  jobs:
    my-job:
      name: my-job
      job_clusters:
        - job_cluster_key: my-cluster
          new_cluster:
            spark_version: 13.3.x-scala2.12

targets:
  development:
    resources:
      jobs:
        my-job:
          name: my-job
          job_clusters:
            - job_cluster_key: my-cluster
              new_cluster:
                node_type_id: Standard_DS3_v2
                num_workers: 1
          # ...

Ebben databricks bundle validate a példában az eredményként kapott gráf a következő (a három pont a kihagyott tartalmat jelzi a rövidítéshez):

{
  "...": "...",
  "resources": {
    "jobs": {
      "my-job": {
        "job_clusters": [
          {
            "job_cluster_key": "my-cluster",
            "new_cluster": {
              "node_type_id": "Standard_DS3_v2",
              "num_workers": 1,
              "spark_version": "13.3.x-scala2.12"
            }
          }
        ],
        "...": "..."
      }
    }
  }
}

2. példa: Több erőforrás-megfeleltetésben definiált új feladatfürt beállításai ütköznek

Ebben a példában a spark_versionlegfelső szintű resources leképezésben és num_workers a leképezésben targetsis definiálva van.resources Ebben a példában és spark_version a felső szintű resources megfeleltetésnél elsőbbséget élvező leképezésben targetsnum_workersspark_version definiálja a job_cluster_key névvel ellátott my-cluster tartalom beállításait (a három pont a kihagyott tartalmat jelöli a rövidítéshez):resourcesnum_workers

# ...
resources:
  jobs:
    my-job:
      name: my-job
      job_clusters:
        - job_cluster_key: my-cluster
          new_cluster:
            spark_version: 13.3.x-scala2.12
            node_type_id: Standard_DS3_v2
            num_workers: 1

targets:
  development:
    resources:
      jobs:
        my-job:
          name: my-job
          job_clusters:
            - job_cluster_key: my-cluster
              new_cluster:
                spark_version: 12.2.x-scala2.12
                num_workers: 2
          # ...

Ebben databricks bundle validate a példában az eredményként kapott gráf a következő (a három pont a kihagyott tartalmat jelzi a rövidítéshez):

{
  "...": "...",
  "resources": {
    "jobs": {
      "my-job": {
        "job_clusters": [
          {
            "job_cluster_key": "my-cluster",
            "new_cluster": {
              "node_type_id": "Standard_DS3_v2",
              "num_workers": 2,
              "spark_version": "12.2.x-scala2.12"
            }
          }
        ],
        "...": "..."
      }
    }
  }
}

3. példa: Több erőforrás-megfeleltetésben definiált folyamatfürt-beállítások, beállítások ütközése nélkül

Ebben a példában node_type_id a legfelső szintű resources megfeleltetés a leképezésben resourcestargets a num_workers névvel ellátott default tartalom beállításainak meghatározásához label (a három pont a kihagyott tartalmat jelöli a rövidítéshez):

# ...
resources:
  pipelines:
    my-pipeline:
      clusters:
        - label: default
          node_type_id: Standard_DS3_v2

targets:
  development:
    resources:
      pipelines:
        my-pipeline:
          clusters:
            - label: default
              num_workers: 1
          # ...

Ebben databricks bundle validate a példában az eredményként kapott gráf a következő (a három pont a kihagyott tartalmat jelzi a rövidítéshez):

{
  "...": "...",
  "resources": {
    "pipelines": {
      "my-pipeline": {
        "clusters": [
          {
            "label": "default",
            "node_type_id": "Standard_DS3_v2",
            "num_workers": 1
          }
        ],
        "...": "..."
      }
    }
  }
}

4. példa: Több erőforrás-megfeleltetésben definiált ütköző folyamatfürt-beállítások

Ebben a példában num_workers a legfelső szintű resources leképezésben és a leképezésben is definiálva targetsvan.resources num_workersa resources leképezésben targets elsőbbséget élvez num_workers a legfelső szintű resources megfeleltetésben a névvel ellátott default tartalom beállításainak meghatározásához label (a három pont a kihagyott tartalmat jelzi a rövidítéshez):

# ...
resources:
  pipelines:
    my-pipeline:
      clusters:
        - label: default
          node_type_id: Standard_DS3_v2
          num_workers: 1

targets:
  development:
    resources:
      pipelines:
        my-pipeline:
          clusters:
            - label: default
              num_workers: 2
          # ...

Ebben databricks bundle validate a példában az eredményként kapott gráf a következő (a három pont a kihagyott tartalmat jelzi a rövidítéshez):

{
  "...": "...",
  "resources": {
    "pipelines": {
      "my-pipeline": {
        "clusters": [
          {
            "label": "default",
            "node_type_id": "Standard_DS3_v2",
            "num_workers": 2
          }
        ],
        "...": "..."
      }
    }
  }
}