Megosztás a következőn keresztül:

Delta Live Tables API-útmutató

  • Cikk

Fontos

A cikk tartalma ki lett állítva, és lehet, hogy nem frissül. Tekintse meg a Delta Live-táblákat a Databricks REST API-referenciajában.

A Delta Live Tables API lehetővé teszi a folyamatok részleteinek létrehozását, szerkesztését, törlését, elindítását és megtekintését.

Fontos

A Databricks REST API-k eléréséhez hitelesítenie kell.

Folyamat létrehozása

Végpont HTTP-metódus
2.0/pipelines POST

Létrehoz egy új Delta Live Tables-folyamatot.

Példa

Ez a példa létrehoz egy új aktivált folyamatot.

Kérés

curl --netrc -X POST \
https://<databricks-instance>/api/2.0/pipelines \
--data @pipeline-settings.json

pipeline-settings.json:

{
  "name": "Wikipedia pipeline (SQL)",
  "storage": "/Users/username/data",
  "clusters": [
    {
      "label": "default",
      "autoscale": {
        "min_workers": 1,
        "max_workers": 5,
        "mode": "ENHANCED"
      }
    }
  ],
  "libraries": [
    {
      "notebook": {
        "path": "/Users/username/DLT Notebooks/Delta Live Tables quickstart (SQL)"
      }
    }
  ],
  "continuous": false
}

Csere:

  • <databricks-instance>például az Azure Databricks-munkaterület nevéveladb-1234567890123456.7.azuredatabricks.net.

Ez a példa egy .netrc-fájlt használ.

Válasz

{
  "pipeline_id": "a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5"
}

Kérelemstruktúra

Lásd: Folyamat Gépház.

Válaszstruktúra

Mező neve Típus Leírás
pipeline_id STRING Az újonnan létrehozott folyamat egyedi azonosítója.

Folyamat szerkesztése

Végpont HTTP-metódus
2.0/pipelines/{pipeline_id} PUT

Frissítések meglévő folyamat beállításait.

Példa

Ez a példa egy paramétert target ad hozzá a folyamathoz azonosítóval a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5:

Kérés

curl --netrc -X PUT \
https://<databricks-instance>/api/2.0/pipelines/a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5 \
--data @pipeline-settings.json

pipeline-settings.json

{
  "id": "a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5",
  "name": "Wikipedia pipeline (SQL)",
  "storage": "/Users/username/data",
  "clusters": [
    {
      "label": "default",
      "autoscale": {
        "min_workers": 1,
        "max_workers": 5,
        "mode": "ENHANCED"
      }
    }
  ],
  "libraries": [
    {
      "notebook": {
        "path": "/Users/username/DLT Notebooks/Delta Live Tables quickstart (SQL)"
      }
    }
  ],
  "target": "wikipedia_quickstart_data",
  "continuous": false
}

Csere:

  • <databricks-instance>például az Azure Databricks-munkaterület nevéveladb-1234567890123456.7.azuredatabricks.net.

Ez a példa egy .netrc-fájlt használ.

Kérelemstruktúra

Lásd: Folyamat Gépház.

Folyamat törlése

Végpont HTTP-metódus
2.0/pipelines/{pipeline_id} DELETE

Töröl egy folyamatot a Delta Live Tables rendszerből.

Példa

Ez a példa törli a folyamatot azonosítóval a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5:

Kérés

curl --netrc -X DELETE \
https://<databricks-instance>/api/2.0/pipelines/a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5

Csere:

  • <databricks-instance>például az Azure Databricks-munkaterület nevéveladb-1234567890123456.7.azuredatabricks.net.

Ez a példa egy .netrc-fájlt használ.

Folyamatfrissítés indítása

Végpont HTTP-metódus
2.0/pipelines/{pipeline_id}/updates POST

Elindítja a folyamat frissítését. A teljes folyamatdiagram frissítését vagy adott táblák szelektív frissítését is elindíthatja.

Példák

Teljes frissítés indítása

Ez a példa elindít egy frissítést a folyamat teljes frissítésével, azonosítóval a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5:

Kérés
curl --netrc -X POST \
https://<databricks-instance>/api/2.0/pipelines/a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5/updates \
--data '{ "full_refresh": "true" }'

Csere:

  • <databricks-instance>például az Azure Databricks-munkaterület nevéveladb-1234567890123456.7.azuredatabricks.net.

Ez a példa egy .netrc-fájlt használ.

Válasz
{
  "update_id": "a1b23c4d-5e6f-78gh-91i2-3j4k5lm67no8",
  "request_id": "a1b23c4d-5e6f-78gh-91i2-3j4k5lm67no8"
}

A kijelölt táblák frissítésének indítása

Ez a példa elindít egy frissítést, amely frissíti a sales_orders_cleaned folyamat és sales_order_in_chicago a táblák azonosítóját a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5:

Kérés
curl --netrc -X POST \
https://<databricks-instance>/api/2.0/pipelines/a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5/updates \
--data '{ "refresh_selection": ["sales_orders_cleaned", "sales_order_in_chicago"] }'

Csere:

  • <databricks-instance>például az Azure Databricks-munkaterület nevéveladb-1234567890123456.7.azuredatabricks.net.

Ez a példa egy .netrc-fájlt használ.

Válasz
{
  "update_id": "a1b23c4d-5e6f-78gh-91i2-3j4k5lm67no8",
  "request_id": "a1b23c4d-5e6f-78gh-91i2-3j4k5lm67no8"
}

A kijelölt táblák teljes frissítésének indítása

Ez a példa elindítja a táblák és a sales_orders_cleaned táblák frissítését, valamint a folyamat tábláinak sales_orders_rawcustomers teljes frissítését azonosítóvala12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5sales_order_in_chicago.

Kérés
curl --netrc -X POST \
https://<databricks-instance>/api/2.0/pipelines/a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5/updates \
--data '{ "refresh_selection": ["sales_orders_cleaned", "sales_order_in_chicago"], "full_refresh_selection": ["customers", "sales_orders_raw"] }'

Csere:

  • <databricks-instance>például az Azure Databricks-munkaterület nevéveladb-1234567890123456.7.azuredatabricks.net.

Ez a példa egy .netrc-fájlt használ.

Válasz
{
  "update_id": "a1b23c4d-5e6f-78gh-91i2-3j4k5lm67no8",
  "request_id": "a1b23c4d-5e6f-78gh-91i2-3j4k5lm67no8"
}

Kérelemstruktúra

Mező neve Típus Leírás
full_refresh BOOLEAN Az összes adat újrafeldolgozása. Ha truea Delta Live Tables rendszer alaphelyzetbe állítja az összes visszaállítható táblát a folyamat futtatása előtt.

A mező nem kötelező.

Az alapértelmezett érték false.

A rendszer hibát ad vissza, ha full_refesh igaz, vagy refresh_selectionfull_refresh_selection be van állítva.
refresh_selection Egy tömb a STRING A frissíteni kívánt táblák listája. Használat
refresh_selection a kijelölt táblakészlet frissítésének elindításához a folyamatgráfban.

A mező nem kötelező. Ha mindkettő
refresh_selection És
full_refresh_selection üresek, a teljes folyamatdiagram frissül.

Hiba jelenik meg, ha:

* full_refesh igaz és
refresh_selection be van állítva.
* A megadott táblák közül legalább egy nem létezik a folyamatgráfban.
full_refresh_selection Egy tömb a STRING A teljes frissítéssel frissítendő táblák listája. A kijelölt táblakészlet frissítésének elindítására használható full_refresh_selection . A megadott táblák állapotai alaphelyzetbe állnak, mielőtt a Delta Live Tables rendszer elindítja a frissítést.

A mező nem kötelező. Ha mindkettő
refresh_selection És
full_refresh_selection üresek, a teljes folyamatdiagram frissül.

Hiba jelenik meg, ha:

* full_refesh igaz és
refresh_selection be van állítva.
* A megadott táblák közül legalább egy nem létezik a folyamatgráfban.
* A megadott táblák közül legalább egy nem állítható alaphelyzetbe.

Válaszstruktúra

Mező neve Típus Leírás
update_id STRING Az újonnan létrehozott frissítés egyedi azonosítója.
request_id STRING A frissítést kezdeményező kérés egyedi azonosítója.

Folyamatfrissítési kérelem állapotának lekérése

Végpont HTTP-metódus
2.0/pipelines/{pipeline_id}/requests/{request_id} GET

Lekéri a folyamatfrissítés állapotát és adatait, amely request_id a folyamatfrissítést request_idkezdeményező kérés egyedi azonosítója. Ha a frissítés újrapróbálkozott vagy újraindult, az új frissítés örökli a request_id.

Példa

Az azonosítóval a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5rendelkező folyamat esetében ez a példa a kérelemazonosítóhoz a83d9f7c-d798-4fd5-aa39-301b6e6f4429társított frissítés állapotát és adatait adja vissza:

Kérés

curl --netrc -X GET \
https://<databricks-instance>/api/2.0/pipelines/a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5/requests/a83d9f7c-d798-4fd5-aa39-301b6e6f4429

Csere:

  • <databricks-instance>például az Azure Databricks-munkaterület nevéveladb-1234567890123456.7.azuredatabricks.net.

Ez a példa egy .netrc-fájlt használ.

Válasz

{
   "status": "TERMINATED",
   "latest_update":{
     "pipeline_id": "a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5",
     "update_id": "90da8183-89de-4715-b5a9-c243e67f0093",
     "config":{
       "id": "aae89b88-e97e-40c4-8e1a-1b7ac76657e8",
       "name": "Retail sales (SQL)",
       "storage": "/Users/username/data",
       "configuration":{
         "pipelines.numStreamRetryAttempts": "5"
       },
       "clusters":[
         {
           "label": "default",
           "autoscale":{
             "min_workers": 1,
             "max_workers": 5,
             "mode": "ENHANCED"
           }
         }
       ],
       "libraries":[
         {
           "notebook":{
             "path": "/Users/username/DLT Notebooks/Delta Live Tables quickstart (SQL)"
           }
         }
       ],
       "continuous": false,
       "development": true,
       "photon": true,
       "edition": "advanced",
       "channel": "CURRENT"
     },
     "cause": "API_CALL",
     "state": "COMPLETED",
     "cluster_id": "1234-567891-abcde123",
     "creation_time": 1664304117145,
     "full_refresh": false,
     "request_id": "a83d9f7c-d798-4fd5-aa39-301b6e6f4429"
   }
}

Válaszstruktúra

Mező neve Típus Leírás
status STRING A folyamatfrissítési kérelem állapota. A következők egyike:

* ACTIVE: A kérés frissítése aktívan fut, vagy újrapróbálkozhat egy új frissítésben.
* TERMINATED: A kérés le van állítva, és nem lesz újrapróbálkozott vagy újraindul.
pipeline_id STRING A folyamat egyedi azonosítója.
update_id STRING A frissítés egyedi azonosítója.
config Folyamat Gépház A folyamat beállításai.
cause STRING A frissítés eseményindítója. Az egyik,API_CALL
RETRY_ON_FAILURE, SERVICE_UPGRADE, SCHEMA_CHANGE
JOB_TASKUSER_ACTIONvagy .
state STRING A frissítés állapota. Az egyik,QUEUEDCREATED
WAITING_FOR_RESOURCES, INITIALIZING, RESETTING
SETTING_UP_TABLES, RUNNING, STOPPING, COMPLETED
FAILEDCANCELEDvagy .
cluster_id STRING A frissítést futtató fürt azonosítója.
creation_time INT64 A frissítés létrehozásának időbélyege.
full_refresh BOOLEAN Azt jelzi, hogy ez a frissítés alaphelyzetbe állítja-e az összes táblát a futtatás előtt
refresh_selection Egy tömb a STRING A teljes frissítés nélkül frissítendő táblák listája.
full_refresh_selection Egy tömb a STRING A teljes frissítéssel frissítendő táblák listája.
request_id STRING A frissítést kezdeményező kérés egyedi azonosítója. Ez a frissítési kérelem által visszaadott érték. Ha a frissítés újrapróbálkozott vagy újraindult, az új frissítés örökli a request_id. A update_id különbség azonban más lesz.

Aktív folyamat frissítésének leállítása

Végpont HTTP-metódus
2.0/pipelines/{pipeline_id}/stop POST

Leállítja az aktív folyamatfrissítéseket. Ha nem fut frissítés, ez a kérés nem működik.

Folyamatos folyamat esetén a folyamat végrehajtása szünetel. A jelenleg feldolgozás alatt álló táblák frissítése befejeződött, de az alsóbb rétegbeli táblák nem frissülnek. A következő folyamatfrissítés során a Delta Live Tables végrehajtja azon táblák kijelölt frissítését, amelyek nem fejeztek be feldolgozást, és folytatja a fennmaradó folyamat DAG feldolgozását.

Egy aktivált folyamat esetében a folyamat végrehajtása le van állítva. A jelenleg feldolgozás alatt álló táblák frissítése befejeződött, de az alsóbb rétegbeli táblák nem frissülnek. A következő folyamatfrissítés során a Delta Live Tables az összes táblát frissíti.

Példa

Ez a példa leállítja a folyamat frissítését azonosítóval a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5:

Kérés

curl --netrc -X POST \
https://<databricks-instance>/api/2.0/pipelines/a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5/stop

Csere:

  • <databricks-instance>például az Azure Databricks-munkaterület nevéveladb-1234567890123456.7.azuredatabricks.net.

Ez a példa egy .netrc-fájlt használ.

Folyamatesemények listázása

Végpont HTTP-metódus
2.0/pipelines/{pipeline_id}/events GET

Egy folyamat eseményeit kéri le.

Példa

Ez a példa legfeljebb 5 eseményt kér le a folyamathoz azonosítóval a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5.

Kérés

curl --netrc -X GET \
https://<databricks-instance>/api/2.0/pipelines/a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5/events?max_results=5

Csere:

  • <databricks-instance>például az Azure Databricks-munkaterület nevéveladb-1234567890123456.7.azuredatabricks.net.

Ez a példa egy .netrc-fájlt használ.

Kérelemstruktúra

Mező neve Típus Leírás
page_token STRING Az előző hívás által visszaadott lap jogkivonata. Ez a mező kölcsönösen kizárja a kérés összes mezőjét, kivéve max_results. A rendszer hibát ad vissza, ha a mező beállításakor a max_results kívül más mezők is be vannak állítva.

A mező nem kötelező.
max_results INT32 Az egy oldalon visszaadandó bejegyzések maximális száma. A rendszer akkor is kevesebb eseményt ad vissza, mint max_results a válaszban szereplő események, még akkor is, ha több esemény áll rendelkezésre.

A mező nem kötelező.

Az alapértelmezett érték 25.

A maximális érték 100. A függvény hibát ad vissza, ha a
max_results nagyobb, mint 100.
order_by STRING Az eredmények időbélyege szerinti rendezési sorrendet jelző sztring, például ["timestamp asc"].

A rendezési sorrend növekvő vagy csökkenő lehet. Alapértelmezés szerint az események időbélyeg szerint csökkenő sorrendben jelennek meg.

A mező nem kötelező.
filter STRING Az eredmények egy részhalmazának kiválasztására vonatkozó feltételek SQL-szerű szintaxissal kifejezve. A támogatott szűrők a következők:

* level='INFO' (vagy WARNERROR)
* level in ('INFO', 'WARN')
* id='[event-id]'
* timestamp > 'TIMESTAMP'(vagy >=,<,<=,)=

Az összetett kifejezések támogatottak, például:
level in ('ERROR', 'WARN') AND timestamp> '2021-07-22T06:37:33.083Z'

A mező nem kötelező.

Válaszstruktúra

Mező neve Típus Leírás
events Folyamatesemények tömbje. A kérelem feltételeinek megfelelő események listája.
next_page_token STRING Ha jelen van, egy jogkivonat az események következő oldalának lekéréséhez.
prev_page_token STRING Ha jelen van, egy jogkivonat, amely lekéri az előző eseményoldalt.

Folyamat részleteinek lekérése

Végpont HTTP-metódus
2.0/pipelines/{pipeline_id} GET

Lekéri a folyamat részleteit, beleértve a folyamat beállításait és a legutóbbi frissítéseket.

Példa

Ez a példa beolvasja a folyamat részleteit az azonosítóval a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5:

Kérés

curl --netrc -X GET \
https://<databricks-instance>/api/2.0/pipelines/a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5

Csere:

  • <databricks-instance>például az Azure Databricks-munkaterület nevéveladb-1234567890123456.7.azuredatabricks.net.

Ez a példa egy .netrc-fájlt használ.

Válasz

{
  "pipeline_id": "a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5",
  "spec": {
    "id": "a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5",
    "name": "Wikipedia pipeline (SQL)",
    "storage": "/Users/username/data",
    "clusters": [
      {
        "label": "default",
        "autoscale": {
          "min_workers": 1,
          "max_workers": 5,
          "mode": "ENHANCED"
        }
      }
    ],
    "libraries": [
      {
        "notebook": {
          "path": "/Users/username/DLT Notebooks/Delta Live Tables quickstart (SQL)"
        }
      }
    ],
    "target": "wikipedia_quickstart_data",
    "continuous": false
  },
  "state": "IDLE",
  "cluster_id": "1234-567891-abcde123",
  "name": "Wikipedia pipeline (SQL)",
  "creator_user_name": "username",
  "latest_updates": [
    {
      "update_id": "8a0b6d02-fbd0-11eb-9a03-0242ac130003",
      "state": "COMPLETED",
      "creation_time": "2021-08-13T00:37:30.279Z"
    },
    {
      "update_id": "a72c08ba-fbd0-11eb-9a03-0242ac130003",
      "state": "CANCELED",
      "creation_time": "2021-08-13T00:35:51.902Z"
    },
    {
      "update_id": "ac37d924-fbd0-11eb-9a03-0242ac130003",
      "state": "FAILED",
      "creation_time": "2021-08-13T00:33:38.565Z"
    }
  ],
  "run_as_user_name": "username"
}

Válaszstruktúra

Mező neve Típus Leírás
pipeline_id STRING A folyamat egyedi azonosítója.
spec Folyamat Gépház A folyamat beállításai.
state STRING A folyamat állapota. Az egyik vagy IDLERUNNINGa másik.

Ha az állapot = RUNNING, akkor legalább egy aktív frissítés van.
cluster_id STRING A folyamatot futtató fürt azonosítója.
name STRING A folyamat felhasználóbarát neve.
creator_user_name STRING A folyamat létrehozójának felhasználóneve.
latest_updates Az UpdateStateInfo tömbje A folyamat legújabb frissítéseinek állapota, elsőként a legújabb frissítéssel rendezve.
run_as_user_name STRING A folyamat által futtatott felhasználónév.

Frissítés részleteinek lekérése

Végpont HTTP-metódus
2.0/pipelines/{pipeline_id}/updates/{update_id} GET

Lekéri a folyamatfrissítés részleteit.

Példa

Ez a példa beolvasja a folyamat frissítésének 9a84f906-fc51-11eb-9a03-0242ac130003 részleteit az azonosítóval a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5:

Kérés

curl --netrc -X GET \
https://<databricks-instance>/api/2.0/pipelines/a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5/updates/9a84f906-fc51-11eb-9a03-0242ac130003

Csere:

  • <databricks-instance>például az Azure Databricks-munkaterület nevéveladb-1234567890123456.7.azuredatabricks.net.

Ez a példa egy .netrc-fájlt használ.

Válasz

{
  "update": {
    "pipeline_id": "a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5",
    "update_id": "9a84f906-fc51-11eb-9a03-0242ac130003",
    "config": {
      "id": "a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5",
      "name": "Wikipedia pipeline (SQL)",
      "storage": "/Users/username/data",
      "configuration": {
        "pipelines.numStreamRetryAttempts": "5"
      },
      "clusters": [
        {
          "label": "default",
          "autoscale": {
            "min_workers": 1,
            "max_workers": 5,
            "mode": "ENHANCED"
          }
        }
      ],
      "libraries": [
        {
          "notebook": {
            "path": "/Users/username/DLT Notebooks/Delta Live Tables quickstart (SQL)"
          }
        }
      ],
      "target": "wikipedia_quickstart_data",
      "continuous": false,
      "development": false
    },
    "cause": "API_CALL",
    "state": "COMPLETED",
    "creation_time": 1628815050279,
    "full_refresh": true,
    "request_id": "a83d9f7c-d798-4fd5-aa39-301b6e6f4429"
  }
}

Válaszstruktúra

Mező neve Típus Leírás
pipeline_id STRING A folyamat egyedi azonosítója.
update_id STRING A frissítés egyedi azonosítója.
config Folyamat Gépház A folyamat beállításai.
cause STRING A frissítés eseményindítója. Az egyik,API_CALL
RETRY_ON_FAILURE, SERVICE_UPGRADE.
state STRING A frissítés állapota. Az egyik,QUEUEDCREATED
WAITING_FOR_RESOURCES, INITIALIZING, RESETTING
SETTING_UP_TABLES, RUNNING, STOPPING, COMPLETED
FAILEDCANCELEDvagy .
cluster_id STRING A folyamatot futtató fürt azonosítója.
creation_time INT64 A frissítés létrehozásának időbélyege.
full_refresh BOOLEAN Hogy ez teljes frissítés volt-e. Ha igaz, a frissítés futtatása előtt az összes folyamattábla alaphelyzetbe lett állítva.

Folyamatok listázása

Végpont HTTP-metódus
2.0/pipelines/ GET

Felsorolja a Delta Live Tables rendszerben definiált folyamatokat.

Példa

Ez a példa azoknak a folyamatoknak a részleteit kéri le, ahol a név tartalmazza a következőt quickstart:

Kérés

curl --netrc -X GET \
https://<databricks-instance>/api/2.0/pipelines?filter=name%20LIKE%20%27%25quickstart%25%27

Csere:

  • <databricks-instance>például az Azure Databricks-munkaterület nevéveladb-1234567890123456.7.azuredatabricks.net.

Ez a példa egy .netrc-fájlt használ.

Válasz

{
  "statuses": [
    {
      "pipeline_id": "e0f01758-fc61-11eb-9a03-0242ac130003",
      "state": "IDLE",
      "name": "DLT quickstart (Python)",
      "latest_updates": [
        {
          "update_id": "ee9ae73e-fc61-11eb-9a03-0242ac130003",
          "state": "COMPLETED",
          "creation_time": "2021-08-13T00:34:21.871Z"
        }
      ],
      "creator_user_name": "username"
    },
    {
      "pipeline_id": "f4c82f5e-fc61-11eb-9a03-0242ac130003",
      "state": "IDLE",
      "name": "My DLT quickstart example",
      "creator_user_name": "username"
    }
  ],
  "next_page_token": "eyJ...==",
  "prev_page_token": "eyJ..x9"
}

Kérelemstruktúra

Mező neve Típus Leírás
page_token STRING Az előző hívás által visszaadott lap jogkivonata.

A mező nem kötelező.
max_results INT32 Az egy oldalon visszaadandó bejegyzések maximális száma. A rendszer akkor is kevesebb eseményt ad vissza, mint max_results a válaszban szereplő események, még akkor is, ha több esemény áll rendelkezésre.

A mező nem kötelező.

Az alapértelmezett érték 25.

A maximális érték 100. A függvény hibát ad vissza, ha a
max_results nagyobb, mint 100.
order_by Egy tömb a STRING Az eredmények sorrendjét meghatározó sztringek listája, például
["name asc"]. A támogatott order_by mezők a következők:id
name. Az alapértelmezett érték id asc.

A mező nem kötelező.
filter STRING Válasszon ki egy részhalmazt az eredményekből a megadott feltételek alapján.

A támogatott szűrők a következők:

"notebook='<path>'" a megadott jegyzetfüzet elérési útjára hivatkozó folyamatok kiválasztásához.

name LIKE '[pattern]' a megfelelő nevű folyamatok kiválasztásához pattern. A helyettesítő karakterek támogatottak, például:
name LIKE '%shopping%'

Az összetett szűrők nem támogatottak.

A mező nem kötelező.

Válaszstruktúra

Mező neve Típus Leírás
statuses PipelineStateInfo tömb A kérelem feltételeinek megfelelő események listája.
next_page_token STRING Ha jelen van, egy jogkivonat az események következő oldalának lekéréséhez.
prev_page_token STRING Ha jelen van, egy jogkivonat, amely lekéri az előző eseményoldalt.

Adatstruktúrák

Ebben a szakaszban:

ABFSSStorageInfo

Az Azure Data Lake Storage (ADLS) tárolási adatai.

Mező neve Típus Leírás
destination STRING Fájl célhelye. Példa: abfss://...

ClusterLogConf

A fürtnapló elérési útja.

Mező neve Típus Leírás
dbfs DbfsStorageInfo A fürtnapló DBFS-helye. Meg kell adni a célhelyet. Például:
{ "dbfs" : { "destination" : "dbfs:/home/cluster_log" } }

DbfsStorageInfo

A DBFS tárolási adatai.

Mező neve Típus Leírás
destination STRING DBFS-célhely. Példa: dbfs:/my/path

FileStorageInfo

Fájltárolási információk.

Feljegyzés

Ez a helytípus csak a Databricks Container Services használatával beállított fürtök esetében érhető el.

Mező neve Típus Leírás
destination STRING Fájl célhelye. Példa: file:/my/file.sh

InitScriptInfo

Init-szkript elérési útja.

Az init-szkriptek Databricks Container Services szolgáltatással való használatára vonatkozó utasításokért lásd: Init-szkript használata.

Feljegyzés

A fájltároló típusa (mező neve: file) csak a Databricks Container Services használatával beállított fürtök esetében érhető el. Lásd: FileStorageInfo.

Mező neve Típus Leírás
workspace VAGY
dbfs (elavult)

VAGY
abfss		 WorkspaceStorageInfo

DbfsStorageInfo (elavult)

ABFSSStorageInfo		 Az init-szkript munkaterületi helye. Meg kell adni a célhelyet. Például:
{ "workspace" : { "destination" : "/Users/someone@domain.com/init_script.sh" } }

(Elavult) Az init szkript DBFS-helye. Meg kell adni a célhelyet. Például:
{ "dbfs" : { "destination" : "dbfs:/home/init_script" } }

Az Init-szkript Azure Data Lake Storage (ADLS) helye. Meg kell adni a célhelyet. Például: { "abfss": { "destination" : "abfss://..." } }

KeyValue

A konfigurációs paramétereket meghatározó kulcs-érték pár.

Mező neve Típus Leírás
key STRING A konfigurációs tulajdonság neve.
value STRING A konfigurációs tulajdonság értéke.

NotebookLibrary

Folyamatkódot tartalmazó jegyzetfüzet specifikációja.

Mező neve Típus Leírás
path STRING A jegyzetfüzet abszolút elérési útja.

Ez a mező kötelező.

PipelinesAutoScale

Automatikus skálázási fürtöt meghatározó attribútumok.

Mező neve Típus Leírás
min_workers INT32 Azoknak a dolgozóknak a minimális száma, akikre a fürt kihasználatlan állapotban leskálázható. A fürt kezdeti számú feldolgozója is lesz a létrehozás után.
max_workers INT32 Azoknak a dolgozóknak a maximális száma, akikre a fürt túlterhelt állapotban felskálázható. max_workers szigorúan nagyobbnak kell lennie, mint min_workers.
mode STRING A fürt automatikus skálázási módja:

* ENHANCEDtovábbfejlesztett automatikus skálázás használatához.
* LEGACY a fürt automatikus skálázási funkciójának használatához.

PipelineLibrary

A folyamatfüggőségek specifikációja.

Mező neve Típus Leírás
notebook NotebookLibrary A Delta Live Tables-adatkészleteket meghatározó jegyzetfüzet elérési útja. Az elérési útnak a Databricks-munkaterületen kell lennie, például:
{ "notebook" : { "path" : "/my-pipeline-notebook-path" } }.

PipelinesNewCluster

Folyamatfürt-specifikáció.

A Delta Live Tables rendszer a következő attribútumokat állítja be. Ezeket az attribútumokat a felhasználók nem konfigurálhatják:

  • spark_version
Mező neve Típus Leírás
label STRING A fürt specifikációjának címkéje, vagy
default az alapértelmezett fürt konfigurálásához, vagy
maintenance a karbantartási fürt konfigurálásához.

A mező nem kötelező. Az alapértelmezett érték default.
spark_conf KeyValue Nem kötelező, felhasználó által megadott Spark-konfigurációs kulcs-érték párokat tartalmazó objektum. További JVM-beállítások sztringjét is átadhatja az illesztőprogramnak és a végrehajtóknak a
spark.driver.extraJavaOptions és spark.executor.extraJavaOptions más néven.

Példa Spark confs:
{"spark.speculation": true, "spark.streaming.ui.retainedBatches": 5} vagy
{"spark.driver.extraJavaOptions": "-verbose:gc -XX:+PrintGCDetails"}
node_type_id STRING Ez a mező egyetlen értéken keresztül kódolja a fürt összes Spark-csomópontja számára elérhető erőforrásokat. A Spark-csomópontok például kiéphetők és optimalizálhatók memória- vagy számítási feladatokhoz. Az elérhető csomóponttípusok listája lekérhető a Clusters API-hívással .
driver_node_type_id STRING A Spark-illesztőprogram csomóponttípusa. Ez a mező nem kötelező; ha nincs megadva, az illesztőcsomópont típusa ugyanazzal az értékkel lesz beállítva, mint a node_type_id fent definiált.
ssh_public_keys Egy tömb a STRING Nyilvános SSH-kulcs tartalma, amely a fürt minden Spark-csomópontjára fel lesz adva. A megfelelő titkos kulcsokkal bejelentkezhet a porton 2200lévő felhasználónévvelubuntu. Legfeljebb 10 kulcs adható meg.
custom_tags KeyValue A fürterőforrások címkéinek készletét tartalmazó objektum. A Databricks a default_tags mellett az összes fürterőforrást is címkéz.

Megjegyzés:

* A címkék nem támogatottak az olyan örökölt csomóponttípusokon, mint a számításra optimalizált és a memóriaoptimalizált
* Az Azure Databricks legfeljebb 45 egyéni címkét engedélyez.
cluster_log_conf ClusterLogConf A Spark-naplók hosszú távú tárolási célhelyre történő kézbesítésének konfigurációja. Egyetlen fürthöz csak egy cél adható meg. Ha ez a konfiguráció meg van adva, a naplók minden
5 mins. Az illesztőprogram-naplók <destination>/<cluster-ID>/drivercélja , míg a végrehajtói naplók célhelye.<destination>/<cluster-ID>/executor
spark_env_vars KeyValue Nem kötelező, felhasználó által megadott környezeti változókulcs-érték párokat tartalmazó objektum. Az űrlap kulcs-érték párjai (X,Y) a következőképpen lesznek exportálva (azaz
export X='Y'), miközben elindítja a vezetőt és a dolgozókat.

További készlet SPARK_DAEMON_JAVA_OPTSmegadásához a Databricks azt javasolja, hogy $SPARK_DAEMON_JAVA_OPTS fűzze hozzá őket az alábbi példában látható módon. Ez biztosítja, hogy az Azure Databricks által felügyelt összes alapértelmezett környezeti változó is szerepel benne.

Példa Spark-környezeti változókra:
{"SPARK_WORKER_MEMORY": "28000m", "SPARK_LOCAL_DIRS": "/local_disk0"} vagy
{"SPARK_DAEMON_JAVA_OPTS": "$SPARK_DAEMON_JAVA_OPTS -Dspark.shuffle.service.enabled=true"}
init_scripts Az InitScriptInfo tömbje Init-szkriptek tárolásának konfigurációja. Tetszőleges számú célhely megadható. A szkriptek egymás után, a megadott sorrendben lesznek végrehajtva. Ha cluster_log_conf meg van adva, a rendszer init szkriptnaplókat küld a következő címre:
<destination>/<cluster-ID>/init_scripts.
instance_pool_id STRING Annak a példánykészletnek az opcionális azonosítója, amelyhez a fürt tartozik. Lásd: Készletkonfigurációs referencia.
driver_instance_pool_id STRING Az illesztőprogram-csomóponthoz használandó példánykészlet opcionális azonosítója. Meg kell adnia azt is, hogy
instance_pool_id. Lásd: Példánykészletek API.
policy_id STRING Fürtházirend-azonosító.
num_workers OR autoscale INT32 VAGY InitScriptInfo Ha num_workers, a fürthöz tartozó munkavégző csomópontok száma. A fürtök egyetlen Spark-illesztőprogramot és num_workers végrehajtókat num_workers + 1 Spark-csomóponthoz.

Egy fürt tulajdonságainak olvasásakor ez a mező a feldolgozók kívánt számát tükrözi, nem pedig a tényleges feldolgozók számát. Ha például egy fürtöt 5-ről 10-re méreteznek át, ez a mező a 10 feldolgozó célméretének megfelelően frissül, míg a végrehajtókban felsorolt feldolgozók fokozatosan 5-ről 10-re nőnek az új csomópontok kiépítésekor.

Automatikus skálázás esetén a fürtök terhelés alapján automatikusan fel- és leskálázásához szükséges paraméterek.

A mező nem kötelező.
apply_policy_default_values BOOLEAN A hiányzó fürtattribútumok házirend alapértelmezett értékeinek használata.

Folyamat Gépház

A folyamattelepítés beállításai.

Mező neve Típus Leírás
id STRING A folyamat egyedi azonosítója.

Az azonosítót a Delta Live Tables rendszer hozza létre, és nem adható meg folyamat létrehozásakor.
name STRING A folyamat felhasználóbarát neve.

A mező nem kötelező.

Alapértelmezés szerint a folyamat nevének egyedinek kell lennie. Ismétlődő név használatához állítsa be allow_duplicate_namestrue a folyamatkonfigurációban megadott nevet.
storage STRING A folyamat által létrehozott ellenőrzőpontok és táblák tárolására szolgáló DBFS-címtár elérési útja.

A mező nem kötelező.

A rendszer alapértelmezett helyet használ, ha ez a mező üres.
configuration Térkép: STRING:STRING A folyamatot futtató fürt Spark-konfigurációjához hozzáadandó kulcs-érték párok listája.

A mező nem kötelező.

Az elemeket kulcs:érték párként kell formázni.
clusters A PipelinesNewCluster tömbje A folyamat futtatásához szükséges fürtök specifikációinak tömbje.

A mező nem kötelező.

Ha ez nincs megadva, a rendszer kiválasztja a folyamat alapértelmezett fürtkonfigurációját.
libraries PipelineLibrary tömb A folyamatkódot és a folyamat futtatásához szükséges függőségeket tartalmazó jegyzetfüzetek.
target STRING Adatbázisnév a folyamat kimeneti adatainak megőrzéséhez.

További információt a Delta Live Tables adatainak közzététele a Hive metaadattárban című témakörben talál.
continuous BOOLEAN Akár folyamatos folyamatról van szó.

A mező nem kötelező.

Az alapértelmezett érték false.
development BOOLEAN A folyamat fejlesztési módban való futtatása.

A mező nem kötelező.

Az alapértelmezett érték false.
photon BOOLEAN Azt jelzi, hogy a fotongyorsítás engedélyezve van-e ehhez a folyamathoz.

A mező nem kötelező.

Az alapértelmezett érték false.
channel STRING A Delta Live Tables kiadási csatornája, amely megadja a folyamathoz használandó futtatókörnyezeti verziót. A támogatott értékek a következők:

* preview a folyamat teszteléséhez a Delta Live Tables futtatókörnyezetének közelgő módosításaival.
* current a Delta Live Tables aktuális futtatókörnyezeti verziójának használatához.

A mező nem kötelező.

Az alapértelmezett érték current.
edition STRING A Folyamat futtatásához a Delta Live Tables termékkiadása:

* CORE támogatja a streamelési számítási feladatokat.
* PRO támogatja a streamelési számítási feladatokat is, és támogatja a módosítási adatrögzítés (CDC) feldolgozását.
* ADVANCED támogatja a kiadás összes funkcióját, és támogatja azokat a PRO számítási feladatokat, amelyekhez Delta Live Tables-elvárások szükségesek az adatminőségi korlátozások kikényszerítéséhez.

A mező nem kötelező.

Az alapértelmezett érték advanced.

PipelineStateInfo

A folyamat állapota, a legújabb frissítések állapota és a társított erőforrásokra vonatkozó információk.

Mező neve Típus Leírás
state STRING A folyamat állapota. Az egyik vagy IDLERUNNINGa másik.
pipeline_id STRING A folyamat egyedi azonosítója.
cluster_id STRING A folyamatot futtató fürt egyedi azonosítója.
name STRING A folyamat felhasználóbarát neve.
latest_updates Az UpdateStateInfo tömbje A folyamat legújabb frissítéseinek állapota, elsőként a legújabb frissítéssel rendezve.
creator_user_name STRING A folyamat létrehozójának felhasználóneve.
run_as_user_name STRING A folyamat által futtatott felhasználónév. Ez egy írásvédett érték, amely a folyamat tulajdonosától származik.

UpdateStateInfo

A folyamatfrissítés aktuális állapota.

Mező neve Típus Leírás
update_id STRING A frissítés egyedi azonosítója.
state STRING A frissítés állapota. Az egyik QUEUED, CREATED
WAITING_FOR_RESOURCES, INITIALIZING, RESETTING
SETTING_UP_TABLES, RUNNING, STOPPING, COMPLETED
FAILEDCANCELEDvagy .
creation_time STRING Időbélyeg a frissítés létrehozásakor.

WorkspaceStorageInfo

Munkaterület tárolási adatai.

Mező neve Típus Leírás
destination STRING Fájl célhelye. Példa: /Users/someone@domain.com/init_script.sh