Jobs API 2.0

Fontos

Ez a cikk a Jobs API 2.0-s verzióját ismerteti. A Databricks azonban a Jobs API 2.1 használatát javasolja új és meglévő ügyfelekhez és szkriptekhez. A 2.0-ról 2.1-es verzióra történő módosításokkal kapcsolatos részletekért lásd : Frissítés a Jobs API 2.0-ról 2.1-es verzióra.

A Feladatok API-val feladatokat hozhat létre, szerkeszthet és törölhet. A Feladatok API-nak küldött kérések maximális mérete 10 MB.

A Több feladat Azure Databricks-feladatokkal való vezénylését támogató Jobs API frissítéseivel kapcsolatban lásd : Frissítés a Jobs API 2.0-ról 2.1-esre.

Figyelmeztetés

A titkos kódokat soha nem szabad nehézkesen tárolni, és nem szabad egyszerű szövegben tárolni. A Titkos kódok API-val kezelheti a titkos kulcsokat a Databricks parancssori felületén. A Titkos kulcsok segédprogrammal (dbutils.secrets) jegyzetfüzetekben és feladatokban lévő titkos kulcsokra hivatkozhat.

Feljegyzés

Ha a Jobs API-kérések végrehajtásakor 500-as szintű hibaüzenet jelenik meg, a Databricks azt javasolja, hogy legfeljebb 10 percig próbálkozzon újra a kérelmekkel (az újrapróbálkozások között legalább 30 másodperces időközzel).

Fontos

A Databricks REST API-k eléréséhez hitelesítenie kell.

Alkot

Végpont	HTTP-metódus
2.0/jobs/create	POST

Hozzon létre egy új feladatot.

Példa

Ez a példa létrehoz egy feladatot, amely minden este 10:15-kor jar-feladatot futtat.

Kérés

curl --netrc --request POST \
https://<databricks-instance>/api/2.0/jobs/create \
--data @create-job.json \
| jq .

create-job.json:

{
  "name": "Nightly model training",
  "new_cluster": {
    "spark_version": "7.3.x-scala2.12",
    "node_type_id": "Standard_D3_v2",
    "num_workers": 10
  },
  "libraries": [
    {
      "jar": "dbfs:/my-jar.jar"
    },
    {
      "maven": {
        "coordinates": "org.jsoup:jsoup:1.7.2"
      }
    }
  ],
  "timeout_seconds": 3600,
  "max_retries": 1,
  "schedule": {
    "quartz_cron_expression": "0 15 22 * * ?",
    "timezone_id": "America/Los_Angeles"
  },
  "spark_jar_task": {
    "main_class_name": "com.databricks.ComputeModels"
  }
}

Csere:

• <databricks-instance>például az Azure Databricks-munkaterület nevéveladb-1234567890123456.7.azuredatabricks.net.
• A megoldásnak megfelelő mezők tartalma create-job.json .

Ez a példa . netrc-fájlt és jq-t használ.

Válasz

{
  "job_id": 1
}

Kérelemstruktúra

Fontos

• Amikor egy feladatot egy új feladatfürtön futtat, a feladat a Jobs Compute díjszabásának hatálya alá tartozó feladatok számítási (automatizált) számítási feladataiként lesz kezelve.
• Ha egy feladatot egy meglévő, teljes célú fürtön futtat, a rendszer minden célú számítási (interaktív) számítási feladatként kezeli, amely a teljes célú számítási díjszabás hatálya alá tartozik.

Mező neve	Típus	Leírás
existing_cluster_id VAGY new_cluster	STRING VAGY NewCluster	Ha existing_cluster_id, a feladat összes futtatásához használt meglévő fürt azonosítója. Ha feladatokat futtat egy meglévő fürtön, előfordulhat, hogy manuálisan kell újraindítania a fürtöt, ha az nem válaszol. Javasoljuk, hogy a nagyobb megbízhatóság érdekében futtasson feladatokat új fürtökön. Ha new_cluster, az egyes futtatáshoz létrehozandó fürt leírása. PipelineTask megadása esetén ez a mező üres lehet.
notebook_taskVAGY VAGY spark_jar_task spark_python_taskVAGY VAGY spark_submit_task pipeline_task VAGY run_job_task	NotebookTask VAGY SparkJarTask VAGY SparkPythonTask VAGY SparkSubmitTask OR PipelineTask OR RunJobTask	Ha notebook_task, azt jelzi, hogy ennek a feladatnak jegyzetfüzetet kell futtatnia. Ez a mező nem adható meg a spark_jar_task együtt. Ha spark_jar_task, azt jelzi, hogy ennek a feladatnak JAR-t kell futtatnia. Ha spark_python_task, azt jelzi, hogy a feladatnak Python-fájlt kell futtatnia. Ha spark_submit_task, azt jelzi, hogy ezt a feladatot a spark submit szkriptnek kell elindítania. Ha pipeline_task, azt jelzi, hogy ennek a feladatnak Delta Live Tables-folyamatot kell futtatnia. Ha run_job_task, azt jelzi, hogy ennek a feladatnak egy másik feladatot kell futtatnia.
name	STRING	A feladat nem kötelező neve. Az alapértelmezett érték Untitled.
libraries	Kódtár tömbje	A feladatot végrehajtó fürtre telepíteni kívánt kódtárak választható listája. Az alapértelmezett érték egy üres lista.
email_notifications	JobEmailNotifications	A feladat futtatásakor és befejezésekor, valamint a feladat törlésekor értesített e-mail-címek választható készlete. Az alapértelmezett viselkedés az, hogy nem küld e-maileket.
webhook_notifications	WebhookNemotifications	Választható rendszercélok készlete, amely értesíti, ha a feladat futtatásai elindulnak, befejeződnek vagy sikertelenek lesznek.
notification_settings	JobNotificationSettings	Nem kötelező értesítési beállítások, amelyeket az egyes feladatok webhook_notifications értesítéseinek email_notifications küldésekor használunk.
timeout_seconds	INT32	A feladat minden egyes futtatására alkalmazott opcionális időtúllépés. Az alapértelmezett viselkedés az, hogy nincs időtúllépés.
max_retries	INT32	A sikertelen futtatás újrapróbálkozásának maximális száma nem kötelező. A futtatás sikertelennek minősül, ha a FAILED result_state vagy INTERNAL_ERROR life_cycle_state. A -1 érték azt jelenti, hogy határozatlan ideig újra próbálkozik, a 0 érték pedig azt jelenti, hogy soha nem próbálkozik újra. Az alapértelmezett viselkedés az, hogy soha ne próbálkozzon újra.
min_retry_interval_millis	INT32	Opcionális minimális intervallum ezredmásodpercben a sikertelen futtatás kezdete és az azt követő újrapróbálkozási futtatás között. Az alapértelmezett viselkedés az, hogy a sikertelen futtatások azonnal újra próbálkoznak.
retry_on_timeout	BOOL	Nem kötelező házirend, amely meghatározza, hogy újrapróbálkozjon-e egy feladat, amikor az túllépi az időkorlátot. Az alapértelmezett viselkedés az, hogy ne próbálkozzon újra időtúllépéskor.
schedule	CronSchedule	A feladat nem kötelező rendszeres ütemezése. Az alapértelmezett viselkedés az, hogy a feladat akkor fut, amikor a Feladat felhasználói felületén a Futtatás most gombra kattint, vagy api-kérést küld a feladatnakrunNow.
max_concurrent_runs	INT32	A feladat egyidejű futtatásának megengedett maximális száma nem kötelező. Állítsa be ezt az értéket, ha egyszerre több futtatás is végrehajtható ugyanabból a feladatból. Ez akkor hasznos, ha a feladatot gyakran ütemezve aktiválja, és engedélyezni szeretné, hogy az egymást követő futtatások átfedésben legyenek egymással, vagy ha több, a bemeneti paraméterektől eltérő futtatásokat szeretne aktiválni. Ez a beállítás csak az új futtatásokat érinti. Tegyük fel például, hogy a feladat egyidejűsége 4, és 4 egyidejű aktív futtatás van. Ha az egyidejűséget 3-ra állítja, az nem öli meg az aktív futtatásokat. Ettől kezdve azonban az új futtatások csak akkor lesznek kihagyva, ha 3-nál kevesebb aktív futtatás van. Ez az érték nem haladhatja meg az 1000-et. Ha ezt az értéket 0 értékre állítja, az összes új futtatást kihagyja. Az alapértelmezett viselkedés az, hogy csak 1 egyidejű futtatás engedélyezett.

Válaszstruktúra

Mező neve	Típus	Leírás
job_id	INT64	Az újonnan létrehozott feladat canonical azonosítója.

Lista

Végpont	HTTP-metódus
2.0/jobs/list	GET

Az összes feladat listázása.

Példa

Kérelem

curl --netrc --request GET \
https://<databricks-instance>/api/2.0/jobs/list \
| jq .

Cserélje le <databricks-instance> például az Azure Databricks-munkaterület példányának nevétadb-1234567890123456.7.azuredatabricks.net.

Ez a példa . netrc-fájlt és jq-t használ.

Válasz

{
  "jobs": [
    {
      "job_id": 1,
      "settings": {
        "name": "Nightly model training",
        "new_cluster": {
          "spark_version": "7.3.x-scala2.12",
          "node_type_id": "Standard_D3_v2",
          "num_workers": 10
        },
        "libraries": [
          {
            "jar": "dbfs:/my-jar.jar"
          },
          {
            "maven": {
              "coordinates": "org.jsoup:jsoup:1.7.2"
            }
          }
        ],
        "timeout_seconds": 100000000,
        "max_retries": 1,
        "schedule": {
          "quartz_cron_expression": "0 15 22 * * ?",
          "timezone_id": "America/Los_Angeles",
          "pause_status": "UNPAUSED"
        },
        "spark_jar_task": {
          "main_class_name": "com.databricks.ComputeModels"
        }
      },
      "created_time": 1457570074236
    }
  ]
}

Válaszstruktúra

Mező neve	Típus	Leírás
jobs	Feladat tömbje	A feladatok listája.

Töröl

Végpont	HTTP-metódus
2.0/jobs/delete	POST

Feladat törlése és e-mail küldése a megadott JobSettings.email_notificationscímekre. Nem történik művelet, ha a feladat már el lett távolítva. A feladat eltávolítása után sem a részletei, sem a futtatási előzményei nem láthatók a Feladatok felhasználói felületén vagy API-jában. A feladat biztosan el lesz távolítva a kérés befejezésekor. A kérés beérkezése előtt aktív futtatások azonban továbbra is aktívak lehetnek. A rendszer aszinkron módon leállítja őket.

Példa

curl --netrc --request POST \
https://<databricks-instance>/api/2.0/jobs/delete \
--data '{ "job_id": <job-id> }'

Csere:

• <databricks-instance>például az Azure Databricks-munkaterület nevéveladb-1234567890123456.7.azuredatabricks.net.
• <job-id> például a feladat 123azonosítójával.

Ez a példa egy .netrc-fájlt használ.

Kérelemstruktúra

Mező neve	Típus	Leírás
job_id	INT64	A törölni kívánt feladat canonical azonosítója. Ez a mező kötelező.

Kap

Végpont	HTTP-metódus
2.0/jobs/get	GET

Egyetlen feladat adatainak lekérése.

Példa

Kérelem

curl --netrc --request GET \
'https://<databricks-instance>/api/2.0/jobs/get?job_id=<job-id>' \
| jq .

Or:

curl --netrc --get \
https://<databricks-instance>/api/2.0/jobs/get \
--data job_id=<job-id> \
| jq .

Csere:

• <databricks-instance>például az Azure Databricks-munkaterület nevéveladb-1234567890123456.7.azuredatabricks.net.
• <job-id> például a feladat 123azonosítójával.

Ez a példa . netrc-fájlt és jq-t használ.

Válasz

{
  "job_id": 1,
  "settings": {
    "name": "Nightly model training",
    "new_cluster": {
      "spark_version": "7.3.x-scala2.12",
      "node_type_id": "Standard_D3_v2",
      "num_workers": 10
    },
    "libraries": [
      {
        "jar": "dbfs:/my-jar.jar"
      },
      {
        "maven": {
          "coordinates": "org.jsoup:jsoup:1.7.2"
        }
      }
    ],
    "timeout_seconds": 100000000,
    "max_retries": 1,
    "schedule": {
      "quartz_cron_expression": "0 15 22 * * ?",
      "timezone_id": "America/Los_Angeles",
      "pause_status": "UNPAUSED"
    },
    "spark_jar_task": {
      "main_class_name": "com.databricks.ComputeModels"
    }
  },
  "created_time": 1457570074236
}

Kérelemstruktúra

Mező neve	Típus	Leírás
job_id	INT64	A feladat canonical azonosítója, amelyről adatokat szeretne lekérni. Ez a mező kötelező.

Válaszstruktúra

Mező neve	Típus	Leírás
job_id	INT64	A feladat canonical azonosítója.
creator_user_name	STRING	A létrehozó felhasználóneve. Ez a mező nem fog szerepelni a válaszban, ha a felhasználót törölték.
settings	JobSettings	A feladat és az összes futtatás beállításai. Ezek a beállítások az Alaphelyzetbe állítás vagy a Frissítés végpontok használatával frissíthetők.
created_time	INT64	A feladat létrehozásának időpontja ezredmásodpercben (ezredmásodpercben, 1970. 01. 01. (UTC) óta).

Átszed

Végpont	HTTP-metódus
2.0/jobs/reset	POST

Felülírja egy adott feladat összes beállítását. A feladatbeállítások részleges frissítéséhez használja a Frissítés végpontot.

Példa

Ez a példakérés a 2. feladatot azonosvá teszi a létrehozási példában szereplő 1. feladatéval.

curl --netrc --request POST \
https://<databricks-instance>/api/2.0/jobs/reset \
--data @reset-job.json \
| jq .

reset-job.json:

{
  "job_id": 2,
  "new_settings": {
    "name": "Nightly model training",
    "new_cluster": {
      "spark_version": "7.3.x-scala2.12",
      "node_type_id": "Standard_D3_v2",
      "num_workers": 10
    },
    "libraries": [
      {
        "jar": "dbfs:/my-jar.jar"
      },
      {
        "maven": {
          "coordinates": "org.jsoup:jsoup:1.7.2"
        }
      }
    ],
    "timeout_seconds": 100000000,
    "max_retries": 1,
    "schedule": {
      "quartz_cron_expression": "0 15 22 * * ?",
      "timezone_id": "America/Los_Angeles",
      "pause_status": "UNPAUSED"
    },
    "spark_jar_task": {
      "main_class_name": "com.databricks.ComputeModels"
    }
  }
}

Csere:

• <databricks-instance>például az Azure Databricks-munkaterület nevéveladb-1234567890123456.7.azuredatabricks.net.
• A megoldásnak megfelelő mezők tartalma reset-job.json .

Ez a példa . netrc-fájlt és jq-t használ.

Kérelemstruktúra

Mező neve	Típus	Leírás
job_id	INT64	Az alaphelyzetbe állítani kívánt feladat canonical azonosítója. Ez a mező kötelező.
new_settings	JobSettings	A feladat új beállításai. Ezek a beállítások teljesen felülírják a régi beállításokat. A mező JobSettings.timeout_seconds módosításai aktív futtatásokra lesznek alkalmazva. A többi mező módosításai csak a jövőbeli futtatásokra lesznek alkalmazva.

Frissít

Végpont	HTTP-metódus
2.0/jobs/update	POST

Meglévő feladat adott beállításainak hozzáadása, módosítása vagy eltávolítása. Az Alaphelyzetbe állítás végpont használatával írja felül az összes feladatbeállítást.

Példa

Ez a példakérés eltávolítja a kódtárakat, és e-mail-értesítési beállításokat ad hozzá a létrehozási példában definiált 1. feladathoz.

curl --netrc --request POST \
https://<databricks-instance>/api/2.0/jobs/update \
--data @update-job.json \
| jq .

update-job.json:

{
  "job_id": 1,
  "new_settings": {
    "existing_cluster_id": "1201-my-cluster",
    "email_notifications": {
      "on_start": [ "someone@example.com" ],
      "on_success": [],
      "on_failure": []
    }
  },
  "fields_to_remove": ["libraries"]
}

Csere:

• <databricks-instance>például az Azure Databricks-munkaterület nevéveladb-1234567890123456.7.azuredatabricks.net.
• A megoldásnak megfelelő mezők tartalma update-job.json .

Ez a példa . netrc-fájlt és jq-t használ.

Kérelemstruktúra

Mező neve	Típus	Leírás
job_id	INT64	A frissíteni kívánt feladat canonical azonosítója. Ez a mező kötelező.
new_settings	JobSettings	A feladat új beállításai. A tömbök kivételével a legfelső new_settingsszintű mezők teljesen lecserélődnek. A tömbök egyesítése a megfelelő kulcsmezők, például task_key a job_cluster_key, és az azonos kulccsal rendelkező tömbbejegyzések teljes mértékben lecserélődnek. A tömbegyesítés kivételével a beágyazott mezők részleges frissítése nem támogatott. A mező JobSettings.timeout_seconds módosításai aktív futtatásokra lesznek alkalmazva. A többi mező módosításai csak a jövőbeli futtatásokra lesznek alkalmazva.
fields_to_remove	Egy tömb a STRING	Távolítsa el a felső szintű mezőket a feladatbeállítások között. A beágyazott mezők eltávolítása nem támogatott, kivéve a tömbök és job_clusters a tasks tömbök bejegyzéseit. Például a következő argumentum érvényes a mezőhöz: ["libraries", "schedule", "tasks/task_1", "job_clusters/Default"] A mező nem kötelező.

Futtatás most

Fontos

• Egy munkaterület legfeljebb 1000 egyidejű tevékenységfuttatásra korlátozódik. 429 Too Many Requests válasz jelenik meg, ha olyan futtatást kér, amelyet a rendszer nem tud azonnal elindítani.
• A munkaterület egy órán belül létrehozható feladatainak száma legfeljebb 10000 lehet (beleértve a "futtatások elküldését"). Ez a korlát a REST API- és jegyzetfüzet-munkafolyamatokkal létrehozott feladatokra is vonatkozik.
• Egy munkaterület legfeljebb 12000 mentett feladatot tartalmazhat.
• Egy feladat legfeljebb 100 tevékenységet tartalmazhat.

Végpont	HTTP-metódus
2.0/jobs/run-now	POST

Futtasson egy feladatot most, és adja vissza az run_id aktivált futtatás értékét.

Tipp.

Ha most a Futtatással együtt hívja meg a Létrehozást, használhatja helyette a Futtatások küldési végpontot, amely lehetővé teszi, hogy közvetlenül, feladat létrehozása nélkül küldje el a számítási feladatot.

Példa

curl --netrc --request POST \
https://<databricks-instance>/api/2.0/jobs/run-now \
--data @run-job.json \
| jq .

run-job.json:

Példa egy jegyzetfüzet-feladatra:

{
  "job_id": 1,
  "notebook_params": {
    "name": "john doe",
    "age": "35"
  }
}

Egy JAR-feladatra vonatkozó példakérés:

{
  "job_id": 2,
  "jar_params": [ "john doe", "35" ]
}

Csere:

• <databricks-instance>például az Azure Databricks-munkaterület nevéveladb-1234567890123456.7.azuredatabricks.net.
• A megoldásnak megfelelő mezők tartalma run-job.json .

Ez a példa . netrc-fájlt és jq-t használ.

Kérelemstruktúra

Mező neve	Típus	Leírás
job_id	INT64
jar_params	Egy tömb a STRING	A JAR-feladatokkal rendelkező feladatok paramétereinek listája, például. "jar_params": ["john doe", "35"] A paraméterek a Spark JAR-feladatban megadott főosztály fő függvényének meghívására szolgálnak. Ha nincs megadva run-now, akkor az alapértelmezés szerint üres lista lesz. jar_params nem adhatók meg a notebook_params együtt. A mező JSON-ábrázolása (azaz {"jar_params":["john doe","35"]}) nem haladhatja meg a 10 000 bájtot.
notebook_params	ParamPair térképe	Térkép a kulcsoktól az értékekig a jegyzetfüzet-feladattal rendelkező feladatokhoz, például: "notebook_params": {"name": "john doe", "age": "35"}. A térkép átkerül a jegyzetfüzetbe, és a dbutils.widgets.get függvényen keresztül érhető el . Ha nincs megadva run-now, az aktivált futtatás a feladat alapparamétereit használja. A jar_params együtt nem adhatja meg a notebook_params. A mező JSON-reprezentációja (azaz {"notebook_params":{"name":"john doe","age":"35"}}) nem haladhatja meg a 10 000 bájtot.
python_params	Egy tömb a STRING	A Python-feladatokkal rendelkező feladatok paramétereinek listája, például. "python_params": ["john doe", "35"] A paraméterek parancssori paraméterekként lesznek átadva a Python-fájlnak. Ha meg van run-nowadva, felülírja a feladatbeállításban megadott paramétereket. A mező JSON-ábrázolása (azaz {"python_params":["john doe","35"]}) nem haladhatja meg a 10 000 bájtot.
spark_submit_params	Egy tömb a STRING	A Spark-küldési tevékenységgel rendelkező feladatok paramétereinek listája, például: "spark_submit_params": ["--class", "org.apache.spark.examples.SparkPi"]. A paraméterek parancssori paraméterekként lesznek átadva a spark-submit szkriptnek. Ha meg van run-nowadva, felülírja a feladatbeállításban megadott paramétereket. A mező JSON-ábrázolása nem haladhatja meg a 10 000 bájtot.
idempotency_token	STRING	Opcionális jogkivonat a feladatfuttatási kérelmek idempotensségének garantálásához. Ha már létezik futtatás a megadott jogkivonattal, a kérés nem hoz létre új futtatásokat, hanem a meglévő futtatás azonosítóját adja vissza. Ha a megadott jogkivonattal rendelkező futtatás törlődik, a rendszer hibát ad vissza. Ha megadja az idempotencia-jogkivonatot, hiba esetén újra próbálkozhat, amíg a kérés sikeres lesz. Az Azure Databricks garantálja, hogy pontosan egy futtatás indul el ezzel az idempotencia-jogkivonattal. Ennek a jogkivonatnak legfeljebb 64 karakter hosszúságúnak kell lennie. További információ: A feladatok idempotensségének biztosítása.

Válaszstruktúra

Mező neve	Típus	Leírás
run_id	INT64	Az újonnan aktivált futtatás globálisan egyedi azonosítója.
number_in_job	INT64	A futtatás sorszáma a feladat összes futtatása között.

Futtatási küldés

Fontos

• Egy munkaterület legfeljebb 1000 egyidejű tevékenységfuttatásra korlátozódik. 429 Too Many Requests válasz jelenik meg, ha olyan futtatást kér, amelyet a rendszer nem tud azonnal elindítani.
• A munkaterület egy órán belül létrehozható feladatainak száma legfeljebb 10000 lehet (beleértve a "futtatások elküldését"). Ez a korlát a REST API- és jegyzetfüzet-munkafolyamatokkal létrehozott feladatokra is vonatkozik.
• Egy munkaterület legfeljebb 12000 mentett feladatot tartalmazhat.
• Egy feladat legfeljebb 100 tevékenységet tartalmazhat.

Végpont	HTTP-metódus
2.0/jobs/runs/submit	POST

Egyszeri futtatás elküldése. Ez a végpont lehetővé teszi, hogy közvetlenül, feladat létrehozása nélkül küldje el a számítási feladatokat. jobs/runs/get Az API használatával ellenőrizze a futtatási állapotot a feladat elküldése után.

Példa

Kérelem

curl --netrc --request POST \
https://<databricks-instance>/api/2.0/jobs/runs/submit \
--data @submit-job.json \
| jq .

submit-job.json:

{
  "run_name": "my spark task",
  "new_cluster": {
    "spark_version": "7.3.x-scala2.12",
    "node_type_id": "Standard_D3_v2",
    "num_workers": 10
  },
  "libraries": [
    {
      "jar": "dbfs:/my-jar.jar"
    },
    {
      "maven": {
        "coordinates": "org.jsoup:jsoup:1.7.2"
      }
    }
  ],
  "spark_jar_task": {
    "main_class_name": "com.databricks.ComputeModels"
  }
}

Csere:

• <databricks-instance>például az Azure Databricks-munkaterület nevéveladb-1234567890123456.7.azuredatabricks.net.
• A megoldásnak megfelelő mezők tartalma submit-job.json .

Ez a példa . netrc-fájlt és jq-t használ.

Válasz

{
  "run_id": 123
}

Kérelemstruktúra

Fontos

• Amikor egy feladatot egy új feladatfürtön futtat, a feladat a Jobs Compute díjszabásának hatálya alá tartozó feladatok számítási (automatizált) számítási feladataiként lesz kezelve.
• Ha egy feladatot egy meglévő, teljes célú fürtön futtat, a rendszer minden célú számítási (interaktív) számítási feladatként kezeli, amely a teljes célú számítási díjszabás hatálya alá tartozik.

Mező neve	Típus	Leírás
existing_cluster_id VAGY new_cluster	STRING VAGY NewCluster	Ha existing_cluster_id, a feladat összes futtatásához használt meglévő fürt azonosítója. Ha feladatokat futtat egy meglévő fürtön, előfordulhat, hogy manuálisan kell újraindítania a fürtöt, ha az nem válaszol. Javasoljuk, hogy a nagyobb megbízhatóság érdekében futtasson feladatokat új fürtökön. Ha new_cluster, az egyes futtatáshoz létrehozandó fürt leírása. PipelineTask megadása esetén ez a mező üres lehet.
notebook_taskVAGY VAGY spark_jar_task spark_python_taskVAGY VAGY spark_submit_task pipeline_task VAGY run_job_task	NotebookTask VAGY SparkJarTask VAGY SparkPythonTask VAGY SparkSubmitTask OR PipelineTask OR RunJobTask	Ha notebook_task, azt jelzi, hogy ennek a feladatnak jegyzetfüzetet kell futtatnia. Ez a mező nem adható meg a spark_jar_task együtt. Ha spark_jar_task, azt jelzi, hogy ennek a feladatnak JAR-t kell futtatnia. Ha spark_python_task, azt jelzi, hogy a feladatnak Python-fájlt kell futtatnia. Ha spark_submit_task, azt jelzi, hogy ezt a feladatot a spark submit szkriptnek kell elindítania. Ha pipeline_task, azt jelzi, hogy ennek a feladatnak Delta Live Tables-folyamatot kell futtatnia. Ha run_job_task, azt jelzi, hogy ennek a feladatnak egy másik feladatot kell futtatnia.
run_name	STRING	A futtatás nem kötelező neve. Az alapértelmezett érték Untitled.
webhook_notifications	WebhookNemotifications	Választható rendszercélok készlete, amely értesíti, ha a feladat futtatásai elindulnak, befejeződnek vagy sikertelenek lesznek.
notification_settings	JobNotificationSettings	Nem kötelező értesítési beállítások, amelyeket a futtatáshoz tartozó értesítések webhook_notifications küldésekor használunk.
libraries	Kódtár tömbje	A feladatot végrehajtó fürtre telepíteni kívánt kódtárak választható listája. Az alapértelmezett érték egy üres lista.
timeout_seconds	INT32	A feladat minden egyes futtatására alkalmazott opcionális időtúllépés. Az alapértelmezett viselkedés az, hogy nincs időtúllépés.
idempotency_token	STRING	Opcionális jogkivonat a feladatfuttatási kérelmek idempotensségének garantálásához. Ha már létezik futtatás a megadott jogkivonattal, a kérés nem hoz létre új futtatásokat, hanem a meglévő futtatás azonosítóját adja vissza. Ha a megadott jogkivonattal rendelkező futtatás törlődik, a rendszer hibát ad vissza. Ha megadja az idempotencia-jogkivonatot, hiba esetén újra próbálkozhat, amíg a kérés sikeres lesz. Az Azure Databricks garantálja, hogy pontosan egy futtatás indul el ezzel az idempotencia-jogkivonattal. Ennek a jogkivonatnak legfeljebb 64 karakter hosszúságúnak kell lennie. További információ: A feladatok idempotensségének biztosítása.

Válaszstruktúra

Mező neve	Típus	Leírás
run_id	INT64	Az újonnan elküldött futtatás canonical azonosítója.

Futtatás lista

Végpont	HTTP-metódus
2.0/jobs/runs/list	GET

A lista a kezdési időpont szerint csökkenő sorrendben fut.

Feljegyzés

A futtatások 60 nap után automatikusan törlődnek. Ha 60 napnál tovább szeretne hivatkozni rájuk, mentse a régi futtatási eredményeket, mielőtt lejárnának. A felhasználói felülettel való exportáláshoz lásd : Feladatfuttatási eredmények exportálása. A Jobs API használatával történő exportáláshoz lásd : Futtatások exportálása.

Példa

Kérelem

curl --netrc --request GET \
'https://<databricks-instance>/api/2.0/jobs/runs/list?job_id=<job-id>&active_only=<true-false>&offset=<offset>&limit=<limit>&run_type=<run-type>' \
| jq .

Or:

curl --netrc --get \
https://<databricks-instance>/api/2.0/jobs/runs/list \
--data 'job_id=<job-id>&active_only=<true-false>&offset=<offset>&limit=<limit>&run_type=<run-type>' \
| jq .

Csere:

• <databricks-instance>például az Azure Databricks-munkaterület nevéveladb-1234567890123456.7.azuredatabricks.net.
• <job-id> például a feladat 123azonosítójával.
• "<true-false> vagy true false".
• <offset> az offset értékkel.
• <limit> az limit értékkel.
• <run-type> az run_type értékkel.

Ez a példa . netrc-fájlt és jq-t használ.

Válasz

{
  "runs": [
    {
      "job_id": 1,
      "run_id": 452,
      "number_in_job": 5,
      "state": {
        "life_cycle_state": "RUNNING",
        "state_message": "Performing action"
      },
      "task": {
        "notebook_task": {
          "notebook_path": "/Users/donald@duck.com/my-notebook"
        }
      },
      "cluster_spec": {
        "existing_cluster_id": "1201-my-cluster"
      },
      "cluster_instance": {
        "cluster_id": "1201-my-cluster",
        "spark_context_id": "1102398-spark-context-id"
      },
      "overriding_parameters": {
        "jar_params": ["param1", "param2"]
      },
      "start_time": 1457570074236,
      "end_time": 1457570075149,
      "setup_duration": 259754,
      "execution_duration": 3589020,
      "cleanup_duration": 31038,
      "run_duration": 3879812,
      "trigger": "PERIODIC"
    }
  ],
  "has_more": true
}

Kérelemstruktúra

Mező neve	Típus	Leírás
active_only VAGY completed_only	BOOL VAGY BOOL	Ha active_only van true, csak az aktív futtatások szerepelnek az eredmények között, ellenkező esetben az aktív és a befejezett futtatások is szerepelnek. Az aktív futtatás egy futtatás a PENDINGRUNNINGTERMINATING RunLifecycleState-ben. Ez a mező nem lehet true akkor, ha completed_only.true Ha completed_only van true, csak a befejezett futtatások szerepelnek az eredményekben, ellenkező esetben az aktív és a befejezett futtatások is szerepelnek. Ez a mező nem lehet true akkor, ha active_only van true.
job_id	INT64	Az a feladat, amelynek a listáját futtatni szeretné. Ha nincs megadva, a Feladatok szolgáltatás minden feladatból listázni fogja a futtatásokat.
offset	INT32	Az első visszatérési futtatás eltolása a legutóbbi futtatáshoz képest.
limit	INT32	A visszaadni kívánt futtatások száma. Ennek az értéknek 0-nál nagyobbnak és 1000-nél kisebbnek kell lennie. Az alapértelmezett érték 20. Ha egy kérelem 0-s korlátot ad meg, a szolgáltatás ehelyett a maximális korlátot fogja használni.
run_type	STRING	A visszaadandó futtatások típusa. A futtatási típusok leírását a Futtatás című témakörben találhatja meg.

Válaszstruktúra

Mező neve	Típus	Leírás
runs	Futtatás tömbje	A futtatások listája a legutóbbitól a legkevésbé.
has_more	BOOL	Ha igaz, a megadott szűrőnek megfelelő további futtatások is elérhetők a listázáshoz.

Futtatások lekérése

Végpont	HTTP-metódus
2.0/jobs/runs/get	GET

Lekérheti egy futtatás metaadatait.

Feljegyzés

A futtatások 60 nap után automatikusan törlődnek. Ha 60 napnál tovább szeretne hivatkozni rájuk, mentse a régi futtatási eredményeket, mielőtt lejárnának. A felhasználói felülettel való exportáláshoz lásd : Feladatfuttatási eredmények exportálása. A Jobs API használatával történő exportáláshoz lásd : Futtatások exportálása.

Példa

Kérelem

curl --netrc --request GET \
'https://<databricks-instance>/api/2.0/jobs/runs/get?run_id=<run-id>' \
| jq .

Or:

curl --netrc --get \
https://<databricks-instance>/api/2.0/jobs/runs/get \
--data run_id=<run-id> \
| jq .

Csere:

• <databricks-instance>például az Azure Databricks-munkaterület nevéveladb-1234567890123456.7.azuredatabricks.net.
• <run-id> például a futtatás 123azonosítójával.

Ez a példa . netrc-fájlt és jq-t használ.

Válasz

{
  "job_id": 1,
  "run_id": 452,
  "number_in_job": 5,
  "state": {
    "life_cycle_state": "RUNNING",
    "state_message": "Performing action"
  },
  "task": {
    "notebook_task": {
      "notebook_path": "/Users/someone@example.com/my-notebook"
    }
  },
  "cluster_spec": {
    "existing_cluster_id": "1201-my-cluster"
  },
  "cluster_instance": {
    "cluster_id": "1201-my-cluster",
    "spark_context_id": "1102398-spark-context-id"
  },
  "overriding_parameters": {
    "jar_params": ["param1", "param2"]
  },
  "start_time": 1457570074236,
  "end_time": 1457570075149,
  "setup_duration": 259754,
  "execution_duration": 3589020,
  "cleanup_duration": 31038,
  "run_duration": 3879812,
  "trigger": "PERIODIC"
}

Kérelemstruktúra

Mező neve	Típus	Leírás
run_id	INT64	Annak a futtatásnak a canonical azonosítója, amelyhez le szeretné kérni a metaadatokat. Ez a mező kötelező.

Válaszstruktúra

Mező neve	Típus	Leírás
job_id	INT64	A futtatásokat tartalmazó feladat canonical azonosítója.
run_id	INT64	A futtatás canonical azonosítója. Ez az azonosító az összes feladat összes futtatása során egyedi.
number_in_job	INT64	A futtatás sorszáma a feladat összes futtatása között. Ez az érték 1-nél kezdődik.
original_attempt_run_id	INT64	Ha ez a futtatás egy korábbi futtatási kísérlet újrapróbálkozása, akkor ez a mező az eredeti kísérlet run_id tartalmazza; ellenkező esetben ugyanaz, mint a run_id.
state	RunState	A futtatás eredménye és életciklus-állapotai.
schedule	CronSchedule	A futást aktiváló cron-ütemezés, ha azt a rendszeres ütemező aktiválta.
task	JobTask	A futtatás által végrehajtott feladat, ha van ilyen.
cluster_spec	ClusterSpec	Pillanatkép a feladat fürtspecifikációjáról a futtatás létrehozásakor.
cluster_instance	ClusterInstance	A futtatáshoz használt fürt. Ha a futtatás új fürt használatához van megadva, akkor ez a mező akkor lesz beállítva, ha a Jobs szolgáltatás fürtöt kért a futtatáshoz.
overriding_parameters	RunParameters	A futtatáshoz használt paraméterek.
start_time	INT64	A futás kezdetének időpontja ezredmásodpercben (ezredmásodperc 1970. 01. 01. (UTC) óta). Lehet, hogy nem ez az az időpont, amikor a feladat feladat végrehajtása elkezdődött, például ha a feladat egy új fürtre van ütemezve, akkor a fürtlétrehozási hívás ekkor lesz kiadva.
end_time	INT64	Az időpont, amikor ez a futtatás a korszak ezredmásodpercében végződött (ezredmásodperc 1970. 01. 01. (UTC) óta). Ez a mező 0 értékre lesz állítva, ha a feladat még fut.
setup_duration	INT64	Ezredmásodpercben eltelt idő a fürt beállításához. Az új fürtökön futó futtatások esetében ez a fürtlétrehozási idő, a meglévő fürtökön futó futtatások esetében ez az idő nagyon rövid. A futtatás teljes időtartama az setup_duration, execution_durationés a cleanup_duration. A setup_duration mező 0 értékre van állítva többfeladatos feladatok futtatása esetén. A többfeladatos feladatfuttatás teljes időtartama a run_duration mező.
execution_duration	INT64	Ezredmásodpercben eltelt idő a JAR-ban vagy a jegyzetfüzetben lévő parancsok végrehajtásához, amíg azok befejeződtek, sikertelenek, időtúllépések, megszakítások vagy váratlan hiba nem történt. A futtatás teljes időtartama a , execution_durationés a setup_duration cleanup_duration. A execution_duration mező 0 értékre van állítva többfeladatos feladatok futtatása esetén. A többfeladatos feladatfuttatás teljes időtartama a run_duration mező értéke.
cleanup_duration	INT64	Ezredmásodperc alatt leállítja a fürtöt, és megtisztítja a kapcsolódó összetevőket. A futtatás teljes időtartama a setup_duration, execution_durationés a cleanup_duration. A cleanup_duration mező 0 értékre van állítva többfeladatos feladatok futtatása esetén. A többfeladatos feladatfuttatás teljes időtartama a run_duration mező értéke.
run_duration	INT64	Az ezredmásodpercben eltelt idő alatt a feladat lefutott, és az összes javítás befejeződött. Ez a mező csak többfeladatos feladatfuttatásokhoz van beállítva, feladatfuttatások nem. A tevékenységfuttatás időtartama a setup_duration, execution_durationés a cleanup_duration.
trigger	TriggerType	A futtatás indítását kiváltó eseményindító típusa.
creator_user_name	STRING	A létrehozó felhasználóneve. Ez a mező nem fog szerepelni a válaszban, ha a felhasználót törölték
run_page_url	STRING	A futtatás részletes oldalának URL-címe.

Exportálás futtatása

Végpont	HTTP-metódus
2.0/jobs/runs/export	GET

A feladatfuttatási feladat exportálása és lekérése.

Feljegyzés

Csak a jegyzetfüzet-futtatások exportálhatók HTML formátumban. Más típusú futtatások exportálása sikertelen lesz.

Példa

Kérelem

curl --netrc --request GET \
'https://<databricks-instance>/api/2.0/jobs/runs/export?run_id=<run-id>' \
| jq .

Or:

curl --netrc --get \
https://<databricks-instance>/api/2.0/jobs/runs/export \
--data run_id=<run-id> \
| jq .

Csere:

• <databricks-instance>például az Azure Databricks-munkaterület nevéveladb-1234567890123456.7.azuredatabricks.net.
• <run-id> például a futtatás 123azonosítójával.

Ez a példa . netrc-fájlt és jq-t használ.

Válasz

{
  "views": [ {
    "content": "<!DOCTYPE html><html><head>Head</head><body>Body</body></html>",
    "name": "my-notebook",
    "type": "NOTEBOOK"
  } ]
}

A HTML-jegyzetfüzet JSON-válaszból való kinyeréséhez töltse le és futtassa ezt a Python-szkriptet.

Feljegyzés

Az objektum jegyzetfüzettörzse __DATABRICKS_NOTEBOOK_MODEL kódolva van.

Kérelemstruktúra

Mező neve	Típus	Leírás
run_id	INT64	A futtatás canonical azonosítója. Ez a mező kötelező.
views_to_export	ViewsToExport	Az exportálandó nézetek (CODE, DASHBOARDS vagy ALL). Alapértelmezés szerint KÓD.

Válaszstruktúra

Mező neve	Típus	Leírás
views	A ViewItem tömbje	Az exportált tartalom HTML formátumban (minden nézetelemhez egyet).

Futtatások megszakítása

Végpont	HTTP-metódus
2.0/jobs/runs/cancel	POST

Feladatfuttatás megszakítása. Mivel a futtatás aszinkron módon van megszakítva, előfordulhat, hogy a futtatás a kérés befejeződésekor is fut. A futtatás rövidesen leáll. Ha a futtatás már egy terminálban life_cycle_statevan, ez a módszer nem működik.

Ez a végpont ellenőrzi, hogy a run_id paraméter érvényes-e, és érvénytelen paraméterek esetén a 400-ás HTTP-állapotkódot adja vissza.

Példa

curl --netrc --request POST \
https://<databricks-instance>/api/2.0/jobs/runs/cancel \
--data '{ "run_id": <run-id> }'

Csere:

• <databricks-instance>például az Azure Databricks-munkaterület nevéveladb-1234567890123456.7.azuredatabricks.net.
• <run-id> például a futtatás 123azonosítójával.

Ez a példa egy .netrc-fájlt használ.

Kérelemstruktúra

Mező neve	Típus	Leírás
run_id	INT64	A megszakítandó futtatás canonical azonosítója. Ez a mező kötelező.

Az összes futtatás megszakítása

Végpont	HTTP-metódus
2.0/jobs/runs/cancel-all	POST

Egy feladat összes aktív futtatásának megszakítása. Mivel a futtatás aszinkron módon van megszakítva, nem akadályozza meg az új futtatások indítását.

Ez a végpont ellenőrzi, hogy a job_id paraméter érvényes-e, és érvénytelen paraméterek esetén a 400-ás HTTP-állapotkódot adja vissza.

Példa

curl --netrc --request POST \
https://<databricks-instance>/api/2.0/jobs/runs/cancel-all \
--data '{ "job_id": <job-id> }'

Csere:

• <databricks-instance>például az Azure Databricks-munkaterület nevéveladb-1234567890123456.7.azuredatabricks.net.
• <job-id> például a feladat 123azonosítójával.

Ez a példa egy .netrc-fájlt használ.

Kérelemstruktúra

Mező neve	Típus	Leírás
job_id	INT64	A feladat canonical azonosítója az összes futtatás megszakításához. Ez a mező kötelező.

Lekéréses kimenet futtatása

Végpont	HTTP-metódus
2.0/jobs/runs/get-output	GET

Egyetlen feladatfuttatás kimenetének és metaadatainak lekérése. Ha egy jegyzetfüzet-feladat egy értéket a dbutils.notebook.exit() híváson keresztül ad vissza, ezzel a végpont használatával lekérheti ezt az értéket. Az Azure Databricks korlátozza ezt az API-t, hogy a kimenet első 5 MB-ját adja vissza. Nagyobb eredmény visszaadása esetén a feladateredményeket egy felhőalapú tárolási szolgáltatásban tárolhatja.

Ez a végpont ellenőrzi, hogy a run_id paraméter érvényes-e, és érvénytelen paraméterek esetén a 400-ás HTTP-állapotkódot adja vissza.

A futtatások 60 nap után automatikusan törlődnek. Ha 60 napnál tovább szeretne hivatkozni rájuk, mentse a régi futtatási eredményeket, mielőtt lejárnának. A felhasználói felülettel való exportáláshoz lásd : Feladatfuttatási eredmények exportálása. A Jobs API használatával történő exportáláshoz lásd : Futtatások exportálása.

Példa

Kérelem

curl --netrc --request GET \
'https://<databricks-instance>/api/2.0/jobs/runs/get-output?run_id=<run-id>' \
| jq .

Or:

curl --netrc --get \
https://<databricks-instance>/api/2.0/jobs/runs/get-output \
--data run_id=<run-id> \
| jq .

Csere:

• <databricks-instance>például az Azure Databricks-munkaterület nevéveladb-1234567890123456.7.azuredatabricks.net.
• <run-id> például a futtatás 123azonosítójával.

Ez a példa . netrc-fájlt és jq-t használ.

Válasz

{
  "metadata": {
    "job_id": 1,
    "run_id": 452,
    "number_in_job": 5,
    "state": {
      "life_cycle_state": "TERMINATED",
      "result_state": "SUCCESS",
      "state_message": ""
    },
    "task": {
      "notebook_task": {
        "notebook_path": "/Users/someone@example.com/my-notebook"
      }
    },
    "cluster_spec": {
      "existing_cluster_id": "1201-my-cluster"
    },
    "cluster_instance": {
      "cluster_id": "1201-my-cluster",
      "spark_context_id": "1102398-spark-context-id"
    },
    "overriding_parameters": {
      "jar_params": ["param1", "param2"]
    },
    "start_time": 1457570074236,
    "setup_duration": 259754,
    "execution_duration": 3589020,
    "cleanup_duration": 31038,
    "run_duration": 3879812,
    "trigger": "PERIODIC"
  },
  "notebook_output": {
    "result": "the maybe truncated string passed to dbutils.notebook.exit()"
  }
}

Kérelemstruktúra

Mező neve	Típus	Leírás
run_id	INT64	A futtatás canonical azonosítója. A mulitple-feladatokkal rendelkező feladatok esetében ez run_id egy feladatfuttatás. Lásd: Futtatások lekérése kimenet. Ez a mező kötelező.

Válaszstruktúra

Mező neve	Típus	Leírás
notebook_output VAGY error	NotebookOutput VAGY STRING	Ha notebook_output, egy jegyzetfüzet-feladat kimenete, ha elérhető. Olyan jegyzetfüzet-feladat, amely hívás nélkül leáll (sikeresen vagy sikertelenül) dbutils.notebook.exit() üres kimenetnek minősül. Ez a mező be lesz állítva, de az eredmény értéke üres lesz. Hiba esetén hibaüzenet jelzi, hogy miért nem érhető el a kimenet. Az üzenet strukturálatlan, és pontos formátuma változhat.
metadata	Fut	A futtatás minden részlete, kivéve a kimenetét.

Futtatás törlése

Végpont	HTTP-metódus
2.0/jobs/runs/delete	POST

Nem aktív futtatás törlése. Hibát ad vissza, ha a futtatás aktív.

Példa

curl --netrc --request POST \
https://<databricks-instance>/api/2.0/jobs/runs/delete \
--data '{ "run_id": <run-id> }'

Csere:

• <databricks-instance>például az Azure Databricks-munkaterület nevéveladb-1234567890123456.7.azuredatabricks.net.
• <run-id> például a futtatás 123azonosítójával.

Ez a példa egy .netrc-fájlt használ.

Kérelemstruktúra

Mező neve	Típus	Leírás
run_id	INT64	Annak a futtatásnak a canonical azonosítója, amelyhez le szeretné kérni a metaadatokat.

Adatstruktúrák

Ebben a szakaszban:

• ABFSSStorageInfo
• Automatikus skálázás
• AzureAttributes
• AzureAvailability
• ClusterInstance
• ClusterLogConf
• ClusterSpec
• Fürtcímke
• CronSchedule
• DbfsStorageInfo
• FileStorageInfo
• InitScriptInfo
• Feladat
• JobEmailNotifications
• JobNotificationSettings
• JobSettings
• JobTask
• JobsHealthRule
• JobsHealthRules
• Könyvtár
• MavenLibrary
• NewCluster
• NotebookOutput
• NotebookTask
• ParamPair
• PipelineTask
• PythonPyPiLibrary
• RCranLibrary
• Fut
• RunJobTask
• RunLifeCycleState
• RunParameters
• RunResultState
• RunState
• SparkConfPair
• SparkEnvPair
• SparkJarTask
• SparkPythonTask
• SparkSubmitTask
• TriggerType
• ViewItem
• ViewType
• ViewsToExport
• Webhook
• WebhookNemotifications
• WorkspaceStorageInfo

ABFSSStorageInfo

Az Azure Data Lake Storage (ADLS) tárolási adatai.

Mező neve	Típus	Leírás
destination	STRING	Fájl célhelye. Példa: abfss://...

Automatikus skálázás

A fürtmunkások minimális és maximális számát meghatározó tartomány.

Mező neve	Típus	Leírás
min_workers	INT32	Azoknak a dolgozóknak a minimális száma, akikre a fürt kihasználatlan állapotban leskálázható. A fürt kezdeti számú feldolgozója is lesz a létrehozás után.
max_workers	INT32	Azoknak a dolgozóknak a maximális száma, akikre a fürt túlterhelt állapotban felskálázható. max_workers szigorúan nagyobbnak kell lennie, mint min_workers.

AzureAttributes

Az Azure-hoz kapcsolódó fürtlétrehozás során beállított attribútumok.

Mező neve	Típus	Leírás
first_on_demand	INT32	A fürt első first_on_demand csomópontjai igény szerinti példányokra kerülnek. Ennek az értéknek 0-nál nagyobbnak kell lennie, különben a fürtlétrehozás ellenőrzése meghiúsul. Ha ez az érték nagyobb vagy egyenlő az aktuális fürtméretnél, az összes csomópont igény szerinti példányokra lesz helyezve. Ha ez az érték kisebb, mint az aktuális fürtméret, first_on_demand a csomópontok igény szerinti példányokra kerülnek, a többi pedig rendelkezésre állási példányokra lesz helyezve. Ez az érték nem befolyásolja a fürt méretét, és nem mutálható a fürt élettartama alatt.
availability	AzureAvailability	Az összes további csomóponthoz használt rendelkezésre állási típus a first_on_demand korábbiakon kívül.
spot_bid_max_price	DOUBLE	Az Azure-beli kihasználatlan példányokhoz használt maximális ajánlati ár. Ezt a jelenlegi azonnali árnál nagyobbra vagy egyenlőre állíthatja be. Ezt is beállíthatja -1 értékre (ez az alapértelmezett érték), amely azt határozza meg, hogy a példányt nem lehet kizárni az ár alapján. A példány ára az azonnali példányok aktuális ára vagy egy standard példány ára lesz. Az azure portalon megtekintheti az előzményárakat és a kiürítési díjakat.

AzureAvailability

Az Azure-példány rendelkezésre állási típusának viselkedése.

Típus	Leírás
SPOT_AZURE	Használjon kihasználatlan példányokat.
ON_DEMAND_AZURE	Igény szerinti példányok használata.
SPOT_WITH_FALLBACK_AZURE	Lehetőleg használjon kihasználatlan példányokat, de vissza kell esnie az igény szerinti példányokra, ha a kihasználatlan példányok nem szerezhetők be (például ha az Azure kihasználatlan árai túl magasak vagy túllépik a kvótát). Nem vonatkozik a készlet rendelkezésre állására.

ClusterInstance

A futtatás által használt fürt- és Spark-környezet azonosítói. Ez a két érték együttesen azonosítja a végrehajtási környezetet minden alkalommal.

Mező neve	Típus	Leírás
cluster_id	STRING	A futtatás által használt fürt canonical azonosítója. Ez a mező mindig elérhető a meglévő fürtökön futó futtatásokhoz. Új fürtökön futó futtatások esetén a fürt létrehozása után elérhetővé válik. Ez az érték a naplók megtekintéséhez használható a következőre való tallózással /#setting/sparkui/$cluster_id/driver-logs: . A naplók a futtatás befejezése után is elérhetők lesznek. A válasz nem tartalmazza ezt a mezőt, ha az azonosító még nem érhető el.
spark_context_id	STRING	A futtatás által használt Spark-környezet canonical azonosítója. Ez a mező a futtatás megkezdése után lesz kitöltve. Ez az érték a Spark felhasználói felületének megtekintéséhez használható a következőre való tallózással /#setting/sparkui/$cluster_id/$spark_context_id: . A Spark felhasználói felülete a futtatás befejezése után is elérhető lesz. A válasz nem tartalmazza ezt a mezőt, ha az azonosító még nem érhető el.

ClusterLogConf

A fürtnapló elérési útja.

Mező neve	Típus	Leírás
dbfs	DbfsStorageInfo	A fürtnapló DBFS-helye. Meg kell adni a célhelyet. Például, { "dbfs" : { "destination" : "dbfs:/home/cluster_log" } }

ClusterSpec

Fontos

• Amikor egy feladatot egy új feladatfürtön futtat, a feladat a Jobs Compute díjszabásának hatálya alá tartozó feladatok számítási (automatizált) számítási feladataiként lesz kezelve.
• Ha egy feladatot egy meglévő, teljes célú fürtön futtat, a rendszer minden célú számítási (interaktív) számítási feladatként kezeli, amely a teljes célú számítási díjszabás hatálya alá tartozik.

Mező neve	Típus	Leírás
existing_cluster_id VAGY new_cluster	STRING VAGY NewCluster	Ha existing_cluster_id, a feladat összes futtatásához használt meglévő fürt azonosítója. Ha feladatokat futtat egy meglévő fürtön, előfordulhat, hogy manuálisan kell újraindítania a fürtöt, ha az nem válaszol. Javasoljuk, hogy a nagyobb megbízhatóság érdekében futtasson feladatokat új fürtökön. Ha new_cluster, az egyes futtatáshoz létrehozandó fürt leírása. PipelineTask megadása esetén ez a mező üres lehet.
libraries	Kódtár tömbje	A feladatot végrehajtó fürtre telepíteni kívánt kódtárak választható listája. Az alapértelmezett érték egy üres lista.

Fürtcímke

Fürtcímke definíciója.

Típus	Leírás
STRING	A címke kulcsa. A kulcsnak a következőnek kell lennie: - Legyen 1 és 512 karakter közötti hosszúságú - Nem tartalmazza a karaktereket <>%*&+?\\/ - Nem kezdődik azure, microsoftvagy windows
STRING	A címke értéke. Az értékhossznak 256 UTF-8 karakternél kisebbnek vagy egyenlőnek kell lennie.

CronSchedule

Mező neve	Típus	Leírás
quartz_cron_expression	STRING	Cron-kifejezés kvarcszintaxissal, amely egy feladat ütemezését írja le. Részletekért lásd a Cron Triggert . Ez a mező kötelező.
timezone_id	STRING	Java-időzón-azonosító. A feladat ütemezése az adott időzónára vonatkozóan lesz feloldva. Részletekért lásd a Java TimeZone-t . Ez a mező kötelező.
pause_status	STRING	Jelezze, hogy az ütemezés szüneteltetve van-e. "PAUSED" vagy "UNPAUSED".

DbfsStorageInfo

A DBFS tárolási adatai.

Mező neve	Típus	Leírás
destination	STRING	DBFS-célhely. Példa: dbfs:/my/path

FileStorageInfo

Fájltárolási információk.

Feljegyzés

Ez a helytípus csak a Databricks Container Services használatával beállított fürtök esetében érhető el.

Mező neve	Típus	Leírás
destination	STRING	Fájl célhelye. Példa: file:/my/file.sh

InitScriptInfo

Init-szkript elérési útja.

Az init-szkriptek Databricks Container Services szolgáltatással való használatára vonatkozó utasításokért lásd: Init-szkript használata.

Feljegyzés

A fájltároló típusa (mező neve: file) csak a Databricks Container Services használatával beállított fürtök esetében érhető el. Lásd: FileStorageInfo.

Mező neve	Típus	Leírás
workspace VAGY dbfs (elavult) VAGY abfss	WorkspaceStorageInfo DbfsStorageInfo (elavult) ABFSSStorageInfo	Az init-szkript munkaterületi helye. Meg kell adni a célhelyet. Például, { "workspace" : { "destination" : "/Users/someone@domain.com/init_script.sh" } } (Elavult) Az init szkript DBFS-helye. Meg kell adni a célhelyet. Például, { "dbfs" : { "destination" : "dbfs:/home/init_script" } } Az Init-szkript Azure Data Lake Storage (ADLS) helye. Meg kell adni a célhelyet. Például: { "abfss": { "destination" : "abfss://..." } }

Foglalkozás

Mező neve	Típus	Leírás
job_id	INT64	A feladat canonical azonosítója.
creator_user_name	STRING	A létrehozó felhasználóneve. Ez a mező nem lesz belefoglalva a válaszba, ha a felhasználót már törölték.
run_as	STRING	A feladat által futtatott felhasználónév. run_as a feladat aktuális beállításain alapul, és a feladat létrehozójára van állítva, ha a feladat hozzáférés-vezérlése le van tiltva, vagy ha a is_owner feladathozzáférés-vezérlés engedélyezve van.
settings	JobSettings	A feladat és az összes futtatás beállításai. Ezek a beállítások a resetJob módszerrel frissíthetők.
created_time	INT64	A feladat létrehozásának időpontja ezredmásodpercben (ezredmásodpercben, 1970. 01. 01. (UTC) óta).

JobEmailNotifications

Fontos

A on_start, on_success és on_failure mezők csak latin karaktereket fogadnak el (ASCII-karakterkészlet). Ha nem ASCII-karaktereket használ, hibaüzenet jelenik meg. Érvénytelen, nem ASCII-karakterek például a kínai, a japán kanji és az emoji.

Mező neve	Típus	Leírás
on_start	Egy tömb a STRING	A futtatás kezdetekor értesítendő e-mail-címek listája. Ha nincs megadva a feladat létrehozása, alaphelyzetbe állítása vagy frissítése során, a lista üres, és a rendszer nem küld értesítéseket.
on_success	Egy tömb a STRING	A futtatás sikeres befejezésekor értesítendő e-mail-címek listája. A futtatás sikeresnek minősül, ha egy és egy TERMINATED life_cycle_state SUCCESSFUL result_statevégződéssel végződik. Ha nincs megadva a feladat létrehozása, alaphelyzetbe állítása vagy frissítése során, a lista üres, és a rendszer nem küld értesítéseket.
on_failure	Egy tömb a STRING	A sikertelen futtatáskor értesítendő e-mail-címek listája. A futtatás sikertelennek minősül, ha egy INTERNAL_ERROR life_cycle_state vagy egy SKIPPED, FAILEDvagy TIMED_OUT result_state. Ha ez nincs megadva a feladat létrehozásakor, a lista alaphelyzetbe állítása vagy frissítése üres, és a rendszer nem küld értesítéseket.
on_duration_warning_threshold_exceeded	Egy tömb a STRING	Azon e-mail-címek listája, amelyről értesítést kell kapni, ha a futtatás időtartama meghaladja a RUN_DURATION_SECONDS mező metrikájához health megadott küszöbértéket. Ha a RUN_DURATION_SECONDS feladat mezőjében health nincs megadva a metrikára vonatkozó szabály, a rendszer nem küld értesítéseket.
no_alert_for_skipped_runs	BOOL	Ha igaz, ne küldjön e-mailt a futtatás kihagyásakor megadott on_failure címzetteknek.

Mező neve	Típus	Leírás
on_start	Webhook tömbje	A futtatás indításakor értesítendő rendszercélok választható listája. Ha nincs megadva a feladat létrehozása, alaphelyzetbe állítása vagy frissítése során, a lista üres, és a rendszer nem küld értesítéseket. A tulajdonsághoz on_start legfeljebb 3 célhely adható meg.
on_success	Webhook tömbje	A futtatás sikeres befejezésekor értesítendő rendszercélok opcionális listája. A futtatás sikeresnek minősül, ha egy és egy TERMINATED life_cycle_state SUCCESSFUL result_statevégződéssel végződik. Ha nincs megadva a feladat létrehozása, alaphelyzetbe állítása vagy frissítése során, a lista üres, és a rendszer nem küld értesítéseket. A tulajdonsághoz on_success legfeljebb 3 célhely adható meg.
on_failure	Webhook tömbje	A sikertelen futtatáskor értesítendő rendszercélok opcionális listája. A futtatás sikertelennek minősül, ha egy INTERNAL_ERROR life_cycle_state vagy egy SKIPPED, FAILEDvagy TIMED_OUT result_state. Ha ez nincs megadva a feladat létrehozásakor, a lista alaphelyzetbe állítása vagy frissítése üres, és a rendszer nem küld értesítéseket. A tulajdonsághoz on_failure legfeljebb 3 célhely adható meg.
on_duration_warning_threshold_exceeded	Webhook tömbje	Választható rendszercélok listája, amelyről értesítést kaphat, ha a futtatás időtartama meghaladja a RUN_DURATION_SECONDS mező metrikájához health megadott küszöbértéket. A tulajdonsághoz on_duration_warning_threshold_exceeded legfeljebb 3 célhely adható meg.

JobNotificationSettings

Mező neve	Típus	Leírás
no_alert_for_skipped_runs	BOOL	Ha igaz, ne küldjön értesítéseket a futtatás kihagyása esetén megadott on_failure címzetteknek.
no_alert_for_canceled_runs	BOOL	Ha igaz, ne küldjön értesítéseket a futtatás megszakítása esetén megadott on_failure címzetteknek.
alert_on_last_attempt	BOOL	Ha igaz, ne küldjön értesítéseket az újrapróbálkozási futtatásokhoz megadott on_start címzetteknek, és ne küldjön értesítéseket a megadott on_failure címzetteknek a futtatás utolsó újrapróbálkozásáig.

JobSettings

Fontos

• Amikor egy feladatot egy új feladatfürtön futtat, a feladat a Jobs Compute díjszabásának hatálya alá tartozó feladatok számítási (automatizált) számítási feladataiként lesz kezelve.
• Ha egy feladatot egy meglévő, teljes célú fürtön futtat, a rendszer minden célú számítási (interaktív) számítási feladatként kezeli, amely a teljes célú számítási díjszabás hatálya alá tartozik.

Feladatok beállításai. Ezek a beállítások a resetJob módszerrel frissíthetők.

Mező neve	Típus	Leírás
existing_cluster_id VAGY new_cluster	STRING VAGY NewCluster	Ha existing_cluster_id, a feladat összes futtatásához használt meglévő fürt azonosítója. Ha feladatokat futtat egy meglévő fürtön, előfordulhat, hogy manuálisan kell újraindítania a fürtöt, ha az nem válaszol. Javasoljuk, hogy a nagyobb megbízhatóság érdekében futtasson feladatokat új fürtökön. Ha new_cluster, az egyes futtatáshoz létrehozandó fürt leírása. PipelineTask megadása esetén ez a mező üres lehet.
notebook_taskVAGY VAGY spark_jar_task spark_python_taskVAGY VAGY spark_submit_task pipeline_task VAGY run_job_task	NotebookTask VAGY SparkJarTask VAGY SparkPythonTask VAGY SparkSubmitTask OR PipelineTask OR RunJobTask	Ha notebook_task, azt jelzi, hogy ennek a feladatnak jegyzetfüzetet kell futtatnia. Ez a mező nem adható meg a spark_jar_task együtt. Ha spark_jar_task, azt jelzi, hogy ennek a feladatnak JAR-t kell futtatnia. Ha spark_python_task, azt jelzi, hogy a feladatnak Python-fájlt kell futtatnia. Ha spark_submit_task, azt jelzi, hogy ezt a feladatot a spark submit szkriptnek kell elindítania. Ha pipeline_task, azt jelzi, hogy ennek a feladatnak Delta Live Tables-folyamatot kell futtatnia. Ha run_job_task, azt jelzi, hogy ennek a feladatnak egy másik feladatot kell futtatnia.
name	STRING	A feladat nem kötelező neve. Az alapértelmezett érték Untitled.
libraries	Kódtár tömbje	A feladatot végrehajtó fürtre telepíteni kívánt kódtárak választható listája. Az alapértelmezett érték egy üres lista.
email_notifications	JobEmailNotifications	Választható e-mail-címkészlet, amely a feladat futtatásakor vagy befejezésekor, valamint a feladat törlésekor értesítést kap. Az alapértelmezett viselkedés az, hogy nem küld e-maileket.
webhook_notifications	WebhookNemotifications	Választható rendszercélok készlete, amely értesíti, ha a feladat futtatásai elindulnak, befejeződnek vagy sikertelenek lesznek.
notification_settings	JobNotificationSettings	Nem kötelező értesítési beállítások, amelyeket az egyes feladatok webhook_notifications értesítéseinek email_notifications küldésekor használunk.
timeout_seconds	INT32	A feladat minden egyes futtatására alkalmazott opcionális időtúllépés. Az alapértelmezett viselkedés az, hogy nincs időtúllépés.
max_retries	INT32	A sikertelen futtatás újrapróbálkozásának maximális száma nem kötelező. A futtatás sikertelennek minősül, ha a FAILED result_state vagy INTERNAL_ERROR life_cycle_state. A -1 érték azt jelenti, hogy határozatlan ideig újra próbálkozik, a 0 érték pedig azt jelenti, hogy soha nem próbálkozik újra. Az alapértelmezett viselkedés az, hogy soha ne próbálkozzon újra.
min_retry_interval_millis	INT32	Nem kötelező minimális intervallum ezredmásodpercben a kísérletek között. Az alapértelmezett viselkedés az, hogy a sikertelen futtatások azonnal újra próbálkoznak.
retry_on_timeout	BOOL	Nem kötelező házirend, amely meghatározza, hogy újrapróbálkozjon-e egy feladat, amikor az túllépi az időkorlátot. Az alapértelmezett viselkedés az, hogy ne próbálkozzon újra időtúllépéskor.
schedule	CronSchedule	A feladat nem kötelező rendszeres ütemezése. Az alapértelmezett viselkedés az, hogy a feladat csak akkor fut, ha a Feladat felhasználói felületén a "Futtatás most" gombra kattint, vagy egy API-kérést küld a következő címre: runNow.
max_concurrent_runs	INT32	A feladat egyidejű futtatásának megengedett maximális száma nem kötelező. Állítsa be ezt az értéket, ha egyszerre több futtatás is végrehajtható ugyanabból a feladatból. Ez akkor hasznos, ha a feladatot gyakran ütemezve aktiválja, és engedélyezni szeretné, hogy az egymást követő futtatások átfedésben legyenek egymással, vagy ha több, a bemeneti paraméterektől eltérő futtatásokat szeretne aktiválni. Ez a beállítás csak az új futtatásokat érinti. Tegyük fel például, hogy a feladat egyidejűsége 4, és 4 egyidejű aktív futtatás van. Ha az egyidejűséget 3-ra állítja, az nem öli meg az aktív futtatásokat. Ettől kezdve azonban az új futtatások kimaradnak, kivéve, ha 3-nál kevesebb aktív futtatás van. Ez az érték nem haladhatja meg az 1000-et. Ha ezt az értéket 0 értékre állítja, az összes új futtatást kihagyja. Az alapértelmezett viselkedés az, hogy csak 1 egyidejű futtatás engedélyezett.
health	JobsHealthRules	A feladathoz definiált nem kötelező állapotszabályok.

JobTask

Mező neve	Típus	Leírás
notebook_taskVAGY VAGY spark_jar_task spark_python_taskVAGY VAGY spark_submit_task pipeline_task VAGY run_job_task	NotebookTask VAGY SparkJarTask VAGY SparkPythonTask VAGY SparkSubmitTask OR PipelineTask OR RunJobTask	Ha notebook_task, azt jelzi, hogy ennek a feladatnak jegyzetfüzetet kell futtatnia. Ez a mező nem adható meg a spark_jar_task együtt. Ha spark_jar_task, azt jelzi, hogy ennek a feladatnak JAR-t kell futtatnia. Ha spark_python_task, azt jelzi, hogy a feladatnak Python-fájlt kell futtatnia. Ha spark_submit_task, azt jelzi, hogy ezt a feladatot a spark submit szkriptnek kell elindítania. Ha pipeline_task, azt jelzi, hogy ennek a feladatnak Delta Live Tables-folyamatot kell futtatnia. Ha run_job_task, azt jelzi, hogy ennek a feladatnak egy másik feladatot kell futtatnia.

JobsHealthRule

Mező neve	Típus	Leírás
metric	STRING	Egy adott állapotszabályhoz kiértékelt állapotmetrikát adja meg. Az érvényes értékek a következők RUN_DURATION_SECONDS: .
operator	STRING	Az állapotmetrika értékének a megadott küszöbértékkel való összehasonlításához használt operátort adja meg. Az érvényes értékek a következők GREATER_THAN: .
value	INT32	Megadja azt a küszöbértéket, amelynek az állapotmetrikának meg kell felelnie az állapotszabálynak való megfeleléshez.

JobsHealthRules

Mező neve	Típus	Leírás
rules	A JobsHealthRule tömbje	A feladatokhoz definiálható állapotszabályok választható készlete.

Könyvtár

Mező neve	Típus	Leírás
jarVAGY egg VAGY whl pypiVAGY VAGY mavencran	STRINGSTRING VAGY STRING PythonPyPiLibrary vagy MavenLibrary vagy RCranLibrary	Ha jar, a telepíteni kívánt JAR URI-ja. A DBFS és az ADLS (abfss) URI-k támogatottak. Például: { "jar": "dbfs:/mnt/databricks/library.jar" } vagy { "jar": "abfss://<container-path>/library.jar" }. Ha ADLS-t használ, győződjön meg arról, hogy a fürt olvasási hozzáféréssel rendelkezik a tárban. Tojás esetén a tojás URI-ja. A DBFS és az ADLS URL-címek támogatottak. Például: { "egg": "dbfs:/my/egg" } vagy { "egg": "abfss://<container-path>/egg" }. Ha whl, URI a wheel vagy zipped wheels kell telepíteni. A DBFS és az ADLS URL-címek támogatottak. Például: { "whl": "dbfs:/my/whl" } vagy { "whl": "abfss://<container-path>/whl" }. Ha ADLS-t használ, győződjön meg arról, hogy a fürt olvasási hozzáféréssel rendelkezik a tárban. wheel A fájlnévnek is a megfelelő konvenciót kell használnia. Ha tömörített wheels fájlt szeretne telepíteni, a fájlnév utótagjának kell lennie .wheelhouse.zip. Ha pypi, a telepíteni kívánt PyPI-kódtár specifikációja. repo A mező megadása nem kötelező, és ha nincs megadva, a rendszer az alapértelmezett pipindexet használja. Példa: { "package": "simplejson", "repo": "https://my-repo.com" } Ha maven, a telepíteni kívánt Maven-kódtár specifikációja. Példa: { "coordinates": "org.jsoup:jsoup:1.7.2" } Cran esetén a telepíteni kívánt CRAN-kódtár specifikációja.

MavenLibrary

Mező neve	Típus	Leírás
coordinates	STRING	Gradle-stílusú Maven koordináták. Például: org.jsoup:jsoup:1.7.2 Ez a mező kötelező.
repo	STRING	Maven-adattár a Maven-csomag telepítéséhez. Ha nincs megadva, a Rendszer mind a Maven Central-adattárban, mind a Spark Packagesben keres.
exclusions	Egy tömb a STRING	Kizárandó függőségek listája. Például: ["slf4j:slf4j", "*:hadoop-client"] Maven-függőségi kizárások: https://maven.apache.org/guides/introduction/introduction-to-optional-and-excludes-dependencies.html.

NewCluster

Mező neve	Típus	Leírás
num_workers VAGY autoscale	INT32 VAGY automatikus skálázás	Ha num_workers, a fürthöz tartozó munkavégző csomópontok száma. A fürtök egyetlen Spark-illesztőprogramot és num_workers végrehajtókat num_workers + 1 Spark-csomóponthoz. Megjegyzés: Egy fürt tulajdonságainak olvasásakor ez a mező a feldolgozók kívánt számát tükrözi a tényleges feldolgozók száma helyett. Ha például egy fürtöt 5-ről 10-re méreteznek át, ez a mező azonnal frissül a 10 feldolgozó célméretének megfelelően, míg a spark_info felsorolt feldolgozók fokozatosan 5-ről 10-re nőnek az új csomópontok kiépítésekor. Automatikus skálázás esetén a fürtök terhelés alapján történő automatikus fel- és leskálázásához szükséges paraméterek.
spark_version	STRING	A fürt Spark-verziója. Az elérhető Spark-verziók listája a GET 2.0/clusters/spark-versions hívással kérhető le. Ez a mező kötelező.
spark_conf	SparkConfPair	Nem kötelező, felhasználó által megadott Spark-konfigurációs kulcs-érték párokat tartalmazó objektum. További JVM-beállítások sztringjét is átadhatja az illesztőprogramnak és a végrehajtóknak a spark.driver.extraJavaOptions és spark.executor.extraJavaOptions más néven. Példa Spark confs: {"spark.speculation": true, "spark.streaming.ui.retainedBatches": 5} vagy {"spark.driver.extraJavaOptions": "-verbose:gc -XX:+PrintGCDetails"}
node_type_id	STRING	Ez a mező egyetlen értéken keresztül kódolja a fürt összes Spark-csomópontja számára elérhető erőforrásokat. A Spark-csomópontok például kiépíthetik és optimalizálhatók memória- vagy számítási feladatokhoz. Az elérhető csomóponttípusok listája lekérhető a GET 2.0/clusters/list-node típusú hívással. Erre a mezőre, mezőre instance_pool_id vagy fürtszabályzatra van szükség, amely egy csomóponttípus-azonosítót vagy egy példánykészlet-azonosítót határoz meg.
driver_node_type_id	STRING	A Spark-illesztőprogram csomóponttípusa. Ez a mező nem kötelező; ha nincs megadva, az illesztőcsomópont típusa ugyanazzal az értékkel van beállítva, mint a node_type_id fent definiált.
custom_tags	Fürtcímke	A fürterőforrások címkéinek készletét tartalmazó objektum. A Databricks a default_tags mellett az összes fürterőforrást (például virtuális gépet) címkéz. Megjegyzés: – A címkék nem támogatottak az örökölt csomóponttípusokon, például a számításoptimalizált és a memóriaoptimalizált csomópontokon - A Databricks legfeljebb 45 egyéni címkét engedélyez
cluster_log_conf	ClusterLogConf	A Spark-naplók hosszú távú tárolási célhelyre történő kézbesítésének konfigurációja. Egyetlen fürthöz csak egy cél adható meg. Ha a konföderáció meg van adva, a naplók minden 5 minsesetben a célhelyre kerülnek. Az illesztőprogram-naplók <destination>/<cluster-id>/drivercélja , míg a végrehajtói naplók célhelye.<destination>/<cluster-id>/executor
init_scripts	Az InitScriptInfo tömbje	Init-szkriptek tárolásának konfigurációja. Tetszőleges számú szkript adható meg. A szkriptek egymás után, a megadott sorrendben lesznek végrehajtva. Ha cluster_log_conf meg van adva, a rendszer init szkriptnaplókat küld a következő címre: <destination>/<cluster-id>/init_scripts.
spark_env_vars	SparkEnvPair	Nem kötelező, felhasználó által megadott környezeti változókulcs-érték párokat tartalmazó objektum. Az űrlap kulcs-érték párja (X,Y) exportálása a következőképpen történik (pl. export X='Y'), miközben elindítja a vezetőt és a dolgozókat. További készlet SPARK_DAEMON_JAVA_OPTSmegadásához javasoljuk, hogy $SPARK_DAEMON_JAVA_OPTS fűzze hozzá őket az alábbi példában látható módon. Ez biztosítja, hogy az összes alapértelmezett databricks által felügyelt környezeti változó is szerepel benne. Példa Spark-környezeti változókra: {"SPARK_WORKER_MEMORY": "28000m", "SPARK_LOCAL_DIRS": "/local_disk0"} vagy {"SPARK_DAEMON_JAVA_OPTS": "$SPARK_DAEMON_JAVA_OPTS -Dspark.shuffle.service.enabled=true"}
enable_elastic_disk	BOOL	Helyi tároló automatikus méretezése: ha engedélyezve van, ez a fürt dinamikusan további lemezterületet szerez be, ha a Spark-feldolgozók kevés lemezterületen futnak. A részletekért tekintse meg a helyi tároló automatikus skálázásának engedélyezését ismertető cikket.
driver_instance_pool_id	STRING	Az illesztőprogram-csomóponthoz használandó példánykészlet opcionális azonosítója. Meg kell adnia instance_pool_idazt is. Részletekért tekintse meg a Példánykészletek API-t .
instance_pool_id	STRING	A fürtcsomópontokhoz használandó példánykészlet opcionális azonosítója. Ha driver_instance_pool_id jelen van, instance_pool_id csak feldolgozó csomópontokhoz használható. Ellenkező esetben az illesztőprogram-csomóponthoz és a feldolgozó csomópontokhoz is használható. Részletekért tekintse meg a Példánykészletek API-t .

NotebookOutput

Mező neve	Típus	Leírás
result	STRING	A dbutils.notebook.exit()-nek átadott érték. Az Azure Databricks korlátozza ezt az API-t, hogy az első 1 MB értéket adja vissza. Nagyobb eredmény érdekében a feladat egy felhőalapú tárolási szolgáltatásban tárolhatja az eredményeket. Ez a mező nem jelenik meg, ha dbutils.notebook.exit() soha nem lett meghívva.
truncated	BOOLEAN	Azt jelzi, hogy csonkolt-e az eredmény.

NotebookTask

Az összes kimeneti cella mérete 8 MB. Ha egy cella kimenete nagyobb méretű, a futtatás többi része megszakad, és a futtatás sikertelenként lesz megjelölve. Ebben az esetben előfordulhat, hogy a többi cella tartalomkimenete is hiányzik.

Ha segítségre van szüksége a korláton túli cella megkereséséhez, futtassa a jegyzetfüzetet egy teljes célú fürtön, és használja ezt a jegyzetfüzet automatikus mentési technikáját.

Mező neve	Típus	Leírás
notebook_path	STRING	Az Azure Databricks-munkaterületen futtatandó jegyzetfüzet abszolút elérési útja. Ennek az elérési útnak perjellel kell kezdődnie. Ez a mező kötelező.
revision_timestamp	LONG	A jegyzetfüzet változatának időbélyege.
base_parameters	ParamPair térképe	A feladat minden egyes futtatásához használandó alapparaméterek. Ha a futtatás egy megadott paraméterekkel rendelkező run-now hívással indul el, a rendszer egyesíti a két paramétertérképet. Ha ugyanaz a kulcs van megadva, base_parameters run-nowakkor a rendszer a forrásértéket run-now fogja használni. Mi az a dinamikus értékhivatkozás? használatával állíthatja be a feladatfuttatásokkal kapcsolatos információkat tartalmazó paramétereket. Ha a jegyzetfüzet olyan paramétert használ, amely nincs megadva a feladatban base_parameters vagy a run-now felülbírálási paraméterekben, a rendszer a jegyzetfüzet alapértelmezett értékét használja. Kérje le ezeket a paramétereket egy jegyzetfüzetben a dbutils.widgets.get használatával.

ParamPair

A jegyzetfüzet-feladatokat futtató feladatok névalapú paraméterei.

Fontos

Az adatstruktúra mezői csak latin karaktereket fogadnak el (ASCII-karakterkészlet). Ha nem ASCII-karaktereket használ, hibaüzenet jelenik meg. Érvénytelen, nem ASCII-karakterek például a kínai, a japán kanji és az emoji.

Típus	Leírás
STRING	Paraméter neve. Adja át a dbutils.widgets.get fájlnak az érték lekéréséhez.
STRING	Paraméterérték.

PipelineTask

Mező neve	Típus	Leírás
pipeline_id	STRING	A végrehajtani kívánt Delta Live Tables-folyamatfeladat teljes neve.

PythonPyPiLibrary

Mező neve	Típus	Leírás
package	STRING	A telepíteni kívánt PyPI-csomag neve. A választható pontos verziós specifikáció is támogatott. Példák: simplejson és simplejson==3.8.0. Ez a mező kötelező.
repo	STRING	Az az adattár, ahol a csomag megtalálható. Ha nincs megadva, a rendszer az alapértelmezett pipindexet használja.

RCranLibrary

Mező neve	Típus	Leírás
package	STRING	A telepíteni kívánt CRAN-csomag neve. Ez a mező kötelező.
repo	STRING	Az az adattár, ahol a csomag megtalálható. Ha nincs megadva, a rendszer az alapértelmezett CRAN-adattárat használja.

Fut

A futtatás minden információja, kivéve a kimenetét. A kimenet a metódussal getRunOutput külön kérhető le.

Mező neve	Típus	Leírás
job_id	INT64	A futtatásokat tartalmazó feladat canonical azonosítója.
run_id	INT64	A futtatás canonical azonosítója. Ez az azonosító az összes feladat összes futtatása során egyedi.
creator_user_name	STRING	A létrehozó felhasználóneve. Ez a mező nem lesz belefoglalva a válaszba, ha a felhasználót már törölték.
number_in_job	INT64	A futtatás sorszáma a feladat összes futtatása között. Ez az érték 1-nél kezdődik.
original_attempt_run_id	INT64	Ha ez a futtatás egy korábbi futtatási kísérlet újrapróbálkozása, akkor ez a mező az eredeti kísérlet run_id tartalmazza; ellenkező esetben ugyanaz, mint a run_id.
state	RunState	A futtatás eredménye és életciklus-állapotai.
schedule	CronSchedule	A futást aktiváló cron-ütemezés, ha azt a rendszeres ütemező aktiválta.
task	JobTask	A futtatás által végrehajtott feladat, ha van ilyen.
cluster_spec	ClusterSpec	Pillanatkép a feladat fürtspecifikációjáról a futtatás létrehozásakor.
cluster_instance	ClusterInstance	A futtatáshoz használt fürt. Ha a futtatás új fürt használatához van megadva, akkor ez a mező akkor lesz beállítva, ha a Jobs szolgáltatás fürtöt kért a futtatáshoz.
overriding_parameters	RunParameters	A futtatáshoz használt paraméterek.
start_time	INT64	A futás kezdetének időpontja ezredmásodpercben (ezredmásodperc 1970. 01. 01. (UTC) óta). Lehet, hogy nem ez az az időpont, amikor a feladat feladat végrehajtása elkezdődött, például ha a feladat egy új fürtre van ütemezve, akkor a fürtlétrehozási hívás ekkor lesz kiadva.
setup_duration	INT64	A fürt beállításának időtartama ezredmásodpercben. Az új fürtökön futó futtatások esetében ez a fürtlétrehozási idő, a meglévő fürtökön futó futtatások esetében ez az idő nagyon rövid.
execution_duration	INT64	Ezredmásodpercben eltelt idő a JAR-ban vagy a jegyzetfüzetben lévő parancsok végrehajtásához, amíg azok befejeződtek, sikertelenek, időtúllépések, megszakítások vagy váratlan hiba nem történt.
cleanup_duration	INT64	Ezredmásodperc alatt leállítja a fürtöt, és megtisztítja a kapcsolódó összetevőket. A futtatás teljes időtartama a setup_duration, a execution_duration és a cleanup_duration összege.
end_time	INT64	Az időpont, amikor ez a futtatás a korszak ezredmásodpercében végződött (ezredmásodperc 1970. 01. 01. (UTC) óta). Ez a mező 0 értékre lesz állítva, ha a feladat még fut.
trigger	TriggerType	A futtatás indítását kiváltó eseményindító típusa.
run_name	STRING	A futtatás nem kötelező neve. Az alapértelmezett érték Untitled. A maximális megengedett hossz 4096 bájt UTF-8 kódolásban.
run_page_url	STRING	A futtatás részletes oldalának URL-címe.
run_type	STRING	A futtatás típusa. - JOB_RUN - Normál feladatfuttatás. A Futtatás most parancs használatával létrehozott futtatás. - WORKFLOW_RUN – Munkafolyamat futtatása. A dbutils.notebook.run használatával létrehozott futtatás. - SUBMIT_RUN - Futtatás elküldése. A Futtatás most parancs használatával létrehozott futtatás.
attempt_number	INT32	A futtatási kísérlet sorszáma aktivált feladatfuttatás esetén. A futtatás kezdeti kísérlete 0 attempt_number. Ha a kezdeti futtatási kísérlet meghiúsul, és a feladat újrapróbálkozási szabályzattalmax_retries> (0) rendelkezik, a rendszer az ezt követő futtatásokat az eredeti kísérlet azonosítójával és egy növekvő művelettel original_attempt_run_id attempt_numberhozza létre. A futtatások csak addig próbálkoznak újra, amíg sikeresek nem lesznek, és a maximális érték attempt_number megegyezik a max_retries feladat értékével.

RunJobTask

Mező neve	Típus	Leírás
job_id	INT32	A futtatni kívánt feladat egyedi azonosítója. Ez a mező kötelező.

RunLifeCycleState

Egy futtatás életciklus-állapota. Az engedélyezett állapotáttűnések a következők:

• QUEUED ->PENDING
• PENDING- ->RUNNING ->TERMINATING>TERMINATED
• PENDING ->SKIPPED
• PENDING ->INTERNAL_ERROR
• RUNNING ->INTERNAL_ERROR
• TERMINATING ->INTERNAL_ERROR

Állapot	Leírás
QUEUED	A futtatás aktiválva lett, de várólistára lett helyezve, mert elérte az alábbi korlátok egyikét: – A munkaterületen az egyidejű aktív futtatások maximális száma. – Az egyidejű Run Job tevékenység maximális futása a munkaterületen. - A feladat maximális egyidejű futtatása. A feladatnak vagy a futtatásnak engedélyezve kell lennie az üzenetsor-kezelésnek ahhoz, hogy elérhesse ezt az állapotot.
PENDING	A futtatás aktiválódott. Ha a feladat konfigurált maximális egyidejű futtatása már el van érve, a futtatás azonnal átáll az SKIPPED állapotra erőforrások előkészítése nélkül. Ellenkező esetben a fürt előkészítése és a végrehajtás folyamatban van.
RUNNING	A futtatás feladatának végrehajtása folyamatban van.
TERMINATING	A futtatás feladata befejeződött, és a fürt és a végrehajtási környezet megtisztítása folyamatban van.
TERMINATED	A futtatás feladata befejeződött, és a fürt és a végrehajtási környezet megtisztítva lett. Ez az állapot terminál.
SKIPPED	A futtatás megszakadt, mert ugyanannak a feladatnak egy korábbi futtatása már aktív volt. Ez az állapot terminál.
INTERNAL_ERROR	Kivételes állapot, amely a Feladatok szolgáltatás meghibásodását jelzi, például hosszú ideig tartó hálózati meghibásodást. Ha egy új fürtön végzett futtatás állapota megszűnik INTERNAL_ERROR , a Feladatok szolgáltatás a lehető leghamarabb leállítja a fürtöt. Ez az állapot terminál.

RunParameters

A futtatás paraméterei. A kérelemben run-now a feladatfeladat típusától függően csak az egyik jar_params python_paramsvagy notebook_params kell megadni. A Spark JAR- vagy Python-feladattal rendelkező feladatok a pozícióalapú paraméterek listáját veszik fel, a jegyzetfüzet-feladatokkal végzett feladatok pedig egy kulcsérték-leképezést vesznek fel.

Mező neve	Típus	Leírás
jar_params	Egy tömb a STRING	A Spark JAR-feladatokkal rendelkező feladatok paramétereinek listája, például. "jar_params": ["john doe", "35"] A paraméterek a Spark JAR-feladatban megadott főosztály fő függvényének meghívására szolgálnak. Ha nincs megadva run-now, akkor az alapértelmezés szerint üres lista lesz. jar_params nem adhatók meg a notebook_params együtt. A mező JSON-ábrázolása (azaz {"jar_params":["john doe","35"]}) nem haladhatja meg a 10 000 bájtot. Mi az a dinamikus értékhivatkozás? használatával állíthatja be a feladatfuttatásokkal kapcsolatos információkat tartalmazó paramétereket.
notebook_params	ParamPair térképe	Térkép a kulcsoktól az értékekig a jegyzetfüzet-feladattal rendelkező feladatokhoz, például: "notebook_params": {"name": "john doe", "age": "35"}. A térkép átkerül a jegyzetfüzetbe, és a dbutils.widgets.get függvényen keresztül érhető el . Ha nincs megadva run-now, az aktivált futtatás a feladat alapparamétereit használja. notebook_params nem adható meg jar_params együtt. Mi az a dinamikus értékhivatkozás? használatával állíthatja be a feladatfuttatásokkal kapcsolatos információkat tartalmazó paramétereket. A mező JSON-reprezentációja (azaz {"notebook_params":{"name":"john doe","age":"35"}}) nem haladhatja meg a 10 000 bájtot.
python_params	Egy tömb a STRING	A Python-feladatokkal rendelkező feladatok paramétereinek listája, például. "python_params": ["john doe", "35"] A paraméterek parancssori paraméterekként lesznek átadva a Python-fájlnak. Ha meg van run-nowadva, felülírja a feladatbeállításban megadott paramétereket. A mező JSON-ábrázolása (azaz {"python_params":["john doe","35"]}) nem haladhatja meg a 10 000 bájtot. Mi az a dinamikus értékhivatkozás? használatával állíthatja be a feladatfuttatásokkal kapcsolatos információkat tartalmazó paramétereket. > [! FONTOS] >> Ezek a paraméterek csak latin karaktereket fogadnak el (ASCII-karakterkészlet). > Ha nem ASCII-karaktereket használ, hibaüzenet jelenik meg. Érvénytelen, nem ASCII-karakterek > például a kínai, a japán kanji és az emoji.
spark_submit_params	Egy tömb a STRING	A Spark-küldési tevékenységgel rendelkező feladatok paramétereinek listája, például: "spark_submit_params": ["--class", "org.apache.spark.examples.SparkPi"]. A paraméterek parancssori paraméterekként lesznek átadva a spark-submit szkriptnek. Ha meg van run-nowadva, felülírja a feladatbeállításban megadott paramétereket. A mező JSON-ábrázolása (azaz {"python_params":["john doe","35"]}) nem haladhatja meg a 10 000 bájtot. Mi az a dinamikus értékhivatkozás? használatával állíthatja be a feladatfuttatásokkal kapcsolatos információkat tartalmazó paramétereket. > [! FONTOS] >> Ezek a paraméterek csak latin karaktereket fogadnak el (ASCII-karakterkészlet). > Ha nem ASCII-karaktereket használ, hibaüzenet jelenik meg. Érvénytelen, nem ASCII-karakterek > például a kínai, a japán kanji és az emoji.

RunResultState

A futtatás eredményállapota.

• Ha life_cycle_state = TERMINATED: ha a futtatásnak volt egy feladata, az eredmény garantáltan elérhető lesz, és a tevékenység eredményét jelzi.
• Ha life_cycle_state = PENDINGaz RUNNINGeredmény állapota nem érhető el, akkor SKIPPEDaz eredmény állapota nem érhető el.
• If life_cycle_state = TERMINATING vagy lifecyclestate = INTERNAL_ERROR: az eredményállapot akkor érhető el, ha a futtatásnak volt egy feladata, és sikerült elindítani.

Ha elérhető, az eredmény állapota soha nem változik.

Állapot	Leírás
SUCCESS	A feladat sikeresen befejeződött.
FAILED	A feladat hibával fejeződött be.
TIMEDOUT	A futtatás az időtúllépés elérése után leállt.
CANCELED	A futtatás a felhasználó kérésére megszakadt.

RunState

Mező neve	Típus	Leírás
life_cycle_state	RunLifeCycleState	A futtatás aktuális helyének leírása a futtatási életciklusban. Ez a mező mindig elérhető a válaszban.
result_state	RunResultState	Futtatás eredményállapota. Ha nem érhető el, a válasz nem fogja tartalmazni ezt a mezőt. A result_state elérhetőségéről a RunResultState című témakörben olvashat.
user_cancelled_or_timedout	BOOLEAN	Azt jelzi, hogy a futtatásokat manuálisan megszakította-e egy felhasználó vagy az ütemező, mert a futtatás időtúllépés miatt megszakadt.
state_message	STRING	Az aktuális állapot leíró üzenete. Ez a mező strukturálatlan, és pontos formátuma változhat.

SparkConfPair

Spark konfigurációs kulcs-érték párok.

Típus	Leírás
STRING	Konfigurációs tulajdonság neve.
STRING	A konfigurációs tulajdonság értéke.

SparkEnvPair

Spark környezeti változó kulcs-érték párok.

Fontos

Ha környezeti változókat ad meg egy feladatfürtben, az adatstruktúra mezői csak latin karaktereket fogadnak el (ASCII-karakterkészlet). Ha nem ASCII-karaktereket használ, hibaüzenet jelenik meg. Érvénytelen, nem ASCII-karakterek például a kínai, a japán kanji és az emoji.

Típus	Leírás
STRING	Környezeti változó neve.
STRING	A környezeti változó értéke.

SparkJarTask

Mező neve	Típus	Leírás
jar_uri	STRING	2016. 04. óta elavult. Adjon meg inkább egy jar mezőt libraries . Példa: Létrehozás.
main_class_name	STRING	A végrehajtandó fő metódust tartalmazó osztály teljes neve. Ezt az osztályt egy kódtárként megadott JAR-ben kell tárolni. A kódnak Spark-környezet beszerzésére kell használnia SparkContext.getOrCreate , ellenkező esetben a feladat futtatása sikertelen lesz.
parameters	Egy tömb a STRING	A fő metódusnak átadott paraméterek. Mi az a dinamikus értékhivatkozás? használatával állíthatja be a feladatfuttatásokkal kapcsolatos információkat tartalmazó paramétereket.

SparkPythonTask

Mező neve	Típus	Leírás
python_file	STRING	A végrehajtandó Python-fájl URI-ja. A DBFS-útvonalak támogatottak. Ez a mező kötelező.
parameters	Egy tömb a STRING	A Python-fájlnak átadott parancssori paraméterek. Mi az a dinamikus értékhivatkozás? használatával állíthatja be a feladatfuttatásokkal kapcsolatos információkat tartalmazó paramétereket.

SparkSubmitTask

Fontos

• A Spark-küldési feladatokat csak új fürtökön hívhatja meg.
• A new_cluster specifikációban libraries spark_conf nem támogatott. Ehelyett Java- és --py-files Python-kódtárakat használjon --jars és vegyen fel, és --conf állítsa be a Spark-konfigurációt.
• master, deploy-modeés executor-cores az Azure Databricks automatikusan konfigurálja őket; paraméterekben nem adhatja meg őket.
• A Spark-küldési feladat alapértelmezés szerint az összes rendelkezésre álló memóriát használja (kivéve az Azure Databricks-szolgáltatások fenntartott memóriáját). Beállíthatja, és --executor-memory kisebb értékre is beállíthatja--driver-memory, hogy helyet hagyjon a halomhasználatnak.
• A --jars, --py-filesargumentumok --files támogatják a DBFS-elérési utakat.

Tegyük fel például, hogy a JAR feltöltve van a DBFS-be, a következő paraméterek beállításával futtatható SparkPi .

{
  "parameters": [
    "--class",
    "org.apache.spark.examples.SparkPi",
    "dbfs:/path/to/examples.jar",
    "10"
  ]
}

Mező neve	Típus	Leírás
parameters	Egy tömb a STRING	A Spark-küldésnek átadott parancssori paraméterek. Mi az a dinamikus értékhivatkozás? használatával állíthatja be a feladatfuttatásokkal kapcsolatos információkat tartalmazó paramétereket.

TriggerType

Ezek azok a triggerek, amelyek elindíthatják a futtatásokat.

Típus	Leírás
PERIODIC	Rendszeres időközönként aktiváló ütemezések, például cron ütemező.
ONE_TIME	Egyszeri eseményindítók, amelyek egyetlen futtatásra aktiválnak. Ez akkor fordul elő, ha egyetlen, igény szerinti futtatás aktiválódik a felhasználói felületen vagy az API-n keresztül.
RETRY	Egy korábban sikertelen futtatás újrapróbálkozásaként aktivált futtatás. Ez akkor fordul elő, ha hiba esetén a feladat újrafuttatását kéri.

ViewItem

Az exportált tartalom HTML formátumban van. Ha például az exportálási nézet irányítópult, minden irányítópulthoz egy HTML-sztring lesz visszaadva.

Mező neve	Típus	Leírás
content	STRING	A nézet tartalma.
name	STRING	A nézetelem neve. Kódnézet esetén a jegyzetfüzet neve. Irányítópult-nézet esetén az irányítópult neve.
type	ViewType	A nézetelem típusa.

ViewType

Típus	Leírás
NOTEBOOK	Jegyzetfüzet nézetelem.
DASHBOARD	Irányítópult nézetelem.

ViewsToExport

Exportálandó nézet: kód, összes irányítópult vagy az összes.

Típus	Leírás
CODE	A jegyzetfüzet kódnézete.
DASHBOARDS	A jegyzetfüzet összes irányítópult-nézete.
ALL	A jegyzetfüzet összes nézete.

Webhook

Mező neve	Típus	Leírás
id	STRING	Rendszerértesítési célhelyre hivatkozó azonosító. Ez a mező kötelező.

WebhookNemotifications

Mező neve	Típus	Leírás
on_start	Webhook tömbje	A futtatás indításakor értesítendő rendszercélok választható listája. Ha nincs megadva a feladat létrehozása, alaphelyzetbe állítása vagy frissítése során, a lista üres, és a rendszer nem küld értesítéseket. A tulajdonsághoz on_start legfeljebb 3 célhely adható meg.
on_success	Webhook tömbje	A futtatás sikeres befejezésekor értesítendő rendszercélok opcionális listája. A futtatás sikeresnek minősül, ha egy és egy TERMINATED life_cycle_state SUCCESSFUL result_statevégződéssel végződik. Ha nincs megadva a feladat létrehozása, alaphelyzetbe állítása vagy frissítése során, a lista üres, és a rendszer nem küld értesítéseket. A tulajdonsághoz on_success legfeljebb 3 célhely adható meg.
on_failure	Webhook tömbje	A sikertelen futtatáskor értesítendő rendszercélok opcionális listája. A futtatás sikertelennek minősül, ha egy INTERNAL_ERROR life_cycle_state vagy egy SKIPPED, FAILEDvagy TIMED_OUT result_state. Ha ez nincs megadva a feladat létrehozásakor, a lista alaphelyzetbe állítása vagy frissítése üres, és a rendszer nem küld értesítéseket. A tulajdonsághoz on_failure legfeljebb 3 célhely adható meg.
on_duration_warning_threshold_exceeded	Webhook tömbje	Választható rendszercélok listája, amelyről értesítést kaphat, ha a futtatás időtartama meghaladja a RUN_DURATION_SECONDS mező metrikájához health megadott küszöbértéket. A tulajdonsághoz on_duration_warning_threshold_exceeded legfeljebb 3 célhely adható meg.

WorkspaceStorageInfo

Munkaterület tárolási adatai.

Mező neve	Típus	Leírás
destination	STRING	Fájl célhelye. Példa: /Users/someone@domain.com/init_script.sh