Aracılığıyla paylaş


İşler CLI'sı (eski)

Önemli

Bu belge kullanımdan kaldırılmıştır ve güncelleştirilmeyebilir.

Bu bilgiler eski Databricks CLI 0.18 ve altındaki sürümler için geçerlidir. Databricks, bunun yerine daha yeni Databricks CLI sürüm 0.205 veya üzerini kullanmanızı önerir. Bkz . Databricks CLI nedir?. Databricks CLI sürümünüzü bulmak için komutunu çalıştırın databricks -v.

Databricks CLI sürüm 0.18 veya altından Databricks CLI sürüm 0.205 veya üzeri sürüme geçiş yapmak için bkz . Databricks CLI geçişi.

Databricks işleri CLI alt komutlarını sonuna ekleyerek databricks jobs çalıştırırsınız ve Databricks işi CLI alt komutlarını sonuna databricks runsekleyerek çalıştırır. Databricks işi çalıştırma CLI alt komutlarını görmek için bkz Çalıştırmalar CLI (eski). Bu alt komutlar birlikte İşler API ve İşler API 2.0'ı çağırır.

Önemli

Databricks işleri CLI,Databricks İşleri REST API'sinin iki sürümüne çağrıları destekler: sürüm 2.1 ve 2.0. Sürüm 2.1, birden çok görevi olan işlerin düzenlemesi için destek ekler; Bkz. Lakeflow İşleri ve İşler API 2.0'dan 2.1'e Güncelleştirme. Databricks, sürüm 2.0'ı kullanan ve geçirilemeyen eski betikleriniz olmadığı sürece sürüm 2.1'i çağırmanızı önerir.

Aksi belirtilmedikçe, bu makalede açıklanan programlı davranışlar 2.1 ve 2.0 sürümlerine eşit olarak uygulanır.

Jobs REST API 2.1'i çağırma gereksinimleri

Jobs REST API 2.1'i çağırmak için Databricks Jobs CLI'yi (ve Job Runs CLI'yi) kurmak ve kullanmak için aşağıdakileri yapın:

  1. CLI'yi 0.16.0 veya üzeri bir sürüme güncelleştirin.

  2. Aşağıdakilerden birini yapın:

    • databricks jobs configure --version=2.1 komutunu çalıştırın. Bu, ayarı Unix, Linux veya macOS üzerindeki dosya jobs-api-version = 2.1'ya veya Windows üzerindeki dosya ~/.databrickscfg'ye ekler. Tüm işler CLI (ve iş çalıştırma CLI) alt komutları, varsayılan olarak İşler REST API 2.1'i çağırır.
    • Unix, Linux veya macOS üzerinde dosyaya jobs-api-version = 2.1 ayarını ~/.databrickscfg el ile ekleyin veya Windows'da %USERPROFILE%\.databrickscfg ekleyin. Tüm işler CLI (ve iş çalıştırma CLI) alt komutları, varsayılan olarak İşler REST API 2.1'i çağırır.
    • İşler CLI'sına yalnızca bu çağrı için İşler REST API 2.1'i çağırmasını bildirmek için seçeneğini --version=2.1 (örneğin, databricks jobs list --version=2.1) ekleme.

    Önceki eylemlerden hiçbirini gerçekleştirmezseniz, Jobs CLI (ve Job Runs CLI), varsayılan olarak Jobs REST API 2.0'ı çağırır.

Jobs REST API 2.0'ı Kullanmak İçin Gereksinimler

Databricks işleri CLI'sını ve iş çalıştırma CLI'sını kurmak ve kullanmak için İşler REST API 2.0'ı çağırmak üzere aşağıdakilerden birini yapın:

  • Databricks CLI'nın 0.16.0'ın altındaki bir sürümünü kullanın veya
  • CLI'yı X.Y.Z veya üzeri bir sürüme güncelleştirin ve aşağıdakilerden birini yapın:
    • databricks jobs configure --version=2.0 komutunu çalıştırın. Bu, ayarı Unix, Linux veya macOS üzerindeki dosya jobs-api-version = 2.0'ya veya Windows üzerindeki dosya ~/.databrickscfg'ye ekler. Tüm işler CLI alt komutları (ve iş çalıştırma CLI alt komutları) varsayılan olarak İşler REST API 2.0'ı çağıracak.
    • Unix, Linux veya macOS üzerinde dosyaya jobs-api-version = 2.0 ayarını ~/.databrickscfg el ile ekleyin veya Windows'da %USERPROFILE%\.databrickscfg ekleyin. Tüm işler CLI alt komutları (ve iş çalıştırma CLI alt komutları) varsayılan olarak İşler REST API 2.0'ı çağıracak.
    • İşler CLI'sına yalnızca bu çağrı için İşler REST API 2.0'ı çağırmasını bildirmek için seçeneğini --version=2.1 (örneğin, databricks jobs list --version=2.0) ekleme.

Önceki eylemlerden hiçbirini gerçekleştirmezseniz, Jobs CLI (ve Job Runs CLI), varsayılan olarak Jobs REST API 2.0'ı çağırır.

Alt komutlar ve genel kullanım

databricks jobs -h
Usage: databricks jobs [OPTIONS] COMMAND [ARGS]...

  Utility to interact with jobs.

  Job runs are handled by ``databricks runs``.

Options:
  -v, --version  [VERSION]
  -h, --help     Show this message and exit.

Commands:
  create   Creates a job.
    Options:
      --json-file PATH            File containing JSON request to POST to /api/2.0/jobs/create.
      --json JSON                 JSON string to POST to /api/2.0/jobs/create.
  delete   Deletes a job.
    Options:
      --job-id JOB_ID             Can be found in the URL at https://<databricks-instance>/?o=<16-digit-number>#job/$JOB_ID. [required]
  get      Describes the metadata for a job.
    Options:
    --job-id JOB_ID               Can be found in the URL at https://<databricks-instance>/?o=<16-digit-number>#job/$JOB_ID. [required]
  list     Lists the jobs in the Databricks Job Service.
  reset    Resets (edits) the definition of a job.
    Options:
      --job-id JOB_ID             Can be found in the URL at https://<databricks-instance>/?o=<16-digit-number>#job/$JOB_ID. [required]
      --json-file PATH            File containing JSON request to POST to /api/2.0/jobs/create.
      --json JSON                 JSON string to POST to /api/2.0/jobs/create.
  run-now  Runs a job with optional per-run parameters.
    Options:
      --job-id JOB_ID             Can be found in the URL at https://<databricks-instance>/#job/$JOB_ID. [required]
      --jar-params JSON           JSON string specifying an array of parameters. i.e. '["param1", "param2"]'
      --notebook-params JSON      JSON string specifying a map of key-value pairs. i.e. '{"name": "john doe", "age": 35}'
      --python-params JSON        JSON string specifying an array of parameters. i.e. '["param1", "param2"]'
      --spark-submit-params JSON  JSON string specifying an array of parameters. i.e. '["--class", "org.apache.spark.examples.SparkPi"]'

İş oluşturma

Kullanım belgelerini görüntülemek için komutunu çalıştırın databricks jobs create --help.

Genel kullanım

databricks jobs create --json-file create-job.json

İşler (Jobs) CLI 2.1 kullanım notları ve istek örneği

Bkz. Oluşturmaİşler API 2.0'dan 2.1'e Güncelleştirme.

İşler CLI 2.0 istek yükü ve yanıt örneği

create-job.json:

{
  "name": "my-job",
  "existing_cluster_id": "1234-567890-reef123",
  "notebook_task": {
    "notebook_path": "/Users/someone@example.com/My Notebook"
  },
  "email_notifications": {
    "on_success": ["someone@example.com"],
    "on_failure": ["someone@example.com"]
  }
}
{ "job_id": 246 }

İpucu

Bir işi kopyalamak için komutunu çalıştırın create ve kopyalanacak işin ayarlarıyla birlikte bir JSON nesnesi geçirin. Bu örnek, ID'si 246 olan işin ayarlarını yeni bir işe kopyalar. jq yardımcı programını gerektirir.

SETTINGS_JSON=$(databricks jobs get --job-id 246 | jq .settings)

databricks jobs create --json "$SETTINGS_JSON"
{ "job_id": 247 }

İşi silme

Kullanım belgelerini görüntülemek için komutunu çalıştırın databricks jobs delete --help.

databricks job delete --job-id 246

Başarılı olursa, hiçbir çıkış görüntülenmez.

İpucu

Aynı ayara sahip birden çok işi silmek için, bu ayarla eşleşen iş kimliklerinin listesini alın ve eşleşen her iş kimliği için komutunu çalıştırın delete . Bu örnek, iş adı Untitledolan tüm işleri siler. jq yardımcı programını gerektirir.

databricks jobs list --output json | jq '.jobs[] | select(.settings.name == "Untitled") | .job_id' | xargs -n 1 databricks jobs delete --job-id

bir iş hakkındaki bilgileri listeleme

Kullanım belgelerini görüntülemek için komutunu çalıştırın databricks jobs get --help.

Genel kullanım

databricks jobs get --job-id 246

İşler CLI 2.1 kullanım notları ve yanıt örneği

İşler API 2.0'dan 2.1'e Güncelleştirme bölümünde Get bölümüne bakın.

İşler CLI 2.0 yanıt örneği

{
  "job_id": 246,
  "settings": {
    "name": "my-job",
    "existing_cluster_id": "1234-567890-reef123",
    "email_notifications": {
      "on_success": [
        "someone@example.com"
      ],
      "on_failure": [
        "someone@example.com"
      ]
    },
    "timeout_seconds": 0,
    "notebook_task": {
      "notebook_path": "/Users/someone@example.com/My Notebook"
    },
    "max_concurrent_runs": 1
  },
  "created_time": 1620163107742,
  "creator_user_name": "someone@example.com"
}

Kullanılabilir işler hakkındaki bilgileri listeleme

Kullanım belgelerini görüntülemek için komutunu çalıştırın databricks jobs list --help.

Genel kullanım

databricks jobs list

İşler CLI 2.1 kullanım notları ve yanıt örneği

Bkz. Liste, İşler API 2.0'dan 2.1'e Güncelleştirme.

İşler CLI 2.0 yanıt örneği

{
  "jobs": [
    {
      "job_id": 246,
      "settings": {
        "name": "my-job",
        "existing_cluster_id": "1234-567890-reef123",
        "email_notifications": {
          "on_success": [
            "someone@example.com"
          ],
          "on_failure": [
            "someone@example.com"
          ]
        },
        "timeout_seconds": 0,
        "notebook_task": {
          "notebook_path": "/Users/someone@example.com/My Notebook"
        },
        "max_concurrent_runs": 1
      },
      "created_time": 1620163107742,
      "creator_user_name": "someone@example.com"
    },
    ...
  ]
}

Tüm işleri listeleme (yalnızca API 2.1)

CLI'ya API'ye sıralı çağrılar yaparak tüm işleri döndürmesini bildirmek için seçeneğini kullanın --all . seçeneğini kullanmak --all için API sürümünü 2.1 olarak ayarlamanız gerekir.

databricks jobs list --all

İşler listesini sayfalara böl (yalnızca API 2.1)

Sayfalandırılmış işler listesini döndürmek için --limit ve --offset bağımsız değişkenlerini kullanın. Varsayılan olarak, iş listesi iş kimliğini ve iş adını içeren bir tablo olarak döndürülür. İsteğe bağlı olarak iş bilgilerini içeren bir JSON belgesi döndürmek için bağımsız değişkenini --output JSON kullanın.

Kullanmak için --limit ve --offset bağımsız değişkenlerini, API sürümünü 2.1 olarak ayarlamanız gerekir.

kullanılırken --output JSON, liste iş oluşturma tarihine göre azalan düzende döndürülür. kullanılırken --output TABLE, liste iş oluşturma tarihine göre azalan düzende döndürülür ve ardından iş adına göre alfabetik olarak sıralanır.

Aşağıdaki örnek sayfalar, işleri tek seferde 10 işi listeler ve sonuçları JSON biçiminde döndürür:

databricks jobs list --output JSON --limit 10
databricks jobs list --output JSON --limit 10 --offset 10
databricks jobs list --output JSON --limit 10 --offset 20

bir işin ayarlarını değiştirme

Kullanım belgelerini görüntülemek için komutunu çalıştırın databricks jobs reset --help.

Genel kullanım

databricks jobs reset --job-id 246 --json-file reset-job.json

İşler (Jobs) CLI 2.1 kullanım notları ve istek örneği

Bakınız Güncelleştirme ve Sıfırlama, İşler API 2.0'dan 2.1'e Güncelleştirme bölümünde.

Jobs CLI 2.0 istek örneği

reset-job.json:

{
  "job_id": 246,
  "existing_cluster_id": "2345-678901-batch234",
  "name": "my-changed-job",
  "notebook_task": {
    "notebook_path": "/Users/someone@example.com/My Other Notebook"
  },
  "email_notifications": {
    "on_success": ["someone-else@example.com"],
    "on_failure": ["someone-else@example.com"]
  }
}

Başarılı olursa, hiçbir çıkış görüntülenmez.

Bir işi çalıştır

Kullanım belgelerini görüntülemek için komutunu çalıştırın databricks jobs run-now --help.

databricks jobs run-now --job-id 246
{
  "run_id": 122,
  "number_in_job": 1
}