Aracılığıyla paylaş

CLI çalıştırır (eski)

Önemli

Bu belge kullanımdan kaldırılmıştır ve güncelleştirilmeyebilir.

Bu bilgiler eski Databricks CLI 0.18 ve altındaki sürümler için geçerlidir. Databricks, bunun yerine daha yeni Databricks CLI sürüm 0.205 veya üzerini kullanmanızı önerir. Bkz . Databricks CLI nedir?. Databricks CLI sürümünüzü bulmak için komutunu çalıştırın databricks -v.

Databricks CLI sürüm 0.18 veya altından Databricks CLI sürüm 0.205 veya üzeri sürüme geçiş yapmak için bkz . Databricks CLI geçişi.

Databricks işlerini CLI alt komutlarını databricks runs sonuna ve Databricks işleri CLI alt komutlarını databricks jobs sonuna ekleyerek çalıştırırsınız. Databricks işleri CLI alt komutları için bkz. İşler CLI'sı (eski). Bu alt komutlar birlikte İşler API'sini ve İşler API 2.0'ı çağırır.

Önemli

Databricks iş çalıştırma CLI'si, Databricks İşleri REST API'sinin iki sürümüne, sürüm 2.1 ve 2.0, yapılan çağrıları destekler. (İş çalıştırmaları işlevselliği İşler REST API'sinin bir parçasıdır.) Sürüm 2.1, birden çok görevi olan işlerin düzenlemesi için destek ekler; Bkz. Lakeflow İşleri ve İşler API 2.0'dan 2.1'e Güncelleştirme. Databricks, sürüm 2.0'ı kullanan ve geçirilemeyen eski betikleriniz olmadığı sürece sürüm 2.1'i çağırmanızı önerir.

Aksi belirtilmedikçe, bu makalede açıklanan programlı davranışlar 2.1 ve 2.0 sürümlerine eşit olarak uygulanır.

Not

İş CLI istekleri çalıştırırken 500 düzeyinde bir hata alırsanız Databricks, isteklerin 10 dakikaya kadar yeniden denemesini önerir (yeniden denemeler arasında en az 30 saniyelik bir aralıkla).

İşler REST API 2.1'i çağırma gereksinimleri

Databricks işinin İŞLER REST API 2.1'i çağırmak üzere CLI (ve işler CLI) çalıştırmasını ayarlamak için aşağıdakileri yapın:

  1. CLI'yi 0.16.0 veya üzeri bir sürüme güncelleştirin.

  2. Aşağıdakilerden birini yapın:

    • databricks jobs configure --version=2.1 komutunu çalıştırın. Unix, Linux veya macOS'teki jobs-api-version = 2.1 ayarını ~/.databrickscfg dosyasına, ya da Windows üzerindeki %USERPROFILE%\.databrickscfg dosyasına ekler. Tüm iş CLI (ve işler CLI) alt komutlarını çalıştırır ve İşler REST API 2.1'i varsayılan olarak çağırır.
    • Unix, Linux veya macOS'ta jobs-api-version = 2.1 ayarını ~/.databrickscfg dosyasına veya Windows'da %USERPROFILE%\.databrickscfg dosyasına el ile ekleyin. Tüm iş CLI (ve işler CLI) alt komutlarını çalıştırır ve İşler REST API 2.1'i varsayılan olarak çağırır.
    • Bu çağrı için İşler CLI'nın yalnızca Jobs REST API 2.1'i çağırmasını sağlamak üzere seçeneğini --version=2.1 (örneğin, databricks runs list --version=2.1) ekleyin.

    Önceki eylemlerden hiçbirini gerçekleştirmezseniz, iş CLI'yi (ve Jobs CLI) varsayılan olarak çalıştırır ve Jobs REST API 2.0'ı çağırır.

Jobs REST API 2.0'ı çağırma gereksinimleri

Databricks işinin CLI (ve jobs CLI) çalıştırarak İşler REST API 2.0'ı çağırmasını ayarlamak için aşağıdakilerden birini yapın:

  • Databricks CLI'nın 0.16.0'ın altındaki bir sürümünü kullanın veya
  • CLI'yı 0.16.0 veya üzeri bir sürüme güncelleştirin ve aşağıdakilerden birini yapın:
    • databricks jobs configure --version=2.0 komutunu çalıştırın. Unix, Linux veya macOS'teki jobs-api-version = 2.0 ayarını ~/.databrickscfg dosyasına, ya da Windows üzerindeki %USERPROFILE%\.databrickscfg dosyasına ekler. Tüm iş CLI (ve işler CLI) alt komutları, varsayılan olarak İşler REST API 2.0'ı çağıracaktır.
    • Unix, Linux veya macOS'ta jobs-api-version = 2.0 ayarını ~/.databrickscfg dosyasına veya Windows'da %USERPROFILE%\.databrickscfg dosyasına el ile ekleyin. Tüm iş CLI (ve işler CLI) alt komutları, varsayılan olarak İşler REST API 2.0'ı çağıracaktır.
    • İşi yalnızca bu çağrı için Jobs REST API 2.0'ı çağıracak şekilde ayarlamak amacıyla --version=2.1 seçeneğini (örneğin, databricks runs list --version=2.0) job runs CLI'ya ekleyin.

Önceki eylemlerden hiçbirini gerçekleştirmezseniz, iş CLI'yi (ve Jobs CLI) varsayılan olarak çalıştırır ve Jobs REST API 2.0'ı çağırır.

Alt komutlar ve genel kullanım

databricks runs --help

Usage: databricks runs [OPTIONS] COMMAND [ARGS]...

  Utility to interact with jobs runs.

Options:
  -v, --version   [VERSION]
  --debug         Debug mode. Shows full stack trace on error.
  --profile TEXT  CLI connection profile to use. The default profile is
                  "DEFAULT".

  -h, --help      Show this message and exit.

Commands:
  cancel      Cancels the specified run.
  get         Gets the metadata about a run in JSON form.
  get-output  Gets the output of a run.
  list        Lists job runs.
  submit      Submits a one-time run.

Çalıştırmayı iptal etme

Kullanım belgelerini görüntülemek için komutunu çalıştırın databricks runs cancel --help.

databricks runs cancel --run-id 119

{}

Çalıştırma hakkında bilgi edinin

Kullanım belgelerini görüntülemek için komutunu çalıştırın databricks runs get --help.

Genel kullanım

databricks runs get --run-id 2785782

İşler CLI 2.1 kullanım notları ve yanıt örneği

Bkz Çalıştırmaları elde etme bölümünü İşler API'sini 2.0'dan 2.1'e Güncelleştirme.

İşler CLI 2.0 yanıt örneği

{
  "job_id": 1269263,
  "run_id": 2785782,
  "number_in_job": 1111,
  "original_attempt_run_id": 2785782,
  "state": {
    "life_cycle_state": "TERMINATED",
    "result_state": "SUCCESS",
    "state_message": ""
  },
  "task": {
    "notebook_task": {
      "notebook_path": "/Users/someone@example.com/notebooks/my-notebook.ipynb"
    }
  },
  "cluster_spec": {
    "new_cluster": {
      "spark_version": "8.1.x-scala2.12",
      "node_type_id": "Standard_F16s",
      "enable_elastic_disk": true,
      "azure_attributes": {
        "availability": "ON_DEMAND_AZURE"
      },
      "num_workers": 8
    }
  },
  "cluster_instance": {
    "cluster_id": "1234-567890-abcd123",
    "spark_context_id": "1234567890123456789"
  },
  "start_time": 1620947196985,
  "setup_duration": 36000,
  "execution_duration": 119000,
  "cleanup_duration": 3000,
  "end_time": 1620947355499,
  "trigger": "ONE_TIME",
  "creator_user_name": "someone@example.com",
  "run_name": "my-notebook-run",
  "run_page_url": "https://adb-1234567890123456.7.azuredatabricks.net/?o=1234567890123456#job/1269263/run/1111",
  "run_type": "JOB_RUN",
  "attempt_number": 0
}

Çalıştırmanın çıktısını al

Kullanım belgelerini görüntülemek için komutunu çalıştırın databricks runs get-output --help.

Not

notebook_task bir çağrıdan dbutils.notebook.exit() değer döndürdüğünde, Databricks döndürülen değeri ilk 5 MB veriyle sınırlar. Daha büyük bir sonuç döndürmek için iş sonuçlarını bir bulut depolama hizmetinde depolayabilirsiniz.

Genel kullanım

databricks runs get-output --run-id 2785782

Görevler CLI 2.1 kullanım notları

Bkz Çalıştırmalar çıktı alırJoblar API 2.0'dan 2.1'e güncelleştirme bölümünde.

İşler CLI 2.0 yanıt örneği

{
  "metadata": {
    "job_id": 1269263,
    "run_id": 2785782,
    "number_in_job": 1111,
    "original_attempt_run_id": 2785782,
    "state": {
      "life_cycle_state": "TERMINATED",
      "result_state": "SUCCESS",
      "state_message": ""
    },
    "task": {
      "notebook_task": {
        "notebook_path": "/Users/someone@example.com/notebooks/my-notebook.ipynb"
      }
    },
    "cluster_spec": {
      "new_cluster": {
        "spark_version": "8.1.x-scala2.12",
        "node_type_id": "Standard_F16s",
        "enable_elastic_disk": true,
        "azure_attributes": {
          "availability": "ON_DEMAND_AZURE"
        },
        "num_workers": 8
      }
    },
    "cluster_instance": {
      "cluster_id": "1234-567890-abcd123",
      "spark_context_id": "1234567890123456789"
    },
    "start_time": 1620947196985,
    "setup_duration": 36000,
    "execution_duration": 119000,
    "cleanup_duration": 3000,
    "end_time": 1620947355499,
    "trigger": "ONE_TIME",
    "creator_user_name": "someone@example.com",
    "run_name": "my-notebook-run",
    "run_page_url": "https://adb-1234567890123456.7.azuredatabricks.net/?o=1234567890123456#job/1269263/run/1111",
    "run_type": "JOB_RUN",
    "attempt_number": 0
  },
  "notebook_output": {}
}

Tüm çalıştırmalar hakkında bilgi alma

Kullanım belgelerini görüntülemek için komutunu çalıştırın databricks runs list --help.

Genel kullanım

databricks runs list --output JSON

İşler CLI 2.1 kullanım notları ve yanıt örneği

Bkz Güncelleştirme'deki Çalıştırmalar listesi, İşler API'sini 2.0'dan 2.1'e.

İşler CLI 2.0 yanıt örneği

{
  "runs": [
    {
      "job_id": 1269263,
      "run_id": 2785782,
      "number_in_job": 1111,
      "original_attempt_run_id": 2785782,
      "state": {
         "life_cycle_state": "TERMINATED",
         "result_state": "SUCCESS",
         "state_message": ""
      },
      "task": {
        "notebook_task": {
          "notebook_path": "/Users/someone@example.com/notebooks/my-notebook.ipynb"
        }
      },
      "cluster_spec": {
        "new_cluster": {
          "spark_version": "8.1.x-scala2.12",
          "node_type_id": "Standard_F16s",
          "enable_elastic_disk": true,
          "azure_attributes": {
            "availability": "ON_DEMAND_AZURE"
          },
          "num_workers": 8
        }
      },
      "cluster_instance": {
        "cluster_id": "1234-567890-abcd123",
        "spark_context_id": "1234567890123456789"
      },
      "start_time": 1620947196985,
      "setup_duration": 36000,
      "execution_duration": 119000,
      "cleanup_duration": 3000,
      "end_time": 1620947355499,
      "trigger": "ONE_TIME",
      "creator_user_name": "someone@example.com",
      "run_name": "my-notebook-run",
      "run_page_url": "https://adb-1234567890123456.7.azuredatabricks.net/?o=1234567890123456#job/1269263/run/1111",
      "run_type": "JOB_RUN",
      "attempt_number": 0
    },
    ...
  ],
  "has_more": false
}

has_more true döndürürse, ek çalıştırmalar hakkında bilgi sağlanır. En son çalıştırmaya göre çalıştırmalar hakkında bilgi döndürmek için --offset seçeneğini kullanın. Örneğin, en son çalıştırmalardan onuncusundan başlayarak bilgi döndürmek için --offset 10 değerini belirtin.

--limit Sabit sayıda çalıştırma hakkında bilgi döndürmek için seçeneğini kullanın. Örneğin, sonraki 5 koşuya kadar bilgi döndürmek için --limit 5 belirtmelisiniz. En fazla 1000 çalıştırma belirtebilirsiniz. Belirtilmezse, varsayılan değer 20'dir.

Tek seferlik çalıştırmayı gönderin

Kullanım belgelerini görüntülemek için komutunu çalıştırın databricks runs submit --help.

Genel kullanım

databricks runs submit --json-file submit-run.json

İşler REST API 2.1 kullanım notları ve istek örneği

Bakınız Çalıştırmaları göndermeİşler API 2.0'dan 2.1'e güncelleştirme.

İşler REST API 2.0 istek ve yanıt örneği

submit-run.json:

{
  "run_name": "my-spark-run",
  "new_cluster": {
    "spark_version": "8.1.x-scala2.12",
    "node_type_id": "Standard_F16s",
    "enable_elastic_disk": true,
    "azure_attributes": {
      "availability": "ON_DEMAND_AZURE"
    },
    "num_workers": 8
  },
  "libraries": [
    {
      "jar": "dbfs:/my-jar.jar"
    },
    {
      "maven": {
        "coordinates": "org.jsoup:jsoup:1.7.2"
      }
    }
  ],
  "spark_jar_task": {
    "main_class_name": "com.databricks.ComputeModels"
  }
}

{
  "run_id": 123
}
  • Last updated on