İşler API'si 2.0
Önemli
Bu makalede İşler API'sinin 2.0 sürümü belgelemektedir. Ancak Databricks, yeni ve mevcut istemciler ve betikler için İşler API 2.1'in kullanılmasını önerir. 2.0'dan 2.1 sürümüne yapılan değişikliklerle ilgili ayrıntılar için bkz . İşler API'sinden 2.0'dan 2.1'e güncelleştirme.
İşler API'si işleri oluşturmanıza, düzenlemenize ve silmenize olanak tanır. İşler API'sine yönelik bir isteğin izin verilen en büyük boyutu 10 MB'tır.
Azure Databricks işleri ile birden çok görevi düzenlemeyi destekleyen İşler API'sine yönelik güncelleştirmeler hakkında ayrıntılı bilgi için bkz . İşler API'sinden 2.0'dan 2.1'e güncelleştirme.
Uyarı
Gizli dizileri asla sabit kodlamayın veya düz metin olarak depolamamalısınız. Databricks CLI'da gizli dizileri yönetmek için Gizli Diziler API'sini kullanın. Not defterlerindeki ve işlerdeki gizli dizilere başvurmak için Gizli Diziler yardımcı programını (dbutils.secrets) kullanın.
Not
İşler API'si istekleri yaparken 500 düzeyinde bir hata alırsanız Databricks, isteklerin 10 dakika (yeniden denemeler arasında en az 30 saniyelik bir aralıkla) yeniden denemesini önerir.
Önemli
Databricks REST API’lerine erişmek için kimlik doğrulaması yapmanız gerekir.
Yaratmak
Uç nokta | HTTP Yöntemi |
---|---|
2.0/jobs/create |
POST |
Yeni bir iş oluşturun.
Örnek
Bu örnek, her gece 22:15'te JAR görevi çalıştıran bir iş oluşturur.
İstek
curl --netrc --request POST \
https://<databricks-instance>/api/2.0/jobs/create \
--data @create-job.json \
| jq .
create-job.json
:
{
"name": "Nightly model training",
"new_cluster": {
"spark_version": "7.3.x-scala2.12",
"node_type_id": "Standard_D3_v2",
"num_workers": 10
},
"libraries": [
{
"jar": "dbfs:/my-jar.jar"
},
{
"maven": {
"coordinates": "org.jsoup:jsoup:1.7.2"
}
}
],
"timeout_seconds": 3600,
"max_retries": 1,
"schedule": {
"quartz_cron_expression": "0 15 22 * * ?",
"timezone_id": "America/Los_Angeles"
},
"spark_jar_task": {
"main_class_name": "com.databricks.ComputeModels"
}
}
Değiştirme:
<databricks-instance>
örneğin,adb-1234567890123456.7.azuredatabricks.net
Azure Databricks çalışma alanı örneği adıyla.- çözümünüz için uygun alanları içeren içeriğini
create-job.json
.
Bu örnekte bir .netrc dosyası ve jq kullanılır.
Response
{
"job_id": 1
}
İstek yapısı
Önemli
- Yeni bir iş kümesinde bir iş çalıştırdığınızda, iş İşler İşlem fiyatlandırmasına tabi İşler İşlem (otomatik) iş yükü olarak değerlendirilir.
- Var olan bir çok amaçlı kümede bir iş çalıştırdığınızda, bu iş, Tüm Amaçlı İşlem fiyatlandırmasına tabi olan Bir Çok Amaçlı İşlem (etkileşimli) iş yükü olarak değerlendirilir.
Alan Adı | Type | Açıklama |
---|---|---|
existing_cluster_id VEYA new_cluster |
STRING OR NewCluster |
existing_cluster_id, bu işin tüm çalıştırmaları için kullanılacak mevcut kümenin kimliği. Mevcut bir kümede işleri çalıştırırken yanıt vermeyi durdurursa kümeyi el ile yeniden başlatmanız gerekebilir. Daha fazla güvenilirlik için yeni kümelerde iş çalıştırmanızı öneririz. new_cluster, her çalıştırma için oluşturulacak bir kümenin açıklaması. PipelineTask belirtilmesi durumunda bu alan boş olabilir. |
notebook_task VEYA VEYA spark_jar_task spark_python_task VEYA VEYA spark_submit_task pipeline_task VEYA run_job_task |
NotebookTask VEYA SparkJarTask VEYA SparkPythonTask VEYA SparkSubmitTask VEYA PipelineTask VEYA RunJobTask | notebook_task, bu işin bir not defteri çalıştırması gerektiğini gösterir. Bu alan spark_jar_task ile birlikte belirtilmeyebilir. spark_jar_task, bu işin bir JAR çalıştırması gerektiğini gösterir. spark_python_task, bu işin bir Python dosyası çalıştırması gerektiğini gösterir. spark_submit_task, bu işin Spark gönderme betiği tarafından başlatılması gerektiğini gösterir. pipeline_task, bu işin bir Delta Live Tables işlem hattı çalıştırması gerektiğini gösterir. run_job_task, bu işin başka bir iş çalıştırması gerektiğini gösterir. |
name |
STRING |
İş için isteğe bağlı bir ad. Varsayılan değer şudur: Untitled . |
libraries |
Kitaplık dizisi | İşi yürütecek kümeye yüklenecek kitaplıkların isteğe bağlı listesi. Varsayılan değer boş bir listedir. |
email_notifications |
JobEmailNotifications | Bu işin çalıştırmaları başladığında ve tamamlandığında ve bu iş silindiğinde bildirilen isteğe bağlı bir e-posta adresleri kümesi. Varsayılan davranış, herhangi bir e-posta göndermemektir. |
webhook_notifications |
Web KancasıNotifications | Bu işin çalıştırmaları başladığında, tamamlandığında veya başarısız olduğunda bildirim almak için isteğe bağlı bir sistem hedefleri kümesi. |
notification_settings |
JobNotificationSettings | Bu iş için ve'nin webhook_notifications her birine email_notifications bildirim gönderirken kullanılan isteğe bağlı bildirim ayarları. |
timeout_seconds |
INT32 |
Bu işin her çalıştırmasına isteğe bağlı bir zaman aşımı uygulanır. Varsayılan davranış, zaman aşımı olmamasıdır. |
max_retries |
INT32 |
Başarısız bir çalıştırmayı yeniden denemenin isteğe bağlı en fazla sayısı. Bir çalıştırmanın result_state veya FAILED INTERNAL_ERROR life_cycle_state . -1 değeri süresiz olarak yeniden deneme, 0 değeri ise hiçbir zaman yeniden deneme anlamına gelir. Varsayılan davranış, hiçbir zaman yeniden denememektir. |
min_retry_interval_millis |
INT32 |
Başarısız çalıştırmanın başlangıcı ile sonraki yeniden deneme çalıştırması arasında milisaniye cinsinden isteğe bağlı en düşük aralık. Varsayılan davranış başarısız çalıştırmaların hemen yeniden denenmiş olmasıdır. |
retry_on_timeout |
BOOL |
Bir işin zaman aşımına uğradıklarında yeniden denenip denenmeyeceğini belirtmek için isteğe bağlı bir ilke. Varsayılan davranış, zaman aşımında yeniden denememektir. |
schedule |
CronSchedule | Bu iş için isteğe bağlı bir düzenli zamanlama. Varsayılan davranış, İşler kullanıcı arabiriminde Şimdi çalıştır'a tıklayarak veya öğesine runNow bir API isteği göndererek işin tetiklendiğinde çalışmasıdır. |
max_concurrent_runs |
INT32 |
İşin isteğe bağlı izin verilen en fazla eşzamanlı çalıştırma sayısı. Aynı işin birden çok çalıştırmasını eşzamanlı olarak yürütebilmek istiyorsanız bu değeri ayarlayın. Bu, örneğin işinizi sık sık tetikleyip ardışık çalıştırmaların birbiriyle çakışmasına izin vermek veya giriş parametrelerine göre farklı birden çok çalıştırma tetiklemeniz durumunda yararlı olur. Bu ayar yalnızca yeni çalıştırmaları etkiler. Örneğin, işin eşzamanlılığının 4 olduğunu ve 4 eşzamanlı etkin çalıştırma olduğunu varsayalım. Ardından eşzamanlılık 3 olarak ayarlıysa etkin çalıştırmaların hiçbiri sonlandırılamaz. Ancak, bundan sonra, 3'ten az etkin çalıştırma olmadığı sürece yeni çalıştırmalar atlanır. Bu değer 1000'i aşamaz. Bu değerin 0 olarak ayarlanması tüm yeni çalıştırmaların atlanmasına neden olur. Varsayılan davranış, yalnızca 1 eşzamanlı çalıştırmaya izin vermektir. |
Yanıt yapısı
Alan Adı | Type | Açıklama |
---|---|---|
job_id |
INT64 |
Yeni oluşturulan işin kurallı tanımlayıcısı. |
Liste
Uç nokta | HTTP Yöntemi |
---|---|
2.0/jobs/list |
GET |
Tüm işleri listeleyin.
Örnek
İste
curl --netrc --request GET \
https://<databricks-instance>/api/2.0/jobs/list \
| jq .
değerini Azure Databricks çalışma alanı örneği adıyla değiştirin<databricks-instance>
, örneğinadb-1234567890123456.7.azuredatabricks.net
.
Bu örnekte bir .netrc dosyası ve jq kullanılır.
Response
{
"jobs": [
{
"job_id": 1,
"settings": {
"name": "Nightly model training",
"new_cluster": {
"spark_version": "7.3.x-scala2.12",
"node_type_id": "Standard_D3_v2",
"num_workers": 10
},
"libraries": [
{
"jar": "dbfs:/my-jar.jar"
},
{
"maven": {
"coordinates": "org.jsoup:jsoup:1.7.2"
}
}
],
"timeout_seconds": 100000000,
"max_retries": 1,
"schedule": {
"quartz_cron_expression": "0 15 22 * * ?",
"timezone_id": "America/Los_Angeles",
"pause_status": "UNPAUSED"
},
"spark_jar_task": {
"main_class_name": "com.databricks.ComputeModels"
}
},
"created_time": 1457570074236
}
]
}
Yanıt yapısı
Alan Adı | Type | Açıklama |
---|---|---|
jobs |
İş dizisi | İş listesi. |
Silmek
Uç nokta | HTTP Yöntemi |
---|---|
2.0/jobs/delete |
POST |
bir işi silin ve içinde JobSettings.email_notifications
belirtilen adreslere e-posta gönderin. İş zaten kaldırılmışsa hiçbir eylem gerçekleşmez. İş kaldırıldıktan sonra, ne ayrıntıları ne de çalıştırma geçmişi İşler kullanıcı arabiriminde veya API'de görünür. bu istek tamamlandıktan sonra işin kaldırılması garanti edilir. Ancak, bu isteğin alınmasından önce etkin olan çalıştırmalar hala etkin olabilir. Bunlar zaman uyumsuz olarak sonlandırılır.
Örnek
curl --netrc --request POST \
https://<databricks-instance>/api/2.0/jobs/delete \
--data '{ "job_id": <job-id> }'
Değiştirme:
<databricks-instance>
örneğin,adb-1234567890123456.7.azuredatabricks.net
Azure Databricks çalışma alanı örneği adıyla.<job-id>
örneğin,123
işin kimliğiyle.
Bu örnekte bir .netrc dosyası kullanılır.
İstek yapısı
Alan Adı | Type | Açıklama |
---|---|---|
job_id |
INT64 |
Silinecek işin kurallı tanımlayıcısı. Bu alan gereklidir. |
Al
Uç nokta | HTTP Yöntemi |
---|---|
2.0/jobs/get |
GET |
Tek bir iş hakkındaki bilgileri alın.
Örnek
İste
curl --netrc --request GET \
'https://<databricks-instance>/api/2.0/jobs/get?job_id=<job-id>' \
| jq .
Veya:
curl --netrc --get \
https://<databricks-instance>/api/2.0/jobs/get \
--data job_id=<job-id> \
| jq .
Değiştirme:
<databricks-instance>
örneğin,adb-1234567890123456.7.azuredatabricks.net
Azure Databricks çalışma alanı örneği adıyla.<job-id>
örneğin,123
işin kimliğiyle.
Bu örnekte bir .netrc dosyası ve jq kullanılır.
Response
{
"job_id": 1,
"settings": {
"name": "Nightly model training",
"new_cluster": {
"spark_version": "7.3.x-scala2.12",
"node_type_id": "Standard_D3_v2",
"num_workers": 10
},
"libraries": [
{
"jar": "dbfs:/my-jar.jar"
},
{
"maven": {
"coordinates": "org.jsoup:jsoup:1.7.2"
}
}
],
"timeout_seconds": 100000000,
"max_retries": 1,
"schedule": {
"quartz_cron_expression": "0 15 22 * * ?",
"timezone_id": "America/Los_Angeles",
"pause_status": "UNPAUSED"
},
"spark_jar_task": {
"main_class_name": "com.databricks.ComputeModels"
}
},
"created_time": 1457570074236
}
İstek yapısı
Alan Adı | Type | Açıklama |
---|---|---|
job_id |
INT64 |
Hakkında bilgi alınacak işin kurallı tanımlayıcısı. Bu alan gereklidir. |
Yanıt yapısı
Alan Adı | Type | Açıklama |
---|---|---|
job_id |
INT64 |
Bu işin kurallı tanımlayıcısı. |
creator_user_name |
STRING |
Oluşturucu kullanıcı adı. Kullanıcı silinmişse bu alan yanıta dahil edilmeyecektir. |
settings |
İşAyarları | Bu işin ayarları ve tüm çalıştırmaları. Bu ayarlar, Sıfırlama veya Güncelleştirme uç noktaları kullanılarak güncelleştirilebilir. |
created_time |
INT64 |
Bu işin dönem milisaniye cinsinden oluşturulduğu saat (1/1/1970 UTC'den bu yana milisaniye). |
Sıfırlama
Uç nokta | HTTP Yöntemi |
---|---|
2.0/jobs/reset |
POST |
Belirli bir işin tüm ayarlarının üzerine yazın. İş ayarlarını kısmen güncelleştirmek için Güncelleştirme uç noktasını kullanın.
Örnek
Bu örnek istek, oluşturma örneğindeki 2. işi 1. işle aynı yapar.
curl --netrc --request POST \
https://<databricks-instance>/api/2.0/jobs/reset \
--data @reset-job.json \
| jq .
reset-job.json
:
{
"job_id": 2,
"new_settings": {
"name": "Nightly model training",
"new_cluster": {
"spark_version": "7.3.x-scala2.12",
"node_type_id": "Standard_D3_v2",
"num_workers": 10
},
"libraries": [
{
"jar": "dbfs:/my-jar.jar"
},
{
"maven": {
"coordinates": "org.jsoup:jsoup:1.7.2"
}
}
],
"timeout_seconds": 100000000,
"max_retries": 1,
"schedule": {
"quartz_cron_expression": "0 15 22 * * ?",
"timezone_id": "America/Los_Angeles",
"pause_status": "UNPAUSED"
},
"spark_jar_task": {
"main_class_name": "com.databricks.ComputeModels"
}
}
}
Değiştirme:
<databricks-instance>
örneğin,adb-1234567890123456.7.azuredatabricks.net
Azure Databricks çalışma alanı örneği adıyla.- çözümünüz için uygun alanları içeren içeriğini
reset-job.json
.
Bu örnekte bir .netrc dosyası ve jq kullanılır.
İstek yapısı
Alan Adı | Type | Açıklama |
---|---|---|
job_id |
INT64 |
Sıfırlanması gereken işin kurallı tanımlayıcısı. Bu alan gereklidir. |
new_settings |
İşAyarları | İşin yeni ayarları. Bu ayarlar tamamen eski ayarların yerini alır. Alandaki JobSettings.timeout_seconds değişiklikler etkin çalıştırmalara uygulanır. Diğer alanlarda yapılan değişiklikler yalnızca gelecekteki çalıştırmalara uygulanır. |
Güncelleştirmek
Uç nokta | HTTP Yöntemi |
---|---|
2.0/jobs/update |
POST |
Var olan bir işin belirli ayarlarını ekleyin, değiştirin veya kaldırın. Tüm iş ayarlarının üzerine yazmak için Sıfırlama uç noktasını kullanın.
Örnek
Bu örnek istek kitaplıkları kaldırır ve oluşturma örneğinde tanımlanan 1. işe e-posta bildirim ayarları ekler.
curl --netrc --request POST \
https://<databricks-instance>/api/2.0/jobs/update \
--data @update-job.json \
| jq .
update-job.json
:
{
"job_id": 1,
"new_settings": {
"existing_cluster_id": "1201-my-cluster",
"email_notifications": {
"on_start": [ "someone@example.com" ],
"on_success": [],
"on_failure": []
}
},
"fields_to_remove": ["libraries"]
}
Değiştirme:
<databricks-instance>
örneğin,adb-1234567890123456.7.azuredatabricks.net
Azure Databricks çalışma alanı örneği adıyla.- çözümünüz için uygun alanları içeren içeriğini
update-job.json
.
Bu örnekte bir .netrc dosyası ve jq kullanılır.
İstek yapısı
Alan Adı | Type | Açıklama |
---|---|---|
job_id |
INT64 |
Güncelleştirilecek işin kurallı tanımlayıcısı. Bu alan gereklidir. |
new_settings |
İşAyarları | İşin yeni ayarları. diziler dışında içinde new_settings belirtilen üst düzey alanlar tamamen değiştirilir. Diziler, veya gibi task_key ilgili anahtar alanlarına göre birleştirilirjob_cluster_key ve aynı anahtara sahip dizi girişleri tamamen değiştirilir. Dizi birleştirme dışında, iç içe alanları kısmen güncelleştirme desteklenmez.Alandaki JobSettings.timeout_seconds değişiklikler etkin çalıştırmalara uygulanır. Diğer alanlarda yapılan değişiklikler yalnızca gelecekteki çalıştırmalara uygulanır. |
fields_to_remove |
Bir dizi STRING |
İş ayarlarında en üst düzey alanları kaldırın. ve job_clusters dizilerindeki tasks girdiler dışında iç içe alanları kaldırma desteklenmez. Örneğin, bu alan için geçerli bir bağımsız değişken aşağıda verilmiştir:["libraries", "schedule", "tasks/task_1", "job_clusters/Default"] Bu alan isteğe bağlıdır. |
Şimdi çalıştır
Önemli
- Çalışma alanı 1000 eşzamanlı görev çalıştırması ile sınırlıdır. Hemen başlatılamayan bir çalıştırma istediğinizde
429 Too Many Requests
yanıtı döndürülür. - Bir çalışma alanının bir saat içinde oluşturabileceği iş sayısı 10000 ile sınırlıdır ("çalıştırma göndermeyi içerir"). Bu sınır ayrıca REST API ve not defteri iş akışları tarafından oluşturulan işleri de etkiler.
- Çalışma alanı en fazla 12000 kayıtlı iş içerebilir.
- Bir iş en fazla 100 görev içerebilir.
Uç nokta | HTTP Yöntemi |
---|---|
2.0/jobs/run-now |
POST |
Şimdi bir iş çalıştırın ve tetiklenen çalıştırmanın döndürülmesi run_id
.
İpucu
Şimdi çalıştır ile birlikte Oluştur'u çağırırsanız, bunun yerine, iş oluşturmak zorunda kalmadan iş yükünüzü doğrudan göndermenizi sağlayan Çalıştırmalar gönderme uç noktasını kullanabilirsiniz.
Örnek
curl --netrc --request POST \
https://<databricks-instance>/api/2.0/jobs/run-now \
--data @run-job.json \
| jq .
run-job.json
:
Not defteri işi için örnek istek:
{
"job_id": 1,
"notebook_params": {
"name": "john doe",
"age": "35"
}
}
JAR işi için örnek istek:
{
"job_id": 2,
"jar_params": [ "john doe", "35" ]
}
Değiştirme:
<databricks-instance>
örneğin,adb-1234567890123456.7.azuredatabricks.net
Azure Databricks çalışma alanı örneği adıyla.- çözümünüz için uygun alanları içeren içeriğini
run-job.json
.
Bu örnekte bir .netrc dosyası ve jq kullanılır.
İstek yapısı
Alan Adı | Type | Açıklama |
---|---|---|
job_id |
INT64 |
|
jar_params |
Bir dizi STRING |
JAR görevleri olan işler için parametrelerin listesi, örneğin. "jar_params": ["john doe", "35"] Parametreler, Spark JAR görevinde belirtilen ana sınıfın ana işlevini çağırmak için kullanılır. üzerinde run-now belirtilmezse, varsayılan olarak boş bir liste olur. jar_params notebook_params ile birlikte belirtilemez. Bu alanın JSON gösterimi (örneğin {"jar_params":["john doe","35"]} ) 10.000 baytı aşamaz. |
notebook_params |
ParamPair haritası | Anahtarlardan not defteri görevi olan işler için değerlere eşle, örneğin."notebook_params": {"name": "john doe", "age": "35"} . Harita not defterine geçirilir ve dbutils.widgets.get işlevi aracılığıyla erişilebilir.üzerinde run-now belirtilmezse, tetiklenen çalıştırma işin temel parametrelerini kullanır.jar_params ile birlikte notebook_params belirtemezsiniz. Bu alanın JSON gösterimi (örn. {"notebook_params":{"name":"john doe","age":"35"}} ) 10.000 baytı aşamaz. |
python_params |
Bir dizi STRING |
Python görevlerine sahip işler için parametrelerin listesi, örneğin. "python_params": ["john doe", "35"] Parametreler, komut satırı parametreleri olarak Python dosyasına geçirilir. üzerinde run-now belirtilirse, iş ayarında belirtilen parametrelerin üzerine yazar. Bu alanın JSON gösterimi (örneğin {"python_params":["john doe","35"]} ) 10.000 baytı aşamaz. |
spark_submit_params |
Bir dizi STRING |
Spark gönderme görevi olan işler için parametrelerin listesi, örneğin."spark_submit_params": ["--class", "org.apache.spark.examples.SparkPi"] . Parametreler spark-submit betiğine komut satırı parametreleri olarak geçirilir. üzerinde run-now belirtilirse, iş ayarında belirtilen parametrelerin üzerine yazar. Bu alanın JSON gösterimi 10.000 baytı aşamaz. |
idempotency_token |
STRING |
İş çalıştırma isteklerinin eşzamanlılığını garanti etmek için isteğe bağlı bir belirteç. Sağlanan belirteçle bir çalıştırma zaten varsa, istek yeni bir çalıştırma oluşturmaz ancak bunun yerine var olan çalıştırmanın kimliğini döndürür. Sağlanan belirteçle bir çalıştırma silinirse bir hata döndürülür. Bir kez etkililik belirtecini belirtirseniz, hata durumunda istek başarılı olana kadar yeniden deneyebilirsiniz. Azure Databricks, tam olarak bir çalıştırmanın bu bir kez etkililik belirteci ile başlatıldığını garanti eder. Bu belirtecin en fazla 64 karakteri olmalıdır. Daha fazla bilgi için bkz . İşler için eşzamanlılık sağlama. |
Yanıt yapısı
Alan Adı | Type | Açıklama |
---|---|---|
run_id |
INT64 |
Yeni tetiklenen çalıştırmanın genel benzersiz kimliği. |
number_in_job |
INT64 |
İşin tüm çalıştırmaları arasında bu çalıştırmanın sıra numarası. |
Gönderme çalıştırmaları
Önemli
- Çalışma alanı 1000 eşzamanlı görev çalıştırması ile sınırlıdır. Hemen başlatılamayan bir çalıştırma istediğinizde
429 Too Many Requests
yanıtı döndürülür. - Bir çalışma alanının bir saat içinde oluşturabileceği iş sayısı 10000 ile sınırlıdır ("çalıştırma göndermeyi içerir"). Bu sınır ayrıca REST API ve not defteri iş akışları tarafından oluşturulan işleri de etkiler.
- Çalışma alanı en fazla 12000 kayıtlı iş içerebilir.
- Bir iş en fazla 100 görev içerebilir.
Uç nokta | HTTP Yöntemi |
---|---|
2.0/jobs/runs/submit |
POST |
Tek seferlik çalıştırma gönderin. Bu uç nokta, iş oluşturmadan doğrudan iş yükü göndermenizi sağlar. jobs/runs/get
İş gönderildikten sonra çalıştırma durumunu denetlemek için API'yi kullanın.
Örnek
İste
curl --netrc --request POST \
https://<databricks-instance>/api/2.0/jobs/runs/submit \
--data @submit-job.json \
| jq .
submit-job.json
:
{
"run_name": "my spark task",
"new_cluster": {
"spark_version": "7.3.x-scala2.12",
"node_type_id": "Standard_D3_v2",
"num_workers": 10
},
"libraries": [
{
"jar": "dbfs:/my-jar.jar"
},
{
"maven": {
"coordinates": "org.jsoup:jsoup:1.7.2"
}
}
],
"spark_jar_task": {
"main_class_name": "com.databricks.ComputeModels"
}
}
Değiştirme:
<databricks-instance>
örneğin,adb-1234567890123456.7.azuredatabricks.net
Azure Databricks çalışma alanı örneği adıyla.- çözümünüz için uygun alanları içeren içeriğini
submit-job.json
.
Bu örnekte bir .netrc dosyası ve jq kullanılır.
Response
{
"run_id": 123
}
İstek yapısı
Önemli
- Yeni bir iş kümesinde bir iş çalıştırdığınızda, iş İşler İşlem fiyatlandırmasına tabi İşler İşlem (otomatik) iş yükü olarak değerlendirilir.
- Var olan bir çok amaçlı kümede bir iş çalıştırdığınızda, bu iş, Tüm Amaçlı İşlem fiyatlandırmasına tabi olan Bir Çok Amaçlı İşlem (etkileşimli) iş yükü olarak değerlendirilir.
Alan Adı | Type | Açıklama |
---|---|---|
existing_cluster_id VEYA new_cluster |
STRING OR NewCluster |
existing_cluster_id, bu işin tüm çalıştırmaları için kullanılacak mevcut kümenin kimliği. Mevcut bir kümede işleri çalıştırırken yanıt vermeyi durdurursa kümeyi el ile yeniden başlatmanız gerekebilir. Daha fazla güvenilirlik için yeni kümelerde iş çalıştırmanızı öneririz. new_cluster, her çalıştırma için oluşturulacak bir kümenin açıklaması. PipelineTask belirtilmesi durumunda bu alan boş olabilir. |
notebook_task VEYA VEYA spark_jar_task spark_python_task VEYA VEYA spark_submit_task pipeline_task VEYA run_job_task |
NotebookTask VEYA SparkJarTask VEYA SparkPythonTask VEYA SparkSubmitTask VEYA PipelineTask VEYA RunJobTask | notebook_task, bu işin bir not defteri çalıştırması gerektiğini gösterir. Bu alan spark_jar_task ile birlikte belirtilmeyebilir. spark_jar_task, bu işin bir JAR çalıştırması gerektiğini gösterir. spark_python_task, bu işin bir Python dosyası çalıştırması gerektiğini gösterir. spark_submit_task, bu işin Spark gönderme betiği tarafından başlatılması gerektiğini gösterir. pipeline_task, bu işin bir Delta Live Tables işlem hattı çalıştırması gerektiğini gösterir. run_job_task, bu işin başka bir iş çalıştırması gerektiğini gösterir. |
run_name |
STRING |
Çalıştırma için isteğe bağlı bir ad. Varsayılan değer şudur: Untitled . |
webhook_notifications |
Web KancasıNotifications | Bu işin çalıştırmaları başladığında, tamamlandığında veya başarısız olduğunda bildirim almak için isteğe bağlı bir sistem hedefleri kümesi. |
notification_settings |
JobNotificationSettings | Bu çalıştırma için her birine webhook_notifications bildirim gönderirken kullanılan isteğe bağlı bildirim ayarları. |
libraries |
Kitaplık dizisi | İşi yürütecek kümeye yüklenecek kitaplıkların isteğe bağlı listesi. Varsayılan değer boş bir listedir. |
timeout_seconds |
INT32 |
Bu işin her çalıştırmasına isteğe bağlı bir zaman aşımı uygulanır. Varsayılan davranış, zaman aşımı olmamasıdır. |
idempotency_token |
STRING |
İş çalıştırma isteklerinin eşzamanlılığını garanti etmek için isteğe bağlı bir belirteç. Sağlanan belirteçle bir çalıştırma zaten varsa, istek yeni bir çalıştırma oluşturmaz ancak bunun yerine var olan çalıştırmanın kimliğini döndürür. Sağlanan belirteçle bir çalıştırma silinirse bir hata döndürülür. Bir kez etkililik belirtecini belirtirseniz, hata durumunda istek başarılı olana kadar yeniden deneyebilirsiniz. Azure Databricks, tam olarak bir çalıştırmanın bu bir kez etkililik belirteci ile başlatıldığını garanti eder. Bu belirtecin en fazla 64 karakteri olmalıdır. Daha fazla bilgi için bkz . İşler için eşzamanlılık sağlama. |
Yanıt yapısı
Alan Adı | Type | Açıklama |
---|---|---|
run_id |
INT64 |
Yeni gönderilen çalıştırmanın kurallı tanımlayıcısı. |
Çalıştırmalar listesi
Uç nokta | HTTP Yöntemi |
---|---|
2.0/jobs/runs/list |
GET |
Liste, başlangıç zamanına göre azalan sırada çalışır.
Not
Çalıştırmalar 60 gün sonra otomatik olarak kaldırılır. Bunlara 60 günden fazla başvurmak istiyorsanız, süresi dolmadan önce eski çalıştırma sonuçlarını kaydetmeniz gerekir. Kullanıcı arabirimini kullanarak dışarı aktarmak için bkz . İş çalıştırma sonuçlarını dışarı aktarma. İşler API'sini kullanarak dışarı aktarmak için bkz . Dışarı aktarmayı çalıştırma.
Örnek
İste
curl --netrc --request GET \
'https://<databricks-instance>/api/2.0/jobs/runs/list?job_id=<job-id>&active_only=<true-false>&offset=<offset>&limit=<limit>&run_type=<run-type>' \
| jq .
Veya:
curl --netrc --get \
https://<databricks-instance>/api/2.0/jobs/runs/list \
--data 'job_id=<job-id>&active_only=<true-false>&offset=<offset>&limit=<limit>&run_type=<run-type>' \
| jq .
Değiştirme:
<databricks-instance>
örneğin,adb-1234567890123456.7.azuredatabricks.net
Azure Databricks çalışma alanı örneği adıyla.<job-id>
örneğin,123
işin kimliğiyle.- "
<true-false>
veyafalse
"ile.true
<offset>
değeriyle birlikteoffset
.<limit>
değeriyle birliktelimit
.<run-type>
değeriyle birlikterun_type
.
Bu örnekte bir .netrc dosyası ve jq kullanılır.
Response
{
"runs": [
{
"job_id": 1,
"run_id": 452,
"number_in_job": 5,
"state": {
"life_cycle_state": "RUNNING",
"state_message": "Performing action"
},
"task": {
"notebook_task": {
"notebook_path": "/Users/donald@duck.com/my-notebook"
}
},
"cluster_spec": {
"existing_cluster_id": "1201-my-cluster"
},
"cluster_instance": {
"cluster_id": "1201-my-cluster",
"spark_context_id": "1102398-spark-context-id"
},
"overriding_parameters": {
"jar_params": ["param1", "param2"]
},
"start_time": 1457570074236,
"end_time": 1457570075149,
"setup_duration": 259754,
"execution_duration": 3589020,
"cleanup_duration": 31038,
"run_duration": 3879812,
"trigger": "PERIODIC"
}
],
"has_more": true
}
İstek yapısı
Alan Adı | Type | Açıklama |
---|---|---|
active_only VEYA completed_only |
BOOL VEYA BOOL |
active_only ise true sonuçlara yalnızca etkin çalıştırmalar eklenir; aksi takdirde hem etkin hem de tamamlanmış çalıştırmalar listelenir. Etkin çalıştırma, , RUNNING veya TERMINATING RunLifecycleState içindeki PENDING bir çalıştırmadır. completed_only olduğunda bu true alan olamaztrue .completed_only ise true sonuçlara yalnızca tamamlanmış çalıştırmalar eklenir; aksi takdirde hem etkin hem de tamamlanmış çalıştırmalar listelenir. active_only olduğunda bu true alan olamaztrue . |
job_id |
INT64 |
Listelendiği iş çalışır. Belirtilmezse İşler hizmeti tüm işlerden çalıştırmaları listeler. |
offset |
INT32 |
Döndürülecek ilk çalıştırmanın en son çalıştırmaya göre uzaklığı. |
limit |
INT32 |
Döndürülecek çalıştırma sayısı. Bu değer 0'dan büyük ve 1000'den küçük olmalıdır. Varsayılan değer 20'dir. İstek 0 sınırı belirtirse, hizmet bunun yerine üst sınırı kullanır. |
run_type |
STRING |
Döndürülecek çalıştırma türü. Çalıştırma türlerinin açıklaması için bkz . Çalıştırma. |
Yanıt yapısı
Çalıştırmalar get
Uç nokta | HTTP Yöntemi |
---|---|
2.0/jobs/runs/get |
GET |
Çalıştırmanın meta verilerini alma.
Not
Çalıştırmalar 60 gün sonra otomatik olarak kaldırılır. Bunlara 60 günden fazla başvurmak istiyorsanız, süresi dolmadan önce eski çalıştırma sonuçlarını kaydetmeniz gerekir. Kullanıcı arabirimini kullanarak dışarı aktarmak için bkz . İş çalıştırma sonuçlarını dışarı aktarma. İşler API'sini kullanarak dışarı aktarmak için bkz . Dışarı aktarmayı çalıştırma.
Örnek
İste
curl --netrc --request GET \
'https://<databricks-instance>/api/2.0/jobs/runs/get?run_id=<run-id>' \
| jq .
Veya:
curl --netrc --get \
https://<databricks-instance>/api/2.0/jobs/runs/get \
--data run_id=<run-id> \
| jq .
Değiştirme:
<databricks-instance>
örneğin,adb-1234567890123456.7.azuredatabricks.net
Azure Databricks çalışma alanı örneği adıyla.<run-id>
çalıştırma kimliğiyle, örneğin123
.
Bu örnekte bir .netrc dosyası ve jq kullanılır.
Response
{
"job_id": 1,
"run_id": 452,
"number_in_job": 5,
"state": {
"life_cycle_state": "RUNNING",
"state_message": "Performing action"
},
"task": {
"notebook_task": {
"notebook_path": "/Users/someone@example.com/my-notebook"
}
},
"cluster_spec": {
"existing_cluster_id": "1201-my-cluster"
},
"cluster_instance": {
"cluster_id": "1201-my-cluster",
"spark_context_id": "1102398-spark-context-id"
},
"overriding_parameters": {
"jar_params": ["param1", "param2"]
},
"start_time": 1457570074236,
"end_time": 1457570075149,
"setup_duration": 259754,
"execution_duration": 3589020,
"cleanup_duration": 31038,
"run_duration": 3879812,
"trigger": "PERIODIC"
}
İstek yapısı
Alan Adı | Type | Açıklama |
---|---|---|
run_id |
INT64 |
Meta verilerin alınabileceği çalıştırmanın kurallı tanımlayıcısı. Bu alan gereklidir. |
Yanıt yapısı
Alan Adı | Type | Açıklama |
---|---|---|
job_id |
INT64 |
Bu çalıştırmayı içeren işin kurallı tanımlayıcısı. |
run_id |
INT64 |
Çalıştırmanın kurallı tanımlayıcısı. Bu kimlik, tüm işlerin tüm çalıştırmaları arasında benzersizdir. |
number_in_job |
INT64 |
İşin tüm çalıştırmaları arasında bu çalıştırmanın sıra numarası. Bu değer 1'de başlar. |
original_attempt_run_id |
INT64 |
Bu çalıştırma önceki bir çalıştırma denemesinin yeniden denemesiyse, bu alan özgün denemenin run_id içerir; aksi takdirde, run_id aynıdır. |
state |
RunState | Çalıştırmanın sonuç ve yaşam döngüsü durumları. |
schedule |
CronSchedule | Düzenli zamanlayıcı tarafından tetiklendiyse bu çalıştırmayı tetikleyen cron zamanlaması. |
task |
jobtask | Varsa, çalıştırma tarafından gerçekleştirilen görev. |
cluster_spec |
ClusterSpec | Bu çalıştırma oluşturulduğunda işin küme belirtiminin anlık görüntüsü. |
cluster_instance |
ClusterInstance | Bu çalıştırma için kullanılan küme. Çalıştırma yeni bir küme kullanacak şekilde belirtilirse, İşler hizmeti çalıştırma için bir küme istedikten sonra bu alan ayarlanır. |
overriding_parameters |
RunParameters | Bu çalıştırma için kullanılan parametreler. |
start_time |
INT64 |
Bu çalıştırmanın dönem milisaniye cinsinden başlatıldığı saat (1/1/1970 UTC'den bu yana milisaniye). Bu, iş görevinin yürütülmeye başladığı zaman olmayabilir; örneğin, iş yeni bir kümede çalışacak şekilde zamanlanmışsa, küme oluşturma çağrısının düzenlenme zamanıdır. |
end_time |
INT64 |
Bu çalıştırmanın dönem milisaniye (1/1/1970 UTC'den bu yana milisaniye) sona erdiği saat. İş çalışmaya devam ediyorsa bu alan 0 olarak ayarlanır. |
setup_duration |
INT64 |
Kümeyi ayarlamak için geçen milisaniye cinsinden süre. Yeni kümelerde çalışan çalıştırmalar için bu, küme oluşturma zamanıdır, mevcut kümelerde bu kez çalıştırılacak çalıştırmalar için çok kısa olmalıdır. Çalıştırmanın toplam süresi, öğesinin setup_duration toplamıdır.execution_duration ve .cleanup_duration Çok setup_duration görevli iş çalıştırmaları için alan 0 olarak ayarlanır. Birden çok görevli bir iş çalıştırmasının toplam süresi,run_duration alan. |
execution_duration |
INT64 |
Tamamlanana, başarısız olana, zaman aşımına uğradıklarında, iptal edilene veya beklenmeyen bir hatayla karşılaşana kadar JAR veya not defterindeki komutları yürütmek için geçen milisaniye cinsinden süre. Çalıştırmanın setup_duration toplam süresi , execution_duration vecleanup_duration . Çok execution_duration görevli iş çalıştırmaları için alan 0 olarak ayarlanır. Birden çok görevli bir iş çalıştırmasının toplam süresi alanın değeridir run_duration . |
cleanup_duration |
INT64 |
Kümeyi sonlandırmak ve ilişkili yapıtları temizlemek için geçen milisaniye cinsinden süre. Çalıştırmanın toplam süresi , execution_duration ve toplam süresidir.setup_duration cleanup_duration Çok cleanup_duration görevli iş çalıştırmaları için alan 0 olarak ayarlanır. Birden çok görevli bir iş çalıştırmasının toplam süresi alanın değeridir run_duration . |
run_duration |
INT64 |
milisaniye cinsinden işin çalıştırılmasını ve tüm onarımlarının bitimini aldı. Bu alan yalnızca çok görevli iş çalıştırmaları için ayarlanır, görev çalıştırmaları için ayarlanmaz. Görev çalıştırmasının süresi,setup_duration , execution_duration ve .cleanup_duration |
trigger |
TriggerType | Bu çalıştırmayı tetikleyen tetikleyici türü. |
creator_user_name |
STRING |
Oluşturucu kullanıcı adı. Kullanıcı silinmişse bu alan yanıta dahil edilmeyecektir |
run_page_url |
STRING |
Çalıştırmanın ayrıntı sayfasının URL'si. |
Dışarı aktarmayı çalıştırır
Uç nokta | HTTP Yöntemi |
---|---|
2.0/jobs/runs/export |
GET |
İş çalıştırma görevini dışarı aktarın ve alın.
Not
Yalnızca not defteri çalıştırmaları HTML biçiminde dışarı aktarılabilir. Diğer türlerdeki çalıştırmalar dışarı aktarılamaz.
Örnek
İste
curl --netrc --request GET \
'https://<databricks-instance>/api/2.0/jobs/runs/export?run_id=<run-id>' \
| jq .
Veya:
curl --netrc --get \
https://<databricks-instance>/api/2.0/jobs/runs/export \
--data run_id=<run-id> \
| jq .
Değiştirme:
<databricks-instance>
örneğin,adb-1234567890123456.7.azuredatabricks.net
Azure Databricks çalışma alanı örneği adıyla.<run-id>
çalıştırma kimliğiyle, örneğin123
.
Bu örnekte bir .netrc dosyası ve jq kullanılır.
Response
{
"views": [ {
"content": "<!DOCTYPE html><html><head>Head</head><body>Body</body></html>",
"name": "my-notebook",
"type": "NOTEBOOK"
} ]
}
JSON yanıtından HTML not defterini ayıklamak için bu Python betiğini indirip çalıştırın.
Not
Nesnedeki __DATABRICKS_NOTEBOOK_MODEL
not defteri gövdesi kodlanmış.
İstek yapısı
Alan Adı | Type | Açıklama |
---|---|---|
run_id |
INT64 |
Çalıştırmanın kurallı tanımlayıcısı. Bu alan gereklidir. |
views_to_export |
ViewsToExport | Dışarı aktarılan görünümler (KOD, PANOLAR veya TÜMÜ). Varsayılan olarak CODE'a sahiptir. |
Yanıt yapısı
Alan Adı | Type | Açıklama |
---|---|---|
views |
ViewItem dizisi | Dışarı aktarılan içerik HTML biçimindedir (her görünüm öğesi için bir tane). |
İptal çalıştırmaları
Uç nokta | HTTP Yöntemi |
---|---|
2.0/jobs/runs/cancel |
POST |
bir iş çalıştırmayı iptal etme. Çalıştırma zaman uyumsuz olarak iptal edildiğinden, bu istek tamamlandığında çalıştırma hala çalışıyor olabilir. Çalıştırma kısa süre sonra sonlandırılacaktır. Çalıştırma zaten bir terminaldeyse life_cycle_state
, bu yöntem işlem yapılmaz.
Bu uç nokta, parametrenin run_id
geçerli olduğunu doğrular ve geçersiz parametreler için HTTP durum kodu 400 döndürür.
Örnek
curl --netrc --request POST \
https://<databricks-instance>/api/2.0/jobs/runs/cancel \
--data '{ "run_id": <run-id> }'
Değiştirme:
<databricks-instance>
örneğin,adb-1234567890123456.7.azuredatabricks.net
Azure Databricks çalışma alanı örneği adıyla.<run-id>
çalıştırma kimliğiyle, örneğin123
.
Bu örnekte bir .netrc dosyası kullanılır.
İstek yapısı
Alan Adı | Type | Açıklama |
---|---|---|
run_id |
INT64 |
İptal edilen çalıştırmanın kurallı tanımlayıcısı. Bu alan gereklidir. |
Çalıştırmalar tümünü iptal eder
Uç nokta | HTTP Yöntemi |
---|---|
2.0/jobs/runs/cancel-all |
POST |
İşin tüm etkin çalıştırmalarını iptal etme. Çalıştırma zaman uyumsuz olarak iptal edildiğinden, yeni çalıştırmaların başlatılmasını engellemez.
Bu uç nokta, parametrenin job_id
geçerli olduğunu doğrular ve geçersiz parametreler için HTTP durum kodu 400 döndürür.
Örnek
curl --netrc --request POST \
https://<databricks-instance>/api/2.0/jobs/runs/cancel-all \
--data '{ "job_id": <job-id> }'
Değiştirme:
<databricks-instance>
örneğin,adb-1234567890123456.7.azuredatabricks.net
Azure Databricks çalışma alanı örneği adıyla.<job-id>
örneğin,123
işin kimliğiyle.
Bu örnekte bir .netrc dosyası kullanılır.
İstek yapısı
Alan Adı | Type | Açıklama |
---|---|---|
job_id |
INT64 |
Tüm çalıştırmalarını iptal etmek için işin kurallı tanımlayıcısı. Bu alan gereklidir. |
Çalıştırmalar çıktıyı alır
Uç nokta | HTTP Yöntemi |
---|---|
2.0/jobs/runs/get-output |
GET |
Tek bir görev çalıştırmasının çıktısını ve meta verilerini alın. Bir not defteri görevi dbutils.notebook.exit() çağrısı aracılığıyla bir değer döndürdüğünde, bu değeri almak için bu uç noktayı kullanabilirsiniz. Azure Databricks bu API'yi çıkışın ilk 5 MB'ını döndürecek şekilde kısıtlar. Daha büyük bir sonuç döndürmek için iş sonuçlarını bir bulut depolama hizmetinde depolayabilirsiniz.
Bu uç nokta, parametrenin run_id
geçerli olduğunu doğrular ve geçersiz parametreler için HTTP durum kodu 400 döndürür.
Çalıştırmalar 60 gün sonra otomatik olarak kaldırılır. Bunlara 60 günden fazla başvurmak istiyorsanız, süresi dolmadan önce eski çalıştırma sonuçlarını kaydetmeniz gerekir. Kullanıcı arabirimini kullanarak dışarı aktarmak için bkz . İş çalıştırma sonuçlarını dışarı aktarma. İşler API'sini kullanarak dışarı aktarmak için bkz . Dışarı aktarmayı çalıştırma.
Örnek
İste
curl --netrc --request GET \
'https://<databricks-instance>/api/2.0/jobs/runs/get-output?run_id=<run-id>' \
| jq .
Veya:
curl --netrc --get \
https://<databricks-instance>/api/2.0/jobs/runs/get-output \
--data run_id=<run-id> \
| jq .
Değiştirme:
<databricks-instance>
örneğin,adb-1234567890123456.7.azuredatabricks.net
Azure Databricks çalışma alanı örneği adıyla.<run-id>
çalıştırma kimliğiyle, örneğin123
.
Bu örnekte bir .netrc dosyası ve jq kullanılır.
Response
{
"metadata": {
"job_id": 1,
"run_id": 452,
"number_in_job": 5,
"state": {
"life_cycle_state": "TERMINATED",
"result_state": "SUCCESS",
"state_message": ""
},
"task": {
"notebook_task": {
"notebook_path": "/Users/someone@example.com/my-notebook"
}
},
"cluster_spec": {
"existing_cluster_id": "1201-my-cluster"
},
"cluster_instance": {
"cluster_id": "1201-my-cluster",
"spark_context_id": "1102398-spark-context-id"
},
"overriding_parameters": {
"jar_params": ["param1", "param2"]
},
"start_time": 1457570074236,
"setup_duration": 259754,
"execution_duration": 3589020,
"cleanup_duration": 31038,
"run_duration": 3879812,
"trigger": "PERIODIC"
},
"notebook_output": {
"result": "the maybe truncated string passed to dbutils.notebook.exit()"
}
}
İstek yapısı
Alan Adı | Type | Açıklama |
---|---|---|
run_id |
INT64 |
Çalıştırmanın kurallı tanımlayıcısı. Mulitple görevleri olan bir iş için bu, bir görev çalıştırmasının görevidir run_id . Bkz . Çalıştırmalar çıktıyı alır. Bu alan gereklidir. |
Yanıt yapısı
Alan Adı | Type | Açıklama |
---|---|---|
notebook_output VEYA error |
NotebookOutput OR STRING |
notebook_output, varsa not defteri görevinin çıktısı. Çağırmadan sonlandıran (başarıyla veya hatayla) bir not defteri görevidbutils.notebook.exit() boş bir çıkışa sahip olduğu kabul edilir. Bu alan ayarlanır, ancak sonuç değeri boş olur.Hata oluşursa, çıkışın neden kullanılamadığını belirten bir hata iletisi. İleti yapılandırılmamış ve tam biçimi değiştirilebilir. |
metadata |
Çalıştır | Çıktısı dışında çalıştırmanın tüm ayrıntıları. |
Silmeyi çalıştırır
Uç nokta | HTTP Yöntemi |
---|---|
2.0/jobs/runs/delete |
POST |
Etkin olmayan bir çalıştırmayı silin. Çalıştırma etkinse bir hata döndürür.
Örnek
curl --netrc --request POST \
https://<databricks-instance>/api/2.0/jobs/runs/delete \
--data '{ "run_id": <run-id> }'
Değiştirme:
<databricks-instance>
örneğin,adb-1234567890123456.7.azuredatabricks.net
Azure Databricks çalışma alanı örneği adıyla.<run-id>
çalıştırma kimliğiyle, örneğin123
.
Bu örnekte bir .netrc dosyası kullanılır.
İstek yapısı
Alan Adı | Type | Açıklama |
---|---|---|
run_id |
INT64 |
Meta verilerin alınabileceği çalıştırmanın kurallı tanımlayıcısı. |
Veri yapıları
Bu bölümde:
- ABFSSStorageInfo
- Otomatik Ölçeklendirme
- AzureAttributes
- AzureAvailability
- ClusterInstance
- ClusterLogConf
- ClusterSpec
- ClusterTag
- CronSchedule
- DbfsStorageInfo
- FileStorageInfo
- InitScriptInfo
- İş
- JobEmailNotifications
- JobNotificationSettings
- İşAyarları
- jobtask
- İşlerHealthRule
- İşlerHealthRules
- Kütüphane
- MavenLibrary
- NewCluster
- NotebookOutput
- NotebookTask
- ParamPair
- PipelineTask
- PythonPyPiLibrary
- RCranLibrary
- Çalıştır
- RunJobTask
- RunLifeCycleState
- RunParameters
- RunResultState
- RunState
- SparkConfPair
- SparkEnvPair
- SparkJarTask
- SparkPythonTask
- SparkSubmitTask
- TriggerType
- ViewItem
- ViewType
- ViewsToExport
- Web Kancası
- Web KancasıNotifications
- WorkspaceStorageInfo
ABFSSStorageInfo
Azure Data Lake Storage (ADLS) depolama bilgileri.
Alan Adı | Type | Açıklama |
---|---|---|
destination |
STRING |
Dosya hedefi. Örnek: abfss://... |
Otomatik Ölçeklendirme
Küme çalışanlarının en az ve en fazla sayısını tanımlayan aralık.
Alan Adı | Type | Açıklama |
---|---|---|
min_workers |
INT32 |
Az kullanıldığında kümenin ölçeğini azaltabileceği en az çalışan sayısı. Ayrıca, kümenin oluşturulduktan sonra sahip olacağı ilk çalışan sayısıdır. |
max_workers |
INT32 |
Aşırı yüklendiğinde kümenin ölçeğini artırabileceği en fazla çalışan sayısı. max_workers kesinlikle min_workers büyük olmalıdır. |
AzureAttributes
Azure ile ilgili küme oluşturma sırasında ayarlanan öznitelikler.
Alan Adı | Type | Açıklama |
---|---|---|
first_on_demand |
INT32 |
Kümenin ilk first_on_demand düğümleri isteğe bağlı örneklere yerleştirilir. Bu değer 0'dan büyük olmalıdır, aksi halde küme oluşturma doğrulaması başarısız olur. Bu değer geçerli küme boyutundan büyük veya buna eşitse, tüm düğümler isteğe bağlı örneklere yerleştirilir. Bu değer geçerli küme boyutundan küçükse düğümler first_on_demand isteğe bağlı örneklere, kalanlar ise kullanılabilirlik örneklerine yerleştirilir. Bu değer küme boyutunu etkilemez ve kümenin ömrü boyunca kapatılamaz. |
availability |
AzureAvailability | Kullanılabilirlik türü, sonraki düğümlerden sonra first_on_demand gelen tüm düğümler için kullanılır. |
spot_bid_max_price |
DOUBLE |
Azure spot örnekleri için kullanılan maksimum teklif fiyatı. Bunu geçerli spot fiyattan büyük veya buna eşit olarak ayarlayabilirsiniz. Ayrıca, örneğin fiyat temelinde çıkarılamayacağını belirten -1 (varsayılan) olarak da ayarlayabilirsiniz. Örneğin fiyatı, spot örneklerin geçerli fiyatı veya standart bir örneğin fiyatı olacaktır. Azure portalında geçmiş fiyatlandırma ve çıkarma oranlarını görüntüleyebilirsiniz. |
AzureAvailability
Azure örneği kullanılabilirlik türü davranışı.
Type | Açıklama |
---|---|
SPOT_AZURE |
Spot örnekleri kullanın. |
ON_DEMAND_AZURE |
İsteğe bağlı örnekleri kullanın. |
SPOT_WITH_FALLBACK_AZURE |
Tercihen spot örnekleri kullanın, ancak spot örnekler alınamazsa (örneğin, Azure spot fiyatları çok yüksekse veya kota dışındaysa) isteğe bağlı örneklere geri dönün. Havuz kullanılabilirliği için geçerli değildir. |
ClusterInstance
Bir çalıştırma tarafından kullanılan küme ve Spark bağlamı için tanımlayıcılar. Bu iki değer birlikte tüm zaman boyunca bir yürütme bağlamı tanımlar.
Alan Adı | Type | Açıklama |
---|---|---|
cluster_id |
STRING |
Çalıştırma tarafından kullanılan kümenin kurallı tanımlayıcısı. Bu alan, mevcut kümelerdeki çalıştırmalar için her zaman kullanılabilir. Yeni kümelerdeki çalıştırmalar için, küme oluşturulduktan sonra kullanılabilir duruma gelir. Bu değer, adresine göz atarak günlükleri görüntülemek için /#setting/sparkui/$cluster_id/driver-logs kullanılabilir. Çalıştırma tamamlandıktan sonra günlükler kullanılabilir olmaya devam eder.Tanımlayıcı henüz kullanılamıyorsa yanıt bu alanı içermez. |
spark_context_id |
STRING |
Çalıştırma tarafından kullanılan Spark bağlamı için kurallı tanımlayıcı. Çalıştırma yürütmeye başladıktan sonra bu alan doldurulur. Bu değer, adresine göz atarak Spark kullanıcı arabirimini görüntülemek için /#setting/sparkui/$cluster_id/$spark_context_id kullanılabilir. Spark kullanıcı arabirimi, çalıştırma tamamlandıktan sonra kullanılabilir olmaya devam edecektir.Tanımlayıcı henüz kullanılamıyorsa yanıt bu alanı içermez. |
ClusterLogConf
Küme günlüğünün yolu.
Alan Adı | Type | Açıklama |
---|---|---|
dbfs |
DbfsStorageInfo | Küme günlüğünün DBFS konumu. Hedef sağlanmalıdır. Örneğin,{ "dbfs" : { "destination" : "dbfs:/home/cluster_log" } } |
ClusterSpec
Önemli
- Yeni bir iş kümesinde bir iş çalıştırdığınızda, iş İşler İşlem fiyatlandırmasına tabi İşler İşlem (otomatik) iş yükü olarak değerlendirilir.
- Var olan bir çok amaçlı kümede bir iş çalıştırdığınızda, bu iş, Tüm Amaçlı İşlem fiyatlandırmasına tabi olan Bir Çok Amaçlı İşlem (etkileşimli) iş yükü olarak değerlendirilir.
Alan Adı | Type | Açıklama |
---|---|---|
existing_cluster_id VEYA new_cluster |
STRING OR NewCluster |
existing_cluster_id, bu işin tüm çalıştırmaları için kullanılacak mevcut kümenin kimliği. Mevcut bir kümede işleri çalıştırırken yanıt vermeyi durdurursa kümeyi el ile yeniden başlatmanız gerekebilir. Daha fazla güvenilirlik için yeni kümelerde iş çalıştırmanızı öneririz. new_cluster, her çalıştırma için oluşturulacak bir kümenin açıklaması. PipelineTask belirtilmesi durumunda bu alan boş olabilir. |
libraries |
Kitaplık dizisi | İşi yürütecek kümeye yüklenecek kitaplıkların isteğe bağlı listesi. Varsayılan değer boş bir listedir. |
ClusterTag
Küme etiketi tanımı.
Type | Açıklama |
---|---|
STRING |
Etiketin anahtarı. Anahtar: - 1 ile 512 karakter uzunluğunda olmalıdır - Karakterlerden hiçbirini içermez <>%*&+?\\/ - , microsoft veya ile azure başlamawindows |
STRING |
Etiketin değeri. Değer uzunluğu 256 UTF-8 karakterden küçük veya buna eşit olmalıdır. |
CronSchedule
Alan Adı | Type | Açıklama |
---|---|---|
quartz_cron_expression |
STRING |
Bir işin zamanlamasını açıklayan Quartz söz dizimini kullanan cron ifadesi. Ayrıntılar için bkz . Cron Tetikleyicisi . Bu alan gereklidir. |
timezone_id |
STRING |
Java saat dilimi kimliği. Bir işin zamanlaması bu saat dilimine göre çözümlenecektir. Ayrıntılar için bkz . Java TimeZone . Bu alan gereklidir. |
pause_status |
STRING |
Bu zamanlamanın duraklatılıp duraklatılmadığını belirtin. "DURAKLATILDI" veya "KULLANILAMADI". |
DbfsStorageInfo
DBFS depolama bilgileri.
Alan Adı | Type | Açıklama |
---|---|---|
destination |
STRING |
DBFS hedefi. Örnek: dbfs:/my/path |
FileStorageInfo
Dosya depolama bilgileri.
Not
Bu konum türü yalnızca Databricks Container Services kullanılarak ayarlanan kümeler için kullanılabilir.
Alan Adı | Type | Açıklama |
---|---|---|
destination |
STRING |
Dosya hedefi. Örnek: file:/my/file.sh |
InitScriptInfo
Bir başlatma betiğinin yolu.
Databricks Container Services ile init betiklerini kullanma yönergeleri için bkz. Init betiği kullanma.
Not
Dosya depolama türü (alan adı: file
) yalnızca Databricks Container Services kullanılarak ayarlanan kümeler için kullanılabilir. Bkz. FileStorageInfo.
Alan Adı | Type | Açıklama |
---|---|---|
workspace VEYAdbfs (kullanım dışı)VEYA abfss |
WorkspaceStorageInfo DbfsStorageInfo (kullanım dışı) ABFSSStorageInfo |
init betiğinin çalışma alanı konumu. Hedef sağlanmalıdır. Örneğin,{ "workspace" : { "destination" : "/Users/someone@domain.com/init_script.sh" } } (Kullanım dışı) Init betiğinin DBFS konumu. Hedef sağlanmalıdır. Örneğin, { "dbfs" : { "destination" : "dbfs:/home/init_script" } } Init betiğinin Azure Data Lake Storage (ADLS) konumu. Hedef sağlanmalıdır. Örneğin { "abfss": { "destination" : "abfss://..." } } |
İş
Alan Adı | Type | Açıklama |
---|---|---|
job_id |
INT64 |
Bu işin kurallı tanımlayıcısı. |
creator_user_name |
STRING |
Oluşturucu kullanıcı adı. Kullanıcı zaten silinmişse bu alan yanıta dahil edilmeyecektir. |
run_as |
STRING |
İşin çalıştırılacağı kullanıcı adı. run_as geçerli iş ayarlarını temel alır ve iş erişim denetimi devre dışı bırakılırsa işin oluşturucusu veya is_owner iş erişim denetimi etkinse izin olarak ayarlanır. |
settings |
İşAyarları | Bu işin ayarları ve tüm çalıştırmaları. Bu ayarlar yöntemi kullanılarak resetJob güncelleştirilebilir. |
created_time |
INT64 |
Bu işin dönem milisaniye cinsinden oluşturulduğu saat (1/1/1970 UTC'den bu yana milisaniye). |
JobEmailNotifications
Önemli
on_start, on_success ve on_failure alanları yalnızca Latin karakterleri (ASCII karakter kümesi) kabul edecektir. ASCII olmayan karakterler kullanıldığında hata döndürülecektir. Geçersiz, ASCII olmayan karakterlere örnek olarak Çince, Japonca kanjiler ve emojiler verilebilir.
Alan Adı | Type | Açıklama |
---|---|---|
on_start |
Bir dizi STRING |
Çalıştırma başladığında bildirilecek e-posta adreslerinin listesi. İş oluşturma, sıfırlama veya güncelleştirme sırasında belirtilmezse liste boş olur ve bildirimler gönderilmez. |
on_success |
Bir dizi STRING |
Bir çalıştırma başarıyla tamamlandığında bildirilecek e-posta adreslerinin listesi. Ve ile TERMINATED life_cycle_state SUCCESSFUL result_state biterse çalıştırmanın başarıyla tamamlandığı kabul edilir. İş oluşturma, sıfırlama veya güncelleştirme sırasında belirtilmezse liste boş olur ve bildirimler gönderilmez. |
on_failure |
Bir dizi STRING |
Bir çalıştırma başarısız olduğunda bildirilecek e-posta adreslerinin listesi. Bir çalıştırma, bir ile biterse başarısız bir şekilde tamamlanmış olarak kabul edilir INTERNAL_ERROR life_cycle_state veya bir SKIPPED , FAILED veya TIMED_OUT result_state. İş oluşturma, sıfırlama veya güncelleştirme sırasında bu belirtilmezse liste boş olur ve bildirimler gönderilmez. |
on_duration_warning_threshold_exceeded |
Bir dizi STRING |
Bir çalıştırmanın süresi alandaki ölçüm için belirtilen eşiği aştığında bildirilecek e-posta adreslerinin RUN_DURATION_SECONDS health listesi. İşin alanında ölçüm için RUN_DURATION_SECONDS hiçbir kural belirtilmezse health bildirimler gönderilmez. |
no_alert_for_skipped_runs |
BOOL |
True ise, çalıştırma atlanırsa içinde on_failure belirtilen alıcılara e-posta göndermeyin. |
Alan Adı | Type | Açıklama |
---|---|---|
on_start |
Web Kancası dizisi | Çalıştırma başladığında bildirilecek sistem hedeflerinin isteğe bağlı listesi. İş oluşturma, sıfırlama veya güncelleştirme sırasında belirtilmezse liste boş olur ve bildirimler gönderilmez. Özellik için on_start en fazla 3 hedef belirtilebilir. |
on_success |
Web Kancası dizisi | Bir çalıştırma başarıyla tamamlandığında bildirilecek isteğe bağlı sistem hedeflerinin listesi. Ve ile TERMINATED life_cycle_state SUCCESSFUL result_state biterse çalıştırmanın başarıyla tamamlandığı kabul edilir. İş oluşturma, sıfırlama veya güncelleştirme sırasında belirtilmezse liste boş olur ve bildirimler gönderilmez. Özellik için on_success en fazla 3 hedef belirtilebilir. |
on_failure |
Web Kancası dizisi | Bir çalıştırma başarısız olduğunda bildirilecek isteğe bağlı sistem hedeflerinin listesi. Bir çalıştırma, bir ile biterse başarısız bir şekilde tamamlanmış olarak kabul edilir INTERNAL_ERROR life_cycle_state veya bir SKIPPED , FAILED veya TIMED_OUT result_state. İş oluşturma, sıfırlama veya güncelleştirme sırasında bu belirtilmezse liste boş olur ve bildirimler gönderilmez. Özellik için on_failure en fazla 3 hedef belirtilebilir. |
on_duration_warning_threshold_exceeded |
Web Kancası dizisi | Bir çalıştırmanın süresi alandaki ölçüm health için RUN_DURATION_SECONDS belirtilen eşiği aştığında bildirilecek isteğe bağlı bir sistem hedefleri listesi. Özellik için on_duration_warning_threshold_exceeded en fazla 3 hedef belirtilebilir. |
JobNotificationSettings
Alan Adı | Type | Açıklama |
---|---|---|
no_alert_for_skipped_runs |
BOOL |
True ise, çalıştırma atlanırsa içinde on_failure belirtilen alıcılara bildirim göndermeyin. |
no_alert_for_canceled_runs |
BOOL |
True ise, çalıştırma iptal edilirse içinde on_failure belirtilen alıcılara bildirim göndermeyin. |
alert_on_last_attempt |
BOOL |
True ise, yeniden denenen çalıştırmalar için içinde on_start belirtilen alıcılara bildirim göndermeyin ve çalıştırmanın son yeniden denemesine kadar içinde on_failure belirtilen alıcılara bildirim göndermeyin. |
İşAyarları
Önemli
- Yeni bir iş kümesinde bir iş çalıştırdığınızda, iş İşler İşlem fiyatlandırmasına tabi İşler İşlem (otomatik) iş yükü olarak değerlendirilir.
- Var olan bir çok amaçlı kümede bir iş çalıştırdığınızda, bu iş, Tüm Amaçlı İşlem fiyatlandırmasına tabi olan Bir Çok Amaçlı İşlem (etkileşimli) iş yükü olarak değerlendirilir.
bir işin ayarları. Bu ayarlar yöntemi kullanılarak resetJob
güncelleştirilebilir.
Alan Adı | Type | Açıklama |
---|---|---|
existing_cluster_id VEYA new_cluster |
STRING OR NewCluster |
existing_cluster_id, bu işin tüm çalıştırmaları için kullanılacak mevcut kümenin kimliği. Mevcut bir kümede işleri çalıştırırken yanıt vermeyi durdurursa kümeyi el ile yeniden başlatmanız gerekebilir. Daha fazla güvenilirlik için yeni kümelerde iş çalıştırmanızı öneririz. new_cluster, her çalıştırma için oluşturulacak bir kümenin açıklaması. PipelineTask belirtilmesi durumunda bu alan boş olabilir. |
notebook_task VEYA VEYA spark_jar_task spark_python_task VEYA VEYA spark_submit_task pipeline_task VEYA run_job_task |
NotebookTask VEYA SparkJarTask VEYA SparkPythonTask VEYA SparkSubmitTask VEYA PipelineTask VEYA RunJobTask | notebook_task, bu işin bir not defteri çalıştırması gerektiğini gösterir. Bu alan spark_jar_task ile birlikte belirtilmeyebilir. spark_jar_task, bu işin bir JAR çalıştırması gerektiğini gösterir. spark_python_task, bu işin bir Python dosyası çalıştırması gerektiğini gösterir. spark_submit_task, bu işin Spark gönderme betiği tarafından başlatılması gerektiğini gösterir. pipeline_task, bu işin bir Delta Live Tables işlem hattı çalıştırması gerektiğini gösterir. run_job_task, bu işin başka bir iş çalıştırması gerektiğini gösterir. |
name |
STRING |
İş için isteğe bağlı bir ad. Varsayılan değer şudur: Untitled . |
libraries |
Kitaplık dizisi | İşi yürütecek kümeye yüklenecek kitaplıkların isteğe bağlı listesi. Varsayılan değer boş bir listedir. |
email_notifications |
JobEmailNotifications | Bu işin çalıştırmaları başladığında veya tamamlandığında ve bu iş silindiğinde bildirim alacak isteğe bağlı bir e-posta adresleri kümesi. Varsayılan davranış, herhangi bir e-posta göndermemektir. |
webhook_notifications |
Web KancasıNotifications | Bu işin çalıştırmaları başladığında, tamamlandığında veya başarısız olduğunda bildirim almak için isteğe bağlı bir sistem hedefleri kümesi. |
notification_settings |
JobNotificationSettings | Bu iş için ve'nin webhook_notifications her birine email_notifications bildirim gönderirken kullanılan isteğe bağlı bildirim ayarları. |
timeout_seconds |
INT32 |
Bu işin her çalıştırmasına isteğe bağlı bir zaman aşımı uygulanır. Varsayılan davranış, zaman aşımı olmamasıdır. |
max_retries |
INT32 |
Başarısız bir çalıştırmayı yeniden denemenin isteğe bağlı en fazla sayısı. Bir çalıştırmanın result_state veya FAILED INTERNAL_ERROR life_cycle_state . -1 değeri süresiz olarak yeniden deneme, 0 değeri ise hiçbir zaman yeniden deneme anlamına gelir. Varsayılan davranış, hiçbir zaman yeniden denememektir. |
min_retry_interval_millis |
INT32 |
Girişimler arasında milisaniye cinsinden isteğe bağlı en düşük aralık. Varsayılan davranış başarısız çalıştırmaların hemen yeniden denenmiş olmasıdır. |
retry_on_timeout |
BOOL |
Bir işin zaman aşımına uğradıklarında yeniden denenip denenmeyeceğini belirtmek için isteğe bağlı bir ilke. Varsayılan davranış, zaman aşımında yeniden denememektir. |
schedule |
CronSchedule | Bu iş için isteğe bağlı bir düzenli zamanlama. Varsayılan davranış, işin yalnızca İşler kullanıcı arabiriminde "Şimdi Çalıştır" seçeneğine tıklayarak veya bir API isteği göndererek tetiklendiğinde çalışmasıdırrunNow . |
max_concurrent_runs |
INT32 |
İşin isteğe bağlı izin verilen en fazla eşzamanlı çalıştırma sayısı. Aynı işin birden çok çalıştırmasını eşzamanlı olarak yürütebilmek istiyorsanız bu değeri ayarlayın. Bu, örneğin işinizi sık sık tetikleyip ardışık çalıştırmaların birbiriyle çakışmasına izin vermek veya giriş parametrelerine göre farklı birden çok çalıştırma tetiklemeniz durumunda yararlı olur. Bu ayar yalnızca yeni çalıştırmaları etkiler. Örneğin, işin eşzamanlılığının 4 olduğunu ve 4 eşzamanlı etkin çalıştırma olduğunu varsayalım. Ardından eşzamanlılık 3 olarak ayarlıysa etkin çalıştırmaların hiçbiri sonlandırılamaz. Ancak, bundan sonra, 3'ten az etkin çalıştırma olmadığı sürece yeni çalıştırmalar atlanır. Bu değer 1000'i aşamaz. Bu değerin 0 olarak ayarlanması tüm yeni çalıştırmaların atlanmasına neden olur. Varsayılan davranış, yalnızca 1 eşzamanlı çalıştırmaya izin vermektir. |
health |
İşlerHealthRules | İş için tanımlanan isteğe bağlı bir sistem durumu kuralları kümesi. |
jobtask
Alan Adı | Type | Açıklama |
---|---|---|
notebook_task VEYA VEYA spark_jar_task spark_python_task VEYA VEYA spark_submit_task pipeline_task VEYA run_job_task |
NotebookTask VEYA SparkJarTask VEYA SparkPythonTask VEYA SparkSubmitTask VEYA PipelineTask VEYA RunJobTask | notebook_task, bu işin bir not defteri çalıştırması gerektiğini gösterir. Bu alan spark_jar_task ile birlikte belirtilmeyebilir. spark_jar_task, bu işin bir JAR çalıştırması gerektiğini gösterir. spark_python_task, bu işin bir Python dosyası çalıştırması gerektiğini gösterir. spark_submit_task, bu işin Spark gönderme betiği tarafından başlatılması gerektiğini gösterir. pipeline_task, bu işin bir Delta Live Tables işlem hattı çalıştırması gerektiğini gösterir. run_job_task, bu işin başka bir iş çalıştırması gerektiğini gösterir. |
İşlerHealthRule
Alan Adı | Type | Açıklama |
---|---|---|
metric |
STRING |
Belirli bir sistem durumu kuralı için değerlendirilen sistem durumu ölçümünü belirtir. Geçerli değerler şunlardır: RUN_DURATION_SECONDS . |
operator |
STRING |
Sistem durumu ölçüm değerini belirtilen eşikle karşılaştırmak için kullanılan işleci belirtir. Geçerli değerler şunlardır: GREATER_THAN . |
value |
INT32 |
Sistem durumu kuralına uymak için sistem durumu ölçümünü karşılaması gereken eşik değerini belirtir. |
İşlerHealthRules
Alan Adı | Type | Açıklama |
---|---|---|
rules |
JobsHealthRule dizisi | bir iş için tanımlanabilen isteğe bağlı bir sistem durumu kuralları kümesi. |
Kütüphane
Alan Adı | Type | Açıklama |
---|---|---|
jar VEYA egg VEYA whl pypi VEYA VEYA maven cran |
STRING VEYA STRING VEYA STRING PYTHONPyPiLibrary VEYA MavenLibrary VEYA RCranLibrary |
Jar ise, JAR'ın URI'sinin yüklenmesi gerekir. DBFS ve ADLS (abfss ) URI'leri desteklenir. Örneğin: { "jar": "dbfs:/mnt/databricks/library.jar" } veya{ "jar": "abfss://<container-path>/library.jar" } . ADLS kullanılıyorsa, kümenin kitaplıkta okuma erişimi olduğundan emin olun.Yumurta ise, yüklenecek yumurtanın URI'sini. DBFS ve ADLS URL'leri desteklenir. Örneğin: { "egg": "dbfs:/my/egg" } veya{ "egg": "abfss://<container-path>/egg" } .Whl ise, yüklenecek veya sıkıştırılmış wheels URI'sini wheel seçin. DBFS ve ADLS URL'leri desteklenir. Örneğin: { "whl": "dbfs:/my/whl" } veya{ "whl": "abfss://<container-path>/whl" } . ADLS kullanılıyorsa, kümenin kitaplıkta okuma erişimi olduğundan emin olun. wheel Ayrıca dosya adının doğru kuralı kullanması gerekir. Sıkıştırılmış wheels yükleme yapılacaksa, dosya adı soneki olmalıdır .wheelhouse.zip .Pypi ise, yüklenecek bir PyPI kitaplığının belirtimi. Alanı belirtmek repo isteğe bağlıdır ve belirtilmezse varsayılan pip dizini kullanılır. Örneğin:{ "package": "simplejson", "repo": "https://my-repo.com" } Maven ise, yüklenecek bir Maven kitaplığının belirtimi. Örneğin: { "coordinates": "org.jsoup:jsoup:1.7.2" } Cran ise, yüklenecek CRAN kitaplığının belirtimi. |
MavenLibrary
Alan Adı | Type | Açıklama |
---|---|---|
coordinates |
STRING |
Gradle stili Maven koordinatları. Örneğin: org.jsoup:jsoup:1.7.2 . Bu alan gereklidir. |
repo |
STRING |
Maven paketinin yükleneceği Maven deposu. Atlanırsa, hem Maven Merkezi Deposu hem de Spark Paketleri aranır. |
exclusions |
Bir dizi STRING |
Dışlanması gereken bağımlılıkların listesi. Örneğin: ["slf4j:slf4j", "*:hadoop-client"] .Maven bağımlılık dışlamaları: https://maven.apache.org/guides/introduction/introduction-to-optional-and-excludes-dependencies.html. |
NewCluster
Alan Adı | Type | Açıklama |
---|---|---|
num_workers VEYA autoscale |
INT32 VEYA Otomatik Ölçeklendirme |
num_workers, bu kümenin sahip olması gereken çalışan düğümlerinin sayısı. Kümede toplam num_workers + 1 Spark düğümü için bir Spark sürücüsü ve num_workers yürütücüleri vardır. Not: Bir kümenin özelliklerini okurken, bu alan gerçek geçerli çalışan sayısı yerine istenen çalışan sayısını yansıtır. Örneğin, bir küme 5 ila 10 çalışandan yeniden boyutlandırılırsa, bu alan hemen 10 çalışanın hedef boyutunu yansıtacak şekilde güncelleştirilir, ancak spark_info listelenen çalışanlar yeni düğümler sağlandıkça kademeli olarak 5'ten 10'a çıkar. Otomatik ölçeklendirme ise, yüke göre kümelerin ölçeğini otomatik olarak büyütmek ve küçültmek için gerekli parametreler. |
spark_version |
STRING |
Kümenin Spark sürümü. Kullanılabilir Spark sürümlerinin listesi GET 2.0/clusters/spark-versions çağrısı kullanılarak alınabilir. Bu alan gereklidir. |
spark_conf |
SparkConfPair | İsteğe bağlı, kullanıcı tarafından belirtilen Spark yapılandırma anahtarı-değer çiftleri kümesini içeren bir nesne. Ayrıca sürücüye ve yürütücülere ek JVM seçeneklerinden oluşan bir dize geçirebilirsiniz:spark.driver.extraJavaOptions ve spark.executor.extraJavaOptions sırasıyla.Örnek Spark konfederasyonları: {"spark.speculation": true, "spark.streaming.ui.retainedBatches": 5} veya{"spark.driver.extraJavaOptions": "-verbose:gc -XX:+PrintGCDetails"} |
node_type_id |
STRING |
Bu alan, bu kümedeki Spark düğümlerinin her biri için kullanılabilen kaynakları tek bir değer aracılığıyla kodlar. Örneğin, Spark düğümleri bellek veya işlem yoğunluklu iş yükleri için sağlanabilir ve iyileştirilebilir Get 2.0/clusters/list-node-types çağrısı kullanılarak kullanılabilir düğüm türlerinin listesi alınabilir. Bu alan, instance_pool_id alan veya düğüm türü kimliğini veya örnek havuzu kimliğini belirten bir küme ilkesi gereklidir. |
driver_node_type_id |
STRING |
Spark sürücüsünün düğüm türü. Bu alan isteğe bağlıdır; ayarlanmamışsa, sürücü düğümü türü yukarıda tanımlanan değerle aynı şekilde node_type_id ayarlanır. |
custom_tags |
ClusterTag | Küme kaynakları için bir etiket kümesi içeren nesne. Databricks, default_tags ek olarak tüm küme kaynaklarını (VM'ler gibi) bu etiketlerle etiketler. Not: - Etiketler, işlem için iyileştirilmiş ve bellek için iyileştirilmiş gibi eski düğüm türlerinde desteklenmez - Databricks en fazla 45 özel etikete izin verir |
cluster_log_conf |
ClusterLogConf | Spark günlüklerini uzun vadeli bir depolama hedefine teslim etme yapılandırması. Bir küme için yalnızca bir hedef belirtilebilir. Konfederasyon verilirse, günlükler her 5 mins hedefine teslim edilir. Sürücü günlüklerinin hedefi olurken <destination>/<cluster-id>/driver yürütücü günlüklerinin hedefi olur <destination>/<cluster-id>/executor . |
init_scripts |
InitScriptInfo dizisi | Başlatma betiklerini depolama yapılandırması. Herhangi bir sayıda betik belirtilebilir. Betikler, sağlanan sırayla sırayla yürütülür. belirtilirse cluster_log_conf , init betik günlükleri adresine gönderilir<destination>/<cluster-id>/init_scripts . |
spark_env_vars |
SparkEnvPair | İsteğe bağlı, kullanıcı tarafından belirtilen ortam değişkeni anahtar-değer çiftleri kümesini içeren bir nesne. Formun anahtar-değer çifti (X,Y) olduğu gibi dışarı aktarılır (örneğin,export X='Y' ) sürücü ve işçileri başlatırken.Ek bir kümesi SPARK_DAEMON_JAVA_OPTS belirtmek için, aşağıdaki örnekte gösterildiği gibi bu kümenin $SPARK_DAEMON_JAVA_OPTS sonuna eklenmesini öneririz. Bu, databricks tarafından yönetilen tüm ortam değişkenlerinin de eklenmesini sağlar.Örnek Spark ortam değişkenleri: {"SPARK_WORKER_MEMORY": "28000m", "SPARK_LOCAL_DIRS": "/local_disk0"} veya{"SPARK_DAEMON_JAVA_OPTS": "$SPARK_DAEMON_JAVA_OPTS -Dspark.shuffle.service.enabled=true"} |
enable_elastic_disk |
BOOL |
Yerel DepolamaYı Otomatik Ölçeklendirme: Etkinleştirildiğinde, Spark çalışanlarının disk alanı azaldığında bu küme dinamik olarak ek disk alanı alır. Ayrıntılar için Yerel depolamayı otomatik ölçeklendirmeyi etkinleştirme bölümüne bakın. |
driver_instance_pool_id |
STRING |
Sürücü düğümü için kullanılacak örnek havuzunun isteğe bağlı kimliği. ayrıca belirtmelisiniz instance_pool_id . Ayrıntılar için Örnek Havuzları API'sine bakın. |
instance_pool_id |
STRING |
Küme düğümleri için kullanılacak örnek havuzunun isteğe bağlı kimliği. Varsa driver_instance_pool_id ,instance_pool_id yalnızca çalışan düğümleri için kullanılır. Aksi takdirde, hem sürücü düğümü hem de çalışan düğümleri için kullanılır. Ayrıntılar için Örnek Havuzları API'sine bakın. |
NotebookOutput
Alan Adı | Type | Açıklama |
---|---|---|
result |
STRING |
dbutils.notebook.exit() adresine geçirilen değer. Azure Databricks bu API'yi değerin ilk 1 MB'ını döndürecek şekilde kısıtlar. Daha büyük bir sonuç için işiniz sonuçları bir bulut depolama hizmetinde depolayabilir. Hiç çağrılmadıysa dbutils.notebook.exit() bu alan yok olur. |
truncated |
BOOLEAN |
Sonucun kesilip kesilmediği. |
NotebookTask
Tüm çıkış hücreleri 8 MB boyutuna tabidir. Bir hücrenin çıktısı daha büyük bir boyuta sahipse, çalıştırmanın geri kalanı iptal edilir ve çalıştırma başarısız olarak işaretlenir. Bu durumda, diğer hücrelerden gelen içerik çıktılarından bazıları da eksik olabilir.
Sınırı aşan hücreyi bulma konusunda yardıma ihtiyacınız varsa, not defterini çok amaçlı bir kümede çalıştırın ve bu not defteri otomatik kaydetme tekniğini kullanın.
Alan Adı | Type | Açıklama |
---|---|---|
notebook_path |
STRING |
Azure Databricks çalışma alanında çalıştırılacak not defterinin mutlak yolu. Bu yol eğik çizgiyle başlamalıdır. Bu alan gereklidir. |
revision_timestamp |
LONG |
Not defterinin düzeltmesinin zaman damgası. |
base_parameters |
ParamPair haritası | Bu işin her çalıştırması için kullanılacak temel parametreler. Çalıştırma, belirtilen parametrelerle çağrısıyla run-now başlatılırsa, iki parametre eşlemesi birleştirilir. ve içinde base_parameters run-now aynı anahtar belirtilirse, içindeki değer run-now kullanılır.İş çalıştırmaları hakkında bilgi içeren parametreleri ayarlamak için Dinamik değer başvurusu nedir? komutunu kullanın. Not defteri işin base_parameters veya run-now geçersiz kılma parametrelerinde belirtilmeyen bir parametre alırsa, not defterindeki varsayılan değer kullanılır.dbutils.widgets.get kullanarak bu parametreleri not defterinde alın. |
ParamPair
Not defteri görevlerini çalıştıran işler için ad tabanlı parametreler.
Önemli
Bu veri yapısındaki alanlar yalnızca Latin karakterleri (ASCII karakter kümesi) kabul edecektir. ASCII olmayan karakterler kullanıldığında hata döndürülecektir. Geçersiz, ASCII olmayan karakterlere örnek olarak Çince, Japonca kanjiler ve emojiler verilebilir.
Type | Açıklama |
---|---|
STRING |
Parametre adı. Değeri almak için dbutils.widgets.get adresine geçin. |
STRING |
Parametre değeri. |
PipelineTask
Alan Adı | Type | Açıklama |
---|---|---|
pipeline_id |
STRING |
Yürütülecek Delta Live Tables işlem hattı görevinin tam adı. |
PythonPyPiLibrary
Alan Adı | Type | Açıklama |
---|---|---|
package |
STRING |
Yüklenecek PyPI paketinin adı. İsteğe bağlı tam sürüm belirtimi de desteklenir. Örnekler: simplejson ve simplejson==3.8.0 . Bu alan gereklidir. |
repo |
STRING |
Paketin bulunabileceği depo. Belirtilmezse, varsayılan pip dizini kullanılır. |
RCranLibrary
Alan Adı | Type | Açıklama |
---|---|---|
package |
STRING |
Yüklenecek CRAN paketinin adı. Bu alan gereklidir. |
repo |
STRING |
Paketin bulunabileceği depo. Belirtilmezse, varsayılan CRAN deposu kullanılır. |
Koşmak
Bir çalıştırmayla ilgili çıkışı dışındaki tüm bilgiler. Çıkış yöntemiyle getRunOutput
ayrı olarak alınabilir.
Alan Adı | Type | Açıklama |
---|---|---|
job_id |
INT64 |
Bu çalıştırmayı içeren işin kurallı tanımlayıcısı. |
run_id |
INT64 |
Çalıştırmanın kurallı tanımlayıcısı. Bu kimlik, tüm işlerin tüm çalıştırmaları arasında benzersizdir. |
creator_user_name |
STRING |
Oluşturucu kullanıcı adı. Kullanıcı zaten silinmişse bu alan yanıta dahil edilmeyecektir. |
number_in_job |
INT64 |
İşin tüm çalıştırmaları arasında bu çalıştırmanın sıra numarası. Bu değer 1'de başlar. |
original_attempt_run_id |
INT64 |
Bu çalıştırma önceki bir çalıştırma denemesinin yeniden denemesiyse, bu alan özgün denemenin run_id içerir; aksi takdirde, run_id aynıdır. |
state |
RunState | Çalıştırmanın sonuç ve yaşam döngüsü durumları. |
schedule |
CronSchedule | Düzenli zamanlayıcı tarafından tetiklendiyse bu çalıştırmayı tetikleyen cron zamanlaması. |
task |
jobtask | Varsa, çalıştırma tarafından gerçekleştirilen görev. |
cluster_spec |
ClusterSpec | Bu çalıştırma oluşturulduğunda işin küme belirtiminin anlık görüntüsü. |
cluster_instance |
ClusterInstance | Bu çalıştırma için kullanılan küme. Çalıştırma yeni bir küme kullanacak şekilde belirtilirse, İşler hizmeti çalıştırma için bir küme istedikten sonra bu alan ayarlanır. |
overriding_parameters |
RunParameters | Bu çalıştırma için kullanılan parametreler. |
start_time |
INT64 |
Bu çalıştırmanın dönem milisaniye cinsinden başlatıldığı saat (1/1/1970 UTC'den bu yana milisaniye). Bu, iş görevinin yürütülmeye başladığı zaman olmayabilir; örneğin, iş yeni bir kümede çalışacak şekilde zamanlanmışsa, küme oluşturma çağrısının düzenlenme zamanıdır. |
setup_duration |
INT64 |
Kümeyi milisaniye cinsinden ayarlamak için geçen süre. Yeni kümelerde çalışan çalıştırmalar için bu, küme oluşturma zamanıdır, mevcut kümelerde bu kez çalıştırılacak çalıştırmalar için çok kısa olmalıdır. |
execution_duration |
INT64 |
Tamamlanana, başarısız olana, zaman aşımına uğradıklarında, iptal edilene veya beklenmeyen bir hatayla karşılaşana kadar JAR veya not defterindeki komutları yürütmek için geçen milisaniye cinsinden süre. |
cleanup_duration |
INT64 |
Kümeyi sonlandırmak ve ilişkili yapıtları temizlemek için geçen milisaniye cinsinden süre. Çalıştırmanın toplam süresi setup_duration, execution_duration ve cleanup_duration toplamıdır. |
end_time |
INT64 |
Bu çalıştırmanın dönem milisaniye (1/1/1970 UTC'den bu yana milisaniye) sona erdiği saat. İş çalışmaya devam ediyorsa bu alan 0 olarak ayarlanır. |
trigger |
TriggerType | Bu çalıştırmayı tetikleyen tetikleyici türü. |
run_name |
STRING |
Çalıştırma için isteğe bağlı bir ad. Varsayılan değer şudur: Untitled . UTF-8 kodlamasında izin verilen uzunluk üst sınırı 4096 bayttır. |
run_page_url |
STRING |
Çalıştırmanın ayrıntı sayfasının URL'si. |
run_type |
STRING |
Çalıştırmanın türü. - JOB_RUN - Normal iş çalıştırması. Şimdi çalıştır ile oluşturulan bir çalıştırma.- WORKFLOW_RUN - İş akışı çalıştırması. dbutils.notebook.run ile oluşturulan bir çalıştırma.- SUBMIT_RUN - Çalıştırmayı gönder. Şimdi çalıştır ile oluşturulan bir çalıştırma. |
attempt_number |
INT32 |
Tetiklenen bir iş çalıştırması için bu çalıştırma denemesinin sıra numarası. Çalıştırmanın ilk denemesinde 0 attempt_number vardır. İlk çalıştırma girişimi başarısız olursa ve işin yeniden deneme ilkesi (max_retries >0) varsa, sonraki çalıştırmalar özgün denemenin kimliği ve artımlı attempt_number bir ile original_attempt_run_id oluşturulur. Çalıştırmalar yalnızca başarılı olana kadar yeniden denenür ve en büyük attempt_number değer işin değeriyle max_retries aynıdır. |
RunJobTask
Alan Adı | Type | Açıklama |
---|---|---|
job_id |
INT32 |
Çalıştırılacak işin benzersiz tanımlayıcısı. Bu alan gereklidir. |
RunLifeCycleState
Çalıştırmanın yaşam döngüsü durumu. İzin verilen durum geçişleri şunlardır:
QUEUED
->PENDING
PENDING
- ->RUNNING
->TERMINATING
>TERMINATED
PENDING
->SKIPPED
PENDING
->INTERNAL_ERROR
RUNNING
->INTERNAL_ERROR
TERMINATING
->INTERNAL_ERROR
Durum | Açıklama |
---|---|
QUEUED |
Çalıştırma tetiklendi ancak aşağıdaki sınırlardan birine ulaştığı için kuyruğa alındı: - Çalışma alanında en fazla eşzamanlı etkin çalıştırma sayısı. - Çalışma alanında en fazla eşzamanlı Run Job görev çalıştırılır.- İşin en fazla eşzamanlı çalıştırması. İşin veya çalıştırmanın bu duruma ulaşabilmesi için kuyruğa alma özelliğinin etkinleştirilmesi gerekir. |
PENDING |
Çalıştırma tetiklendi. İşin yapılandırılmış eşzamanlı çalıştırma sayısı üst sınırına zaten ulaşıldıysa, çalıştırma hiçbir kaynak hazırlamadan hemen duruma geçer SKIPPED . Aksi takdirde, kümenin hazırlanması ve yürütme işlemi devam eder. |
RUNNING |
Bu çalıştırmanın görevi yürütülüyor. |
TERMINATING |
Bu çalıştırmanın görevi tamamlandı ve küme ve yürütme bağlamı temizleniyor. |
TERMINATED |
Bu çalıştırmanın görevi tamamlandı ve küme ve yürütme bağlamı temizlendi. Bu durum terminaldir. |
SKIPPED |
Aynı işin önceki bir çalıştırması zaten etkin olduğundan bu çalıştırma durduruldu. Bu durum terminaldir. |
INTERNAL_ERROR |
İşler hizmetinde uzun bir süre boyunca ağ hatası gibi bir hatayı gösteren olağanüstü durum. Yeni bir kümede çalıştırma durumunda biterse INTERNAL_ERROR İşler hizmeti kümeyi en kısa sürede sonlandırır. Bu durum terminaldir. |
RunParameters
Bu çalıştırma için parametreler. İş görevinin türüne bağlı olarak istekte run-now
yalnızca bir jar_params, python_params
veya notebook_params belirtilmelidir.
Spark JAR görevi veya Python görevi olan işler konum tabanlı parametrelerin listesini alır ve not defteri görevleri olan işler bir anahtar değer eşlemesi alır.
Alan Adı | Type | Açıklama |
---|---|---|
jar_params |
Bir dizi STRING |
Spark JAR görevleri olan işler için parametrelerin listesi, örneğin. "jar_params": ["john doe", "35"] Parametreler, Spark JAR görevinde belirtilen ana sınıfın ana işlevini çağırmak için kullanılır. üzerinde run-now belirtilmezse, varsayılan olarak boş bir liste olur. jar_params notebook_params ile birlikte belirtilemez. Bu alanın JSON gösterimi (örneğin {"jar_params":["john doe","35"]} ) 10.000 baytı aşamaz.İş çalıştırmaları hakkında bilgi içeren parametreleri ayarlamak için Dinamik değer başvurusu nedir? komutunu kullanın. |
notebook_params |
ParamPair haritası | Anahtarlardan not defteri görevi olan işler için değerlere eşle, örneğin."notebook_params": {"name": "john doe", "age": "35"} . Harita not defterine geçirilir ve dbutils.widgets.get işlevi aracılığıyla erişilebilir.üzerinde run-now belirtilmezse, tetiklenen çalıştırma işin temel parametrelerini kullanır.notebook_params jar_params ile birlikte belirtilemez. İş çalıştırmaları hakkında bilgi içeren parametreleri ayarlamak için Dinamik değer başvurusu nedir? komutunu kullanın. Bu alanın JSON gösterimi (örn. {"notebook_params":{"name":"john doe","age":"35"}} ) 10.000 baytı aşamaz. |
python_params |
Bir dizi STRING |
Python görevlerine sahip işler için parametrelerin listesi, örneğin. "python_params": ["john doe", "35"] Parametreler Python dosyasına komut satırı parametreleri olarak geçirilir. üzerinde run-now belirtilirse, iş ayarında belirtilen parametrelerin üzerine yazar. Bu alanın JSON gösterimi (örneğin {"python_params":["john doe","35"]} ) 10.000 baytı aşamaz.İş çalıştırmaları hakkında bilgi içeren parametreleri ayarlamak için Dinamik değer başvurusu nedir? komutunu kullanın. > [! ÖNEMLİ] >> Bu parametreler yalnızca Latin karakterleri (ASCII karakter kümesi) kabul eder. > ASCII olmayan karakterler kullanıldığında hata döndürülecektir. Geçersiz, ASCII olmayan karakterlere > örnek olarak Çince, Japonca kanjiler ve emojiler verilebilir. |
spark_submit_params |
Bir dizi STRING |
Spark gönderme görevi olan işler için parametrelerin listesi, örneğin."spark_submit_params": ["--class", "org.apache.spark.examples.SparkPi"] . Parametreler spark-submit betiğine komut satırı parametreleri olarak geçirilir. üzerinde run-now belirtilirse, iş ayarında belirtilen parametrelerin üzerine yazar. Bu alanın JSON gösterimi (örneğin {"python_params":["john doe","35"]} ) 10.000 baytı aşamaz.İş çalıştırmaları hakkında bilgi içeren parametreleri ayarlamak için Dinamik değer başvurusu nedir? komutunu kullanın. > [! ÖNEMLİ] >> Bu parametreler yalnızca Latin karakterleri (ASCII karakter kümesi) kabul eder. > ASCII olmayan karakterler kullanıldığında hata döndürülecektir. Geçersiz, ASCII olmayan karakterlere > örnek olarak Çince, Japonca kanjiler ve emojiler verilebilir. |
RunResultState
Çalıştırmanın sonuç durumu.
- :
life_cycle_state
=TERMINATED
çalıştırmasının bir görevi varsa, sonucun kullanılabilir olması garanti edilir ve görevin sonucunu gösterir. - ,
RUNNING
veyaSKIPPED
iselife_cycle_state
=PENDING
, sonuç durumu kullanılamaz. - if
life_cycle_state
=TERMINATING
or lifecyclestate =INTERNAL_ERROR
: Çalıştırmanın bir görevi varsa ve başlatmayı başardıysa sonuç durumu kullanılabilir.
Kullanılabilir olduğunda sonuç durumu hiçbir zaman değişmez.
Durum | Açıklama |
---|---|
SUCCESS |
Görev başarıyla tamamlandı. |
FAILED |
Görev bir hatayla tamamlandı. |
TIMEDOUT |
Çalıştırma, zaman aşımına ulaşıldıktan sonra durduruldu. |
CANCELED |
Çalıştırma, kullanıcı isteği üzerine iptal edildi. |
RunState
Alan Adı | Type | Açıklama |
---|---|---|
life_cycle_state |
RunLifeCycleState | Çalıştırma yaşam döngüsünde bir çalıştırmanın geçerli konumunun açıklaması. Bu alan yanıtta her zaman kullanılabilir. |
result_state |
RunResultState | Çalıştırmanın sonuç durumu. Kullanılamıyorsa, yanıt bu alanı içermez. result_state kullanılabilirliği hakkında ayrıntılı bilgi için bkz . RunResultState . |
user_cancelled_or_timedout |
BOOLEAN |
Çalıştırmanın kullanıcı tarafından el ile mi yoksa zamanlayıcı tarafından mı zaman aşımına uğradığından iptal edilip edilmediği. |
state_message |
STRING |
Geçerli durum için açıklayıcı bir ileti. Bu alan yapılandırılmamış ve tam biçimi değiştirilebilir. |
SparkConfPair
Spark yapılandırması anahtar-değer çiftleri.
Type | Açıklama |
---|---|
STRING |
Yapılandırma özelliği adı. |
STRING |
Yapılandırma özelliği değeri. |
SparkEnvPair
Spark ortam değişkeni anahtar-değer çiftleri.
Önemli
Bir iş kümesinde ortam değişkenlerini belirtirken, bu veri yapısındaki alanlar yalnızca Latin karakterleri (ASCII karakter kümesi) kabul eder. ASCII olmayan karakterler kullanıldığında hata döndürülecektir. Geçersiz, ASCII olmayan karakterlere örnek olarak Çince, Japonca kanjiler ve emojiler verilebilir.
Type | Açıklama |
---|---|
STRING |
Ortam değişkeni adı. |
STRING |
Ortam değişkeni değeri. |
SparkJarTask
Alan Adı | Type | Açıklama |
---|---|---|
jar_uri |
STRING |
04/2016 tarihinden bu yana kullanım dışı bırakıldı. Bunun yerine alanı aracılığıyla libraries girinjar . Bir örnek için bkz . Oluşturma. |
main_class_name |
STRING |
Yürütülecek ana yöntemi içeren sınıfın tam adı. Bu sınıf, kitaplık olarak sağlanan bir JAR içinde yer almalıdır. Kodun spark bağlamı elde etmek için kullanması SparkContext.getOrCreate gerekir; aksi takdirde işin çalıştırmaları başarısız olur. |
parameters |
Bir dizi STRING |
Ana yönteme geçirilen parametreler. İş çalıştırmaları hakkında bilgi içeren parametreleri ayarlamak için Dinamik değer başvurusu nedir? komutunu kullanın. |
SparkPythonTask
Alan Adı | Type | Açıklama |
---|---|---|
python_file |
STRING |
Yürütülecek Python dosyasının URI'sini. DBFS yolları desteklenir. Bu alan gereklidir. |
parameters |
Bir dizi STRING |
Komut satırı parametreleri Python dosyasına geçirildi. İş çalıştırmaları hakkında bilgi içeren parametreleri ayarlamak için Dinamik değer başvurusu nedir? komutunu kullanın. |
SparkSubmitTask
Önemli
- Spark gönderme görevlerini yalnızca yeni kümelerde çağırabilirsiniz.
- new_cluster belirtiminde
libraries
vespark_conf
desteklenmez. Bunun yerine, Java ve Python kitaplıkları eklemek ve Spark yapılandırmasını ayarlamak için ve--py-files
--conf
kullanın--jars
. master
,deploy-mode
ve Azure Databricks tarafından otomatik olarak yapılandırılır; bunları parametrelerde belirtemezsiniz.executor-cores
- Spark gönderme işi varsayılan olarak tüm kullanılabilir belleği kullanır (Azure Databricks hizmetleri için ayrılmış bellek hariç). yığın dışı kullanım için biraz yer bırakmak için ve
--executor-memory
değerini daha küçük bir değere ayarlayabilirsiniz--driver-memory
. --jars
,--py-files
bağımsız--files
değişkenleri DBFS yollarını destekler.
Örneğin, JAR'ın DBFS'ye yüklendiğini varsayarsak, aşağıdaki parametreleri ayarlayarak komutunu çalıştırabilirsiniz SparkPi
.
{
"parameters": [
"--class",
"org.apache.spark.examples.SparkPi",
"dbfs:/path/to/examples.jar",
"10"
]
}
Alan Adı | Type | Açıklama |
---|---|---|
parameters |
Bir dizi STRING |
Spark'a geçirilen komut satırı parametreleri gönderme. İş çalıştırmaları hakkında bilgi içeren parametreleri ayarlamak için Dinamik değer başvurusu nedir? komutunu kullanın. |
TriggerType
Bunlar çalıştırmayı tetikleyebilen tetikleyicilerin türüdür.
Type | Açıklama |
---|---|
PERIODIC |
Cron zamanlayıcı gibi çalıştırmaları düzenli aralıklarla tetikleyen zamanlamalar. |
ONE_TIME |
Tek seferde tek bir çalıştırma tetikler. Bu, kullanıcı arabirimi veya API aracılığıyla isteğe bağlı olarak tek bir çalıştırma tetiklediğiniz oluşur. |
RETRY |
Daha önce başarısız olan bir çalıştırmanın yeniden denemesi olarak tetiklenen bir çalıştırmayı gösterir. Bu, hata durumunda işi yeniden çalıştırmayı istediğinizde oluşur. |
ViewItem
Dışarı aktarılan içerik HTML biçimindedir. Örneğin, dışarı aktaracak görünüm panolar ise, her pano için bir HTML dizesi döndürülür.
Alan Adı | Type | Açıklama |
---|---|---|
content |
STRING |
Görünümün içeriği. |
name |
STRING |
Görünüm öğesinin adı. Kod görünümü söz konusu olduğunda, not defterinin adı. Pano görünümü söz konusu olduğunda, panonun adı. |
type |
ViewType | Görünüm öğesinin türü. |
ViewType
Type | Açıklama |
---|---|
NOTEBOOK |
Not defteri görünüm öğesi. |
DASHBOARD |
Pano görünümü öğesi. |
ViewsToExport
Dışarı aktarmak için görüntüleyin: kod, tüm panolar veya tümü.
Type | Açıklama |
---|---|
CODE |
Not defterinin kod görünümü. |
DASHBOARDS |
Not defterinin tüm pano görünümleri. |
ALL |
Not defterinin tüm görünümleri. |
Web Kancası
Alan Adı | Type | Açıklama |
---|---|---|
id |
STRING |
Bir sistem bildirimi hedefine başvuran tanımlayıcı. Bu alan gereklidir. |
Web KancasıNotifications
Alan Adı | Type | Açıklama |
---|---|---|
on_start |
Web Kancası dizisi | Çalıştırma başladığında bildirilecek sistem hedeflerinin isteğe bağlı listesi. İş oluşturma, sıfırlama veya güncelleştirme sırasında belirtilmezse liste boş olur ve bildirimler gönderilmez. Özellik için on_start en fazla 3 hedef belirtilebilir. |
on_success |
Web Kancası dizisi | Bir çalıştırma başarıyla tamamlandığında bildirilecek isteğe bağlı sistem hedeflerinin listesi. Ve ile TERMINATED life_cycle_state SUCCESSFUL result_state biterse çalıştırmanın başarıyla tamamlandığı kabul edilir. İş oluşturma, sıfırlama veya güncelleştirme sırasında belirtilmezse liste boş olur ve bildirimler gönderilmez. Özellik için on_success en fazla 3 hedef belirtilebilir. |
on_failure |
Web Kancası dizisi | Bir çalıştırma başarısız olduğunda bildirilecek isteğe bağlı sistem hedeflerinin listesi. Bir çalıştırma, bir ile biterse başarısız bir şekilde tamamlanmış olarak kabul edilir INTERNAL_ERROR life_cycle_state veya bir SKIPPED , FAILED veya TIMED_OUT result_state . İş oluşturma, sıfırlama veya güncelleştirme sırasında bu belirtilmezse liste boş olur ve bildirimler gönderilmez. Özellik için on_failure en fazla 3 hedef belirtilebilir. |
on_duration_warning_threshold_exceeded |
Web Kancası dizisi | Bir çalıştırmanın süresi alandaki ölçüm health için RUN_DURATION_SECONDS belirtilen eşiği aştığında bildirilecek isteğe bağlı bir sistem hedefleri listesi. Özellik için on_duration_warning_threshold_exceeded en fazla 3 hedef belirtilebilir. |
WorkspaceStorageInfo
Çalışma alanı depolama bilgileri.
Alan Adı | Type | Açıklama |
---|---|---|
destination |
STRING |
Dosya hedefi. Örnek: /Users/someone@domain.com/init_script.sh |