İşlem ilkesi başvurusu

Makale
05/04/2024

Bu makale, işlem ilkesi tanımları için bir başvurudur. Makaleler, kullanılabilir ilke özniteliklerinin ve sınırlama türlerinin başvurularını içerir. Yaygın kullanım örnekleri için başvurabileceğiniz örnek ilkeler de vardır.

İlke tanımları nelerdir?

İlke tanımları, JSON ile ifade edilen tek tek ilke kurallarıdır. Tanım, Kümeler API'siyle denetlenen özniteliklerden herhangi birine kural ekleyebilir. Örneğin, bu tanımlar varsayılan bir otomatik belirleme süresi ayarlar, kullanıcıların havuz kullanmasını yasaklar ve Photon kullanımını zorlar:

{
   "autotermination_minutes" : {
    "type" : "unlimited",
    "defaultValue" : 4320,
    "isOptional" : true
  },
  "instance_pool_id": {
    "type": "forbidden",
    "hidden": true
  },
  "runtime_engine": {
    "type": "fixed",
    "value": "PHOTON",
    "hidden": true
  }
}

Öznitelik başına yalnızca bir sınırlama olabilir. Özniteliğin yolu API öznitelik adını yansıtır. İç içe öznitelikler için yol, iç içe öznitelik adlarını noktalar kullanarak birleştirir. İlke tanımında tanımlanmayan öznitelikler sınırlı değildir.

Desteklenen öznitelikler

İlkeler, Kümeler API'siyle denetlenen tüm öznitelikleri destekler. Özniteliklere yerleştirebileceğiniz kısıtlamaların türü, kullanıcı arabirimi öğelerine ve türlerine göre ayara göre farklılık gösterebilir. İşlem izinlerini tanımlamak için ilkeleri kullanamazsınız.

İlkeleri, saat başına maksimum DBU'ları ve küme türünü ayarlamak için de kullanabilirsiniz. Bkz. Sanal öznitelik yolları.

Aşağıdaki tabloda desteklenen ilke öznitelik yolları listelenmektedir:

Öznitelik yolu	Type	Açıklama
`autoscale.max_workers`	isteğe bağlı numara	Gizlendiğinde, kullanıcı arabiriminden en fazla çalışan numarası alanını kaldırır.
`autoscale.min_workers`	isteğe bağlı numara	Gizlendiğinde, kullanıcı arabiriminden en düşük çalışan numarası alanını kaldırır.
`autotermination_minutes`	Numara	0 değeri otomatik sonlandırmayı temsil eder. Gizlendiğinde, kullanıcı arabiriminden otomatik sonlandırma onay kutusunu ve değer girişini kaldırır.
`azure_attributes.availability`	Dize	İşlemin isteğe bağlı veya spot örnekleri (`ON_DEMAND_AZURE` veya `SPOT_WITH_FALLBACK_AZURE`) kullandığını denetler.
`azure_attributes.first_on_demand`	Numara	İsteğe bağlı örneklere yerleştirecek düğüm sayısını denetler.
`azure_attributes.spot_bid_max_price`	Numara	Azure spot örnekleri için en yüksek fiyatı denetler.
`cluster_log_conf.path`	Dize	Günlük dosyalarının hedef URL'si.
`cluster_log_conf.type`	Dize	Günlük hedefinin türü. `DBFS` kabul edilebilir tek değerdir.
`cluster_name`	Dize	Küme adı.
`custom_tags.*`	Dize	Etiket adını ekleyerek belirli etiket değerlerini denetleyin, örneğin: `custom_tags.<mytag>`.
`data_security_mode`	Dize	Kümenin erişim modunu ayarlar. Unity Kataloğu için veya `USER_ISOLATION` gerekir `SINGLE_USER` (kullanıcı arabiriminde paylaşılan erişim modu). değeri `NONE` , hiçbir güvenlik özelliğinin etkinleştirilmemiş olduğu anlamına gelir.
`docker_image.basic_auth.password`	Dize	Databricks Container Services görüntüsü temel kimlik doğrulaması için parola.
`docker_image.basic_auth.username`	Dize	Databricks Container Services görüntüsünün temel kimlik doğrulaması için kullanıcı adı.
`docker_image.url`	Dize	Databricks Container Services görüntü URL'sini denetler. Gizlendiğinde, kullanıcı arabiriminden Databricks Container Services bölümünü kaldırır.
`driver_node_type_id`	isteğe bağlı dize	Gizlendiğinde, kullanıcı arabiriminden sürücü düğümü türü seçimini kaldırır.
`enable_local_disk_encryption`	boolean	Kümeye `true` yerel olarak bağlı diskleri (API aracılığıyla belirtildiği gibi) etkinleştirmek veya `false` devre dışı bırakmak için olarak ayarlayın.
`init_scripts..workspace.destination` `init_scripts..volumes.destination` `init_scripts..abfss.destination` `init_scripts..file.destination`	Dize	`*` , öznitelik dizisindeki init betiğinin dizinine başvurur. Bkz. Dizi öznitelikleri için ilke yazma.
`instance_pool_id`	Dize	Ayrıca tanımlanmışsa `driver_instance_pool_id` çalışan düğümleri tarafından kullanılan havuzu veya diğer tüm küme düğümleri için denetler. Çalışan düğümleri için havuzlar kullanıyorsanız, sürücü düğümü için havuzları da kullanmanız gerekir. Gizlendiğinde, kullanıcı arabiriminden havuz seçimini kaldırır.
`driver_instance_pool_id`	Dize	Belirtilirse, sürücü düğümü için çalışan düğümlerinden farklı bir havuz yapılandırılır. Belirtilmezse, devralır `instance_pool_id`. Çalışan düğümleri için havuzlar kullanıyorsanız, sürücü düğümü için havuzları da kullanmanız gerekir. Gizlendiğinde, kullanıcı arabiriminden sürücü havuzu seçimini kaldırır.
`node_type_id`	Dize	Gizlendiğinde, kullanıcı arabiriminden çalışan düğümü türü seçimini kaldırır.
`num_workers`	isteğe bağlı numara	Gizlendiğinde, kullanıcı arabiriminden çalışan numarası belirtimini kaldırır.
`runtime_engine`	Dize	Kümenin Photon kullanıp kullanmadığını belirler. Olası değerler: `PHOTON` veya `STANDARD`.
`single_user_name`	Dize	Kimlik bilgisi geçişi tek kullanıcı erişimi için kullanıcı adı.
`spark_conf.*`	isteğe bağlı dize	Yapılandırma anahtarı adını ekleyerek belirli yapılandırma değerlerini denetler, örneğin: `spark_conf.spark.executor.memory`.
`spark_env_vars.*`	isteğe bağlı dize	Ortam değişkenini ekleyerek belirli Spark ortam değişkeni değerlerini denetler, örneğin: `spark_env_vars.<environment variable name>`.
`spark_version`	Dize	API (Databricks Runtime) aracılığıyla belirtilen Spark görüntüsü sürümü adı. Databricks Runtime'ı dinamik olarak seçen özel ilke değerlerini de kullanabilirsiniz. Bkz. Databricks Runtime seçimi için özel ilke değerleri.
`workload_type.clients.jobs`	boolean	İşlem kaynağının işler için kullanılıp kullanılamayacağını tanımlar. Bkz. İşlemlerin işlerle kullanılmasını engelleme.
`workload_type.clients.notebooks`	boolean	İşlem kaynağının not defterleriyle birlikte kullanılıp kullanılamayacağını tanımlar. Bkz. İşlemlerin işlerle kullanılmasını engelleme.

Sanal öznitelik yolları

Bu tablo, ilkeler tarafından desteklenen iki ek yapay öznitelik içerir:

Öznitelik yolu	Type	Açıklama
`dbus_per_hour`	Numara	Bir kaynağın sürücü düğümü de dahil olmak üzere saatlik olarak kullanabileceği maksimum DBU sayısını temsil eden hesaplanan öznitelik. Bu ölçüm, maliyeti tek tek işlem düzeyinde denetlemenin doğrudan bir yoludur. Aralık sınırlamasıyla kullanın.
`cluster_type`	Dize	Oluşturulabilecek küme türünü temsil eder: * `all-purpose` Azure Databricks tüm amaçlı işlem için * `job` iş zamanlayıcı tarafından oluşturulan iş işlemi için * `dlt`Delta Live Tables işlem hatları için oluşturulan işlem için İlkeden belirtilen işlem türlerinin oluşturulmasına izin verin veya engelleyin. Değere `all-purpose` izin verilmiyorsa ilke, çok amaçlı işlem oluşturma kullanıcı arabiriminde gösterilmez. Değere `job` izin verilmiyorsa, ilke oluşturma işi işlem kullanıcı arabiriminde gösterilmez.

Databricks Runtime seçimi için özel ilke değerleri

özniteliği, spark_version desteklenen Databricks Runtime sürümlerinin geçerli kümesini temel alan bir Databricks Runtime sürümüne dinamik olarak eşlenmiş özel değerleri destekler.

Özniteliğinde spark_version aşağıdaki değerler kullanılabilir:

auto:latest: En son GA Databricks Runtime sürümüne Haritalar.
auto:latest-ml: En son Databricks Runtime ML sürümüne Haritalar.
auto:latest-lts: En son uzun vadeli destek (LTS) Databricks Runtime sürümüne Haritalar.
auto:latest-lts-ml: En son LTS Databricks Runtime ML sürümüne Haritalar.
auto:prev-major: İkinci en son GA Databricks Runtime sürümüne Haritalar. Örneğin, auto:latest 14.2 ise auto:prev-major 13.3 olur.
auto:prev-major-ml: İkinci en son GA Databricks Runtime ML sürümüne Haritalar. Örneğin, auto:latest 14.2 ise auto:prev-major 13.3 olur.
auto:prev-lts: İkinci en son LTS Databricks Runtime sürümüne Haritalar. Örneğin, auto:latest-lts 13.3 ise auto:prev-lts 12.2 olur.
auto:prev-lts-ml: İkinci en son LTS Databricks Runtime ML sürümüne Haritalar. Örneğin, auto:latest-lts 13.3 ise auto:prev-lts 12.2 olur.

Not

Bu değerlerin kullanılması, yeni bir çalışma zamanı sürümü yayımlandığında işlem otomatik güncelleştirmesini yapmaz. Bir kullanıcının Databricks Runtime sürümünün değişmesi için işlemini açıkça düzenlemesi gerekir.

Desteklenen ilke türleri

Bu bölüm, kullanılabilir ilke türlerinin her biri için bir başvuru içerir. İki ilke türü kategorisi vardır: sabit ilkeler ve sınırlama ilkeleri.

Bir öznitelikte kullanıcı yapılandırmasını engelleyen ilkeler düzeltildi. İki tür sabit ilke şunlardır:

Sabit ilke
Yasak ilkesi

İlkeleri sınırlamak, kullanıcının öznitelik yapılandırma seçeneklerini sınırlar. İlkeleri sınırlamak, varsayılan değerleri ayarlamanıza ve öznitelikleri isteğe bağlı hale getirmenize de olanak sağlar. Bkz. Ek sınırlama ilkesi alanları.

İlkeleri sınırlama seçenekleriniz şunlardır:

İzin verilenler listesi ilkesi
Engelleme listesi ilkesi
Kayıt defteri ilkesi
Aralık ilkesi
Sınırsız ilke

Sabit ilke

Sabit ilkeler özniteliği belirtilen değerle sınırlar. Sayısal ve boole dışındaki öznitelik değerleri için değerin bir dizeyle temsil edilmesi veya dönüştürülebilir olması gerekir.

Sabit ilkelerle, alanını trueolarak ayarlayarak özniteliği kullanıcı arabiriminden hidden de gizleyebilirsiniz.

interface FixedPolicy {
    type: "fixed";
    value: string | number | boolean;
    hidden?: boolean;
}

Bu örnek ilke Databricks Runtime sürümünü düzeltir ve alanı kullanıcının kullanıcı arabiriminden gizler:

{
  "spark_version": { "type": "fixed", "value": "auto:latest-lts", "hidden": true }
}

Yasak ilkesi

Yasak ilke, kullanıcıların bir özniteliği yapılandırmasını engeller. Yasak ilkeler yalnızca isteğe bağlı özniteliklerle uyumludur.

interface ForbiddenPolicy {
    type: "forbidden";
}

Bu ilke, çalışan düğümleri için hesaplamaya havuz eklemeyi yasaklar. İlke devraldığından, driver_instance_pool_id sürücü düğümü için havuzlar da yasaktır.

{
  "instance_pool_id": { "type": "forbidden" }
}

İzin verilenler listesi ilkesi

İzin verilenler listesi ilkesi, bir özniteliği yapılandırırken kullanıcının aralarından seçim yapabileceğiniz değerlerin listesini belirtir.

interface AllowlistPolicy {
  type: "allowlist";
  values: (string | number | boolean)[];
  defaultValue?: string | number | boolean;
  isOptional?: boolean;
}

Bu izin verilenler listesi örneği, kullanıcının iki Databricks Runtime sürümü arasında seçim yapmasını sağlar:

{
  "spark_version":  { "type": "allowlist", "values": [ "13.3.x-scala2.12", "12.2.x-scala2.12" ] }
}

Engelleme listesi ilkesi

Engelleyici listesi ilkesi, izin verilmeyen değerleri listeler. Değerlerin tam eşleşmeler olması gerektiğinden, öznitelik değerin temsili konusunda daha yumuşak olduğunda (örneğin, baştaki ve sondaki boşluklara izin verme) bu ilke beklendiği gibi çalışmayabilir.

interface BlocklistPolicy {
  type: "blocklist";
  values: (string | number | boolean)[];
  defaultValue?: string | number | boolean;
  isOptional?: boolean;
}

Bu örnek, kullanıcının Databricks Runtime olarak seçmesini 7.3.x-scala2.12 engeller.

{
  "spark_version":  { "type": "blocklist", "values": [ "7.3.x-scala2.12" ] }
}

Kayıt defteri ilkesi

Bir regex ilkesi, kullanılabilir değerleri regex ile eşleşen değerlerle sınırlar. Güvenlik için, reex değerinizin dize değerinin başına ve sonuna sabitlendiğinden emin olun.

interface RegexPolicy {
  type: "regex";
  pattern: string;
  defaultValue?: string | number | boolean;
  isOptional?: boolean;
}

Bu örnek, bir kullanıcının seçebileceği Databricks Runtime sürümlerini sınırlar:

{
  "spark_version":  { "type": "regex", "pattern": "13\\.[3456].*" }
}

Aralık ilkesi

Aralık ilkesi, ve maxValue alanlarını kullanarak değeri belirtilen aralıkla minValue sınırlar. Değer ondalık bir sayı olmalıdır. Sayısal sınırlar çift kayan nokta değeri olarak gösterilebilir olmalıdır. Belirli bir sınırın eksik olduğunu belirtmek için veya maxValueöğesini atlayabilirsinizminValue.

interface RangePolicy {
  type: "range";
  minValue?: number;
  maxValue?: number;
  defaultValue?: string | number | boolean;
  isOptional?: boolean;
}

Bu örnek, en fazla çalışan miktarını 10 ile sınırlar:

{
  "num_workers":  { "type": "range", "maxValue": 10 }
}

Sınırsız ilke

Sınırsız ilke, öznitelikleri gerekli hale getirmek veya kullanıcı arabiriminde varsayılan değeri ayarlamak için kullanılır.

interface UnlimitedPolicy {
  type: "unlimited";
  defaultValue?: string | number | boolean;
  isOptional?: boolean;
}

Bu örnek, COST_BUCKET etiketi hesaplamaya ekler:

{
  "custom_tags.COST_BUCKET":  { "type": "unlimited" }
}

Spark yapılandırma değişkeni için varsayılan bir değer ayarlamak, ancak bu değişkenin atlanması (kaldırılması) için:

{
  "spark_conf.spark.my.conf":  { "type": "unlimited", "isOptional": true, "defaultValue": "my_value" }
}

Ek sınırlama ilkesi alanları

İlke türlerini sınırlamak için iki ek alan belirtebilirsiniz:

defaultValue - İşlem oluşturma kullanıcı arabiriminde otomatik olarak doldurulan değer.
isOptional - Bir öznitelik üzerindeki sınırlama ilkesi bunu otomatik olarak gerekli kılar. Özniteliği isteğe bağlı hale getirmek için alanını olarak trueayarlayınisOptional.

Not

Varsayılan değerler, Kümeler API'siyle oluşturulan işlem için otomatik olarak uygulanmaz. API kullanarak varsayılan değerleri uygulamak için parametresini apply_policy_default_values işlem tanımına ekleyin ve olarak trueayarlayın.

Bu örnek ilke, çalışan düğümleri için havuz için varsayılan değeri id1 belirtir, ancak isteğe bağlı hale getirir. İşlemi oluştururken farklı bir havuz seçebilir veya kullanmamayı seçebilirsiniz. İlkede tanımlanmamışsa driver_instance_pool_id veya işlem oluşturulurken çalışan düğümleri ve sürücü düğümü için aynı havuz kullanılır.

{
  "instance_pool_id": { "type": "unlimited", "isOptional": true, "defaultValue": "id1" }
}

Dizi öznitelikleri için ilke yazma

Dizi öznitelikleri için ilkeleri iki şekilde belirtebilirsiniz:

Tüm dizi öğeleri için genel sınırlamalar. Bu sınırlamalar, ilke yolunda joker karakter simgesini kullanır * .
Belirli bir dizindeki dizi öğesi için belirli sınırlamalar. Bu sınırlama, yolda bir sayı kullanır.

Örneğin, dizi özniteliği init_scriptsiçin, genel yollar ile init_scripts.* başlar ve ile init_scripts.<n>belirli yollar, burada <n> dizideki bir tamsayı dizinidir (0 ile başlar). Genel sınırlamaları ve belirli sınırlamaları birleştirebilirsiniz; bu durumda, genel sınırlama belirli bir sınırlaması olmayan her dizi öğesi için geçerlidir. Her durumda yalnızca bir ilke sınırlaması uygulanır.

Aşağıdaki bölümlerde dizi özniteliklerini kullanan yaygın örneklerin örnekleri gösterilmektedir.

Eklemeye özgü girdiler gerektir

Sırayı belirtmeden belirli değerlere ihtiyacınız olamaz. Örneğin:

{
  "init_scripts.0.volumes.destination": {
    "type": "fixed",
    "value": "<required-script-1>"
  },
  "init_scripts.1.volumes.destination": {
    "type": "fixed",
    "value": "<required-script-2>"
  }
}

Listenin tamamında sabit bir değer iste

{
  "init_scripts.0.volumes.destination": {
    "type": "fixed",
    "value": "<required-script-1>"
  },
  "init_scripts.*.volumes.destination": {
    "type": "forbidden"
  }
}

Kullanımdan tamamen izin verme

{
   "init_scripts.*.volumes.destination": {
    "type": "forbidden"
  }
}

Belirli bir kısıtlamayı izleyen girişlere izin ver

{
    "init_scripts.*.volumes.destination": {
    "type": "regex",
    "pattern": ".*<required-content>.*"
  }
}

Belirli bir başlatma betikleri kümesini düzeltme

Yol olması init_scripts durumunda dizi, kullanım örneğine bağlı olarak tüm olası değişkenlerin işlenmesi gerekebilecek birden çok yapıdan birini içerebilir. Örneğin, belirli bir başlatma betikleri kümesi gerektirmek ve diğer sürümün herhangi bir varyantına izin vermemek için aşağıdaki deseni kullanabilirsiniz:

{
  "init_scripts.0.volumes.destination": {
    "type": "fixed",
    "value": "<volume-paths>"
  },
  "init_scripts.1.volumes.destination": {
    "type": "fixed",
    "value": "<volume-paths>"
  },
  "init_scripts.*.workspace.destination": {
    "type": "forbidden"
  },
  "init_scripts.*.abfss.destination": {
    "type": "forbidden"
  },
  "init_scripts.*.file.destination": {
    "type": "forbidden"
  }
}

İlke örnekleri

Bu bölüm, kendi ilkelerinizi oluşturmak için başvuru olarak kullanabileceğiniz ilke örneklerini içerir. Yaygın ilke kullanım örnekleri için şablon olarak Azure Databricks tarafından sağlanan ilke ailelerini de kullanabilirsiniz.

Genel işlem ilkesi
Delta Live Tables işlem hattı işlem hattında sınırları tanımlama
Basit orta ölçekli ilke
Yalnızca iş ilkesi
Dış meta veri deposu ilkesi
İşlemin işlerle kullanılmasını engelleme
Otomatik ölçeklendirme ilkesini kaldırma
Özel etiket zorlama

Genel işlem ilkesi

Kullanıcılara yol göstermeyi ve bazı işlevleri kısıtlamayı, etiketlere ihtiyaç duymayı, örnek sayısı üst sınırını kısıtlamayı ve zaman aşımını zorlamayı amaçlayan genel amaçlı bir işlem ilkesi.

{
  "instance_pool_id": {
    "type": "forbidden",
    "hidden": true
  },
  "spark_version": {
    "type": "regex",
    "pattern": "12\\.[0-9]+\\.x-scala.*"
  },
  "node_type_id": {
    "type": "allowlist",
    "values": [
      "Standard_L4s",
      "Standard_L8s",
      "Standard_L16s"
    ],
    "defaultValue": "Standard_L16s_v2"
  },
  "driver_node_type_id": {
    "type": "fixed",
    "value": "Standard_L16s_v2",
    "hidden": true
  },
  "autoscale.min_workers": {
    "type": "fixed",
    "value": 1,
    "hidden": true
  },
  "autoscale.max_workers": {
    "type": "range",
    "maxValue": 25,
    "defaultValue": 5
  },
  "autotermination_minutes": {
    "type": "fixed",
    "value": 30,
    "hidden": true
  },
  "custom_tags.team": {
    "type": "fixed",
    "value": "product"
  }
}

Delta Live Tables işlem hattı işlem hattında sınırları tanımlama

Not

Databricks, Delta Live Tables işlemini yapılandırmak için ilkeler kullanırken hem de defaultmaintenance işlem için tek bir ilke uygulanmasını önerir.

İşlem hattı işleminin ilkesini yapılandırmak için, alanı olarak dltayarlanmış bir ilke cluster_type oluşturun. Aşağıdaki örnek, Delta Live Tables işlem için en düşük ilkeyi oluşturur:

{
  "cluster_type": {
    "type": "fixed",
    "value": "dlt"
  },
  "num_workers": {
    "type": "unlimited",
    "defaultValue": 3,
    "isOptional": true
  },
  "node_type_id": {
    "type": "unlimited",
    "isOptional": true
  },
  "spark_version": {
    "type": "unlimited",
    "hidden": true
  }
}

Basit orta ölçekli ilke

Kullanıcıların minimum yapılandırmayla orta ölçekli bir işlem oluşturmasına olanak tanır. Oluşturma zamanında gereken tek alan işlem adıdır; gerisi sabittir ve gizlenir.

{
  "instance_pool_id": {
    "type": "forbidden",
    "hidden": true
  },
  "spark_conf.spark.databricks.cluster.profile": {
    "type": "forbidden",
    "hidden": true
  },
  "autoscale.min_workers": {
    "type": "fixed",
    "value": 1,
    "hidden": true
  },
  "autoscale.max_workers": {
    "type": "fixed",
    "value": 10,
    "hidden": true
  },
  "autotermination_minutes": {
    "type": "fixed",
    "value": 60,
    "hidden": true
  },
  "node_type_id": {
    "type": "fixed",
    "value": "Standard_L8s_v2",
    "hidden": true
  },
  "driver_node_type_id": {
    "type": "fixed",
    "value": "Standard_L8s_v2",
    "hidden": true
  },
  "spark_version": {
    "type": "fixed",
    "value": "auto:latest-ml",
    "hidden": true
  },
  "custom_tags.team": {
    "type": "fixed",
    "value": "product"
  }
}

Yalnızca iş ilkesi

Kullanıcıların işleri çalıştırmak için iş işlemi oluşturmasına olanak tanır. Kullanıcılar bu ilkeyi kullanarak tüm amaçlı işlem oluşturamaz.

{
  "cluster_type": {
    "type": "fixed",
    "value": "job"
  },
  "dbus_per_hour": {
    "type": "range",
    "maxValue": 100
  },
  "instance_pool_id": {
    "type": "forbidden",
    "hidden": true
  },
  "num_workers": {
    "type": "range",
    "minValue": 1
  },
  "node_type_id": {
    "type": "regex",
    "pattern": "Standard_[DLS]*[1-6]{1,2}_v[2,3]"
  },
  "driver_node_type_id": {
    "type": "regex",
    "pattern": "Standard_[DLS]*[1-6]{1,2}_v[2,3]"
  },
  "spark_version": {
    "type": "unlimited",
    "defaultValue": "auto:latest-lts"
  },
  "custom_tags.team": {
    "type": "fixed",
    "value": "product"
  }
}

Dış meta veri deposu ilkesi

Kullanıcıların zaten ekli yönetici tanımlı bir meta veri deposuyla işlem oluşturmasına olanak tanır. Bu, kullanıcıların ek yapılandırma gerektirmeden kendi işlemlerini oluşturmasına olanak sağlamak için kullanışlıdır.

{
  "spark_conf.spark.hadoop.javax.jdo.option.ConnectionURL": {
      "type": "fixed",
      "value": "jdbc:sqlserver://<jdbc-url>"
  },
  "spark_conf.spark.hadoop.javax.jdo.option.ConnectionDriverName": {
      "type": "fixed",
      "value": "com.microsoft.sqlserver.jdbc.SQLServerDriver"
  },
  "spark_conf.spark.databricks.delta.preview.enabled": {
      "type": "fixed",
      "value": "true"
  },
  "spark_conf.spark.hadoop.javax.jdo.option.ConnectionUserName": {
      "type": "fixed",
      "value": "<metastore-user>"
  },
  "spark_conf.spark.hadoop.javax.jdo.option.ConnectionPassword": {
      "type": "fixed",
      "value": "<metastore-password>"
  }
}

İşlemin işlerle kullanılmasını engelleme

Bu ilke, kullanıcıların işleri çalıştırmak için işlemi kullanmasını engeller. Kullanıcılar yalnızca not defterleriyle işlem kullanabilir.

{
  "workload_type.clients.notebooks": {
    "type": "fixed",
    "value": true
  },
  "workload_type.clients.jobs": {
    "type": "fixed",
    "value": false
  }
}

Otomatik ölçeklendirme ilkesini kaldırma

Bu ilke otomatik ölçeklendirmeyi devre dışı bırakır ve kullanıcının belirli bir aralıktaki çalışan sayısını ayarlamasına olanak tanır.

{
  "num_workers": {
  "type": "range",
  "maxValue": 25,
  "minValue": 1,
  "defaultValue": 5
  }
}

Özel etiket zorlama

İlkeye işlem etiketi kuralı eklemek için özniteliğini custom_tags.<tag-name> kullanın.

Örneğin, bu ilkeyi kullanan herhangi bir COST_CENTER kullanıcının işlem başlatabilmesi için 9999, 9921 veya 9531 etiketlerini doldurması gerekir:

   {"custom_tags.COST_CENTER": {"type":"allowlist", "values":["9999", "9921", "9531" ]}}