Databricks Varlık Paketleri kaynakları

Databricks Varlık Paketleri, paket yapılandırmasındaki resources eşlemesinde paket tarafından kullanılan Azure Databricks kaynakları hakkında bilgi belirtmenize olanak tanır. Bkz kaynak eşlemesi ve kaynak anahtarı başvurusu.

Bu sayfa, paketler için desteklenen tüm kaynak türleri için yapılandırma başvurusu sağlar ve desteklenen her tür için ayrıntılar ve bir örnek sağlar. Ek örnekler için bkz . Paket yapılandırma örnekleri.

YAML yapılandırmasını doğrulamak için kullanılan paketler için JSON şeması Databricks CLI GitHub deposundadır.

Tip

Var olan herhangi bir kaynak için YAML oluşturmak için databricks bundle generate komutunu kullanın. Bkz. databricks bundle generate.

Desteklenen kaynaklar

Aşağıdaki tabloda, paketler için desteklenen kaynak türleri (varsa YAML ve Python) listelenmektedir. Bazı kaynaklar bir pakette tanımlanarak ve paket dağıtılarak oluşturulabilir ve bazı kaynaklar yalnızca pakete dahil edilecek mevcut bir varlığa başvurularak oluşturulabilir.

Kaynak yapılandırması, Databricks REST API nesnesine karşılık gelen bir Databricks nesnesi tanımlar. REST API nesnesinin YAML olarak ifade edilen desteklenen oluşturma isteği alanları, kaynağın desteklenen anahtarlarıdır. Her kaynağın ilgili nesnesine ilişkin belgelerin bağlantıları aşağıdaki tabloda yer almaktadır.

Tip

databricks bundle validate komutu, paket yapılandırma dosyalarında bilinmeyen kaynak özellikleri bulunursa uyarılar döndürür.

Resource	Python desteği	Karşılık gelen REST API nesnesi
Uyarı		Uyarı nesnesi
app		uygulama nesnesi
cluster		küme nesnesi
dashboard		pano nesnesi
database_catalog		Veritabanı kataloğu nesnesi
database_instance		Veritabanı örneği nesnesi
experiment		Deneme nesnesi
job	İşler	İş nesnesi
modeli (eski)		Model (eski) nesnesi
model_serving_endpoint		Uç nokta nesnesi sunan model
pipeline	Pipelines	Boruhattı nesnesi
quality_monitor		Kalite izleyici nesnesi
registered_model (Unity Kataloğu)		Kayıtlı model nesnesi
şema (Unity Kataloğu)	Şema	Şema nesnesi
secret_scope		Gizli dizi kapsam nesnesi
sql_warehouse		SQL ambarı nesnesi
senkronize_veritabanı_tablosu		Eşitlenmiş veritabanı tablosu nesnesi
volume (Unity Kataloğu)	Hacimler	Hacim nesnesi

Uyarı

Type: Map

Uyarı kaynağı bir SQL uyarısı (v2) tanımlar.

alerts:
  <alert-name>:
    <alert-field-name>: <alert-field-value>

Key	Type	Description
custom_description	String	Optional. Uyarı için özel açıklama. Bıyık şablonunu destekler.
custom_summary	String	Optional. Uyarı için özel özet. Bıyık şablonunu destekler.
display_name	String	Gerekli. Uyarının görünen adı, örneğin, Example alert.
evaluation	Map	Gerekli. Uyarının değerlendirme yapılandırması. Bkz. alert.evaluation.
parent_path	String	Optional. Uyarıyı içeren klasörün çalışma alanı yolu. Yalnızca oluşturmada ayarlanabilir ve güncelleştirilemez. Örnek: /Users/someone@example.com.
permissions	Sequence	Uyarı izinleri hakkında. Bkz. izinler.
query_text	String	Gerekli. Çalıştırılacak sorgunun metni, örneğin, SELECT 1.
run_as	Map	Optional. Uyarıyı çalıştırmak için kullanılacak kimliği belirtir. Bu alan, uyarıları belirli bir kullanıcı veya hizmet sorumlusu olarak çalışacak şekilde yapılandırmanıza olanak tanır. Bkz. run_as. Kullanıcı kimliği için: user_name öğesini etkin çalışma alanı kullanıcısının e-postasına ayarlayın. Kullanıcılar bunu yalnızca kendi e-postalarına ayarlayabilir. Hizmet yetkilisi için: service_principal_name öğesini uygulama kimliği olarak ayarlayın. ServicePrincipal/User rolünü gerektirir. Belirtilmezse, uyarı istek kullanıcısı olarak çalışır.
schedule	Map	Gerekli. Uyarının zamanlama yapılandırması. Bkz. alert.schedule.
warehouse_id	String	Gerekli. Uyarıya eklenen SQL ambarının kimliği, örneğin, a7066a8ef796be84.

uyarı.değerlendirme

Type: Map

Uyarının değerlendirme yapılandırması.

Key	Type	Description
comparison_operator	String	Uyarı değerlendirmesinde karşılaştırma için kullanılan işleç.
empty_result_state	String	Sonuç boşsa uyarı durumu. Durumun kullanım dışı bırakılması planlandığından bu alanı UNKNOWNUNKNOWN olarak ayarlamaktan kaçının.
notification	Map	Uyarı tetiklendiğinde bildirimde bulunacak kullanıcı veya diğer hedef. Bkz. alert.evaluation.notification.
source	Map	Uyarıyı değerlendirmek için kullanılacak sonuç kaynak sütunu. Bkz . alert.evaluation.source.
threshold	Map	Uyarı değerlendirmesi için kullanılacak eşik. Bu bir sütun veya değer olabilir. Bkz . alert.evaluation.threshold.

alert.evaluation.notification

Type: Map

Uyarı tetiklendiğinde bildirimde bulunacak kullanıcı veya diğer hedef.

Key	Type	Description
notify_on_ok	Boolean	Optional. Uyarı normale döndüğünde uyarı abonelerine bildirimde bulunup bulunmayacağı.
retrigger_seconds	Integer	Optional. Bir uyarının başka bir bildirim göndermesine izin verilmeden önce tetiklenmesini beklediği saniye sayısı. 0 olarak ayarlanırsa veya atlanırsa, uyarı ilk tetiklemeden sonra başka bildirim göndermez. Bu değeri 1 olarak ayarlamak, uyarının koşulun karşılandığı her değerlendirmede bildirim göndermesine olanak tanır ve bildirim amacıyla her zaman yeniden tetiklemesini sağlar.
subscriptions	Sequence	Optional. Bildirim aboneliklerinin sıralanmamış listesi. Bkz alert.evaluation.notification.subscriptions.

alert.evaluation.notification.subscriptions

Type: Sequence

Bildirim aboneliklerinin sıralanmamış listesi.

Listedeki her öğe bir AlertSubscription:

Key	Type	Description
destination_id	String	Bildirim hedefinin kimliği.
user_email	String	Bildirimde bulunacak kullanıcının e-posta adresi.

alert.evaluation.source

Type: Map

Uyarıyı değerlendirmek için kullanılacak sonuçtaki kaynak sütun.

Key	Type	Description
aggregation	String	Kaynak sütuna uygulanacak toplama yöntemi. Geçerli değerler: SUM, COUNT, COUNT_DISTINCT, AVG, MEDIAN, MIN, MAX, STDDEV
display	String	Kaynak sütunun görünen adı.
name	String	Sorgu sonucundaki kaynak sütunun adı.

uyarı.değerlendirme.eşiği

Type: Map

Uyarı değerlendirmesi için kullanılacak eşik bir sütun veya değer olabilir.

Key	Type	Description
column	Map	Eşik olarak kullanılacak sütun referansı. Bkz . alert.evaluation.source.
value	Map	Eşik olarak kullanılacak sabit değer. Bkz . alert.evaluation.threshold.value.

alert.evaluation.threshold.value

Type: Map

Eşik olarak kullanılacak sabit değer. Aşağıdaki değer türlerinden birini belirtin.

Key	Type	Description
bool_value	Boolean	Optional. Eşik için Boole değeri, örneğin, true.
double_value	Double	Optional. Eşik için sayısal değer, örneğin, 1.25.
string_value	String	Optional. Eşik için dize değeri, örneğin, test.

uyarı.takvimi

Type: Map

Uyarının zamanlama yapılandırması.

Key	Type	Description
pause_status	String	Optional. Bu zamanlamanın duraklatılıp duraklatılmadığı mı? Geçerli değerler: UNPAUSED, PAUSED. Varsayılan: UNPAUSED.
quartz_cron_schedule	String	Gerekli. Bu işlem hattının zamanlamasını belirten quartz söz dizimini kullanan bir cron ifadesi. Quartz formatı quartz scheduler biçiminde açıklanmıştır.
timezone_id	String	Gerekli. Java saat dilimi kimliği. Zamanlama bu saat dilimi kullanılarak çözülür. Bu, zamanlamayı belirlemek için quartz_cron_schedule ile birleştirilecektir. Ayrıntılar için bkz SET TIME ZONE .

Examples

Aşağıdaki örnek yapılandırma, basit bir değerlendirmeyle bir uyarı tanımlar:

resources:
  alerts:
    my_alert:
      display_name: my_alert
      evaluation:
        comparison_operator: EQUAL
        source:
          name: '1'
        threshold:
          value:
            double_value: 2
      query_text: select 2
      schedule:
        quartz_cron_schedule: '44 19 */1 * * ?'
        timezone_id: Europe/Amsterdam
      warehouse_id: 799f096837fzzzz4

Aşağıdaki örnek yapılandırma, toplama kullanılarak değerlendirilen ve bildirim gönderen izinlere sahip bir uyarı tanımlar:

resources:
  alerts:
    my_alert:
      permissions:
        - level: CAN_MANAGE
          user_name: someone@example.com
      custom_summary: 'My alert'
      display_name: 'My alert'
      evaluation:
        comparison_operator: 'EQUAL'
        notification:
          notify_on_ok: false
          retrigger_seconds: 1
        source:
          aggregation: 'MAX'
          display: '1'
          name: '1'
        threshold:
          value:
            double_value: 2
      query_text: 'select 2'
      schedule:
        pause_status: 'UNPAUSED'
        quartz_cron_schedule: '44 19 */1 * * ?'
        timezone_id: 'Europe/Amsterdam'
      warehouse_id: 799f096837fzzzz4

uygulaması

Type: Map

Uygulama kaynağı,bir Databricks uygulaması tanımlar. Databricks Uygulamaları hakkında bilgi için bkz. Databricks Uygulamaları.

Uygulama eklemek için, gerekli source_code_pathdahil olmak üzere uygulamayı tanımlamak için ayarları belirtin.

Tip

Aşağıdaki komutu kullanarak Streamlit Databricks uygulamasıyla bir paket başlatabilirsiniz:

databricks bundle init https://github.com/databricks/bundle-examples --template-dir contrib/templates/streamlit-app

apps:
  <app-name>:
    <app-field-name>: <app-field-value>

Key	Type	Description
budget_policy_id	String	Uygulamanın bütçe ilkesi kimliği.
compute_size	String	Uygulamanın işlem boyutu. Geçerli değerler şunlardır: MEDIUM veya LARGE ve bu değerler çalışma alanı yapılandırmasına bağlıdır.
config	Map	Deprecated. Bunun yerine dosyada app.yaml uygulama yapılandırma komutlarınızı ve ortam değişkenlerinizi tanımlayın. Bkz . Databricks uygulamasını yapılandırma.
description	String	Uygulamanın açıklaması.
lifecycle	Map	Kaynağın dağıtıldığında veya yok edildiğindeki davranışı. Bkz . yaşam döngüsü.
name	String	Uygulamanın adı. Ad yalnızca küçük harfli alfasayısal karakterler ve kısa çizgiler içermelidir. Çalışma alanı içinde benzersiz olmalıdır.
permissions	Sequence	Uygulamanın izinleri. Bkz. izinler.
resources	Sequence	Uygulamanın hesaplama kaynakları. Bkz . app.resources.
source_code_path	String	./app Databricks uygulama kaynak kodunun yerel yolu.
user_api_scopes	Sequence	Kullanıcı API'sinin kapsamları.

app.kaynaklar

Type: Sequence

Uygulama için işlem kaynaklarının listesi.

Listedeki her öğe bir AppResource:

Key	Type	Description
description	String	Uygulama kaynağının açıklaması.
database	Map	Kullanılacak Lakebase veritabanını tanımlayan ayarlar. Bkz . app.resources.database.
genie_space	Map	Kullanılacak Genie alanını tanımlayan ayarlar. Bkz. app.resources.genie_space.
job	Map	Kullanılacak iş kaynağını tanımlayan ayarlar. Bkz . app.resources.job.
name	String	Uygulama kaynağının adı.
secret	Map	Kullanılacak Azure Databricks gizli dizi kaynağını tanımlayan ayarlar. Bkz . app.resources.secret.
serving_endpoint	Map	Kullanılacak uç nokta kaynağını sunan modeli tanımlayan ayarlar. bkz. app.resources.serving_endpoint.
sql_warehouse	Map	Kullanılacak SQL ambarı kaynağını tanımlayan ayarlar. Bkz. app.resources.sql_warehouse.
uc_securable	Map	Kullanılacak Unity Kataloğu birimini tanımlayan ayarlar. Bkz. app.resources.uc_securable.

app.kaynaklar.veritabanı

Type: Map

Kullanılacak Lakebase veritabanını tanımlayan ayarlar.

Key	Type	Description
database_name	String	Veritabanının adı.
instance_name	String	Veritabanı örneğinin adı.
permission	String	Veritabanının izin düzeyi. Geçerli değerler şunlardır: CAN_CONNECT_AND_CREATE.

app.resources.genie_space

Type: Map

Kullanılacak Genie alanını tanımlayan ayarlar.

Key	Type	Description
name	String	Genie uzayının adı.
permission	String	Alanın izin düzeyi. Geçerli değerler , CAN_VIEW, CAN_EDIT, CAN_MANAGE. CAN_RUN
space_id	String	Genie alanının kimliği, örneğin 550e8400-e29b-41d4-a716-999955440000.

app.resources.job

Type: Map

Kullanılacak iş kaynağını tanımlayan ayarlar.

Key	Type	Description
id	String	İşin ID'si.
permission	String	İş için yetki düzeyi. Geçerli değerler , CAN_VIEW, CAN_MANAGE_RUN, CAN_MANAGE. IS_OWNER

uygulama.kaynaklar.gizli

Type: Map

Kullanılacak Azure Databricks gizli dizi kaynağını tanımlayan ayarlar.

Key	Type	Description
key	String	Gizli anahtar, izin vermek için kullanılır.
permission	String	Gizli için izin düzeyi. Geçerli değerler READ, WRITE, MANAGE.
scope	String	Gizli kapsamın adı.

app.kaynaklar.servis_uç_noktası

Type: Map

Kullanılacak uç nokta kaynağını sunan modeli tanımlayan ayarlar.

Key	Type	Description
name	String	Hizmet uç noktasının adı.
permission	String	Sunum uç noktası için izin düzeyi. Geçerli değerler CAN_QUERY, CAN_MANAGE, CAN_VIEW.

app.resources.sql_warehouse

Type: Map

Kullanılacak SQL ambarını tanımlayan ayarlar.

Key	Type	Description
id	String	SQL depo kimliği.
permission	String	SQL ambarı için izin düzeyi. Geçerli değerler CAN_USE, CAN_MANAGE, IS_OWNER.

app.resources.uc_securable

Type: Map

Kullanılacak Unity Kataloğu birimini tanımlayan ayarlar.

Key	Type	Description
permission	String	Unity Kataloğu için güvenli hale getirilebilen izin düzeyi. Geçerli değerler: READ_VOLUME ve WRITE_VOLUME.
securable_full_name	String	Unity Kataloğu'nun güvenlik sağlanabilir biçimdeki tam adı catalog.schema.volume.
securable_type	String	Unity Kataloğu'nun güvenli hale getirilebilen türü. Geçerli değerler şunlardır: VOLUME.

Example

Aşağıdaki örnek, paket tarafından oluşturulan bir işi yöneten my_app adlı bir uygulama oluşturur:

resources:
  jobs:
    # Define a job in the bundle
    hello_world:
      name: hello_world
      tasks:
        - task_key: task
          spark_python_task:
            python_file: ../src/main.py
          environment_key: default

      environments:
        - environment_key: default
          spec:
            environment_version: '2'

  # Define an app that manages the job in the bundle
  apps:
    job_manager:
      name: 'job_manager_app'
      description: 'An app which manages a job created by this bundle'

      # The location of the source code for the app
      source_code_path: ../src/app

      # The resources in the bundle which this app has access to. This binds the resource in the app with the bundle resource.
      resources:
        - name: 'app-job'
          job:
            id: ${resources.jobs.hello_world.id}
            permission: 'CAN_MANAGE_RUN'

Buna karşılık gelen app.yaml , uygulamayı çalıştırma yapılandırmasını tanımlar:

command:
  - flask
  - --app
  - app
  - run
  - --debug
env:
  - name: JOB_ID
    valueFrom: 'app-job'

Databricks uygulama örneği paketinin tamamı için bkz. paket örnekleri GitHub deposu.

kümesi

Type: Map

Küme kaynağı bir küme tanımlar.

clusters:
  <cluster-name>:
    <cluster-field-name>: <cluster-field-value>

Key	Type	Description
apply_policy_default_values	Boolean	true olarak ayarlandığında, ilkedeki sabit ve varsayılan değerler atlanmış alanlar için kullanılır. false olarak ayarlandığında, yalnızca ilkedeki sabit değerler uygulanır.
autoscale	Map	Yüke göre kümelerin ölçeğini otomatik olarak büyütmek ve küçültmek için gereken parametreler. Bkz. otomatik ölçeklendirme.
autotermination_minutes	Integer	Küme, bu süre boyunca devre dışı olduktan sonra dakikalar içinde otomatik olarak sonlandırılır. Ayarlanmadıysa, bu küme otomatik olarak sonlandırılmaz. Belirtilirse, eşik 10 ile 10000 dakika arasında olmalıdır. Kullanıcılar otomatik sonlandırmayı açıkça devre dışı bırakmak için bu değeri 0 olarak da ayarlayabilir.
aws_attributes	Map	Amazon Web Services üzerinde çalışan kümelerle ilgili öznitelikler. Küme oluşturma sırasında belirtilmezse, bir varsayılan değerler kümesi kullanılır. Bkz. aws_attributes.
azure_attributes	Map	Microsoft Azure'da çalışan kümelerle ilgili öznitelikler. Küme oluşturma sırasında belirtilmezse, bir varsayılan değerler kümesi kullanılır. Bkz. azure_attributes.
cluster_log_conf	Map	Spark günlüklerini uzun vadeli bir depolama hedefine teslim etme yapılandırması. bkz. cluster_log_conf.
cluster_name	String	Kullanıcı tarafından istenen küme adı. Bunun benzersiz olması gerekmez. Oluşturma sırasında belirtilmezse, küme adı boş bir dize olur.
custom_tags	Map	Küme kaynakları için ek etiketler. Databricks, tüm küme kaynaklarını (örneğin AWS örnekleri ve EBS birimleri) bunlara ek olarak default_tagsbu etiketlerle etiketleyecektir.
data_security_mode	String	Kümeden verilere erişirken kullanılacak veri idaresi modeli. Geçerli değerler : NONE, SINGLE_USER, USER_ISOLATION, LEGACY_SINGLE_USER, LEGACY_TABLE_ACL, LEGACY_PASSTHROUGH.
docker_image	Map	Özel docker görüntüsü. bkz. docker_image.
driver_instance_pool_id	String	Kümenin sürücüsünün bağlı olduğu örnek havuzunun isteğe bağlı kimliği. Sürücü havuzu atanmamışsa, havuz grubu (instance_pool_id) kimlikli örnek havuzunu kullanır.
driver_node_type_id	String	Spark sürücüsünün düğüm türü. Bu alanın isteğe bağlı olduğunu unutmayın; ayarlanmamışsa, sürücü düğümü türü yukarıda tanımlanan değerle aynı değer olarak node_type_id ayarlanır. virtual_cluster_size ayarlandıysa, node_type_id ile birlikte bu alan ayarlanmamalıdır. Driver_node_type_id, node_type_id ve virtual_cluster_size belirtilirse, driver_node_type_id ve node_type_id öncelik kazanır.
enable_elastic_disk	Boolean	Yerel DepolamaYı Otomatik Ölçeklendirme: Etkinleştirildiğinde, Spark çalışanlarının disk alanı azaldığında bu küme dinamik olarak ek disk alanı alır. Bu özelliğin düzgün çalışması için belirli AWS izinlerinin olması gerekir. Daha fazla ayrıntı için Kullanıcı Kılavuzu'na bakın.
enable_local_disk_encryption	Boolean	Küme VM'lerinin yerel disklerinde LUKS'nin etkinleştirilip etkinleştirilmeyileceği
gcp_attributes	Map	Google Cloud Platform'da çalışan kümelerle ilgili öznitelikler. Küme oluşturma sırasında belirtilmezse, bir varsayılan değerler kümesi kullanılır. Bkz. gcp_attributes.
init_scripts	Sequence	Başlatma betiklerinin depolanması için yapılandırma. Herhangi bir sayıda hedef belirtilebilir. Komut dosyaları, sağlanan sırayla yürütülür. bkz. init_scripts.
instance_pool_id	String	Kümenin ait olduğu örnek havuzunun isteğe bağlı kimliği.
is_single_node	Boolean	Bu alan yalnızca olduğunda kind = CLASSIC_PREVIEWkullanılabilir. True olarak ayarlandığında Databricks, otomatik olarak tek düğümle ilgili custom_tags, spark_conf ve num_workers kümelerini ayarlar.
kind	String	Bu hesaplama belgesi ile belirtilen hesaplama türü.
node_type_id	String	Bu alan, bu kümedeki Spark düğümlerinin her biri için kullanılabilen kaynakları tek bir değer aracılığıyla kodlar. Örneğin Spark düğümleri bellek veya işlem yoğunluklu iş yükleri için sağlanabilir ve iyileştirilebilir. Kullanılabilir düğüm türlerinin listesi :method:clusters/listNodeTypes API çağrısı kullanılarak alınabilir.
num_workers	Integer	Bu kümenin sahip olması gereken çalışan düğümlerinin sayısı. Bir kümede toplam num_workers + 1 Spark düğümü için bir Spark Sürücüsü ve num_workers Yürütücüleri vardır.
permissions	Sequence	Küme izinleri. Bkz. izinler.
policy_id	String	Varsa kümeyi oluşturmak için kullanılan küme ilkesinin kimliği.
runtime_engine	String	Kümenin çalışma zamanı altyapısını, ya STANDARD ya da PHOTON olarak belirler.
single_user_name	String	Veri_güvenlik_modu SINGLE_USER ise tek kullanıcı adı
spark_conf	Map	İsteğe bağlı, kullanıcı tarafından belirtilen Spark yapılandırma anahtarı-değer çiftleri kümesini içeren bir nesne. Kullanıcılar ayrıca, spark.driver.extraJavaOptions aracılığıyla sürücüye ve spark.executor.extraJavaOptions aracılığıyla yürütücülere fazladan JVM seçeneklerinden oluşan bir dize geçirebilir.
spark_env_vars	Map	İsteğe bağlı, kullanıcı tarafından belirtilen ortam değişkeni anahtar-değer çiftleri kümesini içeren bir nesne.
spark_version	String	Kümenin Spark sürümü, örneğin. 3.3.x-scala2.11 Kullanılabilir Spark sürümlerinin listesi :method:clusters/sparkVersions API çağrısı kullanılarak alınabilir.
ssh_public_keys	Sequence	Bu kümedeki her Spark düğümüne eklenecek SSH ortak anahtar içeriği. İlgili özel anahtarlar, kullanıcı adı ubuntu ile 2200 bağlantı noktasında oturum açmak için kullanılabilir. En fazla 10 anahtar belirtilebilir.
use_ml_runtime	Boolean	Bu alan yalnızca olduğunda kind = CLASSIC_PREVIEWkullanılabilir. effective_spark_version, spark_version (DBR sürümü), bu alan use_ml_runtime ve node_type_id bir GPU düğümü olup olmadığı tarafından belirlenir.
workload_type	Map	Küme iş yükü türleri için gösterilen Küme Öznitelikleri. bkz. workload_type.

cluster.autoscale

Type: Map

Yüke göre kümeleri otomatik olarak yukarı ve aşağı ölçeklendirmeye yönelik parametreler.

Key	Type	Description
min_workers	Integer	Az kullanıldığında kümenin ölçeğini azaltabileceği en az çalışan sayısı. Ayrıca, kümenin oluşturulduktan sonra sahip olacağı ilk çalışan sayısıdır.
max_workers	Integer	Aşırı yüklendiğinde kümenin ölçeğini artırabileceği en fazla çalışan sayısı. max_workers kesinlikle değerinden min_workersbüyük olmalıdır.

cluster.aws_attributes

Type: Map

Amazon Web Services üzerinde çalışan kümelerle ilgili öznitelikler.

Key	Type	Description
zone_id	String	Kümenin bulunduğu kullanılabilirlik alanının/veri merkezinin tanımlayıcısı. Bu dize us-west-2a şeklinde olacaktır.
availability	String	first_on_demand birimlerinden sonra gelen tüm düğümler için kullanılacak kullanılabilirlik türü. Geçerli değerler , SPOT, ON_DEMANDSPOT_WITH_FALLBACK.
spot_bid_price_percent	Integer	AWS spot örnekleri için en yüksek fiyat, karşılık gelen örnek türünün isteğe bağlı fiyatının yüzdesi olarak.
instance_profile_arn	String	Bu kümenin düğümleri yalnızca bu örnek profiline sahip AWS örneklerine yerleştirilir.
first_on_demand	Integer	Kümenin ilk first_on_demand düğümleri isteğe bağlı örneklere yerleştirilir. Küme sürücüsü düğümünün isteğe bağlı bir örneğe yerleştirildiğinden emin olmak için bu değer değerinden 0büyük olmalıdır.
ebs_volume_type	String	Bu kümeyle birlikte açılacak EBS birimlerinin türü. Geçerli değerler GENERAL_PURPOSE_SSD veya THROUGHPUT_OPTIMIZED_HDD.
ebs_volume_count	Integer	Her örnek için başlatılan birim sayısı.
ebs_volume_size	Integer	Her örnek için başlatılan her EBS biriminin (GiB cinsinden) boyutu.
ebs_volume_iops	Integer	EBS gp3 birimi başına IOPS sayısı.
ebs_volume_throughput	Integer	Saniyede MiB cinsinden EBS gp3 birimi başına aktarım hızı.

cluster.azure_özellikleri

Type: Map

Microsoft Azure'da çalışan kümelerle ilgili öznitelikler.

Key	Type	Description
first_on_demand	Integer	Kümenin ilk first_on_demand düğümleri isteğe bağlı örneklere yerleştirilir.
availability	String	first_on_demand birimlerinden sonra gelen tüm düğümler için kullanılacak kullanılabilirlik türü. Geçerli değerler , SPOT_AZURE, ON_DEMAND_AZURESPOT_WITH_FALLBACK_AZURE.
spot_bid_max_price	Sayı	Azure spot örnekleri için en yüksek fiyat. En düşük fiyatı belirtmek için kullanın -1 .

küme.gcp_özellikleri

Type: Map

Google Cloud Platform'da çalışan kümelerle ilgili öznitelikler.

Key	Type	Description
use_preemptible_executors	Boolean	Ön alabilir yürütücülerin kullanılıp kullanılmayacağı. Öncelikli yönetici işlemciler, GCE tarafından herhangi bir zamanda geri kazanılabilen öncelikli GCE örnekleridir.
google_service_account	String	Databricks kümesi VM örnekleri tarafından kullanılacak Google hizmet hesabı.
local_ssd_count	Integer	Kümedeki her düğüme eklenecek yerel SSD sayısı. Varsayılan değer şudur: 0.
zone_id	String	Kümenin bulunduğu kullanılabilirlik alanının/veri merkezinin tanımlayıcısı.
availability	String	Tüm düğümler için kullanılan kullanılabilirlik türü. Geçerli değerler , PREEMPTIBLE_GCP, ON_DEMAND_GCPPREEMPTIBLE_WITH_FALLBACK_GCP.
boot_disk_size	Integer	Önyükleme diskinin GB cinsinden kapasitesi. Değerler genellikle 100 ile 1000 arasında değişir.

cluster.cluster_log_conf

Spark günlüklerini uzun vadeli bir depolama hedefine teslim etme yapılandırması.

Key	Type	Description
dbfs	Map	Küme günlüğü teslimi için DBFS konumu. Bkz. dbfs.
s3	Map	Küme günlüğü teslimi için S3 konumu. Bkz. s3.
volumes	Map	Küme günlüğü teslimi için depolama birimlerinin konumu. Bkz. hacimler.

cluster.cluster_log_conf.dbfs

Type: Map

Küme günlüğü teslimi için DBFS konumu.

Key	Type	Description
destination	String	Küme günlüğü teslimi için DBFS yolu (örneğin, dbfs:/cluster-logs).

cluster.cluster_log_conf.s3

Type: Map

Küme günlüğü teslimi için S3 konumu.

Key	Type	Description
destination	String	Küme günlüğü teslimi için S3 URI'sini (örneğin, s3://my-bucket/cluster-logs).
region	String	S3 bucket'ının AWS bölgesi.
endpoint	String	S3 uç nokta URL'si (isteğe bağlı).
enable_encryption	Boolean	Küme günlükleri için şifrelemenin etkinleştirilip etkinleştirilmeyileceği.
encryption_type	String	Şifreleme türü. Geçerli değerler: SSE_S3, SSE_KMS.
kms_key	String	Şifreleme için KMS anahtarı ARN'si ( SSE_KMS kullanılırken).
canned_acl	String	Uygulanacak olan önceden tanımlı (canned) ACL, küme günlükleri içindir.

cluster.cluster_log_conf.volumes

Type: Map

Küme günlüğü teslimi için depolama birimlerinin konumu.

Key	Type	Description
destination	String	Küme günlüğü tesliminin birim yolu (örneğin, /Volumes/catalog/schema/volume/cluster_log).

cluster.docker_image (Docker imajı)

Type: Map

Özel Docker görüntü yapılandırması.

Key	Type	Description
url	String	Docker görüntüsünün URL'si.
basic_auth	Map	Docker deposu için temel kimlik doğrulaması. bkz. basic_auth.

cluster.docker_image.basic_auth

Type: Map

Docker deposu için temel kimlik doğrulaması.

Key	Type	Description
username	String	Docker kayıt defteri kimlik doğrulamasının kullanıcı adı.
password	String	Docker kayıt defteri kimlik doğrulamasının parolası.

küme.başlatma_betikleri

Type: Map

Başlatma betiklerinin depolanması için yapılandırma. En az bir konum türü belirtilmelidir.

Key	Type	Description
dbfs	Map	Init betiğinin DBFS konumu. Bkz. dbfs.
workspace	Map	init betiğinin çalışma alanı konumu. Bkz . çalışma alanı.
s3	Map	Init betiğinin S3 konumu. Bkz. s3.
abfss	Map	init betiğinin ABFSS konumu. Bkz. abfss.
gcs	Map	Init betiğinin GCS konumu. Bkz. gcs.
volumes	Map	UC Volumes init betiğinin konumu. Bkz. hacimler.

cluster.init_scripts.dbfs

Type: Map

Init betiğinin DBFS konumu.

Key	Type	Description
destination	String	Init betiğinin DBFS yolu.

cluster.init_scripts.workspace

Type: Map

init betiğinin çalışma alanı konumu.

Key	Type	Description
destination	String	init betiğinin çalışma alanı yolu.

cluster.init_scripts.s3

Type: Map

Init betiğinin S3 konumu.

Key	Type	Description
destination	String	Başlangıç betiğine ait S3 URI'si.
region	String	S3 bucket'ının AWS bölgesi.
endpoint	String	S3 uç nokta URL'si (isteğe bağlı).

cluster.init_scripts.abfss

Type: Map

init betiğinin ABFSS konumu.

Key	Type	Description
destination	String	init betiğinin ABFSS yolu.

cluster.init_scripts.gcs

Type: Map

Init betiğinin GCS konumu.

Key	Type	Description
destination	String	Init betiğinin GCS yolu.

cluster.init_scripts.volumes

Type: Map

Init betiğinin birim konumu.

Key	Type	Description
destination	String	Init betiğinin UC Birimleri yolu.

küme.işyükü_türü

Type: Map

Küme iş yükü türlerini gösteren küme öznitelikleri.

Key	Type	Description
clients	Map	Kümeyi ne tür istemcilerin kullanabileceğini tanımlar. Bakınız müşteriler.

küme.iş_yükü_türü.müşteriler

Type: Map

Bu hesaplama iş yükü için istemci türü.

Key	Type	Description
jobs	Boolean	Kümenin işleri çalıştırıp çalıştıramayacağını belirleyebilir misiniz?
notebooks	Boolean	Kümenin not defterlerini çalıştırıp çalıştıramayacağı.

Examples

Aşağıdaki örnek, Databricks Runtime 15.4 LTS ve bir küme ilkesi ile geçerli kullanıcı için ayrılmış (tek kullanıcılı) bir küme oluşturur:

resources:
  clusters:
    my_cluster:
      num_workers: 0
      node_type_id: 'i3.xlarge'
      driver_node_type_id: 'i3.xlarge'
      spark_version: '15.4.x-scala2.12'
      spark_conf:
        'spark.executor.memory': '2g'
      autotermination_minutes: 60
      enable_elastic_disk: true
      single_user_name: ${workspace.current_user.userName}
      policy_id: '000128DB309672CA'
      enable_local_disk_encryption: false
      data_security_mode: SINGLE_USER
      runtime_engine": STANDARD

Bu örnek basit bir küme my_cluster oluşturur ve bunu içinde not defterini my_jobçalıştırmak için kullanılacak küme olarak ayarlar:

bundle:
  name: clusters

resources:
  clusters:
    my_cluster:
      num_workers: 2
      node_type_id: 'i3.xlarge'
      autoscale:
        min_workers: 2
        max_workers: 7
      spark_version: '13.3.x-scala2.12'
      spark_conf:
        'spark.executor.memory': '2g'

  jobs:
    my_job:
      tasks:
        - task_key: test_task
          notebook_task:
            notebook_path: './src/my_notebook.py'
          existing_cluster_id: ${resources.clusters.my_cluster.id}

gösterge tablosu

Type: Map

Pano kaynağı, AI/BI panolarını bir pakette yönetmenizi sağlar. AI/BI panoları hakkında bilgi için bkz. Panolar.

Yerel ortamınızdan bir pano içeren bir paket dağıttıysanız ve ardından bu panoyu değiştirmek için kullanıcı arabirimini kullandıysanız, kullanarak bundle generateaçıkça güncelleştirmediğiniz sürece kullanıcı arabirimi aracılığıyla yapılan değişiklikler yerel paketteki pano JSON dosyasına uygulanmaz. Panodaki değişiklikleri sürekli yoklayıp almak için --watch seçeneğini kullanabilirsiniz. Bkz. databricks bundle generate.

Ayrıca, yerel ortamınızdan uzak çalışma alanında bulunandan farklı bir pano JSON dosyası içeren bir paket dağıtmaya çalışırsanız bir hata oluşur. Yerel çalışma alanındaki panoyu uzak çalışma alanına yükleyip üzerine yazmayı zorunlu kılmak için --force seçeneğini kullanın. Bkz. databricks paket dağıtımı.

Note

Databricks Varlık Paketleri'ni pano Git desteğiyle kullanırken, panoların dosya olarak eşitlenmesini dışlamak için eşitleme eşlemesini ekleyerek yinelenen panoların oluşturulmasını önleyin:

sync:
  exclude:
    - src/*.lvdash.json

dashboards:
  <dashboard-name>:
    <dashboard-field-name>: <dashboard-field-value>

Key	Type	Description
display_name	String	Gösterge tablosunun görünen adı.
embed_credentials	Boolean	Paket dağıtım kimliği kimlik bilgilerinin tüm pano görüntüleyicileri için sorgu yürütmek için kullanılıp kullanılmadığı. olarak ayarlanırsa false, görüntüleyicinin kimlik bilgileri kullanılır. Varsayılan değer şudur: false.
etag	String	Panonun etag'i. Panonun son okumadan sonra değiştirilmediğinden emin olmak için güncelleştirmelerde isteğe bağlı olarak sağlanabilir.
file_path	String	Dosya adı da dahil olmak üzere pano varlığının yerel yolu. Dışarı aktarılan panolarda her zaman dosya uzantısı .lvdash.jsonbulunur.
permissions	Sequence	Gösterge tablosu izinleri. Bkz. izinler.
serialized_dashboard	Any	Panonun serileştirilmiş dize biçimindeki içeriği.
warehouse_id	String	Gösterge panelini çalıştırmak için kullanılan depo kimliği.

Example

Aşağıdaki örnek örnek NYC Taxi Trip Analysis panosunu içerir ve Databricks çalışma alanına dağıtır.

resources:
  dashboards:
    nyc_taxi_trip_analysis:
      display_name: 'NYC Taxi Trip Analysis'
      file_path: ../src/nyc_taxi_trip_analysis.lvdash.json
      warehouse_id: ${var.warehouse_id}

veri_tabanı_kataloğu

Type: Map

Veritabanı kataloğu kaynağı, bir paketteki veritabanı örneklerine karşılık gelen veritabanı katalogları tanımlamanızı sağlar. Veritabanı kataloğu, Unity Kataloğu kataloğu olarak kaydedilmiş bir Lakebase veritabanıdır.

Veritabanı katalogları hakkında bilgi için bkz. Katalog oluşturma.

database_catalogs:
  <database_catalog-name>:
    <database_catalog-field-name>: <database_catalog-field-value>

Key	Type	Description
create_database_if_not_exists	Boolean	Veritabanı yoksa oluşturulup oluşturulmayacağı.
database_instance_name	String	Veritabanını barındıran örneğin adı.
database_name	String	Katalogla ilişkilendirilmiş veritabanının adı (örnekte).
lifecycle	Map	Kaynağın dağıtıldığında veya yok edildiğindeki davranışı dahil olmak üzere bir kaynağın yaşam döngüsü ayarlarını içerir. Bkz . yaşam döngüsü.
name	String	Unity Kataloğu'ndaki kataloğun adı.

Example

Aşağıdaki örnek, ilgili veritabanı kataloğuna sahip bir veritabanı örneğini tanımlar:

resources:
  database_instances:
    my_instance:
      name: my-instance
      capacity: CU_1
  database_catalogs:
    my_catalog:
      database_instance_name: ${resources.database_instances.my_instance.name}
      name: example_catalog
      database_name: my_database
      create_database_if_not_exists: true

veritabanı_örneği

Type: Map

Veritabanı örneği kaynağı, veritabanı örneklerini bir pakette tanımlamanıza olanak tanır. Lakebase veritabanı örneği depolama ve işlem kaynaklarını yönetir ve kullanıcıların bağlanacakları uç noktaları sağlar.

Önemli

Veritabanı örneğiyle bir paket dağıttığınızda örnek hemen çalışmaya başlar ve fiyatlandırmaya tabidir. Bkz. Lakebase fiyatlandırması.

Veritabanı örnekleri hakkında bilgi için bkz. Veritabanı örneği nedir?.

database_instances:
  <database_instance-name>:
    <database_instance-field-name>: <database_instance-field-value>

Key	Type	Description
capacity	String	Örneğin sku'su. Geçerli değerler CU_1, CU_2, CU_4CU_8.
custom_tags	Sequence	Örnekle ilişkilendirilmiş özel etiketleri belirten anahtar-değer çiftlerinin listesi.
enable_pg_native_login	Boolean	Örneğin PG yerel parola oturum açma özelliğinin etkinleştirilip etkinleştirilmediği. Varsayılan olarak true değerini alır.
enable_readable_secondaries	Boolean	İkincillerin salt okunur trafiğe hizmet vermesine izin verilip verilmeyeceği. Varsayılan olarak false değerini alır.
lifecycle	Map	Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
name	String	Örneğin adı. Bu, örneğin benzersiz tanımlayıcısıdır.
node_count	Integer	Örnekteki 1 birincil ve 0 veya daha fazla ikincilden oluşan düğüm sayısı. Varsayılan olarak 1 birincil ve 0 ikincil değere sahiptir.
parent_instance_ref	Map	Ebeveyn örneğin bağlantısı. Bu yalnızca örnek alt örnekse kullanılabilir. Bkz. üst örnek.
permissions	Sequence	Veritabanı örneğinin izinleri. Bkz. izinler.
retention_window_in_days	Integer	Örneğin bekletme penceresi. Bu, geçmiş verilerin tutıldığı gün içindeki zaman penceresidir. Varsayılan değer 7 gündür. Geçerli değerler 2 ile 35 gündür.
stopped	Boolean	Örneğin durdurulup durdurulmadığı.
usage_policy_id	String	Örnekle ilişkilendirilecek istenen kullanım ilkesi.

veritabani_nesneleri.ebeveyn_nesne_baglanti_ref

Type: Map

Ebeveyn örneğin bağlantısı. Bu yalnızca örnek alt örnekse kullanılabilir.

Key	Type	Description
branch_time	String	Referans veritabanı örneğinin dal zamanı. Üst öğe örneği için bu, örneğin oluşturulduğu üst öğede bulunan zaman noktasıdır. Bir alt başvuru örneği için bu, alt örneğin oluşturulduğu örnekteki zaman noktasıdır.
lsn	String	Referans veritabanı örneğinin kullanıcı tarafından belirtilen WAL LSN'si.
name	String	Referans veritabanı örneğinin adı.

Example

Aşağıdaki örnek, ilgili veritabanı kataloğuna sahip bir veritabanı örneğini tanımlar:

resources:
  database_instances:
    my_instance:
      name: my-instance
      capacity: CU_1
  database_catalogs:
    my_catalog:
      database_instance_name: ${resources.database_instances.my_instance.name}
      name: example_catalog
      database_name: my_database
      create_database_if_not_exists: true

Veritabanı örneğinin ve buna karşılık gelen veritabanı kataloğunun nasıl tanımlandığını gösteren örnek bir paket için bkz. paket örnekleri GitHub deposu.

deneyi

Type: Map

Deneme kaynağı, MLflow denemelerini bir pakette tanımlamanızı sağlar. MLflow denemeleri hakkında bilgi için bkz.MLflow denemeleriyle eğitim çalıştırmalarını düzenleme .

experiments:
  <experiment-name>:
    <experiment-field-name>: <experiment-field-value>

Key	Type	Description
artifact_location	String	Deneme yapıtlarının depolandığı konum.
lifecycle	Map	Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
name	String	Denemeyi tanımlayan kullanıcı dostu ad. Databricks çalışma alanında bir deneme adı, örneğin /Workspace/Users/someone@example.com/my_experiment, mutlak bir yol olarak belirtilmelidir.
permissions	Sequence	Denemenin izinleri. Bkz. izinler.
tags	Sequence	Ek meta veri anahtar-değer çiftleri. Etiketlere bakın.

Example

Aşağıdaki örnek, tüm kullanıcıların görüntüleyebileceği bir denemeyi tanımlar:

resources:
  experiments:
    experiment:
      name: /Workspace/Users/someone@example.com/my_experiment
      permissions:
        - level: CAN_READ
          group_name: users
      description: MLflow experiment used to track runs

görevi

Type: Map

Databricks Asset Bundles için Python'da işler desteklenmektedir. Bkz. databricks.bundles.jobs.

İş kaynağı, paketlerinizde işleri ve buna karşılık gelen görevleri tanımlamanızı sağlar.

İşler hakkında bilgi için bkz. Lakeflow İşleri. İş oluşturmak için Databricks Varlık Paketleri şablonunu kullanan bir öğretici için bkz. Databricks Varlık Paketleri ile iş geliştirme.

jobs:
  <job-name>:
    <job-field-name>: <job-field-value>

Key	Type	Description
budget_policy_id	String	Bu iş için kullanılacak, kullanıcı tarafından belirlenen bütçe politikasının ID'si. Belirtilmezse, işi oluştururken veya değiştirirken varsayılan bir bütçe ilkesi uygulanabilir. Bu iş yükü tarafından kullanılan bütçe ilkesi için bkz effective_budget_policy_id .
continuous	Map	Bu iş için isteğe bağlı bir sürekli özellik. Sürekli özelliği, her zaman bir çalıştırma yürütmesi olmasını sağlar. schedule ve continuous'den yalnızca biri kullanılabilir. Bkz. sürekli.
deployment	Map	Dış kaynaklar tarafından yönetilen işler için dağıtım bilgileri. Bkz. dağıtım.
description	String	İş için isteğe bağlı bir açıklama. UTF-8 kodlamasında uzunluk üst sınırı 27700 karakterdir.
edit_mode	String	İşin düzenleme modu, ya UI_LOCKED ya da EDITABLE.
email_notifications	Map	Bu işin çalıştırmaları başladığında veya tamamlandığında ve bu iş silindiğinde bildirim alan isteğe bağlı bir e-posta adresleri kümesi. bkz. email_notifications.
environments	Sequence	Bu işin sunucusuz görevleri tarafından başvurulabilecek görev yürütme ortamı belirtimlerinin listesi. Sunucusuz görevler için bir ortamın mevcut olması gerekir. Sunucusuz not defteri görevleri için, ortama not defteri ortam panelinden erişilebilir. Diğer sunucusuz görevler için görev ortamının görev ayarlarındaki environment_key kullanılarak belirtilmesi gerekir. Bkz. ortamlar.
format	String	Deprecated. İşin biçimi.
git_source	Map	Görevler tarafından kullanılan kaynak kodunu içeren uzak Git deposu için isteğe bağlı belirtim. Bkz. job.git_source. Önemli:git_source olarak ayarlanan source alanı ve GIT görev alanı paketler için önerilmez, çünkü yerel göreli yollar Git deposundaki aynı içeriğe işaret etmeyebilir ve paketler, dağıtılan işin, dağıtıldığı yerden alınan yerel kopyayla aynı içeriğe sahip olmasını bekler. Bunun yerine, depoyu yerel olarak kopyalayın ve paket projenizi bu depo içinde ayarlayın; böylece görevlerin kaynağı çalışma alanıdır.
health	Map	Bu görev için tanımlanabilen isteğe bağlı bir sağlık kuralları kümesi. Bkz. sağlık.
job_clusters	Sequence	Bu işin görevleri tarafından paylaşılabilen ve yeniden kullanılabilen iş kümesi belirtimlerinin listesi. Bkz. job_clusters.
max_concurrent_runs	Integer	Opsiyonel olarak izin verilen maksimum eşzamanlı iş yürütme sayısı. Aynı işin birden çok çalıştırmasını eşzamanlı olarak yürütebilmek istiyorsanız bu değeri ayarlayın.
name	String	İş için isteğe bağlı bir ad. UTF-8 kodlamasında uzunluk üst sınırı 4096 bayttır.
notification_settings	Map	Bu iş için email_notifications ve webhook_notifications her birine bildirim gönderirken kullanılan isteğe bağlı bildirim ayarları. Bkz. notification_settings.
parameters	Sequence	İş düzeyi parametre tanımları.
performance_target	String	Sunucusuz çalıştırmanın yürütülmesinin ne kadar yüksek performanslı veya maliyet açısından verimli olması gerektiğini tanımlar.
permissions	Sequence	İşin yetkileri. Bkz. izinler.
queue	Map	İşin kuyruk ayarları. Bkz. kuyruk.
run_as	Map	Yalnızca yazma ayarı. İşin çalıştığı kullanıcı veya hizmet sorumlusunu belirtir. Belirtilmezse, iş, işi oluşturan kullanıcı olarak çalışır. veya user_nameservice_principal_name belirtilmelidir. Aksi takdirde bir hata oluşur. Bkz. run_as.
schedule	Map	Bu iş için isteğe bağlı bir düzenli zamanlama. Varsayılan davranış, işin yalnızca İşler kullanıcı arabiriminde "Şimdi Çalıştır" seçeneğine tıklayarak veya öğesine runNowbir API isteği göndererek tetiklendiğinde çalışmasıdır. Bkz. zamanlama.
tags	Map	İşle ilişkili etiketlerin haritası. Bunlar, iş kümeleri için küme etiketleri olarak kümeye iletilir ve küme etiketleriyle aynı sınırlamalara tabidir. İşe en fazla 25 etiket eklenebilir.
tasks	Sequence	Bu işin gerçekleştireceği görev tanımlarının listesi. Bkz. Databricks Varlık Paketlerinde işlere görev ekleme.
timeout_seconds	Integer	Her çalıştırmada bu işe isteğe bağlı bir zaman aşımı uygulanır. değeri 0 zaman aşımı olmadığı anlamına gelir.
trigger	Map	Belirli koşullar karşılandığında çalıştırmayı tetikleyen bir yapılandırma. Bkz. tetikleyici.
webhook_notifications	Map	Bu işin çalıştırmaları başladığında veya tamamlandığında bildirimde bulunacak sistem bildirim kimlikleri koleksiyonu. Bkz. webhook_notifications.

job.sürekli

Type: Map

Sürekli iş yürütme yapılandırması.

Key	Type	Description
pause_status	String	Sürekli işin duraklatılıp duraklatılmadığı durumu. Geçerli değerler: PAUSED, UNPAUSED.
task_retry_mode	String	Devam eden işin görev düzeyi yeniden denemelerini nasıl uyguladığını belirtin. Geçerli değerler: NEVER ve ON_FAILURE. Varsayılan olarak NEVER değerini alır.

iş.dağıtım

Type: Map

Dış kaynaklar tarafından yönetilen işler için dağıtım bilgileri.

Key	Type	Description
kind	String	Dağıtım türü. Örneğin, BUNDLE.
metadata_file_path	String	Dağıtım için meta veri dosyasının yolu.

iş.email_bildirimleri

Type: Map

İş çalıştırmaları için e-posta bildirim ayarları.

Key	Type	Description
on_start	Sequence	Bir çalıştırma başlatıldığında bildirilmesi gereken e-posta adreslerinin listesi.
on_success	Sequence	Bir çalıştırma başarılı olduğunda bildirilmesi gereken e-posta adreslerinin listesi.
on_failure	Sequence	Çalıştırma başarısız olduğunda bildirilmesi gereken e-posta adreslerinin listesi.
on_duration_warning_threshold_exceeded	Sequence	Çalışma süresi uyarı eşiğini aştığında bildirilmesi gereken e-posta adreslerinin listesi.
no_alert_for_skipped_runs	Boolean	Atlanan çalıştırmalar için uyarı göndermeyi atlayıp atlamamayı seçin.

iş.ortamları

Type: Sequence

Bir işin sunucusuz görevleri tarafından başvurulabilen görev yürütme ortamı belirtimlerinin listesi.

Listedeki her öğe bir JobEnvironment:

Key	Type	Description
environment_key	String	Bir ortamın anahtarı. Bir iş içinde benzersiz olmalıdır.
spec	Map	Sunucusuz bir ortamı temsil eden varlık. Bkz . job.environments.spec.

job.environments.spec

Type: Map

Sunucusuz bir ortamı temsil eden varlık.

Key	Type	Description
client	String	Deprecated. İstemci sürümü.
dependencies	Sequence	Bu ortamda pip sürümü tarafından desteklenen pip bağımlılıklarının listesi.
environment_version	String	Gerekli. Ortam tarafından kullanılan ortam sürümü. Her sürüm belirli bir Python sürümü ve python paketleri kümesiyle birlikte gelir. Sürüm, tamsayıdan oluşan bir dizedir.

job.git_kaynağı

Type: Map

İş kaynak kodu için Git deposu yapılandırması.

Key	Type	Description
git_branch	String	Bu iş tarafından kullanıma alınıp kullanılacak dalın adı. Bu alan veya git_tagile git_commit birlikte belirtilemez.
git_commit	String	Bu iş tarafından kullanıma alınması ve kullanılması için işleyin. Bu alan veya git_branchile git_tag birlikte belirtilemez.
git_provider	String	Git deposunu barındırmak için kullanılan hizmetin benzersiz tanımlayıcısı. Değer büyük/küçük harfe duyarlı değildir. Geçerli değerler: gitHub, bitbucketCloud, gitLab, azureDevOpsServices, gitHubEnterprise, bitbucketServer, gitLabEnterpriseEdition.
git_snapshot	Map	İşin çalıştırıldığı sırada uzak deponun salt okunur durumu. Bu alan yalnızca iş çalıştırmalarına dahil edilir. Bkz. git_snapshot.
git_tag	String	Bu iş tarafından kullanıma alınıp kullanılacak etiketin adı. Bu alan veya git_branchile git_commit birlikte belirtilemez.
git_url	String	Bu iş tarafından kopyalanacak deponun URL'si.

job.git_source.git_snapshot

Type: Map

Salt okunur taahhüt bilgisi anlık görüntüsü.

Key	Type	Description
used_commit	String	Çalıştırmayı yürütmek için kullanılan işleme. Belirtildiyse git_branch, bu, çalıştırma sırasındaki dalın KAFASI'na işaret eder; belirtildiyse git_tag, etiketin işaret ettiği commit'e işaret eder.

iş.sağlık

Type: Map

İş için sağlık izleme yapılandırması.

Key	Type	Description
rules	Sequence	İş sağlığı kurallarının listesi. Her kural bir metric ve op (işleç) ve valueiçerir. Bkz. job.health.rules.

iş.sağlık.kuralları

Type: Sequence

İş sağlığı kurallarının listesi.

Listedeki her öğe bir JobHealthRule:

Key	Type	Description
metric	String	Belirli bir sağlık kuralı için değerlendirilen sağlık ölçümünü belirtir. RUN_DURATION_SECONDS: Bir çalıştırma için beklenen toplam süre saniye cinsindendir. STREAMING_BACKLOG_BYTES: Tüm akışlarda tüketilmeyi bekleyen maksimum veri baytlarının tahmini. Bu ölçüm Genel Önizleme aşamasındadır. STREAMING_BACKLOG_RECORDS: Tüm akışlarda azami göreli gecikme için bir tahmin. Bu ölçüm Genel Önizleme aşamasındadır. STREAMING_BACKLOG_SECONDS: Tüm akışlar arasında maksimum kullanıcı bekleme süresinin tahmini. Bu ölçüm Genel Önizleme aşamasındadır. STREAMING_BACKLOG_FILES: Tüm akışlardaki maksimum beklemede olan dosya sayısı tahmini. Bu ölçüm Genel Önizleme aşamasındadır.
op	String	Sistem durumu ölçüm değerini belirtilen eşikle karşılaştırmak için kullanılan işleci belirtir.
value	Integer	Sistem durumu ölçümünü sistem durumu kuralını karşılamak için uyması gereken eşik değerini belirtir.

iş.görev_kümeleri

Type: Sequence

Bu işin görevleri tarafından paylaşılabilen ve yeniden kullanılabilen iş kümesi belirtimlerinin listesi. Kitaplıklar paylaşılan bir iş kümesinde bildirilemez. Görev ayarlarında bağımlı kitaplıkları bildirmeniz gerekir.

Listedeki her öğe bir JobCluster:

Key	Type	Description
job_cluster_key	String	İş kümesi için benzersiz bir ad. Bu alan gereklidir ve proje içinde benzersiz olmalıdır. JobTaskSettings görev yürütme için hangi kümenin başlatıldığını belirlemek için bu alana başvurabilir.
new_cluster	Map	new_cluster, her görev için oluşturulan kümenin açıklaması. Bkz. küme.

iş. bildirim_ayarları

Type: Map

İş için tüm bildirimlere uygulanan bildirim ayarları.

Key	Type	Description
no_alert_for_skipped_runs	Boolean	Atlanan çalıştırmalar için uyarı göndermeyi atlayıp atlamamayı seçin.
no_alert_for_canceled_runs	Boolean	İptal edilen çalıştırmalar için uyarı gönderme işleminin atlanıp atlanmayacağı.

iş.kuyruğu

Type: Map

İş için sıra ayarları.

Key	Type	Description
enabled	Boolean	İş için kuyruğa alma özelliğinin etkinleştirilip etkinleştirilmeyileceği.

iş.planı

Type: Map

Düzenli iş yürütme için yapılandırmayı zamanlayın.

Key	Type	Description
quartz_cron_expression	String	Quartz söz dizimini kullanan bir Cron ifadesi, işin ne zaman çalıştırılacağını belirtir. Örneğin, 0 0 9 * * ? işi her gün 09:00 UTC'de çalıştırır.
timezone_id	String	Program için saat dilimi. Örneğin, America/Los_Angeles veya UTC.
pause_status	String	Programın duraklatılıp duraklatılmadığı konusunda bir durum var mı? Geçerli değerler: PAUSED, UNPAUSED.

iş.tetikleyici

Type: Map

Olay temelli iş yürütme için tetikleyici yapılandırması.

Key	Type	Description
file_arrival	Map	Dosya gelişine göre tetikleme. Bkz. file_arrival.
table	Map	Tabloya dayalı tetikleyici. Tabloya bakın.
table_update	Map	Tablo güncelleştirmelerini temel alan tetikleyici. Bkz. table_update.
periodic	Map	Periyodik tetikleyici. Bkz. periyodik.

iş.tetikleyici.dosya_gelmesi

Type: Map

Dosya gelişine göre yapılandırmayı tetikleyin.

Key	Type	Description
url	String	Yeni dosyalar için izlenecek dosya yolu.
min_time_between_triggers_seconds	Integer	Tetikleyici olayları arasındaki saniye cinsinden minimum süre.
wait_after_last_change_seconds	Integer	Tetiklemeden önce son dosya değişikliğinden sonraki saniye cinsinden bekleme süresi.

iş.tetikleyici.tablo

Type: Map

Tabloyu temel alan yapılandırmayı tetikleme.

Key	Type	Description
table_names	Sequence	İzlenecek tablo adlarının listesi.
condition	String	İşi tetikleyebilmek için karşılanması gereken SQL koşulu.

iş.tetikleyici.tablo_güncelleme

Type: Map

Tablo güncelleştirmelerini temel alan yapılandırmayı tetikleyin.

Key	Type	Description
table_names	Sequence	Güncelleştirmeler için izlenecek tablo adlarının listesi.
condition	String	İşi tetikleyebilmek için karşılanması gereken SQL koşulu.
wait_after_last_change_seconds	Integer	Tetiklemeden önce son tablo güncelleştirmesinin ardından saniye cinsinden bekleme süresi.

iş.tetikleyici.periyodik

Type: Map

Periyodik tetikleyici yapılandırması.

Key	Type	Description
interval	Integer	Periyodik tetikleyici için aralık değeri.
unit	String	Aralık için zaman birimi. Geçerli değerler: SECONDS, MINUTES, HOURS, DAYS, WEEKS.

job.webhook_bildirimleri

Type: Map

İş çalıştırmaları için webhook bildirim ayarları.

Key	Type	Description
on_start	Sequence	Çalıştırma başlatıldığında bildirilmesi gereken web kancası bildirim kimliklerinin listesi.
on_success	Sequence	Başarılı bir çalıştırma gerçekleştiğinde bildirilmesi gereken web kancası bildirim kimliklerinin listesi.
on_failure	Sequence	Çalışma (işlem) başarısız olduğunda bildirimde bulunulması gereken webhook bildirim kimliklerinin listesi.
on_duration_warning_threshold_exceeded	Sequence	Bir çalıştırma süresi uyarı eşiğini aştığında bildirilmesi gereken web kancası bildirim kimliklerinin listesi.

Examples

Aşağıdaki örnek, bir not defteri göreviyle hello-job kaynak anahtarına sahip bir işi tanımlar:

resources:
  jobs:
    hello-job:
      name: hello-job
      tasks:
        - task_key: hello-task
          notebook_task:
            notebook_path: ./hello.py

Aşağıdaki örnek, SQL not defterine sahip bir işi tanımlar:

resources:
  jobs:
    job_with_sql_notebook:
      name: 'Job to demonstrate using a SQL notebook with a SQL warehouse'
      tasks:
        - task_key: notebook
          notebook_task:
            notebook_path: ./select.sql
            warehouse_id: 799f096837fzzzz4

Ek iş yapılandırma örnekleri için bkz. İş yapılandırması.

İş görevlerini tanımlama ve iş ayarlarını geçersiz kılma hakkında bilgi için bkz:

• Databricks Varlık Paketlerinde işlere görev ekleme
• İş görevi ayarlarını geçersiz kılma

modeli (eski)

Type: Map

Model kaynağı, eski modelleri paketlerde tanımlamanızı sağlar. Databricks bunun yerine Unity Kataloğu kayıtlı modellerini kullanmanızı önerir.

model_dağıtım_uç_noktası

Type: Map

model_serving_endpoint kaynağı,uç noktaları sunan modeli tanımlamanızı sağlar. bkz. uç noktaları sunan modeli yönetme.

model_serving_endpoints:
  <model_serving_endpoint-name>:
    <model_serving_endpoint-field-name>: <model_serving_endpoint-field-value>

Key	Type	Description
ai_gateway	Map	Hizmet veren uç nokta için AI Gateway yapılandırması. NOT: Şu anda yalnızca dış model ve sağlanan aktarım hızı uç noktaları desteklenmektedir. Bkz. ai_gateway.
config	Map	Sunum uç noktasının temel yapılandırması. Bkz. yapılandırma.
name	String	Hizmet uç noktasının adı. Bu alan gereklidir ve Databricks çalışma alanında benzersiz olmalıdır. Uç nokta adı alfasayısal karakterler, tireler ve alt çizgilerden oluşabilir.
permissions	Sequence	Uç nokta izinlerini sunan model. Bkz. izinler.
rate_limits	Sequence	Deprecated. Hizmet sunma uç noktasına uygulanacak hız sınırları. Hız sınırlarını yönetmek için AI Gateway'i kullanın.
route_optimized	Boolean	Hizmet veren uç nokta için yol iyileştirmeyi etkinleştirin.
tags	Sequence	Hizmet sunma uç noktasına eklenecek ve otomatik olarak faturalama günlüklerine yayılacak etiketler.

model_serving_endpoint.yapay_zeka_geçidi

Type: Map

Hizmet veren uç nokta için AI Gateway yapılandırması.

Key	Type	Description
guardrails	Map	Koruma yapılandırması. Korumalara bakın.
inference_table_config	Map	Unity Kataloğu tablolarında çıkarım günlüğü için yapılandırma. Bkz. inference_table_config.
rate_limits	Sequence	Hız sınırı yapılandırmaları.
usage_tracking_config	Map	Kullanım izleme yapılandırması. Bkz. usage_tracking_config.

model_servis_sonu_noktası.ai_geçidi.korkuluklar

Type: Map

AI ağ geçidi sınırlandırmaları yapılandırması.

Key	Type	Description
input	Map	Giriş korkulukları yapılandırması, safety ve pii gibi alanlarla yapılır.
output	Map	Çıktı koruma yapılandırması, safety, pii gibi alanları içerir.
invalid_keywords	Sequence	Engellenmesi gereken anahtar sözcüklerin listesi.

model_sunma_ucu.yapayzeka_ağı_geçidi.çıkarım_tablo_yapılandırması

Type: Map

Unity Kataloğu tablolarında çıkarım günlüğü için yapılandırma.

Key	Type	Description
catalog_name	String	Unity Kataloğu'ndaki kataloğun adı.
schema_name	String	Unity Kataloğu'ndaki şemanın adı.
table_name_prefix	String	Çıkarım tablosu adları için ön ek.
enabled	Boolean	Çıkarım tablosu günlüğünün etkinleştirilip etkinleştirilmediği.

model_serving_endpoint.ai_geçidi.kullanım_takip_yapılandırması

Type: Map

Kullanımı izlemeye yönelik yapay zeka ağ geçidi yapılandırması.

Key	Type	Description
enabled	Boolean	Kullanım izlemenin etkinleştirilip etkinleştirilmediği.

model_serving_endpoint.config

Type: Map

Sunum uç noktasının temel yapılandırması.

Key	Type	Description
served_entities	Sequence	Uç noktaya hizmet veren varlıkların listesi. Sunulan her varlık, entity_name, entity_version, workload_size, scale_to_zero_enabled, workload_type, environment_vars gibi alanlar içerir.
served_models	Sequence	(Kullanım dışı: bunun yerine kullanın served_entities ) Hizmet vermek üzere uç nokta için sunulan modellerin listesi.
traffic_config	Map	Hizmet veren uç noktaya çağrıların nasıl yönlendirilmesi gerektiğini tanımlayan trafik yapılandırması. bkz. traffic_config.
auto_capture_config	Map	Çıkarım tablolarını otomatik olarak Unity Kataloğu'na istekleri ve yanıtları günlüğe kaydedecek şekilde yapılandırma. Bkz. auto_capture_config.

model_servis_uc_noktası.konfigürasyon.trafik_yapılandırması

Type: Map

Hizmet veren uç noktaya çağrıların nasıl yönlendirilmesi gerektiğini tanımlayan trafik yapılandırması.

Key	Type	Description
routes	Sequence	Trafik dağıtımı için yolların listesi. Her yol served_model_name ve traffic_percentage içerir.

model_hizmet_uç_noktası.konfig.otomatik_yakalama_konfigürasyonu

Type: Map

Çıkarım tablolarını otomatik olarak Unity Kataloğu'na istekleri ve yanıtları günlüğe kaydedecek şekilde yapılandırma.

Key	Type	Description
catalog_name	String	Unity Kataloğu'ndaki kataloğun adı.
schema_name	String	Unity Kataloğu'ndaki şemanın adı.
table_name_prefix	String	Çıkarım tablosu adları için ön ek.
enabled	Boolean	Çıkarım tablosu günlüğünün etkinleştirilip etkinleştirilmediği.

Example

Aşağıdaki örnek, uç nokta sunan bir Unity Kataloğu modelini tanımlar:

resources:
  model_serving_endpoints:
    uc_model_serving_endpoint:
      name: 'uc-model-endpoint'
      config:
        served_entities:
          - entity_name: 'myCatalog.mySchema.my-ads-model'
            entity_version: '10'
            workload_size: 'Small'
            scale_to_zero_enabled: 'true'
        traffic_config:
          routes:
            - served_model_name: 'my-ads-model-10'
              traffic_percentage: '100'
      tags:
        - key: 'team'
          value: 'data science'

boru hattı

Type: Map

Pipeline'lar Databricks Varlık Paketleri için Python'da desteklenir. Bkz. databricks.bundles.pipelines.

İşlem hattı kaynağı, işlem hatları oluşturmanıza olanak tanır. İşlem hatları hakkında bilgi için bkz. Lakeflow Spark Bildirimli İşlem Hatları. İşlem hattı oluşturmak için Databricks Varlık Paketleri şablonunu kullanan bir öğretici için bkz. Databricks Varlık Paketleri ile Lakeflow Spark Bildirimli İşlem Hatları Geliştirme.

pipelines:
  <pipeline-name>:
    <pipeline-field-name>: <pipeline-field-value>

Key	Type	Description
allow_duplicate_names	Boolean	Yanlış ise, ad başka bir işlem hattının adıyla çatışırsa dağıtım başarısız olur.
budget_policy_id	String	Bu boru hattının bütçe politikası.
catalog	String	Bu işlem hattından verileri yayımlamak için Unity Kataloğu'ndaki bir katalog. Eğer target belirtilirse, bu işlem hattındaki tablolar, target içinde bir catalog şemada yayımlanır (örneğin, catalog.target.table). Belirtilmezse target Unity Kataloğu'na hiçbir veri yayımlanmaz.
channel	String	Hangi sürümün kullanılacağını belirten Lakeflow Spark Bildirimli İşlem Hatları Dağıtım Kanalı.
clusters	Sequence	Bu işlem hattı dağıtımı için küme ayarları. Bkz. küme.
configuration	Map	Bu işlem hattı yürütme yapılandırması.
continuous	Boolean	Boru hattının sürekli mi yoksa tetiklenmiş mi olduğu. Bu, triggerdeğiştirir.
deployment	Map	Bu işlem hattının dağıtım türü. Bkz. dağıtım.
development	Boolean	İşlem hattının geliştirme modunda olup olmadığı. Varsayılan değer false'tur.
dry_run	Boolean	İşlem hattının bir kuru çalıştırma işlem hattı olup olmadığı.
edition	String	İşlem hattı ürün sürümü.
environment	Map	Sunucusuz işlemde bağımlılıkları yüklemek için kullanılan bu işlem hattının ortam belirtimi. Bkz. ortam. Bu anahtar yalnızca Databricks CLI sürüm 0.258 ve üzerinde desteklenir.
event_log	Map	Bu işlem hattı için olay günlüğü yapılandırması. Bkz. event_log.
filters	Map	Dağıtılan grafiğe hangi işlem hattı paketlerinin dahilleneceğini belirleyen filtreler. Bkz. filtreler.
id	String	Bu işlem hattı için benzersiz tanımlayıcı.
ingestion_definition	Map	Yönetilen veri alma işlem hattı yapılandırması. Bu ayarlar, libraries, schema, target veya catalog ayarlarıyla kullanılamaz. Bkz. ingestion_definition.
libraries	Sequence	Bu dağıtım için gereken kitaplıkların veya kodun listesi. Bkz. pipeline.libraries.
lifecycle	Map	Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
name	String	Bu işlem hattı için anlaşılır bir ad.
notifications	Sequence	Bu işlem hattı için bildirim ayarları.
permissions	Sequence	İşlem hattının izinleri. Bkz. izinler.
photon	Boolean	Bu işlem hattı için Photon'un etkinleştirilip etkinleştirilmediği.
root_path	String	Bu işlem hattının kök yolu. Bu, Databricks kullanıcı arabiriminde işlem hattını düzenlerken kök dizin olarak kullanılır ve işlem hattı yürütme sırasında Python kaynakları yürütülürken sys.path dosyasına eklenir.
run_as	Map	İşlem hattının çalıştığı kimlik. Belirtilmezse işlem hattı, işlem hattını oluşturan kullanıcı olarak çalışır. Yalnızca user_name veya service_principal_name belirtilebilir. Her ikisi de belirtilirse bir hata oluşur. Bkz. run_as.
schema	String	Tabloların okunduğu veya yayımlandığı varsayılan şema (veritabanı).
serverless	Boolean	Bu işlem hattı için sunucusuz işlemin etkinleştirilip etkinleştirilmediği.
storage	String	Denetim noktalarını ve tabloları depolamak için DBFS kök dizini.
tags	Map	İşlem hattıyla ilişkili etiketlerin haritası. Bunlar küme etiketleri olarak kümeye iletilir ve bu nedenle aynı sınırlamalara tabidir. İşlem hattına en fazla 25 etiket eklenebilir.
target	String	Bu işlem hattında tabloların ekleneceği hedef şema (veritabanı). Tam olarak schema veya target'den biri belirtilmelidir. Unity Kataloğu'na yayımlamak için catalog de belirtin. Bu eski alan, schema alanı tercih edilerek işlem hattı oluşturmak için kullanım dışı bırakılmıştır.

pipeline.yayınlama

Type: Map

Boru hattı için dağıtım türü ayarları.

Key	Type	Description
kind	String	Dağıtım türü. Örneğin, BUNDLE.
metadata_file_path	String	Dağıtım için meta veri dosyasının yolu.

boruhattı.ortam

Type: Map

Sunucusuz işlemde bağımlılıkları yüklemeye yönelik ortam belirtimi.

Key	Type	Description
dependencies	Sequence	Bu ortamda pip sürümü tarafından desteklenen pip bağımlılıklarının listesi. Her bağımlılık bir pip gereksinim dosyası satırıdır.

pipeline.event_log

Type: Map

İşlem hattı için olay günlüğü yapılandırması.

Key	Type	Description
catalog	String	Etkinlik günlüğünün yayımlandığı Unity Kataloğu.
name	String	Unity Kataloğu'nda olay günlüğünün yayımlandığı ad.
schema	String	Etkinlik günlüğünün yayımlandığı Unity Catalog şeması.

işlem_hattı.filtreler

Type: Map

Dağıtılan grafta hangi işlem hattı paketlerinin dahilleneceğini belirleyen filtreler.

Key	Type	Description
include	Sequence	Eklenecek paket adlarının listesi.
exclude	Sequence	Dışlanması gereken paket adlarının listesi.

pipeline.ingestion_definition

Type: Map

Yönetilen bir veri yükleme işlem hattının yapılandırması. Bu ayarlar, libraries, schema, target veya catalog ayarlarıyla kullanılamaz.

Key	Type	Description
connection_name	String	Alım için kullanılacak bağlantının adı.
ingestion_gateway_id	String	Veri alımı ağ geçidinin kimliği.
objects	Sequence	Gerekli. Çoğaltılacak tabloları ve çoğaltılan tabloların hedefini belirten ayarlar. Her nesne SchemaSpec, TableSpec veya ReportSpec olabilir.
source_configuration	Map	Katalog düzeyinde kaynak yapılandırma parametreleri. Bkz. source_configuration.
table_configuration	Map	Alma tabloları için yapılandırma. Bkz. table_configuration.

SchemaSpec

Type: Map

Bir şemadan tüm tabloları almak için şema nesnesi belirtimi.

Key	Type	Description
source_schema	String	Alınacak kaynak şemanın adı.
destination_catalog	String	Unity Kataloğu'nda hedef kataloğun adı.
destination_schema	String	Unity Kataloğu'nda hedef şemanın adı.
table_configuration	Map	Bu şemadaki tüm tablolara uygulanacak yapılandırma. Bakınız pipeline.ingestion_definition.table_configuration.

Tablo Özellikleri (TableSpec)

Type: Map

Belirli bir tabloyu içeri aktarmak için tablo nesnesinin belirlenmesi.

Key	Type	Description
source_schema	String	Tabloyu içeren kaynak şemanın adı.
source_table	String	Aktarılacak kaynak tablonun adı.
destination_catalog	String	Unity Kataloğu'nda hedef kataloğun adı.
destination_schema	String	Unity Kataloğu'nda hedef şemanın adı.
destination_table	String	Unity Kataloğu'ndaki hedef tablonun adı.
table_configuration	Map	Bu özgün tablo için yapılandırma. Bakınız pipeline.ingestion_definition.table_configuration.

ReportSpec

Type: Map

Analiz raporlarını içselleştirmek için rapor nesnesi belirtimi.

Key	Type	Description
source_url	String	Kaynak raporun URL'si.
source_report	String	Kaynak raporun adı veya tanımlayıcısı.
destination_catalog	String	Unity Kataloğu'nda hedef kataloğun adı.
destination_schema	String	Unity Kataloğu'nda hedef şemanın adı.
destination_table	String	Rapor verilerinin hedef tablosunun adı.
table_configuration	Map	Rapor tablosu için yapılandırma. Bakınız pipeline.ingestion_definition.table_configuration.

pipeline.alım_tanımı.kaynak_yapılandırması

Type: Map

Kaynak için yapılandırma.

Key	Type	Description
catalog	Map	Katalog düzeyinde kaynak yapılandırma parametreleri. Bkz. katalog.

pipeline.ingestion_tanımı.kaynak_konfigürasyonu.katalog

Type: Map

Katalog düzeyinde kaynak yapılandırma parametreleri

Key	Type	Description
postgres	Map	Postgres'e özgü katalog düzeyi yapılandırma parametreleri. Mantıksal çoğaltma için kullanılacak Postgres yuvası yapılandırmasını temsil eden bir slot_config anahtarı Map içerir.
source_catalog	String	Kaynak katalog adı.

pipeline.veri_yükleme_tanımı.tablo_konfigürasyonu

Type: Map

Alım tabloları için yapılandırma seçenekleri.

Key	Type	Description
exclude_columns	Sequence	Veri alımı için hariç tutulacak sütun adlarının listesi. Belirtilmediğinde, include_columns hangi sütunların işleme alınacağını tamamen kontrol eder. Belirtildiğinde, gelecekteki sütunlar da dahil olmak üzere diğer tüm sütunlar veri alımı için otomatik olarak eklenir. Bu alan, include_columns ile birbirini dışlar.
include_columns	Sequence	Alım için dahil edilecek sütun adlarının listesi. Belirtilmediğinde, exclude_columns içindeki sütunlar hariç tüm sütunlar dahil edilir. Gelecekteki sütunlar otomatik olarak eklenir. Belirtildiğinde, gelecekteki diğer tüm sütunlar otomatik olarak alımın dışında tutulur. Bu alan, exclude_columns ile birbirini dışlar.
primary_keys	Sequence	Tablo için birincil anahtar olarak kullanılacak sütun adlarının listesi.
sequence_by	Sequence	Kaynak verilerdeki olayların mantıksal sırasını belirten sütun adları. Spark Bildirimli İşlem Hatları, sıra dışı gelen değişiklik olaylarını işlemek için bu sıralamayı kullanır.

işlem_hattı.kütüphaneler

Type: Sequence

Bu işlem hattı için gereken kitaplıkların veya kodların listesini tanımlar.

Listedeki her öğe bir tanımdır:

Key	Type	Description
file	Map	İşlem hattını tanımlayan ve Databricks Repos'ta depolanan bir dosyanın yolu. Bkz pipeline.libraries.file.
glob	Map	Kaynak kodu dahil etmek için birleştirilmiş alan. Her girdi bir not defteri yolu, dosya yolu veya biten /**bir klasör yolu olabilir. Bu alan veya notebookile file birlikte kullanılamaz. Bkz. pipeline.libraries.glob.
notebook	Map	İşlem hattını tanımlayan ve Databricks çalışma alanında depolanan bir not defterinin yolu. Bkz. pipeline.libraries.notebook.
whl	String	Bu alan kullanım dışı bırakıldı

pipeline.kütüphaneler.dosya

Type: Map

İşlem hattını tanımlayan ve Databricks Depolarında depolanan bir dosyanın yolu.

Key	Type	Description
path	String	Kaynak kodun mutlak yolu.

pipeline.libraries.glob

Type: Map

Kaynak kodu dahil etmek için birleştirilmiş alan. Her girdi bir not defteri yolu, dosya yolu veya biten /**bir klasör yolu olabilir. Bu alan veya notebookile file birlikte kullanılamaz.

Key	Type	Description
include	String	Boru hatları için kaynak kodu ekleme

boru hattı.kütüphaneler.not defteri

Type: Map

İşlem hattını tanımlayan ve Databricks çalışma alanında depolanan bir not defterinin yolu.

Key	Type	Description
path	String	Kaynak kodun mutlak yolu.

Example

Aşağıdaki örnek, hello-pipelinekaynak anahtarına sahip bir işlem hattını tanımlar:

resources:
  pipelines:
    hello-pipeline:
      name: hello-pipeline
      clusters:
        - label: default
          num_workers: 1
      development: true
      continuous: false
      channel: CURRENT
      edition: CORE
      photon: false
      libraries:
        - notebook:
            path: ./pipeline.py

Ek işlem hattı yapılandırma örnekleri için bkz. İşlem hattı yapılandırması.

kalite_monitörü (Unity Kataloğu)

Type: Map

quality_monitor kaynağı, Unity Kataloğu tablo izleyicisi tanımlamanızı sağlar. İzleyiciler hakkında bilgi için bkz. Veri profili oluşturma.

quality_monitors:
  <quality_monitor-name>:
    <quality_monitor-field-name>: <quality_monitor-field-value>

Key	Type	Description
assets_dir	String	İzleme varlıklarını depolayan dizin (örn. pano, ölçüm tabloları).
baseline_table_name	String	Kayma ölçümlerinin hesaplandığı temel tablonun adı. İzlenen tablodaki sütunlar da taban çizgisi tablosunda bulunmalıdır.
custom_metrics	Sequence	İzlenen tabloda hesaplanacak özelleştirilmiş ölçümler. Bunlar toplu ölçümler, türetilmiş ölçümler (zaten hesaplanan toplama ölçümlerinden) veya kayma ölçümleri (zaman pencerelerindeki ölçümleri karşılaştırma) olabilir. Bkz. custom_metrics.
inference_log	Map	Çıkarım günlüklerini izleme yapılandırması. Bkz. inference_log.
lifecycle	Map	Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
notifications	Map	Monitör için bildirim ayarları. Bildirimlere bakın.
output_schema_name	String	Çıktı ölçüm tablolarının oluşturulduğu şema.
schedule	Map	Ölçüm tablolarını otomatik olarak güncelleştirme ve yenileme zamanlaması. Bkz. zamanlama.
skip_builtin_dashboard	Boolean	Varsayılan veri kalite ölçümlerini özetleyen panonun oluşturulup oluşturulmayacağı?
slicing_exprs	Sequence	Hedeflenen analiz için verileri dilimlediğiniz sütun ifadelerinin listesi. Veriler her ifadeye göre bağımsız olarak gruplandırılır ve her koşul ve tamamlayıcıları için ayrı bir dilim elde edilir. Yüksek kardinalite sütunları için, yalnızca sıklığa göre ilk 100 benzersiz değer dilim oluşturur.
snapshot	Map	Anlık görüntü tablolarını izlemek için yapılandırma. Bkz. anlık görüntü.
table_name	String	Tablonun tam adı.
time_series	Map	Zaman serisi tablolarını izlemek için yapılandırma. bkz. time_series.
warehouse_id	String	Gösterge paneli oluşturmak için ambarı belirtmek amacıyla isteğe bağlı bir bağımsız değişken. Belirtilmezse, çalışan ilk ambar kullanılır.

quality_monitor.özel_metrikler

Type: Sequence

Özel ölçüm tanımlarının listesi.

Listedeki her öğe bir CustomMetric:

Key	Type	Description
definition	String	Ölçümün nasıl hesaplandığını belirten bir SQL ifadesi için Jinja şablonu. Bkz . ölçüm tanımı oluşturma.
input_columns	Sequence	Ölçümün hesaplanması gereken giriş tablosundaki sütun adlarının listesi. Ölçümün birden çok sütundaki bilgilere ihtiyacı olduğunu belirtmek için kullanabilirsiniz :table .
name	String	Çıktı tablolarındaki ölçümün adı.
output_data_type	String	Özel ölçümün çıktı türü.
type	String	Yalnızca CUSTOM_METRIC_TYPE_AGGREGATE, CUSTOM_METRIC_TYPE_DERIVED veya CUSTOM_METRIC_TYPE_DRIFT olabilir. CUSTOM_METRIC_TYPE_AGGREGATE ve CUSTOM_METRIC_TYPE_DERIVED ölçümleri tek bir tabloda hesaplanırkenCUSTOM_METRIC_TYPE_DRIFT, ölçümler taban çizgisi ve giriş tablosu arasında veya birbirini izleyen iki zaman penceresinde karşılaştırılır. CUSTOM_METRIC_TYPE_AGGREGATE: Yalnızca tablonuzda mevcut olan sütunlara bağımlıdır CUSTOM_METRIC_TYPE_DERIVED: Önceden hesaplanan toplama ölçümlerine bağlıdır CUSTOM_METRIC_TYPE_DRIFT: Önceden hesaplanan birleştirilmiş veya türetilmiş metriklere bağlıdır

quality_monitor.data_classification_config

Type: Map

Veri sınıflandırma yapılandırması.

Key	Type	Description
enabled	Boolean	Veri sınıflandırmanın etkinleştirilip etkinleştirilmediği.

quality_monitor.inference_log

Type: Map

Çıkarım günlüklerini izleme yapılandırması.

Key	Type	Description
granularities	Sequence	Çıkarım günlüklerini toplamaya yönelik zaman ayrıntı düzeyleri (örneğin, ["1 day"]).
model_id_col	String	Model kimliğini içeren sütunun adı.
prediction_col	String	Tahmini içeren sütunun adı.
timestamp_col	String	Zaman damgasını içeren sütunun adı.
problem_type	String	ML sorununun türü. Geçerli değerler: PROBLEM_TYPE_CLASSIFICATION, PROBLEM_TYPE_REGRESSION.
label_col	String	Etiketi içeren sütunun adı (temel gerçek).

kalite_izleyici.bildirimleri

Type: Map

monitör için bildirim ayarları.

Key	Type	Description
on_failure	Map	monitör başarısız olduğunda bildirim ayarları. Bkz. on_failure.
on_new_classification_tag_detected	Map	Yeni sınıflandırma etiketleri algılandığında bildirim ayarları. Bkz. on_new_classification_tag_detected.

kalite_gözlemci.bildirimler.hata_durumunda

Type: Map

monitör başarısız olduğunda bildirim ayarları.

Key	Type	Description
email_addresses	Sequence	İzleyici hatası durumunda bildirim gönderilecek e-posta adreslerinin listesi.

kalite_izleyici.bildirimler.yeni_sınıflandırma_etiket_belirlediğinde

Type: Map

Yeni sınıflandırma etiketleri algılandığında bildirim ayarları.

Key	Type	Description
email_addresses	Sequence	Yeni sınıflandırma etiketleri algılandığında bildirilmesi gereken e-posta adreslerinin listesi.

kalite_izleyicisi.program

Type: Map

Ölçüm tablolarını otomatik olarak güncelleştirmek ve yenilemek için zamanlayın.

Key	Type	Description
quartz_cron_expression	String	Quartz söz dizimi kullanan bir Cron ifadesi. Örneğin, 0 0 8 * * ? her gün 08:00'de çalışır.
timezone_id	String	Zamanlamanın saat dilimi (örneğin, , UTCAmerica/Los_Angeles).
pause_status	String	Zamanlamanın duraklatılıp duraklatılmadığı. Geçerli değerler: PAUSED, UNPAUSED.

kalite_izleyici.anlık_görüntü

Type: Map

Anlık görüntü tablolarını izlemek için yapılandırma.

kalite_izleyici.zaman_serisi

Zaman serisi tablolarını izlemek için yapılandırma.

Key	Type	Description
granularities	Sequence	Zaman serisi verilerini toplamaya yönelik zaman ayrıntı düzeyleri (örneğin, ["30 minutes"]).
timestamp_col	String	Zaman damgasını içeren sütunun adı.

Examples

Tam bir quality_monitor tanımlayan örnek paket için, mlops_demo paketine bakın.

Aşağıdaki örnekler InferenceLog, TimeSeries ve Snapshot profil türleri için kalite izleyicilerini tanımlar.

# InferenceLog profile type
resources:
  quality_monitors:
    my_quality_monitor:
      table_name: dev.mlops_schema.predictions
      output_schema_name: ${bundle.target}.mlops_schema
      assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
      inference_log:
        granularities: [1 day]
        model_id_col: model_id
        prediction_col: prediction
        label_col: price
        problem_type: PROBLEM_TYPE_REGRESSION
        timestamp_col: timestamp
      schedule:
        quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
        timezone_id: UTC

# TimeSeries profile type
resources:
  quality_monitors:
    my_quality_monitor:
      table_name: dev.mlops_schema.predictions
      output_schema_name: ${bundle.target}.mlops_schema
      assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
      time_series:
        granularities: [30 minutes]
        timestamp_col: timestamp
      schedule:
        quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
        timezone_id: UTC

# Snapshot profile type
resources:
  quality_monitors:
    my_quality_monitor:
      table_name: dev.mlops_schema.predictions
      output_schema_name: ${bundle.target}.mlops_schema
      assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
      snapshot: {}
      schedule:
        quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
        timezone_id: UTC

kayıtlı_model (Unity Kataloğu)

Type: Map

Kayıtlı model kaynağı, Unity Kataloğu'nda modelleri tanımlamanızı sağlar. Unity Kataloğu kayıtlı modelleri hakkında bilgi için bkz. Unity Kataloğu'nda model yaşam döngüsünü yönetme.

registered_models:
  <registered_model-name>:
    <registered_model-field-name>: <registered_model-field-value>

Key	Type	Description
aliases	Sequence	Kayıtlı modele bağlı takma adların listesi. Bkz. registered_model.aliases.
browse_only	Boolean	İstekte include_browse etkinleştirildiğinde, sorumlunun BROWSE ayrıcalığı aracılığıyla ilişkili nesne için meta verileri almayla sınırlı olup olmadığını gösterir.
catalog_name	String	Şemanın ve kayıtlı modelin bulunduğu kataloğun adı.
comment	String	Kayıtlı modele eklenen açıklama.
full_name	String	Kayıtlı modelin tam nitelikli üç seviyeli adı
grants	Sequence	Kayıtlı modelle ilişkili hibeler. Bkz. grant.
lifecycle	Map	Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
name	String	Kayıtlı modelin adı.
schema_name	String	Kayıtlı modelin bulunduğu şemanın adı.
storage_location	String	Model sürüm veri dosyalarının bulutta saklandığı yer.

registered_model.aliases

Type: Sequence

Kayıtlı modelle bağlantılı takma adların listesi.

Listedeki her öğe bir Alias:

Key	Type	Description
alias_name	String	Takma adın adı, örneğin "şampiyon" veya "latest_stable"
catalog_name	String	Model sürümünü içeren kataloğun adı
id	String	Diğer adın benzersiz tanımlayıcısı
model_name	String	Model sürümünün ana kayıtlı modelinin adı, üst şemaya göre
schema_name	String	Üst kataloğa göre model sürümünü içeren şemanın adı
version_num	Integer	Bu diğer adın işaret ettiği model sürümünün tamsayı sürüm numarası.

Example

Aşağıdaki örnek, Unity Kataloğu'nda kayıtlı bir modeli tanımlar:

resources:
  registered_models:
    model:
      name: my_model
      catalog_name: ${bundle.target}
      schema_name: mlops_schema
      comment: Registered model in Unity Catalog for ${bundle.target} deployment target
      grants:
        - privileges:
            - EXECUTE
          principal: account users

şeması (Unity Kataloğu)

Type: Map

Databricks Varlık Paketleri için Python'da şemalar desteklenir. Bkz. databricks.bundles.schemas.

Şema kaynak türü, bir paketin parçası olarak oluşturulan iş akışlarınızda ve işlem hatlarınızda tablolar ve diğer varlıklar için Unity Kataloğu şemaları tanımlamanızı sağlar. Diğer kaynak türlerinden farklı bir şema aşağıdaki sınırlamalara sahiptir:

• Bir şema kaynağının sahibi her zaman dağıtım kullanıcısıdır ve değiştirilemez. Şayet run_as pakette belirtilmişse, şema üzerindeki işlemler tarafından yoksayılacaktır.
• Şema kaynağı için yalnızca ilgili Schemas nesnesi oluşturma API'sinin desteklediği alanlar kullanılabilir. Örneğin, enable_predictive_optimization yalnızca güncelleştirme API'sinde kullanılabilir olduğundan desteklenmez.

schemas:
  <schema-name>:
    <schema-field-name>: <schema-field-value>

Key	Type	Description
catalog_name	String	Ana kataloğun adı.
comment	String	Kullanıcı tarafından sağlanan serbest biçimli metin açıklaması.
grants	Sequence	Şemayla ilişkili hibeler. Bkz. grant.
lifecycle	Map	Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
name	String	Üst katalogla ilişkili olarak şemanın adı.
properties	Map	Şemaya eklenmiş anahtar-değer özelliklerinin haritası.
storage_root	String	Şema içindeki yönetilen tablolar için depolama kök URL'si.

Examples

Aşağıdaki örnek, kaynak anahtarı my_pipeline ile, anahtar my_schema'i hedef alarak bir Unity Kataloğu şeması oluşturan bir işlem hattı tanımlar.

resources:
  pipelines:
    my_pipeline:
      name: test-pipeline-{{.unique_id}}
      libraries:
        - notebook:
            path: ../src/nb.ipynb
        - file:
            path: ../src/range.sql
      development: true
      catalog: ${resources.schemas.my_schema.catalog_name}
      target: ${resources.schemas.my_schema.id}

  schemas:
    my_schema:
      name: test-schema-{{.unique_id}}
      catalog_name: main
      comment: This schema was created by Databricks Asset Bundles.

En üst düzey atama eşlemesi Databricks Varlık Paketleri tarafından desteklenmez, bu nedenle bir şema için izinler ayarlamak istiyorsanız, schemas eşlemesi içinde şema için izinleri tanımlayın. Daha fazla bilgi için Ayrıcalıkları gösterme, verme ve iptal etme bölümüne bakın.

Aşağıdaki örnek, grants içeren bir Unity Kataloğu şemasını tanımlar:

resources:
  schemas:
    my_schema:
      name: test-schema
      grants:
        - principal: users
          privileges:
            - SELECT
        - principal: my_team
          privileges:
            - CAN_MANAGE
      catalog_name: main

gizli_kapsam

Type: Map

secret_scope kaynağı, bir pakette gizli dizi kapsamları tanımlamanızı sağlar. Gizli kapsamlar hakkında bilgi için bkz. Gizli yönetim.

secret_scopes:
  <secret_scope-name>:
    <secret_scope-field-name>: <secret_scope-field-value>

Key	Type	Description
backend_type	String	Kapsamın oluşturulacağı arka uç türü. Belirtilmezse, bu varsayılan olarak olur DATABRICKS.
keyvault_metadata	Map	Eğer backend_type ise, gizli dizi kapsamının meta verileri AZURE_KEYVAULT. Bkz. keyvault_metadata.
lifecycle	Map	Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
name	String	Kullanıcı tarafından istenen kapsam adı. Kapsam adları benzersizdir.
permissions	Sequence	Gizli alan kapsamına uygulanacak izinler. İzinler gizli kapsam ACL'leri aracılığıyla yönetilir. Bkz. izinler.

secret_scope.keyvault_metadata

Type: Map

Azure Key Vault destekli gizli kapsamlar için meta veriler.

Key	Type	Description
resource_id	String	Key Vault'un Azure kaynak kimliği.
dns_name	String	Azure Key Vault'un DNS adı.

Examples

Aşağıdaki örnek, bir anahtar kasası arka ucu kullanan bir gizli kapsam tanımlar:

resources:
  secret_scopes:
    secret_scope_azure:
      name: test-secrets-azure-backend
      backend_type: 'AZURE_KEYVAULT'
      keyvault_metadata:
        resource_id: my_azure_keyvault_id
        dns_name: my_azure_keyvault_dns_name

Aşağıdaki örnek, gizli kapsamları ve izinleri kullanarak özel bir ACL örneği ayarlar:

resources:
  secret_scopes:
    my_secret_scope:
      name: my_secret_scope
      permissions:
        - user_name: admins
          level: WRITE
        - user_name: users
          level: READ

Bir pakette gizli bir kapsam ve ondan okuyan bir görev ile bir iş tanımlamayı gösteren örnek bir paket görmek için paket örnekleri GitHub deposu'na bakın.

sql_warehouse

Type: Map

SQL ambarı kaynağı, bir pakette SQL ambarı tanımlamanızı sağlar. SQL ambarları hakkında bilgi için bkz. Azure Databricks'te veri ambarı.

sql_warehouses:
  <sql-warehouse-name>:
    <sql-warehouse-field-name>: <sql-warehouse-field-value>

Key	Type	Description
auto_stop_mins	Integer	SQL ambarının otomatik olarak durdurulmadan önce boşta olması gereken dakika cinsinden süre (örneğin, çalışan sorgular olmadan). Geçerli değerler, otomatik durdurma olmadığını gösteren 0 veya 10'dan büyük veya buna eşit değerlerdir. Varsayılan değer 120'dir.
channel	Map	Kanal ayrıntıları. Kanal'a bakın
cluster_size	String	Bu ambar için ayrılan kümelerin boyutu. Spark kümesinin boyutunu artırmak, üzerinde daha büyük sorgular çalıştırmanıza olanak tanır. Eşzamanlı sorgu sayısını artırmak istiyorsanız max_num_clusters ayarlayın. Desteklenen değerler için bkz. cluster_size.
creator_name	String	Ambarı oluşturan kullanıcının adı.
enable_photon	Boolean	Depo Foton ile optimize edilmiş kümeleri kullanmalı mı? Varsayılan değer false'tur.
enable_serverless_compute	Boolean	Ambarın sunucusuz işlem kullanıp kullanmayacağı belirlenmelidir.
instance_profile_arn	String	Deprecated. IAM rolünü kümeye geçirmek için kullanılan örnek profili,
lifecycle	Map	Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
max_num_clusters	Integer	Otomatik ölçeklendiricinin eşzamanlı sorguları işlemek için oluşturacağı en fazla küme sayısı. Değerler 30'a eşit veya ondan küçük ve değerinden büyük veya buna min_num_clusterseşit olmalıdır. Eğer ayarlanmamışsa, varsayılan olarak min_clusters kullanılır.
min_num_clusters	Integer	Bu SQL ambarı için tutulacak kullanılabilir kümelerin en az sayısı. Bunu artırmak, daha fazla sayıda kümenin her zaman çalışır durumda olmasını garanti altına alır ve bu nedenle yeni sorgular için soğuk başlangıç süresini kısaltabilir. Bu, bir kaynak yöneticisindeki ayrılmış ve iptal edilebilir çekirdeklere benzer. Değerler 0'dan büyük ve min(max_num_clusters, 30) değerinden küçük veya buna eşit olmalıdır. Varsayılan değer 1'tir.
name	String	Kümenin mantıksal adı. Ad bir kuruluş içinde benzersiz olmalı ve 100 karakterden az olmalıdır.
permissions	Sequence	Depoya uygulanacak izinler. Bkz. izinler.
spot_instance_policy	String	Spot instance kullanılıp kullanılmayacağı. Geçerli değerler , POLICY_UNSPECIFIED, COST_OPTIMIZEDRELIABILITY_OPTIMIZED. Varsayılan değer: COST_OPTIMIZED.
tags	Map	Bu SQL ambarı ile ilişkili tüm kaynaklara (örneğin AWS örnekleri ve EBS birimleri) etiketlenecek anahtar-değer çiftleri kümesi. Etiket sayısı 45'ten az olmalıdır.
warehouse_type	String	Ambar türü PRO veya CLASSIC. Sunucusuz işlem kullanmak istiyorsanız, bu alanı olarak PRO ve alanını enable_serverless_computetrueolarak da ayarlayın.

sql_warehouse.channel

Type: Map

SQL ambarı için kanal yapılandırması.

Key	Type	Description
name	String	Kanalın adı. Geçerli değerler CHANNEL_NAME_CURRENT, CHANNEL_NAME_PREVIEW, CHANNEL_NAME_CUSTOM.
dbsql_version	String	Özel kanallar için DBSQL sürümü.

Example

Aşağıdaki örnek bir SQL ambarını tanımlar:

resources:
  sql_warehouses:
    my_sql_warehouse:
      name: my_sql_warehouse
      cluster_size: X-Large
      enable_serverless_compute: true
      max_num_clusters: 3
      min_num_clusters: 1
      auto_stop_mins: 60
      warehouse_type: PRO

senkronize_edilmiş_veritabanı_tablosu

Type: Map

Eşitlenen veritabanı tablosu kaynağı , Lakebase veritabanı tablolarını bir pakette tanımlamanıza olanak tanır.

Eşitlenen veritabanı tabloları hakkında bilgi için bkz. Veritabanı örneği nedir?.

synced_database_tables:
  <synced_database_table-name>:
    <synced_database_table-field-name>: <synced_database_table-field-value>

Key	Type	Description
database_instance_name	String	Hedef veritabanı örneğinin adı. Bu, standart kataloglarda eşitlenmiş veritabanı tabloları oluştururken gereklidir. Bu, kayıtlı kataloglarda eşitlenmiş veritabanı tabloları oluştururken isteğe bağlıdır.
lifecycle	Map	Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
logical_database_name	String	Bu tablo için hedef Postgres veritabanı nesnesinin (mantıksal veritabanı) adı.
name	String	Formda catalog.schema.tabletablonun tam adı.
spec	Map	Veritabanı tablosu belirtimi. Bkz. eşitlenmiş veritabanı tablosu belirtimi.

senkronize_veri_tabanı_tablosu.spec

Type: Map

Veritabanı tablosu belirtimi.

Key	Type	Description
create_database_objects_if_missing	Boolean	Eşitlenen tablonun mantıksal veritabanının ve şema kaynaklarının henüz mevcut değilse oluşturulup oluşturulmayacağı.
existing_pipeline_id	String	Mevcut bir işlem hattının kimliği. Bu ayarlanırsa, eşitlenen tablo, başvuruda bulunılan mevcut işlem hattına paketlenir. Bu, yeni işlem hattı oluşturmayı önler ve mevcut işlem hattının paylaşılmasına izin verir. Bu durumda, scheduling_policy eşitlenen bu tablonun mevcut işlem hattının zamanlama ilkesiyle uyumlu olması gerekir. existing_pipeline_id ve new_pipeline_spec'den en fazla biri tanımlanmalıdır.
new_pipeline_spec	Map	Yeni işlem hattının belirtimi. Bkz. new_pipeline_spec. existing_pipeline_id ve new_pipeline_spec'den en fazla biri tanımlanmalıdır.
primary_key_columns	Sequence	Birincil anahtarı oluşturan sütun adlarının listesi.
scheduling_policy	String	Eşitleme için zamanlama ilkesi. Geçerli değerler: SNAPSHOT, CONTINUOUS.
source_table_full_name	String	biçimindeki catalog.schema.tablekaynak tablonun tam adı.
timeseries_key	String	Aynı birincil anahtara sahip satırları tekrarlardan arındırmak için zaman serisi anahtarı.

synced_database_table.spec.new_pipeline_spec

Type: Map

Eşitlenmiş veritabanı tablosu tarafından kullanılan yeni işlem hattının şartnamesi.

Key	Type	Description
budget_policy_id	String	Yeni oluşturulan işlem hattı üzerinde ayarlanacak bütçe politikasının kimliği.
storage_catalog	String	Denetim noktaları ve olay günlükleri gibi ara dosyaları depolamak için işlem hattının kataloğu. Bu, kullanıcının Delta tabloları oluşturma izinlerine sahip olduğu standart bir katalog olmalıdır.
storage_schema	String	Denetim noktaları ve olay günlükleri gibi ara dosyaları depolamak için işlem hattının şeması. Bunun, kullanıcının Delta tabloları oluşturma izinlerine sahip olduğu standart katalogda olması gerekir.

Examples

Aşağıdaki örnek, ilgili veritabanı kataloğunda eşitlenmiş bir veritabanı tablosunu tanımlar:

resources:
  database_instances:
    my_instance:
      name: my-instance
      capacity: CU_1
  database_catalogs:
    my_catalog:
      database_instance_name: my-instance
      database_name: 'my_database'
      name: my_catalog
      create_database_if_not_exists: true
  synced_database_tables:
    my_synced_table:
      name: ${resources.database_catalogs.my_catalog.name}.${resources.database_catalogs.my_catalog.database_name}.my_destination_table
      database_instance_name: ${resources.database_catalogs.my_catalog.database_instance_name}
      logical_database_name: ${resources.database_catalogs.my_catalog.database_name}
      spec:
        source_table_full_name: 'my_source_table'
        scheduling_policy: SNAPSHOT
        primary_key_columns:
          - my_pk_column
        new_pipeline_spec:
          storage_catalog: 'my_delta_catalog'
          storage_schema: 'my_delta_schema'

Aşağıdaki örnek, standart bir katalog içinde eşitlenmiş bir veritabanı tablosu tanımlar:

resources:
  synced_database_tables:
    my_synced_table:
      name: 'my_standard_catalog.public.synced_table'
      # database_instance_name is required for synced tables created in standard catalogs.
      database_instance_name: 'my-database-instance'
      # logical_database_name is required for synced tables created in standard catalogs:
      logical_database_name: ${resources.database_catalogs.my_catalog.database_name}
      spec:
        source_table_full_name: 'source_catalog.schema.table'
        scheduling_policy: SNAPSHOT
        primary_key_columns:
          - my_pk_column
        create_database_objects_if_missing: true
        new_pipeline_spec:
          storage_catalog: 'my_delta_catalog'
          storage_schema: 'my_delta_schema'

Bu örnek, eşitlenmiş bir veritabanı tablosu oluşturur ve bunun için işlem hattı zamanlamasını özelleştirir. Zaten sahip olduğunuz varsayılır:

• adlı bir veritabanı örneği my-database-instance
• Adlı standart bir katalog my_standard_catalog
• Standart katalogda default adlı bir şema
• Birincil anahtarı source_delta.schema.customer olan c_custkey adlı bir kaynak delta tablosu

resources:
  synced_database_tables:
    my_synced_table:
      name: 'my_standard_catalog.default.my_synced_table'
      database_instance_name: 'my-database-instance'
      logical_database_name: 'test_db'
      spec:
        source_table_full_name: 'source_delta.schema.customer'
        scheduling_policy: SNAPSHOT
        primary_key_columns:
          - c_custkey
        create_database_objects_if_missing: true
        new_pipeline_spec:
          storage_catalog: 'source_delta'
          storage_schema: 'schema'

  jobs:
    sync_pipeline_schedule_job:
      name: sync_pipeline_schedule_job
      description: 'Job to schedule synced database table pipeline.'
      tasks:
        - task_key: synced-table-pipeline
          pipeline_task:
            pipeline_id: ${resources.synced_database_tables.my_synced_table.data_synchronization_status.pipeline_id}
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'

hacim (Unity Kataloğu)

Type: Map

Birimler Databricks varlık paketleri için Python'da desteklenir. Bkz. databricks.bundles.volumes.

Birim kaynak türü, Unity Kataloğu birimlerini bir paketin parçası olarak tanımlamanıza ve oluşturmanıza olanak tanır. Tanımlanmış bir birim içeren bir paket dağıtırken şunları unutmayın:

• Çalışma alanında var olana kadar bir hacme, paketin artifact_path'ında başvurulamaz. Bu nedenle, Databricks Varlık Paketleri'ni kullanarak birimi oluşturmak istiyorsanız, öncelikle birimi pakette tanımlamanız, birimi oluşturmak için dağıtmanız ve ardından sonraki dağıtımlarda artifact_path'a referans vermeniz gerekir.
• Dağıtım hedefi dev_${workspace.current_user.short_name} yapılandırıldığında, paket içindeki birimler mode: development ön eki ile eklenmez. Ancak, bu ön eki el ile yapılandırabilirsiniz. Bkz. Özel ön ayarlar.

volumes:
  <volume-name>:
    <volume-field-name>: <volume-field-value>

Key	Type	Description
catalog_name	String	Şema ve birimin kataloğunun adı.
comment	String	Hacme iliştirilen açıklama.
grants	Sequence	Hacimle ilişkili bağışlar. Bkz. grant.
lifecycle	Map	Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
name	String	Birimin adı.
schema_name	String	Hacmin bulunduğu şemanın adı.
storage_location	String	Bulut üzerindeki depolama konumu.
volume_type	String	Hacim türü, ya EXTERNAL ya da MANAGED. Harici birim belirtilen lokasyonda bulunur. Yönetilen birim, üst şema, üst katalog veya meta veri deposu tarafından belirtilen varsayılan konumda bulunur. Bkz. Yönetilen ve dış birimler.

Example

Aşağıdaki örnek, anahtar my_volume_idile bir Unity Kataloğu birimi oluşturur:

resources:
  volumes:
    my_volume_id:
      catalog_name: main
      name: my_volume
      schema_name: my_schema

Unity Kataloğu birimindeki bir dosyaya yazan bir işi çalıştıran örnek paket için bkz. paket örnekleri GitHub deposu.

Ortak nesneler

izin vermek

Type: Map

Bahsi geçen özneyi ve bu özneye tanınacak ayrıcalıkları tanımlar. Daha fazla bilgi için Ayrıcalıkları gösterme, verme ve iptal etme bölümüne bakın.

Key	Type	Description
principal	String	Ayrıcalık verilecek sorumlunun adı. Bu bir kullanıcı, grup veya hizmet sorumlusu olabilir.
privileges	Sequence	Belirtilen varlığa verilmelidir ayrıcalıklar. Geçerli değerler kaynak türüne bağlıdır (örneğin, SELECT, MODIFY, CREATE, USAGE, READ_FILES, WRITE_FILES, EXECUTE, ). ALL_PRIVILEGES

Example

Aşağıdaki örnek, grants içeren bir Unity Kataloğu şemasını tanımlar:

resources:
  schemas:
    my_schema:
      name: test-schema
      grants:
        - principal: users
          privileges:
            - SELECT
        - principal: my_team
          privileges:
            - CAN_MANAGE
      catalog_name: main

yaşam döngüsü

Type: Map

Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler.

Key	Type	Description
prevent_destroy	Boolean	Kaynağın yok edilmesini önlemek için yaşam döngüsü ayarı.