Bildirim temelli Otomasyon Paketleri kaynakları

Bildirim temelli Otomasyon Paketleri (eski adıyla Databricks Varlık Paketleri), paket yapılandırmasında resources eşlemesinde paket tarafından kullanılan Azure Databricks kaynakları hakkında bilgi belirtmenize olanak tanır. Bkz. kaynak başvurusu.

Bu sayfa, paketler için desteklenen tüm kaynak türleri için yapılandırma başvurusu sağlar ve desteklenen her tür için ayrıntılar ve bir örnek sağlar. Ek örnekler için bkz . Paket yapılandırma örnekleri.

YAML yapılandırmasını doğrulamak için kullanılan paketlerin JSON şeması Databricks CLI GitHub deposundadır.

Tip

Var olan herhangi bir kaynak için YAML oluşturmak için databricks bundle generate komutunu kullanın. Bkz. databricks bundle generate.

Desteklenen kaynaklar

Aşağıdaki tabloda, paketler için desteklenen kaynak türleri (varsa YAML ve Python) listelenmektedir. Bazı kaynaklar bir pakette tanımlanarak ve paket dağıtılarak oluşturulabilir ve bazı kaynaklar yalnızca pakete dahil edilecek mevcut bir varlığa başvurularak oluşturulabilir.

Kaynak yapılandırması, Databricks REST API nesnesine karşılık gelen bir Databricks nesnesi tanımlar. REST API nesnesinin YAML olarak ifade edilen desteklenen oluşturma isteği alanları, kaynağın desteklenen anahtarlarıdır. Her kaynağın ilgili nesnesine ilişkin belgelerin bağlantıları aşağıdaki tabloda yer almaktadır.

Tip

databricks bundle validate komutu, paket yapılandırma dosyalarında bilinmeyen kaynak özellikleri bulunursa uyarılar döndürür.

Resource Python desteği Karşılık gelen REST API nesnesi
Uyarı Uyarı nesnesi
app uygulama nesnesi
catalog (Unity Kataloğu) Katalog nesnesi
cluster küme nesnesi
dashboard pano nesnesi
database_catalog Veritabanı kataloğu nesnesi
database_instance Veritabanı örneği nesnesi
experiment Deneme nesnesi
external_location (Unity Kataloğu) Dış konum nesnesi
job İşler İş nesnesi
modeli (eski) Model (eski) nesnesi
model_serving_endpoint Uç nokta nesnesi sunan model
pipeline Pipelines Boruhattı nesnesi
postgres_branch Postgres dal nesnesi
postgres_endpoint Postgres işlem uç noktası nesnesi
postgres_project Postgres proje nesnesi
quality_monitor Kalite izleyici nesnesi
registered_model (Unity Kataloğu) Kayıtlı model nesnesi
şema (Unity Kataloğu) Şema Şema nesnesi
secret_scope Gizli dizi kapsam nesnesi
sql_warehouse SQL ambarı nesnesi
senkronize_veritabanı_tablosu Eşitlenmiş veritabanı tablosu nesnesi
volume (Unity Kataloğu) Hacimler Hacim nesnesi

Uyarı

Type: Map

Uyarı kaynağı bir SQL uyarısı (v2) tanımlar.

Databricks CLI sürüm 0.279.0'a eklendi

alerts:
  <alert-name>:
    <alert-field-name>: <alert-field-value>
Key Type Description
custom_description String Optional. Uyarı için özel açıklama. Bıyık şablonunu destekler.
Databricks CLI sürüm 0.279.0'a eklendi
custom_summary String Optional. Uyarı için özel özet. Bıyık şablonunu destekler.
Databricks CLI sürüm 0.279.0'a eklendi
display_name String Gerekli. Uyarının görünen adı, örneğin, Example alert.
Databricks CLI sürüm 0.279.0'a eklendi
evaluation Map Gerekli. Uyarının değerlendirme yapılandırması. Bkz. alert.evaluation.
Databricks CLI sürüm 0.279.0'a eklendi
file_path String Uyarı varlığının yerel dosya yolu.
Databricks CLI sürüm 0.282.0'a eklendi
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 0.279.0'a eklendi
parent_path String Optional. Uyarıyı içeren klasörün çalışma alanı yolu. Yalnızca oluşturmada ayarlanabilir ve güncelleştirilemez. Örnek: /Users/someone@example.com.
Databricks CLI sürüm 0.279.0'a eklendi
permissions Sequence Uyarı izinleri hakkında. Bkz. izinler.
Databricks CLI sürüm 0.279.0'a eklendi
query_text String Gerekli. Çalıştırılacak sorgunun metni, örneğin, SELECT 1.
Databricks CLI sürüm 0.279.0'a eklendi
run_as Map Optional. Uyarıyı çalıştırmak için kullanılacak kimliği belirtir. Bu alan, uyarıları belirli bir kullanıcı veya hizmet sorumlusu olarak çalışacak şekilde yapılandırmanıza olanak tanır. Bkz. run_as.
  • Kullanıcı kimliği için: user_name öğesini etkin çalışma alanı kullanıcısının e-postasına ayarlayın. Kullanıcılar bunu yalnızca kendi e-postalarına ayarlayabilir.
  • Hizmet yetkilisi için: service_principal_name öğesini uygulama kimliği olarak ayarlayın. ServicePrincipal/User rolünü gerektirir. Belirtilmezse, uyarı istek kullanıcısı olarak çalışır.

Databricks CLI sürüm 0.279.0'a eklendi
schedule Map Gerekli. Uyarının zamanlama yapılandırması. Bkz. alert.schedule.
Databricks CLI sürüm 0.279.0'a eklendi
warehouse_id String Gerekli. Uyarıya eklenen SQL ambarının kimliği, örneğin, a7066a8ef796be84.
Databricks CLI sürüm 0.279.0'a eklendi

uyarı.değerlendirme

Type: Map

Uyarının değerlendirme yapılandırması.

Key Type Description
comparison_operator String Uyarı değerlendirmesinde karşılaştırma için kullanılan işleç.
empty_result_state String Sonuç boşsa uyarı durumu. Durumun kullanım dışı bırakılması planlandığından bu alanı UNKNOWNUNKNOWN olarak ayarlamaktan kaçının.
notification Map Uyarı tetiklendiğinde bildirimde bulunacak kullanıcı veya diğer hedef. Bkz. alert.evaluation.notification.
source Map Uyarıyı değerlendirmek için kullanılacak sonuç kaynak sütunu. Bkz . alert.evaluation.source.
threshold Map Uyarı değerlendirmesi için kullanılacak eşik. Bu bir sütun veya değer olabilir. Bkz . alert.evaluation.threshold.

uyarı.değerlendirme.bildirim

Type: Map

Uyarı tetiklendiğinde bildirimde bulunacak kullanıcı veya diğer hedef.

Key Type Description
notify_on_ok Boolean Optional. Uyarı normale döndüğünde uyarı abonelerine bildirimde bulunup bulunmayacağı.
retrigger_seconds Integer Optional. Bir uyarının başka bir bildirim göndermesine izin verilmeden önce tetiklenmesini beklediği saniye sayısı. 0 olarak ayarlanırsa veya atlanırsa, uyarı ilk tetiklemeden sonra başka bildirim göndermez. Bu değeri 1 olarak ayarlamak, uyarının koşulun karşılandığı her değerlendirmede bildirim göndermesine olanak tanır ve bildirim amacıyla her zaman yeniden tetiklemesini sağlar.
subscriptions Sequence Optional. Bildirim aboneliklerinin sıralanmamış listesi. Bkz alert.evaluation.notification.subscriptions.
uyarı.değerlendirme.bildirim.abonelikleri

Type: Sequence

Bildirim aboneliklerinin sıralanmamış listesi.

Listedeki her öğe bir AlertSubscription:

Key Type Description
destination_id String Bildirim hedefinin kimliği.
user_email String Bildirimde bulunacak kullanıcının e-posta adresi.

uyarı.değerlendirme.kaynak

Type: Map

Uyarıyı değerlendirmek için kullanılacak sonuçtaki kaynak sütun.

Key Type Description
aggregation String Kaynak sütuna uygulanacak toplama yöntemi. Geçerli değerler: SUM, COUNT, COUNT_DISTINCT, AVG, MEDIAN, MIN, MAX, STDDEV
display String Kaynak sütunun görünen adı.
name String Sorgu sonucundaki kaynak sütunun adı.

uyarı.değerlendirme.eşiği

Type: Map

Uyarı değerlendirmesi için kullanılacak eşik bir sütun veya değer olabilir.

Key Type Description
column Map Eşik olarak kullanılacak sütun referansı. Bkz . alert.evaluation.source.
value Map Eşik olarak kullanılacak sabit değer. Bkz . alert.evaluation.threshold.value.
alert.değerlendirme.eşik.değer

Type: Map

Eşik olarak kullanılacak sabit değer. Aşağıdaki değer türlerinden birini belirtin.

Key Type Description
bool_value Boolean Optional. Eşik için Boole değeri, örneğin, true.
double_value Double Optional. Eşik için sayısal değer, örneğin, 1.25.
string_value String Optional. Eşik için dize değeri, örneğin, test.

uyarı.takvimi

Type: Map

Uyarının zamanlama yapılandırması.

Key Type Description
pause_status String Optional. Bu zamanlamanın duraklatılıp duraklatılmadığı mı? Geçerli değerler: UNPAUSED, PAUSED. Varsayılan: UNPAUSED.
quartz_cron_schedule String Gerekli. Bu işlem hattının zamanlamasını belirten quartz söz dizimini kullanan bir cron ifadesi. Quartz formatı quartz scheduler biçiminde açıklanmıştır.
timezone_id String Gerekli. Java saat dilimi kimliği. Zamanlama bu saat dilimi kullanılarak çözülür. Bu, zamanlamayı belirlemek için quartz_cron_schedule ile birleştirilecektir. Ayrıntılar için bkz SET TIME ZONE .

Examples

Aşağıdaki örnek yapılandırma, basit bir değerlendirmeyle bir uyarı tanımlar:

resources:
  alerts:
    my_alert:
      display_name: my_alert
      evaluation:
        comparison_operator: EQUAL
        source:
          name: '1'
        threshold:
          value:
            double_value: 2
      query_text: select 2
      schedule:
        quartz_cron_schedule: '44 19 */1 * * ?'
        timezone_id: Europe/Amsterdam
      warehouse_id: 799f096837fzzzz4

Aşağıdaki örnek yapılandırma, toplama kullanılarak değerlendirilen ve bildirim gönderen izinlere sahip bir uyarı tanımlar:

resources:
  alerts:
    my_alert:
      permissions:
        - level: CAN_MANAGE
          user_name: someone@example.com
      custom_summary: 'My alert'
      display_name: 'My alert'
      evaluation:
        comparison_operator: 'EQUAL'
        notification:
          notify_on_ok: false
          retrigger_seconds: 1
        source:
          aggregation: 'MAX'
          display: '1'
          name: '1'
        threshold:
          value:
            double_value: 2
      query_text: 'select 2'
      schedule:
        pause_status: 'UNPAUSED'
        quartz_cron_schedule: '44 19 */1 * * ?'
        timezone_id: 'Europe/Amsterdam'
      warehouse_id: 799f096837fzzzz4

uygulaması

Type: Map

Uygulama kaynağı,bir Databricks uygulaması tanımlar. Databricks Uygulamaları hakkında bilgi için bkz. Databricks Uygulamaları.

Uygulama eklemek için, gerekli source_code_pathdahil olmak üzere uygulamayı tanımlamak için ayarları belirtin.

Tip

Aşağıdaki komutu kullanarak Streamlit Databricks uygulamasıyla bir paket başlatabilirsiniz:

databricks bundle init https://github.com/databricks/bundle-examples --template-dir contrib/templates/streamlit-app

Databricks CLI sürüm 0.239.0'a eklendi

apps:
  <app-name>:
    <app-field-name>: <app-field-value>
Key Type Description
budget_policy_id String Uygulamanın bütçe ilkesi kimliği.
Databricks CLI sürüm 0.243.0'a eklendi
compute_size String Uygulamanın işlem boyutu. Geçerli değerler şunlardır: MEDIUM veya LARGE ve bu değerler çalışma alanı yapılandırmasına bağlıdır.
Databricks CLI sürüm 0.273.0'a eklendi
config Map Uygulama yapılandırma komutları ve ortam değişkenleri. bkz. app.config.
Databricks CLI sürüm 0.283.0'a eklendi
description String Uygulamanın açıklaması.
Databricks CLI sürüm 0.239.0'a eklendi
git_repository Map Uygulama dağıtımları için Git deposu yapılandırması. Belirtildiğinde, dağıtımlar yalnızca git başvurusu (dal, etiket veya işleme) sağlayarak bu depodaki koda başvurabilir. bkz. app.git_repository.
Databricks CLI sürüm 0.290.0'a eklendi
git_source Map Uygulama dağıtımları için Git kaynak yapılandırması. Uygulamayı dağıtırken hangi Git başvurusunun (dal, etiket veya işleme) kullanılacağını belirtir. Kodu doğrudan git'ten dağıtmak için ile git_repository birlikte kullanılır. source_code_path içindekigit_source, depodaki uygulama kodunun göreli yolunu belirtir. Bkz. app.git_source.
Databricks CLI sürüm 0.290.0'a eklendi
lifecycle Map Kaynağın dağıtıldığında veya yok edildiğindeki davranışı. Bkz . yaşam döngüsü.
Databricks CLI sürüm 0.268.0'a eklendi
name String Uygulamanın adı. Ad yalnızca küçük harfli alfasayısal karakterler ve kısa çizgiler içermelidir. Çalışma alanı içinde benzersiz olmalıdır.
Databricks CLI sürüm 0.239.0'a eklendi
permissions Sequence Uygulamanın izinleri. Bkz. izinler.
Databricks CLI sürüm 0.239.0'a eklendi
resources Sequence Uygulamanın hesaplama kaynakları. Bkz . app.resources.
Databricks CLI sürüm 0.239.0'a eklendi
source_code_path String ./app Databricks uygulama kaynak kodunun yerel yolu.
Databricks CLI sürüm 0.239.0'a eklendi
telemetry_export_destinations Sequence Uygulamanın telemetri dışarı aktarma hedefleri. bkz. app.telemetry_export_destinations.
Databricks CLI sürüm 0.294.0'a eklendi
usage_policy_id String Bu uygulama için kullanılacak sunucusuz kullanım ilkesinin kimliği.
Databricks CLI sürüm 0.283.0'a eklendi
user_api_scopes Sequence Kullanıcı API'sinin kapsamları.
Databricks CLI sürüm 0.246.0'a eklendi

app.config

Uygulama yapılandırma komutları ve ortam değişkenleri. Bkz Databricks uygulama yürütmesini app.yaml ile yapılandırma.

Key Type Description
command Sequence Uygulamayı çalıştırma komutları, örneğin ["streamlit", "run", "app.py"]
env Sequence Uygulama çalışma zamanı ortamında ayarlanacağı uygulama ortamı değişkenlerini belirten ve name çiftlerinin listesivalue. Bu, app.yaml dosyasında belirtilen ortam değişkenlerini geçersiz kılar. Varsayılan uygulama ortamı değişkenleri hakkında bilgi için bkz. Databricks Apps ortamı.
Uygulama başlatılana kadar ortam değişkenleri ayarlanmaz.

app.git_repository

Type: Map

Deponun konumunu belirten Git deposu yapılandırması.

Key Type Description
url String Git deposunun URL'si.

app.git_source

Type: Map

Uygulama dağıtımları için Git kaynak yapılandırması.

Key Type Description
branch String Kullanıma alınması gereken Git dalı.
commit String Git kullanıma alınması için SHA işler.
source_code_path String Git deposundaki uygulama kaynak kodunun göreli yolu. Belirtilmezse, deponun kökü kullanılır.
tag String Kullanıma alınması gereken Git etiketi.

app.kaynaklar

Type: Sequence

Uygulama için işlem kaynaklarının listesi.

Listedeki her öğe bir AppResource:

Key Type Description
app Map Uygulama adı ve izinler
description String Uygulama kaynağının açıklaması.
database Map Kullanılacak Lakebase Sağlama veritabanını tanımlayan ayarlar. Bkz . app.resources.database.
experiment Map Kullanılacak MLflow denemesini tanımlayan ayarlar. Bkz . app.resources.experiment.
genie_space Map Kullanılacak Genie Space'i tanımlayan ayarlar. Bkz. app.resources.genie_space.
job Map Kullanılacak iş kaynağını tanımlayan ayarlar. Bkz . app.resources.job.
name String Uygulama kaynağının adı.
postgres Map Kullanılacak Lakebase Otomatik Ölçeklendirme veritabanını tanımlayan ayarlar. Bkz . app.resources.postgres.
secret Map Kullanılacak Azure Databricks gizli dizi kaynağını tanımlayan ayarlar. Bkz . app.resources.secret.
serving_endpoint Map Kullanılacak uç nokta kaynağını sunan modeli tanımlayan ayarlar. bkz. app.resources.serving_endpoint.
sql_warehouse Map Kullanılacak SQL ambarı kaynağını tanımlayan ayarlar. Bkz. app.resources.sql_warehouse.
uc_securable Map Kullanılacak Unity Kataloğu birimini tanımlayan ayarlar. Bkz. app.resources.uc_securable.

app.kaynaklar.veritabanı

Type: Map

Kullanılacak Lakebase veritabanını tanımlayan ayarlar.

Key Type Description
database_name String Veritabanının adı.
instance_name String Veritabanı örneğinin adı.
permission String Veritabanının izin düzeyi. Geçerli değerler şunlardır: CAN_CONNECT_AND_CREATE.

app.resources.experiment

Type: Map

Kullanılacak MLflow denemesini tanımlayan ayarlar.

Key Type Description
experiment_id String MLflow denemesinin kimliği.
permission String Denemenin izin düzeyi. Geçerli değerler CAN_READ, CAN_EDIT, CAN_MANAGE.

app.kaynaklar.genie_space

Type: Map

Kullanılacak Genie Space'i tanımlayan ayarlar.

Key Type Description
name String Genie Space'in adı.
permission String Alanın izin düzeyi. Geçerli değerler , CAN_VIEW, CAN_EDIT, CAN_MANAGE. CAN_RUN
space_id String Genie Space'in kimliği, örneğin 550e8400-e29b-41d4-a716-999955440000.

app.resources.job

Type: Map

Kullanılacak iş kaynağını tanımlayan ayarlar.

Key Type Description
id String İşin ID'si.
permission String İş için yetki düzeyi. Geçerli değerler , CAN_VIEW, CAN_MANAGE_RUN, CAN_MANAGE. IS_OWNER

app.resources.postgres

Type: Map

Kullanılacak Lakebase Otomatik Ölçeklendirme veritabanını tanımlayan ayarlar.

Key Type Description
branch String Dalın adı, örneğin, projects/proj-abc123/branches/branch-xyz789.
database String Veritabanı örneğinin adı, örneğin, projects/proj-abc123/branches/branch-xyz789/databases/db-456.
permission String Veritabanının izin düzeyi. Geçerli değerler şunlardır: CAN_CONNECT_AND_CREATE.

uygulama.kaynaklar.gizli

Type: Map

Kullanılacak Azure Databricks gizli dizi kaynağını tanımlayan ayarlar.

Key Type Description
key String Gizli anahtar, izin vermek için kullanılır.
permission String Gizli için izin düzeyi. Geçerli değerler READ, WRITE, MANAGE.
scope String Gizli kapsamın adı.

app.kaynaklar.servis_uç_noktası

Type: Map

Kullanılacak uç nokta kaynağını sunan modeli tanımlayan ayarlar.

Key Type Description
name String Hizmet uç noktasının adı.
permission String Sunum uç noktası için izin düzeyi. Geçerli değerler CAN_QUERY, CAN_MANAGE, CAN_VIEW.

uygulama.kaynaklar.sql_depo

Type: Map

Kullanılacak SQL ambarını tanımlayan ayarlar.

Key Type Description
id String SQL depo kimliği.
permission String SQL ambarı için izin düzeyi. Geçerli değerler CAN_USE, CAN_MANAGE, IS_OWNER.

app.resources.uc_securable

Type: Map

Kullanılacak Unity Kataloğu birimini tanımlayan ayarlar.

Key Type Description
permission String Unity Kataloğu için güvenli hale getirilebilen izin düzeyi. Geçerli değerler: READ_VOLUME ve WRITE_VOLUME.
securable_full_name String Unity Kataloğu'nun güvenlik sağlanabilir biçimdeki tam adı catalog.schema.volume.
securable_type String Unity Kataloğu'nun güvenli hale getirilebilen türü. Geçerli değerler şunlardır: VOLUME.

app.telemetry_export_destinations

Type: Sequence

Uygulama için telemetri dışarı aktarma hedeflerinin listesi.

Databricks CLI sürüm 0.294.0'a eklendi

Listedeki her öğe bir AppTelemetryExportDestination:

Key Type Description
unity_catalog Map OTEL telemetrisi dışarı aktarma için Unity Kataloğu Hedefleri.
Databricks CLI sürüm 0.294.0'a eklendi

Examples

Bir uygulamayı tanımlayan bir paket oluşturma konusunda yol gösteren bir öğretici için bkz. Bildirim temelli Otomasyon Paketlerini kullanarak Databricks uygulamalarını yönetme.

Aşağıdaki örnek temel bir uygulamayı tanımlar:

resources:
  apps:
    hello_world_app:
      name: 'hello-world-app'
      source_code_path: . # This assumes the app source code is at the root of the project.
      description: 'A Databricks app'

Aşağıdaki örnek, paket tarafından oluşturulan bir işi yöneten adlı my_app bir uygulama oluşturur. Tam örnek için bkz. bundle-examples GitHub deposu.

resources:
  jobs:
    # Define a job in the bundle
    hello_world:
      name: hello_world
      tasks:
        - task_key: task
          spark_python_task:
            python_file: ../src/main.py
          environment_key: default

      environments:
        - environment_key: default
          spec:
            environment_version: '2'

  # Define an app that manages the job in the bundle
  apps:
    job_manager:
      name: 'job_manager_app'
      description: 'An app which manages a job created by this bundle'

      # The location of the source code for the app
      source_code_path: ../src/app

      # The resources in the bundle which this app has access to. This binds the resource in the app with the bundle resource.
      resources:
        - name: 'app-job'
          job:
            id: ${resources.jobs.hello_world.id}
            permission: 'CAN_MANAGE_RUN'

Buna karşılık gelen app.yaml , uygulamayı çalıştırma yapılandırmasını tanımlar:

command:
  - flask
  - --app
  - app
  - run
  - --debug
env:
  - name: JOB_ID
    valueFrom: 'app-job'

Aşağıdaki örnek, paket tarafından oluşturulan bir MLflow denemesine erişimi olan bir uygulama oluşturur:

resources:
  experiments:
    # Define an MLflow experiment in the bundle
    my_experiment:
      name: /Users/${workspace.current_user.userName}/my-app-experiment

  apps:
    my_ml_app:
      name: 'my-ml-app'
      description: 'An app with access to an MLflow experiment'
      source_code_path: ./app

      # Grant the app access to the MLflow experiment
      resources:
        - name: 'app-experiment'
          experiment:
            experiment_id: ${resources.experiments.my_experiment.id}
            permission: 'CAN_MANAGE'

Alternatif olarak, aşağıdaki örnek paket yapılandırmasında tanımlanan özel yapılandırmaya sahip bir uygulamayı tanımlar:

resources:
  apps:
    my_app:
      name: my_app
      description: my_app_description
      source_code_path: ./app
      config:
        command: ['flask', '--app', 'app', 'run']
        env:
          - name: MY_ENV_VAR
            value: test_value
          - name: ANOTHER_VAR
            value: another_value

Aşağıdaki örnek, Lakebase Otomatik Ölçeklendirme kaynağına sahip bir uygulamayı tanımlar:

resources:
  apps:
    my_app:
      name: my-app
      source_code_path: .
      resources:
        - name: lakebase-db
          postgres:
            branch: projects/my-app/branches/production
            database: projects/my-app/branches/production/databases/db-xxxx-yyyyyyyy
            permission: CAN_CONNECT_AND_CREATE

catalogs

Type: Map

Katalog kaynağı, katalogları (Unity Kataloğu) bir pakette tanımlamanızı sağlar.

Note

Katalogları tanımlamak için Bildirim temelli Otomasyon Paketlerinin kullanılması yalnızca doğrudan dağıtım altyapısını kullanıyorsanız desteklenir.

Databricks CLI sürüm 0.287.0'a eklendi

catalogs:
  <catalog-name>:
    <catalog-field-name>: <catalog-field-value>
Key Type Description
comment String Kataloğun kullanıcı tarafından sağlanan serbest biçimli metin açıklaması.
Databricks CLI sürüm 0.287.0'a eklendi
connection_name String Dış veri kaynağına bağlantının adı.
Databricks CLI sürüm 0.287.0'a eklendi
grants Sequence Katalogla ilişkili izinler. Bkz. grant.
Databricks CLI sürüm 0.287.0'a eklendi
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 0.287.0'a eklendi
name String Gerekli. Kataloğun adı.
Databricks CLI sürüm 0.287.0'a eklendi
options Nesne Güvenli hale getirilebilir öğeye eklenmiş anahtar-değer özelliklerinin haritası.
Databricks CLI sürüm 0.287.0'a eklendi
properties Nesne Güvenli hale getirilebilir öğeye eklenmiş anahtar-değer özelliklerinin haritası.
Databricks CLI sürüm 0.287.0'a eklendi
provider_name String Delta paylaşım sağlayıcısının adı. Delta Sharing kataloğu, uzak paylaşım sunucusundaki Delta paylaşımını temel alan bir katalogdur. Bkz . Delta Sharing nedir?.
Databricks CLI sürüm 0.287.0'a eklendi
share_name String Paylaşım sağlayıcısı altındaki paylaşımın adı.
Databricks CLI sürüm 0.287.0'a eklendi
storage_root String Katalogdaki yönetilen tablolar için depolama kök URL'si.
Databricks CLI sürüm 0.287.0'a eklendi

Example

resources:
  catalogs:
    my_catalog:
      name: my_catalog
      comment: 'Catalog created by Declarative Automation Bundles'
      properties:
        purpose: 'Testing'
      grants:
        - principal: someone@example.com
          privileges:
            - USE_CATALOG
            - CREATE_SCHEMA

  schemas:
    my_schema:
      name: my_schema
      catalog_name: ${resources.catalogs.my_catalog.name}
      comment: 'Schema in custom catalog'

kümesi

Type: Map

Küme kaynağı bir küme tanımlar.

Databricks CLI sürüm 0.229.0 veya altına eklendi

clusters:
  <cluster-name>:
    <cluster-field-name>: <cluster-field-value>
Key Type Description
apply_policy_default_values Boolean true olarak ayarlandığında, ilkedeki sabit ve varsayılan değerler atlanmış alanlar için kullanılır. false olarak ayarlandığında, yalnızca ilkedeki sabit değerler uygulanır.
Databricks CLI sürüm 0.229.0 veya altına eklendi
autoscale Map Yüke göre kümelerin ölçeğini otomatik olarak büyütmek ve küçültmek için gereken parametreler. Bkz. otomatik ölçeklendirme.
Databricks CLI sürüm 0.229.0 veya altına eklendi
autotermination_minutes Integer Küme, bu süre boyunca devre dışı olduktan sonra dakikalar içinde otomatik olarak sonlandırılır. Ayarlanmadıysa, bu küme otomatik olarak sonlandırılmaz. Belirtilirse, eşik 10 ile 10000 dakika arasında olmalıdır. Kullanıcılar otomatik sonlandırmayı açıkça devre dışı bırakmak için bu değeri 0 olarak da ayarlayabilir.
Databricks CLI sürüm 0.229.0 veya altına eklendi
aws_attributes Map Amazon Web Services üzerinde çalışan kümelerle ilgili öznitelikler. Küme oluşturma sırasında belirtilmezse, bir varsayılan değerler kümesi kullanılır. Bkz. aws_attributes.
Databricks CLI sürüm 0.229.0 veya altına eklendi
azure_attributes Map Microsoft Azure üzerinde çalışan kümelerle ilgili öznitelikler. Küme oluşturma sırasında belirtilmezse, bir varsayılan değerler kümesi kullanılır. Bkz. azure_attributes.
Databricks CLI sürüm 0.229.0 veya altına eklendi
cluster_log_conf Map Spark günlüklerini uzun vadeli bir depolama hedefine teslim etme yapılandırması. bkz. cluster_log_conf.
Databricks CLI sürüm 0.229.0 veya altına eklendi
cluster_name String Kullanıcı tarafından istenen küme adı. Bunun benzersiz olması gerekmez. Oluşturma sırasında belirtilmezse, küme adı boş bir dize olur.
Databricks CLI sürüm 0.229.0 veya altına eklendi
custom_tags Map Küme kaynakları için ek etiketler. Databricks, tüm küme kaynaklarını (örneğin AWS örnekleri ve EBS birimleri) bunlara ek olarak default_tagsbu etiketlerle etiketleyecektir.
Databricks CLI sürüm 0.229.0 veya altına eklendi
data_security_mode String Kümeden verilere erişirken kullanılacak veri idaresi modeli. Geçerli değerler : NONE, SINGLE_USER, USER_ISOLATION, LEGACY_SINGLE_USER, LEGACY_TABLE_ACL, LEGACY_PASSTHROUGH.
Databricks CLI sürüm 0.229.0 veya altına eklendi
docker_image Map Özel docker görüntüsü. bkz. docker_image.
Databricks CLI sürüm 0.229.0 veya altına eklendi
driver_instance_pool_id String Kümenin sürücüsünün bağlı olduğu örnek havuzunun isteğe bağlı kimliği. Sürücü havuzu atanmamışsa, havuz kümesi kimlikli örnek havuzunu (örnek*pool_id) kullanır.
Databricks CLI sürüm 0.229.0 veya altına eklendi
driver_node_type_flexibility Map Sürücü düğümü için esnek düğüm türü yapılandırması. Bkz. cluster.driver_node_type_flexibility.
Databricks CLI sürüm 0.285.0'a eklendi
driver_node_type_id String Spark sürücüsünün düğüm türü. Bu alan isteğe bağlıdır. Ayar kaldırılırsa, sürücü düğümü türü değerine node_type_idayarlanır. Ayarlandıysanode_type_id, bu alan ile virtual_cluster_sizebirlikte ayarlanmamalıdır. her ikisi de driver_node_type_id, node_type_idve virtual_cluster_size belirtilirse driver_node_type_id ve node_type_id öncelik kazanır.
Databricks CLI sürüm 0.229.0 veya altına eklendi
enable_elastic_disk Boolean Yerel DepolamaYı Otomatik Ölçeklendirme: Etkinleştirildiğinde, Spark çalışanlarının disk alanı azaldığında bu küme dinamik olarak ek disk alanı alır. Bu özelliğin düzgün çalışması için belirli AWS izinlerinin olması gerekir. Daha fazla ayrıntı için Kullanıcı Kılavuzu'na bakın.
Databricks CLI sürüm 0.229.0 veya altına eklendi
enable_local_disk_encryption Boolean Küme VM'lerinin yerel disklerinde LUKS'nin etkinleştirilip etkinleştirilmeyileceği.
Databricks CLI sürüm 0.229.0 veya altına eklendi
gcp_attributes Map Google Cloud Platform'da çalışan kümelerle ilgili öznitelikler. Küme oluşturma sırasında belirtilmezse, bir varsayılan değerler kümesi kullanılır. Bkz. gcp_attributes.
Databricks CLI sürüm 0.229.0 veya altına eklendi
init_scripts Sequence Başlatma betiklerinin depolanması için yapılandırma. Herhangi bir sayıda hedef belirtilebilir. Komut dosyaları, sağlanan sırayla yürütülür. bkz. init_scripts.
Databricks CLI sürüm 0.229.0 veya altına eklendi
instance_pool_id String Kümenin ait olduğu örnek havuzunun isteğe bağlı kimliği.
Databricks CLI sürüm 0.229.0 veya altına eklendi
is_single_node Boolean Bu alan yalnızca olduğunda kind = CLASSIC_PREVIEWkullanılabilir. True olarak ayarlandığında Databricks otomatik olarak , ve custom_tagsile ilgili spark_confnum_workerstek düğüm ayarlar.
Databricks CLI sürüm 0.237.0'a eklendi
kind String Bu hesaplama belgesi ile belirtilen hesaplama türü.
Databricks CLI sürüm 0.237.0'a eklendi
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 0.268.0'a eklendi
node_type_id String Bu alan, bu kümedeki Spark düğümlerinin her biri için kullanılabilen kaynakları tek bir değer aracılığıyla kodlar. Örneğin Spark düğümleri bellek veya işlem yoğunluklu iş yükleri için sağlanabilir ve iyileştirilebilir. Kullanılabilir düğüm türlerinin listesi , Liste düğümü türleri API'sini kullanarak alınabilir.
Databricks CLI sürüm 0.229.0 veya altına eklendi
num_workers Integer Bu kümenin sahip olması gereken çalışan düğümlerinin sayısı. Bir kümede toplam num_workers + 1 Spark düğümü için bir Spark Sürücüsü ve num_workers Yürütücüleri vardır.
Databricks CLI sürüm 0.229.0 veya altına eklendi
permissions Sequence Küme izinleri. Bkz. izinler.
Databricks CLI sürüm 0.229.0 veya altına eklendi
policy_id String Varsa kümeyi oluşturmak için kullanılan küme ilkesinin kimliği.
Databricks CLI sürüm 0.229.0 veya altına eklendi
remote_disk_throughput Integer Saniye başına bayt cinsinden uzak disk aktarım hızı.
Databricks CLI sürüm 0.257.0'a eklendi
runtime_engine String Kümenin çalışma zamanı altyapısını, ya STANDARD ya da PHOTON olarak belirler.
Databricks CLI sürüm 0.229.0 veya altına eklendi
single_user_name String Data*security_mode ise tek kullanıcı adı.SINGLE_USER
Databricks CLI sürüm 0.229.0 veya altına eklendi
spark_conf Map İsteğe bağlı, kullanıcı tarafından belirtilen Spark yapılandırma anahtarı-değer çiftleri kümesini içeren bir nesne. Kullanıcılar ayrıca, spark.driver.extraJavaOptions aracılığıyla sürücüye ve spark.executor.extraJavaOptions aracılığıyla yürütücülere fazladan JVM seçeneklerinden oluşan bir dize geçirebilir.
Databricks CLI sürüm 0.229.0 veya altına eklendi
spark_env_vars Map İsteğe bağlı, kullanıcı tarafından belirtilen ortam değişkeni anahtar-değer çiftleri kümesini içeren bir nesne.
Databricks CLI sürüm 0.229.0 veya altına eklendi
spark_version String Kümenin Spark sürümü, örneğin. 3.3.x-scala2.11 Kullanılabilir Spark sürümlerinin listesi Kullanılabilir Spark sürümlerini listeleme API'sini kullanarak alınabilir.
Databricks CLI sürüm 0.229.0 veya altına eklendi
ssh_public_keys Sequence Bu kümedeki her Spark düğümüne eklenecek SSH ortak anahtar içeriği. İlgili özel anahtarlar, kullanıcı adı ubuntu ile 2200 bağlantı noktasında oturum açmak için kullanılabilir. En fazla 10 anahtar belirtilebilir.
Databricks CLI sürüm 0.229.0 veya altına eklendi
total_initial_remote_disk_size Integer Bayt cinsinden toplam ilk uzak disk boyutu.
Databricks CLI sürüm 0.257.0'a eklendi
use_ml_runtime Boolean Bu alan yalnızca olduğunda kind = CLASSIC_PREVIEWkullanılabilir. effective_spark_version, spark_version (Databricks Runtime sürümü), bu alan use_ml_runtime ve node_type_id'ün bir gpu düğümü olup olmaması durumuna göre belirlenir.
Databricks CLI sürüm 0.237.0'a eklendi
worker_node_type_flexibility Map Çalışan düğümleri için esnek düğüm türü yapılandırması. Bkz. cluster.worker_node_type_flexibility.
Databricks CLI sürüm 0.285.0'a eklendi
workload_type Map Küme iş yükü türleri için gösterilen Küme Öznitelikleri. bkz. workload_type.
Databricks CLI sürüm 0.229.0 veya altına eklendi

cluster.autoscale

Type: Map

Yüke göre kümeleri otomatik olarak yukarı ve aşağı ölçeklendirmeye yönelik parametreler.

Key Type Description
min_workers Integer Az kullanıldığında kümenin ölçeğini azaltabileceği en az çalışan sayısı. Ayrıca, kümenin oluşturulduktan sonra sahip olacağı ilk çalışan sayısıdır.
max_workers Integer Aşırı yüklendiğinde kümenin ölçeğini artırabileceği en fazla çalışan sayısı. max_workers kesinlikle değerinden min_workersbüyük olmalıdır.

cluster.aws_özellikler

Type: Map

Amazon Web Services üzerinde çalışan kümelerle ilgili öznitelikler.

Key Type Description
zone_id String Kümenin bulunduğu kullanılabilirlik alanının/veri merkezinin tanımlayıcısı. Bu dize us-west-2a şeklinde olacaktır.
availability String first_on_demand birimlerinden sonra gelen tüm düğümler için kullanılacak kullanılabilirlik türü. Geçerli değerler , SPOT, ON_DEMANDSPOT_WITH_FALLBACK.
spot_bid_price_percent Integer AWS spot örnekleri için en yüksek fiyat, karşılık gelen örnek türünün isteğe bağlı fiyatının yüzdesi olarak.
instance_profile_arn String Bu kümenin düğümleri yalnızca bu örnek profiline sahip AWS örneklerine yerleştirilir.
first_on_demand Integer Kümenin ilk first_on_demand düğümleri isteğe bağlı örneklere yerleştirilir. Küme sürücüsü düğümünün isteğe bağlı bir örneğe yerleştirildiğinden emin olmak için bu değer değerinden 0büyük olmalıdır.
ebs_volume_type String Bu kümeyle birlikte açılacak EBS birimlerinin türü. Geçerli değerler GENERAL_PURPOSE_SSD veya THROUGHPUT_OPTIMIZED_HDD.
ebs_volume_count Integer Her örnek için başlatılan birim sayısı.
ebs_volume_size Integer Her örnek için başlatılan her EBS biriminin (GiB cinsinden) boyutu.
ebs_volume_iops Integer EBS gp3 birimi başına IOPS sayısı.
ebs_volume_throughput Integer Saniyede MiB cinsinden EBS gp3 birimi başına aktarım hızı.

cluster.azure_özellikleri

Type: Map

Microsoft Azure üzerinde çalışan kümelerle ilgili öznitelikler.

Key Type Description
first_on_demand Integer Kümenin ilk first_on_demand düğümleri isteğe bağlı örneklere yerleştirilir.
availability String first_on_demand birimlerinden sonra gelen tüm düğümler için kullanılacak kullanılabilirlik türü. Geçerli değerler , SPOT_AZURE, ON_DEMAND_AZURESPOT_WITH_FALLBACK_AZURE.
spot_bid_max_price Sayı Azure spot örnekleri için en yüksek fiyat. En düşük fiyatı belirtmek için kullanın -1 .
log_analytics_info Map Azure Log Analytics aracısı yapılandırması. Bkz. log_analytics_info.

cluster.azure_attributes.log_analytics_info

Type: Map

Azure Log Analytics aracısı yapılandırması.

Key Type Description
log_analytics_workspace_id String Azure Log Analytics çalışma alanının kimliği.
log_analytics_primary_key String Azure Log Analytics çalışma alanının birincil anahtarı.

küme.gcp_özellikleri

Type: Map

Google Cloud Platform'da çalışan kümelerle ilgili öznitelikler.

Key Type Description
use_preemptible_executors Boolean Ön alabilir yürütücülerin kullanılıp kullanılmayacağı. Öncelikli yönetici işlemciler, GCE tarafından herhangi bir zamanda geri kazanılabilen öncelikli GCE örnekleridir.
google_service_account String Databricks kümesi VM örnekleri tarafından kullanılacak Google hizmet hesabı.
local_ssd_count Integer Kümedeki her düğüme eklenecek yerel SSD sayısı. Varsayılan değer şudur: 0.
zone_id String Kümenin bulunduğu kullanılabilirlik alanının/veri merkezinin tanımlayıcısı.
availability String Tüm düğümler için kullanılan kullanılabilirlik türü. Geçerli değerler , PREEMPTIBLE_GCP, ON_DEMAND_GCPPREEMPTIBLE_WITH_FALLBACK_GCP.
boot_disk_size Integer Önyükleme diskinin GB cinsinden kapasitesi. Değerler genellikle 100 ile 1000 arasında değişir.

cluster.cluster_log_conf

Spark günlüklerini uzun vadeli bir depolama hedefine teslim etme yapılandırması.

Key Type Description
dbfs Map Küme günlüğü teslimi için DBFS konumu. Bkz. dbfs.
s3 Map Küme günlüğü teslimi için S3 konumu. Bkz. s3.
volumes Map Küme günlüğü teslimi için depolama birimlerinin konumu. Bkz. hacimler.

cluster.cluster_log_conf.dbfs

Type: Map

Küme günlüğü teslimi için DBFS konumu.

Key Type Description
destination String Küme günlüğü teslimi için DBFS yolu (örneğin, dbfs:/cluster-logs).

cluster.cluster_log_conf.s3

Type: Map

Küme günlüğü teslimi için S3 konumu.

Key Type Description
destination String Küme günlüğü teslimi için S3 URI'sini (örneğin, s3://my-bucket/cluster-logs).
region String S3 bucket'ının AWS bölgesi.
endpoint String S3 uç nokta URL'si (isteğe bağlı).
enable_encryption Boolean Küme günlükleri için şifrelemenin etkinleştirilip etkinleştirilmeyileceği.
encryption_type String Şifreleme türü. Geçerli değerler: SSE_S3, SSE_KMS.
kms_key String Şifreleme için KMS anahtarı ARN'si ( SSE_KMS kullanılırken).
canned_acl String Uygulanacak olan önceden tanımlı (canned) ACL, küme günlükleri içindir.

cluster.cluster_log_conf.volumes

Type: Map

Küme günlüğü teslimi için depolama birimlerinin konumu.

Key Type Description
destination String Küme günlüğü tesliminin birim yolu (örneğin, /Volumes/catalog/schema/volume/cluster_log).

cluster.docker_image (Docker imajı)

Type: Map

Özel Docker görüntü yapılandırması.

Key Type Description
url String Docker görüntüsünün URL'si.
basic_auth Map Docker deposu için temel kimlik doğrulaması. bkz. basic_auth.

cluster.docker_image.temel_kimlik_dogrulama

Type: Map

Docker deposu için temel kimlik doğrulaması.

Key Type Description
username String Docker kayıt defteri kimlik doğrulamasının kullanıcı adı.
password String Docker kayıt defteri kimlik doğrulamasının parolası.

küme.başlatma_betikleri

Type: Map

Başlatma betiklerinin depolanması için yapılandırma. En az bir konum türü belirtilmelidir.

Key Type Description
dbfs Map Init betiğinin DBFS konumu. Bkz. dbfs.
workspace Map init betiğinin çalışma alanı konumu. Bkz . çalışma alanı.
s3 Map Init betiğinin S3 konumu. Bkz. s3.
abfss Map init betiğinin ABFSS konumu. Bkz. abfss.
gcs Map Init betiğinin GCS konumu. Bkz. gcs.
volumes Map UC Volumes init betiğinin konumu. Bkz. hacimler.

cluster.init_scripts.dbfs

Type: Map

Init betiğinin DBFS konumu.

Key Type Description
destination String Init betiğinin DBFS yolu.

küme.init_komut_dosyaları.çalışma_alanı

Type: Map

init betiğinin çalışma alanı konumu.

Key Type Description
destination String init betiğinin çalışma alanı yolu.

cluster.init_scripts.s3

Type: Map

Init betiğinin S3 konumu.

Key Type Description
destination String Başlangıç betiğine ait S3 URI'si.
region String S3 bucket'ının AWS bölgesi.
endpoint String S3 uç nokta URL'si (isteğe bağlı).

cluster.init_scripts.abfss

Type: Map

init betiğinin ABFSS konumu.

Key Type Description
destination String init betiğinin ABFSS yolu.

cluster.init_scripts.gcs

Type: Map

Init betiğinin GCS konumu.

Key Type Description
destination String Init betiğinin GCS yolu.

cluster.init_scripts.volumes

Type: Map

Init betiğinin birim konumu.

Key Type Description
destination String Init betiğinin UC Birimleri yolu.

cluster.driver_node_type_flexibility

Type: Map

Sürücü düğümü için esnek düğüm türü yapılandırması.

Databricks CLI sürüm 0.285.0'a eklendi

Key Type Description
alternate_node_type_ids Sequence Birincil düğüm türü kullanılamadığında geri dönüş olarak kullanılacak düğüm türü kimliklerinin listesi.
Databricks CLI sürüm 0.285.0'a eklendi

cluster.worker_node_type_flexibility

Type: Map

Çalışan düğümleri için esnek düğüm türü yapılandırması.

Databricks CLI sürüm 0.285.0'a eklendi

Key Type Description
alternate_node_type_ids Sequence Birincil düğüm türü kullanılamadığında geri dönüş olarak kullanılacak düğüm türü kimliklerinin listesi.
Databricks CLI sürüm 0.285.0'a eklendi

küme.işyükü_türü

Type: Map

Küme iş yükü türlerini gösteren küme öznitelikleri.

Key Type Description
clients Map Kümeyi ne tür istemcilerin kullanabileceğini tanımlar. Bakınız müşteriler.

küme.iş_yükü_türü.müşteriler

Type: Map

Bu hesaplama iş yükü için istemci türü.

Key Type Description
jobs Boolean Kümenin işleri çalıştırıp çalıştıramayacağını belirleyebilir misiniz?
notebooks Boolean Kümenin not defterlerini çalıştırıp çalıştıramayacağı.

Examples

Aşağıdaki örnek, Databricks Runtime 15.4 LTS ve bir küme ilkesi ile geçerli kullanıcı için ayrılmış (tek kullanıcılı) bir küme oluşturur:

resources:
  clusters:
    my_cluster:
      num_workers: 0
      node_type_id: 'i3.xlarge'
      driver_node_type_id: 'i3.xlarge'
      spark_version: '15.4.x-scala2.12'
      spark_conf:
        'spark.executor.memory': '2g'
      autotermination_minutes: 60
      enable_elastic_disk: true
      single_user_name: ${workspace.current_user.userName}
      policy_id: '000128DB309672CA'
      enable_local_disk_encryption: false
      data_security_mode: SINGLE_USER
      runtime_engine: STANDARD

Bu örnek basit bir küme my_cluster oluşturur ve bunu içinde not defterini my_jobçalıştırmak için kullanılacak küme olarak ayarlar:

bundle:
  name: clusters

resources:
  clusters:
    my_cluster:
      num_workers: 2
      node_type_id: 'i3.xlarge'
      autoscale:
        min_workers: 2
        max_workers: 7
      spark_version: '13.3.x-scala2.12'
      spark_conf:
        'spark.executor.memory': '2g'

  jobs:
    my_job:
      tasks:
        - task_key: test_task
          notebook_task:
            notebook_path: './src/my_notebook.py'
          existing_cluster_id: ${resources.clusters.my_cluster.id}

gösterge tablosu

Type: Map

Pano kaynağı, AI/BI panolarını bir pakette yönetmenizi sağlar. AI/BI panoları hakkında bilgi için bkz. Panolar.

Yerel ortamınızdan bir pano içeren bir paket dağıttıysanız ve ardından bu panoyu değiştirmek için kullanıcı arabirimini kullandıysanız, kullanarak bundle generateaçıkça güncelleştirmediğiniz sürece kullanıcı arabirimi aracılığıyla yapılan değişiklikler yerel paketteki pano JSON dosyasına uygulanmaz. Panodaki değişiklikleri sürekli yoklayıp almak için --watch seçeneğini kullanabilirsiniz. Bkz. databricks bundle generate.

Ayrıca, yerel ortamınızdan uzak çalışma alanında bulunandan farklı bir pano JSON dosyası içeren bir paket dağıtmaya çalışırsanız bir hata oluşur. Yerel çalışma alanındaki panoyu uzak çalışma alanına yükleyip üzerine yazmayı zorunlu kılmak için --force seçeneğini kullanın. Bkz. databricks paket dağıtımı.

Databricks CLI sürüm 0.232.0'a eklendi

Note

Bildirim temelli Otomasyon Paketleri'ni pano Git desteğiyle kullanırken, panoların dosya olarak eşitlenmesini dışlamak için eşitleme eşlemesini ekleyerek yinelenen panoların oluşturulmasını önleyin:

sync:
  exclude:
    - src/*.lvdash.json
dashboards:
  <dashboard-name>:
    <dashboard-field-name>: <dashboard-field-value>
Key Type Description
dataset_catalog String Sorguda aksi belirtilmediyse panodaki tüm veri kümeleri tarafından kullanılan varsayılan katalog değeri. Bu alanı ayarlayan yapılandırma örneği için bkz. Pano kataloğu ve şema parametreleştirmesi.
Databricks CLI sürüm 0.283.0'a eklendi
dataset_schema String Sorguda aksi belirtilmediyse panodaki tüm veri kümeleri tarafından kullanılan varsayılan şema değeri. Bu alanı ayarlayan yapılandırma örneği için bkz. Pano kataloğu ve şema parametreleştirmesi.
Databricks CLI sürüm 0.283.0'a eklendi
display_name String Gösterge tablosunun görünen adı.
Databricks CLI sürüm 0.232.0'a eklendi
embed_credentials Boolean Paket dağıtım kimliği kimlik bilgilerinin tüm pano görüntüleyicileri için sorgu yürütmek için kullanılıp kullanılmadığı. olarak ayarlanırsa false, görüntüleyicinin kimlik bilgileri kullanılır. Varsayılan değer şudur: false.
Databricks CLI sürüm 0.232.0'a eklendi
etag String Panonun etag'i. Panonun son okumadan sonra değiştirilmediğinden emin olmak için güncelleştirmelerde isteğe bağlı olarak sağlanabilir.
Databricks CLI sürüm 0.234.0'a eklendi
file_path String Dosya adı da dahil olmak üzere pano varlığının yerel yolu. Dışarı aktarılan panolarda her zaman dosya uzantısı .lvdash.jsonbulunur.
Databricks CLI sürüm 0.232.0'a eklendi
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
parent_path String Panoyu içeren klasörün çalışma alanı yolu. Baştaki eğik çizgiyi içerir ve sondaki eğik çizgi yoktur.
Databricks CLI sürüm 0.232.0'a eklendi
path String Varlık adı da dahil olmak üzere pano varlığının çalışma alanı yolu.
Databricks CLI sürüm 0.234.0'a eklendi
permissions Sequence Gösterge tablosu izinleri. Bkz. izinler.
Databricks CLI sürüm 0.232.0'a eklendi
serialized_dashboard Any Panonun serileştirilmiş dize biçimindeki içeriği.
Databricks CLI sürüm 0.232.0'a eklendi
warehouse_id String Gösterge panelini çalıştırmak için kullanılan depo kimliği.
Databricks CLI sürüm 0.232.0'a eklendi

Example

Aşağıdaki örnek örnek NYC Taxi Trip Analysis panosunu içerir ve Databricks çalışma alanına dağıtır.

resources:
  dashboards:
    nyc_taxi_trip_analysis:
      display_name: 'NYC Taxi Trip Analysis'
      file_path: ../src/nyc_taxi_trip_analysis.lvdash.json
      warehouse_id: ${var.warehouse_id}

veri_tabanı_kataloğu

Type: Map

Veritabanı kataloğu kaynağı, bir paketteki veritabanı örneklerine karşılık gelen veritabanı katalogları tanımlamanızı sağlar. Veritabanı kataloğu, Unity Kataloğu kataloğu olarak kaydedilmiş bir Lakebase veritabanıdır.

Veritabanı katalogları hakkında bilgi için bkz. Katalog oluşturma.

Databricks CLI sürüm 0.265.0'a eklendi

database_catalogs:
  <database_catalog-name>:
    <database_catalog-field-name>: <database_catalog-field-value>
Key Type Description
create_database_if_not_exists Boolean Veritabanı yoksa oluşturulup oluşturulmayacağı.
Databricks CLI sürüm 0.265.0'a eklendi
database_instance_name String Veritabanını barındıran örneğin adı.
Databricks CLI sürüm 0.265.0'a eklendi
database_name String Katalogla ilişkilendirilmiş veritabanının adı (örnekte).
Databricks CLI sürüm 0.265.0'a eklendi
lifecycle Map Kaynağın dağıtıldığında veya yok edildiğindeki davranışı dahil olmak üzere bir kaynağın yaşam döngüsü ayarlarını içerir. Bkz . yaşam döngüsü.
Databricks CLI sürüm 0.265.0'a eklendi
name String Unity Kataloğu'ndaki kataloğun adı.
Databricks CLI sürüm 0.265.0'a eklendi

Example

Aşağıdaki örnek, ilgili veritabanı kataloğuna sahip bir veritabanı örneğini tanımlar:

resources:
  database_instances:
    my_instance:
      name: my-instance
      capacity: CU_1
  database_catalogs:
    my_catalog:
      database_instance_name: ${resources.database_instances.my_instance.name}
      name: example_catalog
      database_name: my_database
      create_database_if_not_exists: true

veritabanı_örneği

Type: Map

Veritabanı örneği kaynağı, veritabanı örneklerini bir pakette tanımlamanıza olanak tanır. Lakebase veritabanı örneği depolama ve işlem kaynaklarını yönetir ve kullanıcıların bağlanacakları uç noktaları sağlar.

Note

Kaynak tarafından database_instances oluşturulan yeni veritabanı örnekleri artık Lakebase Otomatik Ölçeklendirme projeleri olarak oluşturulur. Ayrıntılar için bkz. Varsayılan olarak otomatik ölçeklendirme . Yeni Lakebase çalışması için bunun yerine kaynağı kullanmanızı postgres_projects öneririz.

Önemli

Veritabanı örneğiyle bir paket dağıttığınızda örnek hemen çalışmaya başlar ve fiyatlandırmaya tabidir. Bkz. Lakebase fiyatlandırması.

Veritabanı örnekleri hakkında bilgi için bkz. Veritabanı örneği nedir?.

Databricks CLI sürüm 0.265.0'a eklendi

database_instances:
  <database_instance-name>:
    <database_instance-field-name>: <database_instance-field-value>
Key Type Description
capacity String Örneğin sku'su. Geçerli değerler CU_1, CU_2, CU_4CU_8.
Databricks CLI sürüm 0.265.0'a eklendi
custom_tags Sequence Örnekle ilişkilendirilmiş özel etiketleri belirten anahtar-değer çiftlerinin listesi.
Databricks CLI sürüm 0.273.0'a eklendi
enable_pg_native_login Boolean Örneğin PG yerel parola oturum açma özelliğinin etkinleştirilip etkinleştirilmediği. Varsayılan olarak true değerini alır.
Databricks CLI sürüm 0.267.0'a eklendi
enable_readable_secondaries Boolean İkincillerin salt okunur trafiğe hizmet vermesine izin verilip verilmeyeceği. Varsayılan olarak false değerini alır.
Databricks CLI sürüm 0.265.0'a eklendi
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 0.268.0'a eklendi
name String Örneğin adı. Bu, örneğin benzersiz tanımlayıcısıdır.
Databricks CLI sürüm 0.265.0'a eklendi
node_count Integer Örnekteki 1 birincil ve 0 veya daha fazla ikincilden oluşan düğüm sayısı. Varsayılan olarak 1 birincil ve 0 ikincil değere sahiptir.
Databricks CLI sürüm 0.265.0'a eklendi
parent_instance_ref Map Ebeveyn örneğin bağlantısı. Bu yalnızca örnek alt örnekse kullanılabilir. Bkz. üst örnek.
Databricks CLI sürüm 0.265.0'a eklendi
permissions Sequence Veritabanı örneğinin izinleri. Bkz. izinler.
Databricks CLI sürüm 0.265.0'a eklendi
retention_window_in_days Integer Örneğin bekletme penceresi. Bu, geçmiş verilerin tutıldığı gün içindeki zaman penceresidir. Varsayılan değer 7 gündür. Geçerli değerler 2 ile 35 gündür.
Databricks CLI sürüm 0.265.0'a eklendi
stopped Boolean Örneğin durdurulup durdurulmadığı.
Databricks CLI sürüm 0.265.0'a eklendi
usage_policy_id String Örnekle ilişkilendirmek için istenen sunucusuz kullanım ilkesi.
Databricks CLI sürüm 0.273.0'a eklendi

veritabani_nesneleri.ebeveyn_nesne_baglanti_ref

Type: Map

Ebeveyn örneğin bağlantısı. Bu yalnızca örnek alt örnekse kullanılabilir.

Key Type Description
branch_time String Referans veritabanı örneğinin dal zamanı. Üst öğe örneği için bu, örneğin oluşturulduğu üst öğede bulunan zaman noktasıdır. Bir alt başvuru örneği için bu, alt örneğin oluşturulduğu örnekteki zaman noktasıdır.
lsn String Referans veritabanı örneğinin kullanıcı tarafından belirtilen WAL LSN'si.
name String Referans veritabanı örneğinin adı.

Example

Aşağıdaki örnek, ilgili veritabanı kataloğuna sahip bir veritabanı örneğini tanımlar:

resources:
  database_instances:
    my_instance:
      name: my-instance
      capacity: CU_1
  database_catalogs:
    my_catalog:
      database_instance_name: ${resources.database_instances.my_instance.name}
      name: example_catalog
      database_name: my_database
      create_database_if_not_exists: true

Bir veritabanı örneğinin ve buna karşılık gelen veritabanı kataloğunun nasıl tanımlandığını gösteren örnek bir paket için bkz. bundle-examples GitHub deposu.

deneyi

Type: Map

Deneme kaynağı, MLflow denemelerini bir pakette tanımlamanızı sağlar. MLflow denemeleri hakkında bilgi için bkz.MLflow denemeleriyle eğitim çalıştırmalarını düzenleme .

Databricks CLI sürüm 0.229.0 veya altına eklendi

experiments:
  <experiment-name>:
    <experiment-field-name>: <experiment-field-value>
Key Type Description
artifact_location String Deneme yapıtlarının depolandığı konum.
Databricks CLI sürüm 0.229.0 veya altına eklendi
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 0.268.0'a eklendi
name String Denemeyi tanımlayan kullanıcı dostu ad. Databricks çalışma alanında bir deneme adı, örneğin /Workspace/Users/someone@example.com/my_experiment, mutlak bir yol olarak belirtilmelidir.
Databricks CLI sürüm 0.229.0 veya altına eklendi
permissions Sequence Denemenin izinleri. Bkz. izinler.
Databricks CLI sürüm 0.229.0 veya altına eklendi
tags Sequence Ek meta veri anahtar-değer çiftleri. Etiketlere bakın.
Databricks CLI sürüm 0.229.0 veya altına eklendi

Example

Aşağıdaki örnek, tüm kullanıcıların görüntüleyebileceği bir denemeyi tanımlar:

resources:
  experiments:
    experiment:
      name: /Workspace/Users/someone@example.com/my_experiment
      permissions:
        - level: CAN_READ
          group_name: users
      description: MLflow experiment used to track runs

external_location (Unity Kataloğu)

Type: Map

Dış konum kaynağı, bir pakette dış konumları (Unity Kataloğu) tanımlamanızı sağlar.

Note

Dış konumları tanımlamak için Bildirim temelli Otomasyon Paketlerinin kullanılması yalnızca doğrudan dağıtım altyapısını kullanıyorsanız desteklenir.

Databricks CLI sürüm 0.289.0'a eklendi

external_locations:
  <external-location-name>:
    <external-location-field-name>: <external-location-field-value>
Key Type Description
comment String Dış konumun kullanıcı tarafından sağlanan serbest biçimli metin açıklaması.
Databricks CLI sürüm 0.289.0'a eklendi
credential_name String Gerekli. Bu konumla kullanılan depolama kimlik bilgilerinin adı.
Databricks CLI sürüm 0.289.0'a eklendi
enable_file_events Boolean Bu dış konumda dosya olaylarının etkinleştirilip etkinleştirilmeyileceği. Varsayılan olarak true değerini alır. Gerçek uygulanan değer, sunucu tarafı varsayılanları nedeniyle farklılık gösterebilir. Geçerli durumu denetleyin effective_enable_file_events .
Databricks CLI sürüm 0.289.0'a eklendi
encryption_details Map Bulut depolamaya bağlanan istemciler için geçerli olan şifreleme seçenekleri. Bkz . external_location.encryption_details.
Databricks CLI sürüm 0.289.0'a eklendi
fallback Boolean Bu dış konum için geri dönüş modunun etkinleştirilip etkinleştirilmediğini gösterir. Geri dönüş modu etkinleştirildiğinde, Unity Kataloğu kimlik bilgileri yeterli değilse konuma erişim küme kimlik bilgilerine geri döner.
Databricks CLI sürüm 0.289.0'a eklendi
file_event_queue Map Bu dış konum için dosya olay kuyruğu ayarları. enable_file_eventsdeğilsefalse, bu anahtar tanımlanmalıdır ve belgelenmiş özelliklerden tam olarak birine sahip olmalıdır. Bkz . external_location.file_event_queue.
Databricks CLI sürüm 0.289.0'a eklendi
grants Sequence Dış konumla ilişkili izinler. Bkz. grant.
Databricks CLI sürüm 0.289.0'a eklendi
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 0.289.0'a eklendi
name String Gerekli. Dış konumun adı.
Databricks CLI sürüm 0.289.0'a eklendi
read_only Boolean Dış konumun salt okunur bir durumda olup olmadığını belirtir.
Databricks CLI sürüm 0.289.0'a eklendi
skip_validation Boolean Dış konumla ilişkili depolama kimlik bilgilerinin doğrulanması atlar.
Databricks CLI sürüm 0.289.0'a eklendi
url String Gerekli. Dış konumun yol URL'si.
Databricks CLI sürüm 0.289.0'a eklendi

external_location.encryption_details

Type: Map

Bulut depolamaya bağlanan istemciler için geçerli olan şifreleme seçenekleri.

Key Type Description
sse_encryption_details Map Amazon S3 ile iletişim kuran istemcilerin sunucu tarafı şifreleme özellikleri.

external_location.file_event_queue

Type: Map

Bu dış konum için dosya olay kuyruğu ayarları.

Key Type Description
managed_aqs Map Yönetilen Azure Kuyruk Depolama ayarları.
managed_pubsub Map Yönetilen Google Cloud Pub/Sub ayarları.
managed_sqs Map Yönetilen Amazon SQS ayarları.
provided_aqs Map Kullanıcı tarafından sağlanan Azure Kuyruk Depolama ayarları.
provided_pubsub Map Kullanıcı tarafından sağlanan Google Cloud Pub/Sub ayarları.
provided_sqs Map Kullanıcı tarafından sağlanan Amazon SQS ayarları.

Example

resources:
  external_locations:
    my_external_location:
      name: my_external_location
      url: 's3://my-bucket/my-path'
      credential_name: my_storage_credential
      comment: 'External location created by Databricks Asset Bundles'
      grants:
        - principal: someone@example.com
          privileges:
            - CREATE_EXTERNAL_TABLE
            - READ_FILES

görevi

Type: Map

İşler bildirim temelli Otomasyon Paketleri için Python desteklenir. Bkz. databricks.bundles.jobs.

İş kaynağı, paketlerinizde işleri ve buna karşılık gelen görevleri tanımlamanızı sağlar.

İşler hakkında bilgi için bkz. Lakeflow İşleri. İş oluşturmak için Bildirim temelli Otomasyon Paketleri şablonu kullanan bir öğretici için bkz. Bildirim temelli Otomasyon Paketleri ile iş geliştirme.

Databricks CLI sürüm 0.229.0 veya altına eklendi

jobs:
  <job-name>:
    <job-field-name>: <job-field-value>
Key Type Description
budget_policy_id String Bu iş için kullanılacak, kullanıcı tarafından belirlenen bütçe politikasının ID'si. Belirtilmezse, işi oluştururken veya değiştirirken varsayılan bir bütçe ilkesi uygulanabilir. Bu iş yükü tarafından kullanılan bütçe ilkesi için bkz effective_budget_policy_id .
Databricks CLI sürüm 0.231.0'a eklendi
continuous Map Bu iş için isteğe bağlı bir sürekli özellik. Sürekli özelliği, her zaman bir çalıştırma yürütmesi olmasını sağlar. schedule ve continuous'den yalnızca biri kullanılabilir. Bkz. sürekli.
Databricks CLI sürüm 0.229.0 veya altına eklendi
deployment Map Dış kaynaklar tarafından yönetilen işler için dağıtım bilgileri. Bkz. dağıtım.
Databricks CLI sürüm 0.229.0 veya altına eklendi
description String İş için isteğe bağlı bir açıklama. UTF-8 kodlamasında uzunluk üst sınırı 27700 karakterdir.
Databricks CLI sürüm 0.229.0 veya altına eklendi
email_notifications Map Bu işin çalıştırmaları başladığında veya tamamlandığında ve bu iş silindiğinde bildirim alan isteğe bağlı bir e-posta adresleri kümesi. bkz. email_notifications.
Databricks CLI sürüm 0.229.0 veya altına eklendi
environments Sequence Bu işin sunucusuz görevleri tarafından başvurulabilecek görev yürütme ortamı belirtimlerinin listesi. Sunucusuz görevler için bir ortamın mevcut olması gerekir. Sunucusuz not defteri görevleri için, ortama not defteri ortam panelinden erişilebilir. Diğer sunucusuz görevler için görev ortamının görev ayarlarındaki environment_key kullanılarak belirtilmesi gerekir. Bkz. ortamlar.
Databricks CLI sürüm 0.229.0 veya altına eklendi
format String Deprecated. İşin biçimi.
git_source Map Görevler tarafından kullanılan kaynak kodunu içeren uzak Git deposu için isteğe bağlı belirtim. Bkz. job.git_source.
Databricks CLI sürüm 0.229.0 veya altına eklendi
Önemli:git_source olarak ayarlanan source alanı ve GIT görev alanı paketler için önerilmez, çünkü yerel göreli yollar Git deposundaki aynı içeriğe işaret etmeyebilir ve paketler, dağıtılan işin, dağıtıldığı yerden alınan yerel kopyayla aynı içeriğe sahip olmasını bekler.
Bunun yerine, depoyu yerel olarak kopyalayın ve paket projenizi bu depo içinde ayarlayın; böylece görevlerin kaynağı çalışma alanıdır.
health Map Bu görev için tanımlanabilen isteğe bağlı bir sağlık kuralları kümesi. Bkz. sağlık.
Databricks CLI sürüm 0.229.0 veya altına eklendi
job_clusters Sequence Bu işin görevleri tarafından paylaşılabilen ve yeniden kullanılabilen iş kümesi belirtimlerinin listesi. Bkz. job_clusters.
Databricks CLI sürüm 0.229.0 veya altına eklendi
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 0.268.0'a eklendi
max_concurrent_runs Integer Opsiyonel olarak izin verilen maksimum eşzamanlı iş yürütme sayısı. Aynı işin birden çok çalıştırmasını eşzamanlı olarak yürütebilmek istiyorsanız bu değeri ayarlayın.
name String İş için isteğe bağlı bir ad. UTF-8 kodlamasında uzunluk üst sınırı 4096 bayttır.
Databricks CLI sürüm 0.229.0 veya altına eklendi
notification_settings Map Bu iş için email_notifications ve webhook_notifications her birine bildirim gönderirken kullanılan isteğe bağlı bildirim ayarları. Bkz. notification_settings.
Databricks CLI sürüm 0.229.0 veya altına eklendi
parameters Sequence İş düzeyi parametre tanımları. Bkz . job.parameters.
Databricks CLI sürüm 0.229.0 veya altına eklendi
performance_target String Sunucusuz çalıştırmanın yürütülmesinin ne kadar yüksek performanslı veya maliyet açısından verimli olması gerektiğini tanımlar.
Databricks CLI sürüm 0.241.0'a eklendi
permissions Sequence İşin yetkileri. Bkz. izinler.
Databricks CLI sürüm 0.229.0 veya altına eklendi
queue Map İşin kuyruk ayarları. Bkz. kuyruk.
Databricks CLI sürüm 0.229.0 veya altına eklendi
run_as Map Yalnızca yazma ayarı. İşin çalıştığı kullanıcı veya hizmet sorumlusunu belirtir. Belirtilmezse, iş, işi oluşturan kullanıcı olarak çalışır. veya user_nameservice_principal_name belirtilmelidir. Aksi takdirde bir hata oluşur. Bkz. run_as.
Databricks CLI sürüm 0.229.0 veya altına eklendi
schedule Map Bu iş için isteğe bağlı bir düzenli zamanlama. Varsayılan davranış, işin yalnızca İşler kullanıcı arabiriminde "Şimdi Çalıştır" seçeneğine tıklayarak veya öğesine runNowbir API isteği göndererek tetiklendiğinde çalışmasıdır. Bkz. zamanlama.
Databricks CLI sürüm 0.229.0 veya altına eklendi
tags Map İşle ilişkili etiketlerin haritası. Bunlar, iş kümeleri için küme etiketleri olarak kümeye iletilir ve küme etiketleriyle aynı sınırlamalara tabidir. İşe en fazla 25 etiket eklenebilir.
Databricks CLI sürüm 0.229.0 veya altına eklendi
tasks Sequence Bu işin gerçekleştireceği görev tanımlarının listesi. Bkz. Bildirim temelli Otomasyon Paketlerinde işlere görev ekleme.
Databricks CLI sürüm 0.237.0'a eklendi
timeout_seconds Integer Her çalıştırmada bu işe isteğe bağlı bir zaman aşımı uygulanır. değeri 0 zaman aşımı olmadığı anlamına gelir.
Databricks CLI sürüm 0.229.0 veya altına eklendi
trigger Map Belirli koşullar karşılandığında çalıştırmayı tetikleyen bir yapılandırma. Bkz. tetikleyici.
Databricks CLI sürüm 0.229.0 veya altına eklendi
usage_policy_id String Bu iş için kullanılacak sunucusuz kullanım ilkesinin kimliği.
Databricks CLI sürüm 0.273.0'a eklendi
webhook_notifications Map Bu işin çalıştırmaları başladığında veya tamamlandığında bildirimde bulunacak sistem bildirim kimlikleri koleksiyonu. Bkz. webhook_notifications.
Databricks CLI sürüm 0.229.0 veya altına eklendi

job.sürekli

Type: Map

Sürekli iş yürütme yapılandırması.

Key Type Description
pause_status String Sürekli işin duraklatılıp duraklatılmadığı durumu. Geçerli değerler: PAUSED, UNPAUSED.
task_retry_mode String Devam eden işin görev düzeyi yeniden denemelerini nasıl uyguladığını belirtin. Geçerli değerler: NEVER ve ON_FAILURE. Varsayılan olarak NEVER değerini alır.

iş.dağıtım

Type: Map

Dış kaynaklar tarafından yönetilen işler için dağıtım bilgileri.

Key Type Description
kind String Dağıtım türü. Örneğin, BUNDLE.
metadata_file_path String Dağıtım için meta veri dosyasının yolu.

iş.email_bildirimleri

Type: Map

İş çalıştırmaları için e-posta bildirim ayarları.

Key Type Description
on_start Sequence Bir çalıştırma başlatıldığında bildirilmesi gereken e-posta adreslerinin listesi.
on_success Sequence Bir çalıştırma başarılı olduğunda bildirilmesi gereken e-posta adreslerinin listesi.
on_failure Sequence Çalıştırma başarısız olduğunda bildirilmesi gereken e-posta adreslerinin listesi.
on_duration_warning_threshold_exceeded Sequence Çalışma süresi uyarı eşiğini aştığında bildirilmesi gereken e-posta adreslerinin listesi.
no_alert_for_skipped_runs Boolean Atlanan çalıştırmalar için uyarı göndermeyi atlayıp atlamamayı seçin.
on_streaming_backlog_exceeded Sequence Herhangi bir akış için akış kapsamı eşikleri aşıldığında bildirilmesi gereken e-posta adreslerinin listesi. Akış kapsamı eşikleri, alanında şu ölçümler kullanılarak ayarlanabilir health : STREAMING_BACKLOG_BYTES, STREAMING_BACKLOG_RECORDS, STREAMING_BACKLOG_SECONDSveya STREAMING_BACKLOG_FILES. Uyarı, bu ölçümlerin 10 dakikalık ortalamasını temel alır. Sorun devam ederse bildirimler her 30 dakikada bir yeniden oluşturulur.

iş.ortamları

Type: Sequence

Bir işin sunucusuz görevleri tarafından başvurulabilen görev yürütme ortamı belirtimlerinin listesi.

Listedeki her öğe bir JobEnvironment:

Key Type Description
environment_key String Bir ortamın anahtarı. Bir iş içinde benzersiz olmalıdır.
spec Map Sunucusuz bir ortamı temsil eden varlık. Bkz . job.environments.spec.

job.environments.spec

Type: Map

Sunucusuz bir ortamı temsil eden varlık.

Key Type Description
client String Deprecated. İstemci sürümü.
dependencies Sequence Bu ortamda pip sürümü tarafından desteklenen pip bağımlılıklarının listesi.
environment_version String Gerekli. Ortam tarafından kullanılan ortam sürümü. Her sürüm belirli bir Python sürümü ve bir dizi Python paketiyle birlikte gelir. Sürüm, tamsayıdan oluşan bir dizedir.

job.git_kaynağı

Type: Map

İş kaynak kodu için Git deposu yapılandırması.

Key Type Description
git_branch String Bu iş tarafından kullanıma alınıp kullanılacak dalın adı. Bu alan veya git_tagile git_commit birlikte belirtilemez.
git_commit String Bu iş tarafından kullanıma alınması ve kullanılması için işleyin. Bu alan veya git_branchile git_tag birlikte belirtilemez.
git_provider String Git deposunu barındırmak için kullanılan hizmetin benzersiz tanımlayıcısı. Değer büyük/küçük harfe duyarlı değildir. Geçerli değerler: gitHub, bitbucketCloud, gitLab, azureDevOpsServices, gitHubEnterprise, bitbucketServer, gitLabEnterpriseEdition.
git_snapshot Map İşin çalıştırıldığı sırada uzak deponun salt okunur durumu. Bu alan yalnızca iş çalıştırmalarına dahil edilir. Bkz. git_snapshot.
git_tag String Bu iş tarafından kullanıma alınıp kullanılacak etiketin adı. Bu alan veya git_branchile git_commit birlikte belirtilemez.
git_url String Bu iş tarafından kopyalanacak deponun URL'si.
sparse_checkout Map Git deposu için seyrek kullanıma alma yapılandırması. Bkz . job.git_source.sparse_checkout.
Databricks CLI sürüm 0.290.0'a eklendi

job.git_source.sparse_checkout

Type: Map

Git deposu için seyrek kullanıma alma yapılandırması.

Databricks CLI sürüm 0.290.0'a eklendi

Key Type Description
patterns Sequence Seyrek kullanıma alma için dahil edilen desenlerin listesi.
Databricks CLI sürüm 0.290.0'a eklendi

job.git_source.git_snapshot

Type: Map

Salt okunur taahhüt bilgisi anlık görüntüsü.

Key Type Description
used_commit String Çalıştırmayı yürütmek için kullanılan işleme. Belirtildiyse git_branch, bu, çalıştırma sırasındaki dalın KAFASI'na işaret eder; belirtildiyse git_tag, etiketin işaret ettiği commit'e işaret eder.

iş.sağlık

Type: Map

İş için sağlık izleme yapılandırması.

Key Type Description
rules Sequence İş sağlığı kurallarının listesi. Her kural bir metric ve op (işleç) ve valueiçerir. Bkz. job.health.rules.

iş.sağlık.kuralları

Type: Sequence

İş sağlığı kurallarının listesi.

Listedeki her öğe bir JobHealthRule:

Key Type Description
metric String Belirli bir sağlık kuralı için değerlendirilen sağlık ölçümünü belirtir.
  • RUN_DURATION_SECONDS: Bir çalıştırma için beklenen toplam süre saniye cinsindendir.
  • STREAMING_BACKLOG_BYTES: Tüm akışlarda tüketilmeyi bekleyen maksimum veri baytlarının tahmini. Bu ölçüm Genel Önizleme aşamasındadır.
  • STREAMING_BACKLOG_RECORDS: Tüm akışlarda azami göreli gecikme için bir tahmin. Bu ölçüm Genel Önizleme aşamasındadır.
  • STREAMING_BACKLOG_SECONDS: Tüm akışlar arasında maksimum kullanıcı bekleme süresinin tahmini. Bu ölçüm Genel Önizleme aşamasındadır.
  • STREAMING_BACKLOG_FILES: Tüm akışlardaki maksimum beklemede olan dosya sayısı tahmini. Bu ölçüm Genel Önizleme aşamasındadır.
op String Sistem durumu ölçüm değerini belirtilen eşikle karşılaştırmak için kullanılan işleci belirtir.
value Integer Sistem durumu ölçümünü sistem durumu kuralını karşılamak için uyması gereken eşik değerini belirtir.

iş.görev_kümeleri

Type: Sequence

Bu işin görevleri tarafından paylaşılabilen ve yeniden kullanılabilen iş kümesi belirtimlerinin listesi. Kitaplıklar paylaşılan bir iş kümesinde bildirilemez. Görev ayarlarında bağımlı kitaplıkları bildirmeniz gerekir.

Listedeki her öğe bir JobCluster:

Key Type Description
job_cluster_key String İş kümesi için benzersiz bir ad. Bu alan gereklidir ve proje içinde benzersiz olmalıdır. JobTaskSettings görev yürütme için hangi kümenin başlatıldığını belirlemek için bu alana başvurabilir.
new_cluster Map new_cluster, her görev için oluşturulan kümenin açıklaması. Bkz. küme.

iş. bildirim_ayarları

Type: Map

İş için tüm bildirimlere uygulanan bildirim ayarları.

Key Type Description
no_alert_for_skipped_runs Boolean Atlanan çalıştırmalar için uyarı göndermeyi atlayıp atlamamayı seçin.
no_alert_for_canceled_runs Boolean İptal edilen çalıştırmalar için uyarı gönderme işleminin atlanıp atlanmayacağı.

job.parameters

Type: Sequence

İş parametresi tanımlarının listesi.

Listedeki her öğe bir JobParameter:

Key Type Description
default String Gerekli. Parametrenin varsayılan değeri( örneğin, "kullanıcılar").
name String Gerekli. Tanımlı parametrenin adı( örneğin, "tablo"). Geçerli değerler yalnızca , _ve -alfasayısal karakterler .içerir.

iş.kuyruğu

Type: Map

İş için sıra ayarları.

Key Type Description
enabled Boolean İş için kuyruğa alma özelliğinin etkinleştirilip etkinleştirilmeyileceği.

iş.planı

Type: Map

Düzenli iş yürütme için yapılandırmayı zamanlayın.

Key Type Description
quartz_cron_expression String Quartz söz dizimini kullanan bir Cron ifadesi, işin ne zaman çalıştırılacağını belirtir. Örneğin, 0 0 9 * * ? işi her gün 09:00 UTC'de çalıştırır.
timezone_id String Program için saat dilimi. Örneğin, America/Los_Angeles veya UTC.
pause_status String Programın duraklatılıp duraklatılmadığı konusunda bir durum var mı? Geçerli değerler: PAUSED, UNPAUSED.

iş.tetikleyici

Type: Map

Olay temelli iş yürütme için tetikleyici yapılandırması.

Key Type Description
file_arrival Map Dosya gelişine göre tetikleme. Bkz. file_arrival.
table Map Tabloya dayalı tetikleyici. Tabloya bakın.
table_update Map Tablo güncelleştirmelerini temel alan tetikleyici. Bkz. table_update.
periodic Map Periyodik tetikleyici. Bkz. periyodik.

iş.tetikleyici.dosya_gelmesi

Type: Map

Dosya gelişine göre yapılandırmayı tetikleyin.

Key Type Description
url String Yeni dosyalar için izlenecek dosya yolu.
min_time_between_triggers_seconds Integer Tetikleyici olayları arasındaki saniye cinsinden minimum süre.
wait_after_last_change_seconds Integer Tetiklemeden önce son dosya değişikliğinden sonraki saniye cinsinden bekleme süresi.

iş.tetikleyici.tablo

Type: Map

Tabloyu temel alan yapılandırmayı tetikleme.

Key Type Description
table_names Sequence İzlenecek tablo adlarının listesi.
condition String İşi tetikleyebilmek için karşılanması gereken SQL koşulu.

iş.tetikleyici.tablo_güncelleme

Type: Map

Tablo güncelleştirmelerini temel alan yapılandırmayı tetikleyin.

Key Type Description
table_names Sequence Güncelleştirmeler için izlenecek tablo adlarının listesi.
condition String İşi tetikleyebilmek için karşılanması gereken SQL koşulu.
wait_after_last_change_seconds Integer Tetiklemeden önce son tablo güncelleştirmesinin ardından saniye cinsinden bekleme süresi.

iş.tetikleyici.periyodik

Type: Map

Periyodik tetikleyici yapılandırması.

Key Type Description
interval Integer Periyodik tetikleyici için aralık değeri.
unit String Aralık için zaman birimi. Geçerli değerler: HOURS, DAYS, WEEKS.

job.webhook_bildirimleri

Type: Map

İş çalıştırmaları için webhook bildirim ayarları.

Key Type Description
on_start Sequence Çalıştırma başlatıldığında bildirilmesi gereken web kancası bildirim kimliklerinin listesi.
on_success Sequence Başarılı bir çalıştırma gerçekleştiğinde bildirilmesi gereken web kancası bildirim kimliklerinin listesi.
on_failure Sequence Çalışma (işlem) başarısız olduğunda bildirimde bulunulması gereken webhook bildirim kimliklerinin listesi.
on_duration_warning_threshold_exceeded Sequence Bir çalıştırma süresi uyarı eşiğini aştığında bildirilmesi gereken web kancası bildirim kimliklerinin listesi.
on_streaming_backlog_exceeded Sequence Herhangi bir akış için akış kapsamı eşikleri aşıldığında çağrılacak sistem bildirim kimliklerinin listesi. Akış kapsamı eşikleri, alanında şu ölçümler kullanılarak ayarlanabilir health : STREAMING_BACKLOG_BYTES, STREAMING_BACKLOG_RECORDS, STREAMING_BACKLOG_SECONDSveya STREAMING_BACKLOG_FILES. Uyarı, bu ölçümlerin 10 dakikalık ortalamasını temel alır. Sorun devam ederse bildirimler her 30 dakikada bir yeniden oluşturulur. En fazla 3 hedef belirtilebilir.

Examples

Aşağıdaki örnek, bir not defteri göreviyle hello-job kaynak anahtarına sahip bir işi tanımlar:

resources:
  jobs:
    hello-job:
      name: hello-job
      tasks:
        - task_key: hello-task
          notebook_task:
            notebook_path: ./hello.py

Aşağıdaki örnek, SQL not defterine sahip bir işi tanımlar:

resources:
  jobs:
    job_with_sql_notebook:
      name: 'Job to demonstrate using a SQL notebook with a SQL warehouse'
      tasks:
        - task_key: notebook
          notebook_task:
            notebook_path: ./select.sql
            warehouse_id: 799f096837fzzzz4

Ek iş yapılandırma örnekleri için bkz. İş yapılandırması.

İş görevlerini tanımlama ve iş ayarlarını geçersiz kılma hakkında bilgi için bkz:

modeli (eski)

Type: Map

Model kaynağı, eski modelleri paketlerde tanımlamanızı sağlar. Databricks bunun yerine Unity Kataloğu kayıtlı modellerini kullanmanızı önerir.

Databricks CLI sürüm 0.229.0 veya altına eklendi

model_dağıtım_uç_noktası

Type: Map

model_serving_endpoint kaynağı,uç noktaları sunan modeli tanımlamanızı sağlar. bkz. uç noktaları sunan modeli yönetme.

Databricks CLI sürüm 0.229.0 veya altına eklendi

model_serving_endpoints:
  <model_serving_endpoint-name>:
    <model_serving_endpoint-field-name>: <model_serving_endpoint-field-value>
Key Type Description
ai_gateway Map Hizmet veren uç nokta için AI Gateway yapılandırması. NOT: Şu anda yalnızca dış model ve sağlanan aktarım hızı uç noktaları desteklenmektedir. Bkz. ai_gateway.
Databricks CLI sürüm 0.230.0'a eklendi
budget_policy_id String Bu uç nokta için kullanılacak bütçe ilkesinin kimliği.
Databricks CLI sürüm 0.244.0'a eklendi
config Map Sunum uç noktasının temel yapılandırması. Bkz. yapılandırma.
Databricks CLI sürüm 0.229.0 veya altına eklendi
description String Sunum uç noktası için bir açıklama.
Databricks CLI sürüm 0.260.0'a eklendi
email_notifications Map Sunum uç noktası için e-posta bildirimleri yapılandırması. bkz. email_notifications.
Databricks CLI sürüm 0.264.0'a eklendi
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 0.268.0'a eklendi
name String Hizmet uç noktasının adı. Bu alan gereklidir ve Databricks çalışma alanında benzersiz olmalıdır. Uç nokta adı alfasayısal karakterler, tireler ve alt çizgilerden oluşabilir.
Databricks CLI sürüm 0.229.0 veya altına eklendi
permissions Sequence Uç nokta izinlerini sunan model. Bkz. izinler.
Databricks CLI sürüm 0.229.0 veya altına eklendi
rate_limits Sequence Deprecated. Hizmet sunma uç noktasına uygulanacak hız sınırları. Hız sınırlarını yönetmek için AI Gateway'i kullanın.
Databricks CLI sürüm 0.229.0 veya altına eklendi
route_optimized Boolean Hizmet veren uç nokta için yol iyileştirmeyi etkinleştirin.
Databricks CLI sürüm 0.229.0 veya altına eklendi
tags Sequence Hizmet sunma uç noktasına eklenecek ve otomatik olarak faturalama günlüklerine yayılacak etiketler.
Databricks CLI sürüm 0.229.0 veya altına eklendi

model_serving_endpoint.email_notifications

Type: Map

Sunum uç noktası için e-posta bildirimleri yapılandırması.

Key Type Description
on_update_failure Sequence Bir uç nokta yapılandırmasını veya durumunu güncelleştiremediğinde bildirilecek e-posta adreslerinin listesi.
on_update_success Sequence Bir uç nokta yapılandırmasını veya durumunu başarıyla güncelleştirdiğinde bildirilecek e-posta adreslerinin listesi.

model_serving_endpoint.yapay_zeka_geçidi

Type: Map

Hizmet veren uç nokta için AI Gateway yapılandırması.

Key Type Description
fallback_config Map Kullanılabilirliği artırmak için sunulan bir varlığa yönelik istek belirli hata kodlarıyla başarısız olursa diğer hizmet verilen varlıklara otomatik olarak geri dönüş yapan trafik geri dönüşü yapılandırması. Bkz. fallback_config.
guardrails Map Koruma yapılandırması. Korumalara bakın.
inference_table_config Map Unity Kataloğu tablolarında çıkarım günlüğü için yapılandırma. Bkz. inference_table_config.
rate_limits Sequence Hız sınırı yapılandırmaları.
usage_tracking_config Map Kullanım izleme yapılandırması. Bkz. usage_tracking_config.

model_serving_endpoint.ai_gateway.fallback_config

Type: Map

Bir istek belirli hata kodlarıyla başarısız olursa diğer hizmet verilen varlıklara otomatik olarak geri dönüş yapan trafik geri dönüşü yapılandırması.

Key Type Description
enabled Boolean Bu uç nokta için geri dönüşün etkinleştirilip etkinleştirilmediği.

model_servis_sonu_noktası.ai_geçidi.korkuluklar

Type: Map

AI ağ geçidi sınırlandırmaları yapılandırması.

Key Type Description
input Map Giriş korkulukları yapılandırması, safety ve pii gibi alanlarla yapılır.
output Map Çıktı koruma yapılandırması, safety, pii gibi alanları içerir.
invalid_keywords Sequence Engellenmesi gereken anahtar sözcüklerin listesi.

model_sunma_ucu.yapayzeka_ağı_geçidi.çıkarım_tablo_yapılandırması

Type: Map

Unity Kataloğu tablolarında çıkarım günlüğü için yapılandırma.

Key Type Description
catalog_name String Unity Kataloğu'ndaki kataloğun adı.
schema_name String Unity Kataloğu'ndaki şemanın adı.
table_name_prefix String Çıkarım tablosu adları için ön ek.
enabled Boolean Çıkarım tablosu günlüğünün etkinleştirilip etkinleştirilmediği.

model_serving_endpoint.ai_geçidi.kullanım_takip_yapılandırması

Type: Map

Kullanımı izlemeye yönelik yapay zeka ağ geçidi yapılandırması.

Key Type Description
enabled Boolean Kullanım izlemenin etkinleştirilip etkinleştirilmediği.

model_serving_endpoint.config

Type: Map

Sunum uç noktasının temel yapılandırması.

Key Type Description
served_entities Sequence Uç noktaya hizmet veren varlıkların listesi. Sunulan her varlık, entity_name, entity_version, workload_size, scale_to_zero_enabled, workload_type, environment_vars gibi alanlar içerir.
served_models Sequence (Kullanım dışı: bunun yerine kullanın served_entities ) Hizmet vermek üzere uç nokta için sunulan modellerin listesi.
traffic_config Map Hizmet veren uç noktaya çağrıların nasıl yönlendirilmesi gerektiğini tanımlayan trafik yapılandırması. bkz. traffic_config.
auto_capture_config Map Çıkarım tablolarını otomatik olarak Unity Kataloğu'na istekleri ve yanıtları günlüğe kaydedecek şekilde yapılandırma. Bkz. auto_capture_config.

model_servis_uc_noktası.konfigürasyon.trafik_yapılandırması

Type: Map

Hizmet veren uç noktaya çağrıların nasıl yönlendirilmesi gerektiğini tanımlayan trafik yapılandırması.

Key Type Description
routes Sequence Trafik dağıtımı için yolların listesi. Her yol served_model_name ve traffic_percentage içerir.

model_hizmet_uç_noktası.konfig.otomatik_yakalama_konfigürasyonu

Type: Map

Çıkarım tablolarını otomatik olarak Unity Kataloğu'na istekleri ve yanıtları günlüğe kaydedecek şekilde yapılandırma.

Key Type Description
catalog_name String Unity Kataloğu'ndaki kataloğun adı.
schema_name String Unity Kataloğu'ndaki şemanın adı.
table_name_prefix String Çıkarım tablosu adları için ön ek.
enabled Boolean Çıkarım tablosu günlüğünün etkinleştirilip etkinleştirilmediği.

Example

Aşağıdaki örnek, uç nokta sunan bir Unity Kataloğu modelini tanımlar:

resources:
  model_serving_endpoints:
    uc_model_serving_endpoint:
      name: 'uc-model-endpoint'
      config:
        served_entities:
          - entity_name: 'myCatalog.mySchema.my-ads-model'
            entity_version: '10'
            workload_size: 'Small'
            scale_to_zero_enabled: 'true'
        traffic_config:
          routes:
            - served_model_name: 'my-ads-model-10'
              traffic_percentage: '100'
      tags:
        - key: 'team'
          value: 'data science'

boru hattı

Type: Map

İşlem hatları bildirim temelli Otomasyon Paketleri için Python desteklenir. Bkz. databricks.bundles.pipelines.

İşlem hattı kaynağı, işlem hatları oluşturmanıza olanak tanır. İşlem hatları hakkında bilgi için bkz. Lakeflow Spark Bildirimli İşlem Hatları. İşlem hattı oluşturmak için Bildirim temelli Otomasyon Paketleri şablonunu kullanan bir öğretici için bkz. Bildirim temelli Otomasyon Paketleri ile işlem hatları geliştirme.

Databricks CLI sürüm 0.229.0 veya altına eklendi

pipelines:
  <pipeline-name>:
    <pipeline-field-name>: <pipeline-field-value>
Key Type Description
allow_duplicate_names Boolean Yanlış ise, ad başka bir işlem hattının adıyla çatışırsa dağıtım başarısız olur.
Databricks CLI sürüm 0.261.0'a eklendi
budget_policy_id String Bu boru hattının bütçe politikası.
Databricks CLI sürüm 0.230.0'a eklendi
catalog String Bu işlem hattından verileri yayımlamak için Unity Kataloğu'ndaki bir katalog. Eğer target belirtilirse, bu işlem hattındaki tablolar, target içinde bir catalog şemada yayımlanır (örneğin, catalog.target.table). Belirtilmezse target Unity Kataloğu'na hiçbir veri yayımlanmaz.
Databricks CLI sürüm 0.229.0 veya altına eklendi
channel String Hangi sürümün kullanılacağını belirten Lakeflow Spark Bildirimli İşlem Hatları Dağıtım Kanalı.
Databricks CLI sürüm 0.229.0 veya altına eklendi
clusters Sequence Bu işlem hattı dağıtımı için küme ayarları. Bkz. küme.
Databricks CLI sürüm 0.229.0 veya altına eklendi
configuration Map Bu işlem hattı yürütme yapılandırması.
Databricks CLI sürüm 0.229.0 veya altına eklendi
continuous Boolean Boru hattının sürekli mi yoksa tetiklenmiş mi olduğu. Bu, triggerdeğiştirir.
Databricks CLI sürüm 0.229.0 veya altına eklendi
deployment Map Bu işlem hattının dağıtım türü. Bkz. dağıtım.
Databricks CLI sürüm 0.229.0 veya altına eklendi
development Boolean İşlem hattının geliştirme modunda olup olmadığı. Varsayılan değer false'tur.
Databricks CLI sürüm 0.229.0 veya altına eklendi
dry_run Boolean İşlem hattının bir kuru çalıştırma işlem hattı olup olmadığı.
edition String İşlem hattı ürün sürümü.
Databricks CLI sürüm 0.229.0 veya altına eklendi
environment Map Sunucusuz işlemde bağımlılıkları yüklemek için kullanılan bu işlem hattının ortam belirtimi. Bkz. ortam. Bu anahtar yalnızca Databricks CLI sürüm 0.258 ve üzerinde desteklenir.
Databricks CLI sürüm 0.257.0'a eklendi
event_log Map Bu işlem hattı için olay günlüğü yapılandırması. Bkz. event_log.
Databricks CLI sürüm 0.246.0'a eklendi
filters Map Dağıtılan grafiğe hangi işlem hattı paketlerinin dahilleneceğini belirleyen filtreler. Bkz. filtreler.
Databricks CLI sürüm 0.229.0 veya altına eklendi
gateway_definition Map Ağ geçidi işlem hattı yapılandırması. Bu ayarlar ayarlarla ingestion_definition kullanılamaz.
Databricks CLI sürüm 0.229.0 veya altına eklendi
id String Bu işlem hattı için benzersiz tanımlayıcı.
Databricks CLI sürüm 0.229.0 veya altına eklendi
ingestion_definition Map Yönetilen veri alma işlem hattı yapılandırması. Bu ayarlar, libraries, schema, target veya catalog ayarlarıyla kullanılamaz. Bkz. ingestion_definition.
Databricks CLI sürüm 0.229.0 veya altına eklendi
libraries Sequence Bu dağıtım için gereken kitaplıkların veya kodun listesi. Bkz. pipeline.libraries.
Databricks CLI sürüm 0.229.0 veya altına eklendi
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 0.268.0'a eklendi
name String Bu işlem hattı için anlaşılır bir ad.
Databricks CLI sürüm 0.229.0 veya altına eklendi
notifications Sequence Bu işlem hattı için bildirim ayarları. Bildirimlere bakın.
Databricks CLI sürüm 0.229.0 veya altına eklendi
permissions Sequence İşlem hattının izinleri. Bkz. izinler.
Databricks CLI sürüm 0.229.0 veya altına eklendi
photon Boolean Bu işlem hattı için Photon'un etkinleştirilip etkinleştirilmediği. olarak ayarlanırsa serverlesstruebu anahtar yoksayılır.
Databricks CLI sürüm 0.229.0 veya altına eklendi
restart_window Map Bu işlem hattı için bir yeniden başlatma penceresi tanımlar. ardına düşmeden işlem hatları bu pencere içinde yeniden başlatılabilir.
root_path String Bu işlem hattının kök yolu. Bu, Databricks kullanıcı arabiriminde işlem hattını düzenlerken kök dizin olarak kullanılır ve işlem hattı yürütme sırasında Python kaynakları yürütürken sys.path dosyasına eklenir.
Databricks CLI sürüm 0.253.0'a eklendi
run_as Map İşlem hattının çalıştığı kimlik. Belirtilmezse işlem hattı, işlem hattını oluşturan kullanıcı olarak çalışır. Yalnızca user_name veya service_principal_name belirtilebilir. Her ikisi de belirtilirse bir hata oluşur. Bkz. run_as.
Databricks CLI sürüm 0.241.0'a eklendi
schema String Tabloların okunduğu veya yayımlandığı varsayılan şema (veritabanı).
Databricks CLI sürüm 0.230.0'a eklendi
serverless Boolean Bu işlem hattı için sunucusuz işlemin etkinleştirilip etkinleştirilmediği.
Databricks CLI sürüm 0.229.0 veya altına eklendi
storage String Denetim noktalarını ve tabloları depolamak için DBFS kök dizini.
Databricks CLI sürüm 0.229.0 veya altına eklendi
tags Map İşlem hattıyla ilişkili etiketlerin haritası. Bunlar küme etiketleri olarak kümeye iletilir ve bu nedenle aynı sınırlamalara tabidir. İşlem hattına en fazla 25 etiket eklenebilir.
Databricks CLI sürüm 0.256.0'a eklendi
target String Bu işlem hattında tabloların ekleneceği hedef şema (veritabanı). Tam olarak schema veya target'den biri belirtilmelidir. Unity Kataloğu'na yayımlamak için catalog de belirtin. Bu eski alan, schema alanı tercih edilerek işlem hattı oluşturmak için kullanım dışı bırakılmıştır.
Databricks CLI sürüm 0.229.0 veya altına eklendi
usage_policy_id String Bu işlem hattı için kullanılacak sunucusuz kullanım ilkesinin kimliği.
Databricks CLI sürüm 0.273.0'a eklendi

pipeline.yayınlama

Type: Map

Boru hattı için dağıtım türü ayarları.

Key Type Description
kind String Dağıtım türü. Örneğin, BUNDLE.
metadata_file_path String Dağıtım için meta veri dosyasının yolu.

boruhattı.ortam

Type: Map

Sunucusuz işlemde bağımlılıkları yüklemeye yönelik ortam belirtimi.

Key Type Description
dependencies Sequence Bu ortamda pip sürümü tarafından desteklenen pip bağımlılıklarının listesi. Her bağımlılık bir pip gereksinim dosyası satırıdır.

pipeline.event_log

Type: Map

İşlem hattı için olay günlüğü yapılandırması.

Key Type Description
catalog String Etkinlik günlüğünün yayımlandığı Unity Kataloğu.
name String Unity Kataloğu'nda olay günlüğünün yayımlandığı ad.
schema String Etkinlik günlüğünün yayımlandığı Unity Catalog şeması.

işlem_hattı.filtreler

Type: Map

Dağıtılan grafta hangi işlem hattı paketlerinin dahilleneceğini belirleyen filtreler.

Key Type Description
include Sequence Eklenecek paket adlarının listesi.
exclude Sequence Dışlanması gereken paket adlarının listesi.

pipeline.ingestion_definition

Type: Map

Yönetilen bir veri yükleme işlem hattının yapılandırması. Bu ayarlar, libraries, schema, target veya catalog ayarlarıyla kullanılamaz.

Key Type Description
connection_name String Alım için kullanılacak bağlantının adı.
full_refresh_window Map (İsteğe bağlı) CDC'de anlık görüntü sorguları için zaman aralıkları kümesini belirten bir pencere.
ingestion_gateway_id String Veri alımı ağ geçidinin kimliği.
objects Sequence Gerekli. Çoğaltılacak tabloları ve çoğaltılan tabloların hedefini belirten ayarlar. Her nesne SchemaSpec, TableSpec veya ReportSpec olabilir.
source_type String kullanılırken source_configurationsgereklidir. Bağlayıcı türünü belirtir (örneğin, , POSTGRESQLMYSQL).
source_configurations Sequence Katalog düzeyinde kaynak yapılandırma parametreleri. Bu alanı kullanırken de belirtmelisiniz source_type. Bkz. source_configurations.
table_configuration Map Alma tabloları için yapılandırma. Bkz. table_configuration.

SchemaSpec

Type: Map

Bir şemadan tüm tabloları almak için şema nesnesi belirtimi.

Key Type Description
source_schema String Alınacak kaynak şemanın adı.
destination_catalog String Unity Kataloğu'nda hedef kataloğun adı.
destination_schema String Unity Kataloğu'nda hedef şemanın adı.
table_configuration Map Bu şemadaki tüm tablolara uygulanacak yapılandırma. Bakınız pipeline.ingestion_definition.table_configuration.

Tablo Özellikleri (TableSpec)

Type: Map

Belirli bir tabloyu içeri aktarmak için tablo nesnesinin belirlenmesi.

Key Type Description
source_schema String Tabloyu içeren kaynak şemanın adı.
source_table String Aktarılacak kaynak tablonun adı.
destination_catalog String Unity Kataloğu'nda hedef kataloğun adı.
destination_schema String Unity Kataloğu'nda hedef şemanın adı.
destination_table String Unity Kataloğu'ndaki hedef tablonun adı.
table_configuration Map Bu özgün tablo için yapılandırma. Bakınız pipeline.ingestion_definition.table_configuration.

ReportSpec

Type: Map

Analiz raporlarını içselleştirmek için rapor nesnesi belirtimi.

Key Type Description
source_url String Kaynak raporun URL'si.
source_report String Kaynak raporun adı veya tanımlayıcısı.
destination_catalog String Unity Kataloğu'nda hedef kataloğun adı.
destination_schema String Unity Kataloğu'nda hedef şemanın adı.
destination_table String Rapor verilerinin hedef tablosunun adı.
table_configuration Map Rapor tablosu için yapılandırma. Bakınız pipeline.ingestion_definition.table_configuration.

pipeline.ingestion_definition.source_configurations

Type: Sequence

Kaynak için yapılandırma. Dizideki her öğe, katalog düzeyi yapılandırmayı içeren bir Harita'dır.

Key Type Description
catalog Map Katalog düzeyinde kaynak yapılandırma parametreleri. Bkz. katalog.
pipeline.ingestion_definition.source_configurations.catalog

Type: Map

Katalog düzeyinde kaynak yapılandırma parametreleri

Key Type Description
postgres Map Postgres'e özgü katalog düzeyi yapılandırma parametreleri. Mantıksal çoğaltma için kullanılacak Postgres yuvası yapılandırmasını temsil eden bir slot_config anahtarı Map içerir.
source_catalog String Kaynak katalog adı.

pipeline.veri_yükleme_tanımı.tablo_konfigürasyonu

Type: Map

Alım tabloları için yapılandırma seçenekleri.

Key Type Description
exclude_columns Sequence Veri alımı için hariç tutulacak sütun adlarının listesi. Belirtilmediğinde, include_columns hangi sütunların işleme alınacağını tamamen kontrol eder. Belirtildiğinde, gelecekteki sütunlar da dahil olmak üzere diğer tüm sütunlar veri alımı için otomatik olarak eklenir. Bu alan, include_columns ile birbirini dışlar.
include_columns Sequence Alım için dahil edilecek sütun adlarının listesi. Belirtilmediğinde, exclude_columns içindeki sütunlar hariç tüm sütunlar dahil edilir. Gelecekteki sütunlar otomatik olarak eklenir. Belirtildiğinde, gelecekteki diğer tüm sütunlar otomatik olarak alımın dışında tutulur. Bu alan, exclude_columns ile birbirini dışlar.
primary_keys Sequence Tablo için birincil anahtar olarak kullanılacak sütun adlarının listesi.
sequence_by Sequence Kaynak verilerdeki olayların mantıksal sırasını belirten sütun adları. Spark Bildirimli İşlem Hatları, sıra dışı gelen değişiklik olaylarını işlemek için bu sıralamayı kullanır.

işlem_hattı.kütüphaneler

Type: Sequence

Bu işlem hattı için gereken kitaplıkların veya kodların listesini tanımlar.

Listedeki her öğe bir tanımdır:

Key Type Description
file Map İşlem hattını tanımlayan ve Databricks Repos'de depolanan bir dosyanın yolu. Bkz pipeline.libraries.file.
glob Map Kaynak kodu dahil etmek için birleştirilmiş alan. Her girdi bir not defteri yolu, dosya yolu veya biten /**bir klasör yolu olabilir. Bu alan veya notebookile file birlikte kullanılamaz. Bkz. pipeline.libraries.glob.
notebook Map İşlem hattını tanımlayan ve Databricks çalışma alanında depolanan bir not defterinin yolu. Bkz. pipeline.libraries.notebook.
whl String Bu alan kullanım dışı bırakıldı

pipeline.kütüphaneler.dosya

Type: Map

İşlem hattını tanımlayan ve Databricks Repos depolanan bir dosyanın yolu.

Key Type Description
path String Kaynak kodun mutlak yolu.

pipeline.libraries.glob

Type: Map

Kaynak kodu dahil etmek için birleştirilmiş alan. Her girdi bir not defteri yolu, dosya yolu veya biten /**bir klasör yolu olabilir. Bu alan veya notebookile file birlikte kullanılamaz.

Key Type Description
include String Boru hatları için kaynak kodu ekleme

boru hattı.kütüphaneler.not defteri

Type: Map

İşlem hattını tanımlayan ve Databricks çalışma alanında depolanan bir not defterinin yolu.

Key Type Description
path String Kaynak kodun mutlak yolu.

pipeline.notifications

Type: Sequence

Bu işlem hattı için bildirim ayarları. Dizideki her öğe bir bildirim yapılandırmasıdır.

Key Type Description
alerts Sequence Bildirimleri tetikleyen uyarıların listesi. Geçerli değerler , on-update-success, on-update-failure, on-update-fatal-failure. on-flow-failure
email_recipients Sequence Yapılandırılmış bir uyarı tetiklendiğinde bildirilmesi gereken e-posta adreslerinin listesi.

Example

Aşağıdaki örnek, hello-pipelinekaynak anahtarına sahip bir işlem hattını tanımlar:

resources:
  pipelines:
    hello-pipeline:
      name: hello-pipeline
      clusters:
        - label: default
          num_workers: 1
      development: true
      continuous: false
      channel: CURRENT
      edition: CORE
      photon: false
      libraries:
        - notebook:
            path: ./pipeline.py

Ek işlem hattı yapılandırma örnekleri için bkz. İşlem hattı yapılandırması.

postgres_branch

Type:Map

Postgres dal kaynağı, Lakebase dallarını bir pakette tanımlamanızı sağlar. Ayrıca karşılık gelen Postgres projelerini ve işlem uç noktalarını da tanımlamanız gerekir.

Databricks CLI sürüm 0.287.0'a eklendi

postgres_branches:
  <postgres_branch-name>:
    <postgres_branch-field-name>: <postgres_branches-field-value>
Key Type Description
branch_id String Dal için kullanılacak kimlik. Bu, dalın kaynak adının son bileşeni olur. Kimlik gereklidir ve 1-63 karakter uzunluğunda olmalı, küçük harfle başlamalıdır ve yalnızca küçük harf, sayı ve kısa çizgi içermelidir. Örneğin development, projects/my-app/branches/development olur.
Databricks CLI sürüm 0.287.0'a eklendi
expire_time String Mutlak süre sonu zaman damgası. Ayarlandığında, dalın süresi şu anda dolacaktır.
Databricks CLI sürüm 0.287.0'a eklendi
is_protected Boolean true olarak ayarlandığında, dalı silme ve sıfırlamaya karşı korur. Dal korunurken ilişkili işlem uç noktaları ve proje silinemez.
Databricks CLI sürüm 0.287.0'a eklendi
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 0.287.0'a eklendi
no_expiry Boolean Süre sonunu açıkça devre dışı bırakın. true olarak ayarlandığında dalın süresi dolmaz. false olarak ayarlanırsa istek geçersizdir; yerine ttl veya expire_time sağlayın.
Databricks CLI sürüm 0.287.0'a eklendi
parent String Bu dalın oluşturulacağı proje. Biçim: projects/{project_id}
Databricks CLI sürüm 0.287.0'a eklendi
source_branch String Bu dalın oluşturulduğu kaynak dalın adı (belirli bir noktaya kurtarma için veri kökeni). Belirtilmezse, varsayılan olarak projenin varsayılan dalı kullanılır. Biçim: projects/{project_id}/branches/{branch_id}
Databricks CLI sürüm 0.287.0'a eklendi
source_branch_lsn String Bu dalın oluşturulduğu kaynak daldaki Günlük Sırası Numarası (LSN).
Databricks CLI sürüm 0.287.0'a eklendi
source_branch_time String Bu dalın oluşturulduğu kaynak daldaki zaman noktası.
Databricks CLI sürüm 0.287.0'a eklendi
ttl String Göreli yaşam süresi. Ayarlandığında dalın süresi creation_time + ttl olarak dolar.
Databricks CLI sürüm 0.287.0'a eklendi

Example

Bkz. postgres_projects örnek.

postgres_endpoint

Type: Map

postgres_endpoints kaynağı, bir pakette Lakebase işlem uç noktalarını tanımlamanızı sağlar. Ayrıca ilgili Lakebase projelerini ve Lakebase dallarını da tanımlamanız gerekir.

Databricks CLI sürüm 0.287.0'a eklendi

postgres_endpoints:
  <postgres_endpoint-name>:
    <postgres_endpoint-field-name>: <postgres_endpoint-field-value>
Key Type Description
autoscaling_limit_max_cu Sayı İşlem Birimi sayısı üst sınırı. En düşük değer 0,5'tir.
Databricks CLI sürüm 0.287.0'a eklendi
autoscaling_limit_min_cu Sayı En az İşlem Birimi sayısı. En düşük değer 0,5'tir.
Databricks CLI sürüm 0.287.0'a eklendi
disabled Boolean İşlem uç noktasına bağlantıların kısıtlanıp kısıtlanmayacağı. Bu seçeneğin etkinleştirilmesi işlem işlemini askıya alma işlemini zamanlar. Devre dışı bırakılmış bir işlem uç noktası bir bağlantı veya konsol eylemi tarafından etkinleştirilemez.
Databricks CLI sürüm 0.287.0'a eklendi
endpoint_id String Uç Nokta için kullanılacak kimlik. Bu, uç noktanın kaynak adının son bileşeni olur. Kimlik gereklidir ve 1-63 karakter uzunluğunda olmalı, küçük harfle başlamalıdır ve yalnızca küçük harf, sayı ve kısa çizgi içermelidir. Örneğin primary, projects/my-app/branches/development/endpoints/primary olur.
Databricks CLI sürüm 0.287.0'a eklendi
endpoint_type String Uç nokta türü. Bir dalda yalnızca bir READ_WRITE uç noktası olabilir. Olası değerler: ENDPOINT_TYPE_READ_WRITE, ENDPOINT_TYPE_READ_ONLY.
Databricks CLI sürüm 0.287.0'a eklendi
group Map Uç nokta grubu yapılandırması. Bkz. postgres_endpoint.group.
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 0.287.0'a eklendi
no_suspension Boolean true olarak ayarlandığında, otomatik askıya alma özelliğini açıkça devre dışı bırakır (hiçbir zaman askıya alınmaz). Sağlandığında true olarak ayarlanmalıdır.
Databricks CLI sürüm 0.287.0'a eklendi
parent String Bu Uç Noktanın oluşturulacağı dal. Biçim: projects/{project_id}/branches/{branch_id}
Databricks CLI sürüm 0.287.0'a eklendi
settings Map İşlem uç noktası için ayarlar koleksiyonu.
Databricks CLI sürüm 0.287.0'a eklendi
suspend_timeout_duration String İşlem uç noktasının otomatik olarak askıya alındığı etkinlik dışı kalma süresi. Belirtildiyse 60 ile 604800 arasında olmalıdır (1 dakika ile 1 hafta arası).
Databricks CLI sürüm 0.287.0'a eklendi

postgres_endpoint.group

Type: Map

Uç nokta grubu yapılandırması.

Key Type Description
enable_readable_secondaries Boolean Okuma-yazma uç noktalarına salt okunur bağlantılara izin verilip verilmeyeceği. Yalnızca olduğu group.max > 1okuma-yazma uç noktaları için geçerlidir.
max Integer Gerekli. Uç nokta grubundaki işlem sayısı üst sınırı. Şu anda bunun değerine mineşit olması gerekir. 1 Yüksek Kullanılabilirliği (HA) devre dışı bırakmak için tek işlem uç noktaları için olarak ayarlayın. Bir uç nokta grubundaki tüm işlemleri el ile askıya almak için uç noktada olarak disabled ayarlayıntrue.
min Integer Gerekli. Uç nokta grubundaki minimum işlem sayısı. Şu anda bunun değerine maxeşit olması gerekir. Bu, değerinden büyük veya eşit 1olmalıdır.

Example

Bkz. postgres_projects örnek.

postgres_project

Type: Map

Postgres proje kaynağı, Lakebase Otomatik Ölçeklendirme Postgres veritabanı projelerini bir pakette tanımlamanızı sağlar. Ayrıca karşılık gelen Postgres dallarını ve işlem uç noktalarını da tanımlamanız gerekir.

Databricks CLI sürüm 0.287.0'a eklendi

postgres_projects:
  <postgres_project-name>:
    <postgres_project-field-name>: <postgres_project-field-value>
Key Type Description
budget_policy_id String Bu projenin bütçe ilkesi kimliği.
custom_tags Sequence Bu proje için özel etiketler. Bkz . postgres_project.custom_tags.
default_branch String Biçiminde projenin projects/{project_id}/branches/{branch_id}varsayılan dalı.
default_endpoint_settings Map İşlem uç noktası için ayarlar koleksiyonu. Bkz . postgres_project.default_endpoint_settings.
Databricks CLI sürüm 0.287.0'a eklendi
display_name String İnsan tarafından okunabilen proje adı. Uzunluk 1 ile 256 karakter arasında olmalıdır.
Databricks CLI sürüm 0.287.0'a eklendi
enable_pg_native_login Boolean Proje için yerel Postgres oturum açmanın etkinleştirilip etkinleştirilmeyileceği.
Databricks CLI sürüm 0.294.0'a eklendi
history_retention_duration String Bu projedeki tüm dallar için belirli bir noktaya kurtarma için paylaşılan geçmişin korunacak saniye sayısı. Değer 0 ile 2592000 arasında olmalıdır (30 güne kadar).
Databricks CLI sürüm 0.287.0'a eklendi
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 0.287.0'a eklendi
permissions Sequence Postgres projesinin izinleri. Bkz. izinler.
Databricks CLI sürüm 0.292.0'a eklendi
pg_version Integer Ana Postgres sürüm numarası. Desteklenen sürümler 16 ve 17'dir.
Databricks CLI sürüm 0.287.0'a eklendi
project_id String Project için kullanılacak kimlik. Bu, projenin kaynak adının son bileşeni olur. Kimlik gereklidir ve 1-63 karakter uzunluğunda olmalı, küçük harfle başlamalıdır ve yalnızca küçük harf, sayı ve kısa çizgi içermelidir. Örneğin my-app, projects/my-app olur.
Databricks CLI sürüm 0.287.0'a eklendi

Örneği

resources:
  postgres_projects:
    my_db:
      project_id: test-prod-app
      display_name: 'Production Database'
      pg_version: 17

  postgres_branches:
    main:
      parent: ${resources.postgres_projects.my_db.id}
      branch_id: main
      is_protected: false
      no_expiry: true

  postgres_endpoints:
    primary:
      parent: ${resources.postgres_branches.main.id}
      endpoint_id: primary
      endpoint_type: ENDPOINT_TYPE_READ_WRITE
      autoscaling_limit_min_cu: 0.5
      autoscaling_limit_max_cu: 4

postgres_project.custom_tags

Type: Sequence

Proje için özel etiketlerin listesi.

Key Type Description
key String Özel etiketin anahtarı.
value String Özel etiketin değeri.

postgres_project.default_endpoint_settings

Type: Map

Key Type Description
autoscaling_limit_max_cu Sayı İşlem Birimi sayısı üst sınırı. En düşük değer 0,5'tir.
autoscaling_limit_min_cu Sayı En az İşlem Birimi sayısı. En düşük değer 0,5'tir.
no_suspension Boolean true olarak ayarlandığında, otomatik askıya alma özelliğini açıkça devre dışı bırakır (hiçbir zaman askıya alınmaz). Sağlandığında true olarak ayarlanmalıdır.
pg_settings Map Postgres ayarlarının ham gösterimi.
suspend_timeout_duration String İşlem uç noktasının otomatik olarak askıya alındığı etkinlik dışı kalma süresi. Belirtildiyse 60 ile 604800 arasında olmalıdır (1 dakika ile 1 hafta arası).

kalite_monitörü (Unity Kataloğu)

Type: Map

quality_monitor kaynağı, Unity Kataloğu tablo izleyicisi tanımlamanızı sağlar. İzleyiciler hakkında bilgi için bkz. Veri profili oluşturma.

Databricks CLI sürüm 0.229.0 veya altına eklendi

quality_monitors:
  <quality_monitor-name>:
    <quality_monitor-field-name>: <quality_monitor-field-value>
Key Type Description
assets_dir String İzleme varlıklarını depolayan dizin (örn. pano, ölçüm tabloları).
Databricks CLI sürüm 0.229.0 veya altına eklendi
baseline_table_name String Kayma ölçümlerinin hesaplandığı temel tablonun adı. İzlenen tablodaki sütunlar da taban çizgisi tablosunda bulunmalıdır.
Databricks CLI sürüm 0.229.0 veya altına eklendi
custom_metrics Sequence İzlenen tabloda hesaplanacak özelleştirilmiş ölçümler. Bunlar toplu ölçümler, türetilmiş ölçümler (zaten hesaplanan toplama ölçümlerinden) veya kayma ölçümleri (zaman pencerelerindeki ölçümleri karşılaştırma) olabilir. Bkz. custom_metrics.
Databricks CLI sürüm 0.229.0 veya altına eklendi
inference_log Map Çıkarım günlüklerini izleme yapılandırması. Bkz. inference_log.
Databricks CLI sürüm 0.229.0 veya altına eklendi
latest_monitor_failure_msg String İzleyici hatası için en son hata iletisi. Bu, bir izleyici başarısız olduğunda doldurulan salt okunur bir alandır.
Databricks CLI sürüm 0.264.0'a eklendi
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 0.268.0'a eklendi
notifications Map Monitör için bildirim ayarları. Bildirimlere bakın.
Databricks CLI sürüm 0.229.0 veya altına eklendi
output_schema_name String Çıktı ölçüm tablolarının oluşturulduğu şema.
Databricks CLI sürüm 0.229.0 veya altına eklendi
schedule Map Ölçüm tablolarını otomatik olarak güncelleştirme ve yenileme zamanlaması. Bkz. zamanlama.
Databricks CLI sürüm 0.229.0 veya altına eklendi
skip_builtin_dashboard Boolean Varsayılan veri kalite ölçümlerini özetleyen panonun oluşturulup oluşturulmayacağı?
Databricks CLI sürüm 0.229.0 veya altına eklendi
slicing_exprs Sequence Hedeflenen analiz için verileri dilimlediğiniz sütun ifadelerinin listesi. Veriler her ifadeye göre bağımsız olarak gruplandırılır ve her koşul ve tamamlayıcıları için ayrı bir dilim elde edilir. Yüksek kardinalite sütunları için, yalnızca sıklığa göre ilk 100 benzersiz değer dilim oluşturur.
Databricks CLI sürüm 0.229.0 veya altına eklendi
snapshot Map Anlık görüntü tablolarını izlemek için yapılandırma. Bkz. anlık görüntü.
Databricks CLI sürüm 0.229.0 veya altına eklendi
table_name String Tablonun tam adı.
Databricks CLI sürüm 0.235.0'a eklendi
time_series Map Zaman serisi tablolarını izlemek için yapılandırma. bkz. time_series.
Databricks CLI sürüm 0.229.0 veya altına eklendi
warehouse_id String Gösterge paneli oluşturmak için ambarı belirtmek amacıyla isteğe bağlı bir bağımsız değişken. Belirtilmezse, çalışan ilk ambar kullanılır.
Databricks CLI sürüm 0.229.0 veya altına eklendi

quality_monitor.özel_metrikler

Type: Sequence

Özel ölçüm tanımlarının listesi.

Listedeki her öğe bir CustomMetric:

Key Type Description
definition String Ölçümün nasıl hesaplandığını belirten bir SQL ifadesi için Jinja şablonu. Bkz . ölçüm tanımı oluşturma.
input_columns Sequence Ölçümün hesaplanması gereken giriş tablosundaki sütun adlarının listesi. Ölçümün birden çok sütundaki bilgilere ihtiyacı olduğunu belirtmek için kullanabilirsiniz :table .
name String Çıktı tablolarındaki ölçümün adı.
output_data_type String Özel ölçümün çıktı türü.
type String Yalnızca CUSTOM_METRIC_TYPE_AGGREGATE, CUSTOM_METRIC_TYPE_DERIVED veya CUSTOM_METRIC_TYPE_DRIFT olabilir. CUSTOM_METRIC_TYPE_AGGREGATE ve CUSTOM_METRIC_TYPE_DERIVED ölçümleri tek bir tabloda hesaplanırkenCUSTOM_METRIC_TYPE_DRIFT, ölçümler taban çizgisi ve giriş tablosu arasında veya birbirini izleyen iki zaman penceresinde karşılaştırılır.
  • CUSTOM_METRIC_TYPE_AGGREGATE: Yalnızca tablonuzda mevcut olan sütunlara bağımlıdır
  • CUSTOM_METRIC_TYPE_DERIVED: Önceden hesaplanan toplama ölçümlerine bağlıdır
  • CUSTOM_METRIC_TYPE_DRIFT: Önceden hesaplanan birleştirilmiş veya türetilmiş metriklere bağlıdır

quality_monitor.inference_log

Type: Map

Çıkarım günlüklerini izleme yapılandırması.

Key Type Description
granularities Sequence Çıkarım günlüklerini toplamaya yönelik zaman ayrıntı düzeyleri (örneğin, ["1 day"]).
model_id_col String Model kimliğini içeren sütunun adı.
prediction_col String Tahmini içeren sütunun adı.
timestamp_col String Zaman damgasını içeren sütunun adı.
problem_type String ML sorununun türü. Geçerli değerler: PROBLEM_TYPE_CLASSIFICATION, PROBLEM_TYPE_REGRESSION.
label_col String Etiketi içeren sütunun adı (temel gerçek).
prediction_proba_col String Tahmin olasılıklarını içeren sütunun adı.

kalite_izleyici.bildirimleri

Type: Map

monitör için bildirim ayarları.

Key Type Description
on_failure Map monitör başarısız olduğunda bildirim ayarları. Bkz. on_failure.
on_new_classification_tag_detected Map Yeni sınıflandırma etiketleri algılandığında bildirim ayarları. Bkz. on_new_classification_tag_detected.

kalite_gözlemci.bildirimler.hata_durumunda

Type: Map

monitör başarısız olduğunda bildirim ayarları.

Key Type Description
email_addresses Sequence İzleyici hatası durumunda bildirim gönderilecek e-posta adreslerinin listesi.

kalite_izleyici.bildirimler.yeni_sınıflandırma_etiket_belirlediğinde

Type: Map

Yeni sınıflandırma etiketleri algılandığında bildirim ayarları.

Key Type Description
email_addresses Sequence Yeni sınıflandırma etiketleri algılandığında bildirilmesi gereken e-posta adreslerinin listesi.

kalite_izleyicisi.program

Type: Map

Ölçüm tablolarını otomatik olarak güncelleştirmek ve yenilemek için zamanlayın.

Key Type Description
quartz_cron_expression String Quartz söz dizimi kullanan bir Cron ifadesi. Örneğin, 0 0 8 * * ? her gün 08:00'de çalışır.
timezone_id String Zamanlamanın saat dilimi (örneğin, , UTCAmerica/Los_Angeles).
pause_status String Zamanlamanın duraklatılıp duraklatılmadığı. Geçerli değerler: PAUSED, UNPAUSED.

kalite_izleyici.anlık_görüntü

Type: Map

Anlık görüntü tablolarını izlemek için yapılandırma.

kalite_izleyici.zaman_serisi

Zaman serisi tablolarını izlemek için yapılandırma.

Key Type Description
granularities Sequence Zaman serisi verilerini toplamaya yönelik zaman ayrıntı düzeyleri (örneğin, ["30 minutes"]).
timestamp_col String Zaman damgasını içeren sütunun adı.

Examples

Aşağıdaki örnekler InferenceLog, TimeSeries ve Snapshot profil türleri için kalite izleyicilerini tanımlar.

# InferenceLog profile type
resources:
  quality_monitors:
    my_quality_monitor:
      table_name: dev.mlops_schema.predictions
      output_schema_name: ${bundle.target}.mlops_schema
      assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
      inference_log:
        granularities: [1 day]
        model_id_col: model_id
        prediction_col: prediction
        label_col: price
        problem_type: PROBLEM_TYPE_REGRESSION
        timestamp_col: timestamp
      schedule:
        quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
        timezone_id: UTC
# TimeSeries profile type
resources:
  quality_monitors:
    my_quality_monitor:
      table_name: dev.mlops_schema.predictions
      output_schema_name: ${bundle.target}.mlops_schema
      assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
      time_series:
        granularities: [30 minutes]
        timestamp_col: timestamp
      schedule:
        quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
        timezone_id: UTC
# Snapshot profile type
resources:
  quality_monitors:
    my_quality_monitor:
      table_name: dev.mlops_schema.predictions
      output_schema_name: ${bundle.target}.mlops_schema
      assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
      snapshot: {}
      schedule:
        quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
        timezone_id: UTC

Aşağıdaki örnek, izleme temelinde bir kalite izleyicisi ve buna karşılık gelen model yeniden eğitme işini yapılandırmaktadır:

# Quality monitoring workflow
resources:
  quality_monitors:
    mlops_quality_monitor:
      table_name: ${bundle.target}.mlops_demo.predictions
      output_schema_name: ${bundle.target}.mlops_demo
      assets_dir: /Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
      inference_log:
        granularities: [1 hour]
        model_id_col: model_version
        prediction_col: prediction
        label_col: fare_amount
        problem_type: PROBLEM_TYPE_REGRESSION
        timestamp_col: inference_timestamp
      schedule:
        quartz_cron_expression: 57 0 14 * * ? # refresh monitoring metrics every day at 7 am PT
        timezone_id: UTC
  jobs:
    retraining_job:
      name: ${bundle.target}-mlops_demo-monitoring-retraining-job
      tasks:
        - task_key: monitored_metric_violation_check
          notebook_task:
            notebook_path: ../monitoring/notebooks/MonitoredMetricViolationCheck.py
            base_parameters:
              env: ${bundle.target}
              table_name_under_monitor: ${bundle.target}.mlops_demo.predictions
              metric_to_monitor: r2_score
              metric_violation_threshold: 0.7
              num_evaluation_windows: 24
              num_violation_windows: 5 # 5 out of the past 24 windows have metrics lower than threshold

        - task_key: is_metric_violated
          depends_on:
            - task_key: monitored_metric_violation_check
          condition_task:
            op: EQUAL_TO
            left: '{{tasks.monitored_metric_violation_check.values.is_metric_violated}}'
            right: 'true'

        - task_key: trigger_retraining
          depends_on:
            - task_key: is_metric_violated
              outcome: 'true'
          run_job_task:
            job_id: ${resources.jobs.model_training_job.id}

      schedule:
        quartz_cron_expression: '0 0 15 * * ?' # daily at 8 am PDT
        timezone_id: UTC

      # To get notifications, provide a list of emails to the on_failure argument.
      #
      #  email_notifications:
      #    on_failure:
      #      - someone@example.com

kayıtlı_model (Unity Kataloğu)

Type: Map

Kayıtlı model kaynağı, Unity Kataloğu'nda modelleri tanımlamanızı sağlar. Unity Kataloğu kayıtlı modelleri hakkında bilgi için bkz. Unity Kataloğu'nda model yaşam döngüsünü yönetme.

Databricks CLI sürüm 0.229.0 veya altına eklendi

registered_models:
  <registered_model-name>:
    <registered_model-field-name>: <registered_model-field-value>
Key Type Description
aliases Sequence Kayıtlı modele bağlı takma adların listesi. Bkz. registered_model.aliases.
Databricks CLI sürüm 0.273.0'a eklendi
browse_only Boolean İstekte include_browse etkinleştirildiğinde, sorumlunun BROWSE ayrıcalığı aracılığıyla ilişkili nesne için meta verileri almayla sınırlı olup olmadığını gösterir.
Databricks CLI sürüm 0.273.0'a eklendi
catalog_name String Şemanın ve kayıtlı modelin bulunduğu kataloğun adı.
Databricks CLI sürüm 0.229.0 veya altına eklendi
comment String Kayıtlı modele eklenen açıklama.
Databricks CLI sürüm 0.229.0 veya altına eklendi
created_at Integer Unix devrinden bu yana milisaniye cinsinden kayıtlı modelin oluşturma zaman damgası.
Databricks CLI sürüm 0.273.0'a eklendi
created_by String Kayıtlı modeli oluşturan kullanıcının tanımlayıcısı.
Databricks CLI sürüm 0.273.0'a eklendi
full_name String Kayıtlı modelin üç düzeyli (tam olarak nitelenmiş) adı.
Databricks CLI sürüm 0.273.0'a eklendi
grants Sequence Kayıtlı modelle ilişkili hibeler. Bkz. grant.
Databricks CLI sürüm 0.229.0 veya altına eklendi
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 0.268.0'a eklendi
metastore_id String Meta veri deposunun benzersiz tanımlayıcısı.
Databricks CLI sürüm 0.273.0'a eklendi
name String Kayıtlı modelin adı.
Databricks CLI sürüm 0.229.0 veya altına eklendi
owner String Kayıtlı modelin sahibi olan kullanıcının tanımlayıcısı.
Databricks CLI sürüm 0.273.0'a eklendi
schema_name String Kayıtlı modelin bulunduğu şemanın adı.
Databricks CLI sürüm 0.229.0 veya altına eklendi
storage_location String Model sürüm veri dosyalarının bulutta saklandığı yer.
Databricks CLI sürüm 0.229.0 veya altına eklendi
updated_at String Unix dönemlerinden bu yana milisaniye cinsinden kayıtlı modelin son güncelleştirme zaman damgası.
Databricks CLI sürüm 0.273.0'a eklendi
updated_by String Kayıtlı modeli son kez güncelleştiren kullanıcının tanımlayıcısı.
Databricks CLI sürüm 0.273.0'a eklendi

registered_model.aliases

Type: Sequence

Kayıtlı modelle bağlantılı takma adların listesi.

Listedeki her öğe bir Alias:

Key Type Description
alias_name String Takma adın adı, örneğin "şampiyon" veya "latest_stable"
catalog_name String Model sürümünü içeren kataloğun adı
id String Diğer adın benzersiz tanımlayıcısı
model_name String Model sürümünün ana kayıtlı modelinin adı, üst şemaya göre
schema_name String Üst kataloğa göre model sürümünü içeren şemanın adı
version_num Integer Bu diğer adın işaret ettiği model sürümünün tamsayı sürüm numarası.

Example

Aşağıdaki örnek, Unity Kataloğu'nda kayıtlı bir modeli tanımlar:

resources:
  registered_models:
    model:
      name: my_model
      catalog_name: ${bundle.target}
      schema_name: mlops_schema
      comment: Registered model in Unity Catalog for ${bundle.target} deployment target
      grants:
        - privileges:
            - EXECUTE
          principal: account users

şeması (Unity Kataloğu)

Type: Map

Şemalar bildirim temelli Otomasyon Paketleri için Python desteklenir. Bkz. databricks.bundles.schemas.

Şema kaynak türü, bir paketin parçası olarak oluşturulan iş akışlarınızda ve işlem hatlarınızda tablolar ve diğer varlıklar için Unity Kataloğu şemaları tanımlamanızı sağlar. Diğer kaynak türlerinden farklı bir şema aşağıdaki sınırlamalara sahiptir:

  • Bir şema kaynağının sahibi her zaman dağıtım kullanıcısıdır ve değiştirilemez. Şayet run_as pakette belirtilmişse, şema üzerindeki işlemler tarafından yoksayılacaktır.
  • Şema kaynağı için yalnızca ilgili Schemas nesnesi oluşturma API'sinin desteklediği alanlar kullanılabilir. Örneğin, enable_predictive_optimization yalnızca güncelleştirme API'sinde kullanılabilir olduğundan desteklenmez.

Databricks CLI sürüm 0.229.0 veya altına eklendi

schemas:
  <schema-name>:
    <schema-field-name>: <schema-field-value>
Key Type Description
catalog_name String Ana kataloğun adı.
Databricks CLI sürüm 0.229.0 veya altına eklendi
comment String Kullanıcı tarafından sağlanan serbest biçimli metin açıklaması.
Databricks CLI sürüm 0.229.0 veya altına eklendi
grants Sequence Şemayla ilişkili hibeler. Bkz. grant.
Databricks CLI sürüm 0.229.0 veya altına eklendi
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 0.268.0'a eklendi
name String Üst katalogla ilişkili olarak şemanın adı.
Databricks CLI sürüm 0.229.0 veya altına eklendi
properties Map Şemaya eklenmiş anahtar-değer özelliklerinin haritası.
Databricks CLI sürüm 0.229.0 veya altına eklendi
storage_root String Şema içindeki yönetilen tablolar için depolama kök URL'si.
Databricks CLI sürüm 0.229.0 veya altına eklendi

Examples

Aşağıdaki örnek, hedef olarak anahtarla bir Unity Kataloğu şeması oluşturan kaynak anahtarına my_pipelinemy_schema sahip bir işlem hattını tanımlar. Bu örnekte değiştirmeler kullanılır.

resources:
  pipelines:
    my_pipeline:
      name: test-pipeline
      libraries:
        - notebook:
            path: ../src/nb.ipynb
        - file:
            path: ../src/range.sql
      development: true
      catalog: ${resources.schemas.my_schema.catalog_name}
      target: ${resources.schemas.my_schema.id}

  schemas:
    my_schema:
      name: test-schema
      catalog_name: main
      comment: This schema was created by Declarative Automation Bundles.

En üst düzey atama eşlemesi Bildirim temelli Otomasyon Paketleri tarafından desteklenmez, bu nedenle bir şema için izinler ayarlamak istiyorsanız, eşleme içinde schemas şema için izinleri tanımlayın. Daha fazla bilgi için Ayrıcalıkları gösterme, verme ve iptal etme bölümüne bakın.

Aşağıdaki örnek, grants içeren bir Unity Kataloğu şemasını tanımlar:

resources:
  schemas:
    my_schema:
      name: test-schema
      grants:
        - principal: users
          privileges:
            - SELECT
        - principal: my_team
          privileges:
            - CAN_MANAGE
      catalog_name: main

gizli_kapsam

Type: Map

secret_scope kaynağı, bir pakette gizli dizi kapsamları tanımlamanızı sağlar. Gizli kapsamlar hakkında bilgi için bkz. Gizli yönetim.

Databricks CLI sürüm 0.252.0'a eklendi

secret_scopes:
  <secret_scope-name>:
    <secret_scope-field-name>: <secret_scope-field-value>
Key Type Description
backend_type String Kapsamın oluşturulacağı arka uç türü. Belirtilmezse, bu varsayılan olarak olur DATABRICKS.
Databricks CLI sürüm 0.252.0'a eklendi
keyvault_metadata Map Eğer backend_type ise, gizli dizi kapsamının meta verileri AZURE_KEYVAULT. Bkz. keyvault_metadata.
Databricks CLI sürüm 0.252.0'a eklendi
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 0.268.0'a eklendi
name String Kullanıcı tarafından istenen kapsam adı. Kapsam adları benzersizdir.
Databricks CLI sürüm 0.252.0'a eklendi
permissions Sequence Gizli alan kapsamına uygulanacak izinler. İzinler gizli kapsam ACL'leri aracılığıyla yönetilir. Bkz. izinler.
Databricks CLI sürüm 0.252.0'a eklendi

secret_scope.keyvault_metadata

Type: Map

Azure Key Vault destekli gizli dizi kapsamları için meta veriler.

Key Type Description
resource_id String Key Vault Azure kaynak kimliği.
dns_name String Azure Key Vault DNS adı.

Examples

Aşağıdaki örnek, bir anahtar kasası arka ucu kullanan bir gizli kapsam tanımlar:

resources:
  secret_scopes:
    secret_scope_azure:
      name: test-secrets-azure-backend
      backend_type: 'AZURE_KEYVAULT'
      keyvault_metadata:
        resource_id: my_azure_keyvault_id
        dns_name: my_azure_keyvault_dns_name

Aşağıdaki örnek, gizli kapsamları ve izinleri kullanarak özel bir ACL örneği ayarlar:

resources:
  secret_scopes:
    my_secret_scope:
      name: my_secret_scope
      permissions:
        - user_name: admins
          level: WRITE
        - user_name: users
          level: READ

Bir gizli dizi kapsamının ve bir pakette ondan okunan bir görevle işin nasıl tanımlandığını gösteren örnek bir paket için bkz. bundle-examples GitHub deposu.

sql_warehouse

Type: Map

SQL ambarı kaynağı, bir pakette SQL ambarı tanımlamanızı sağlar. SQL ambarları hakkında bilgi için bkz. Azure Databricks üzerinde Data ambarı.

Databricks CLI sürüm 0.260.0'a eklendi

sql_warehouses:
  <sql-warehouse-name>:
    <sql-warehouse-field-name>: <sql-warehouse-field-value>
Key Type Description
auto_stop_mins Integer SQL ambarının otomatik olarak durdurulmadan önce boşta olması gereken dakika cinsinden süre (örneğin, çalışan sorgular olmadan). Geçerli değerler, otomatik durdurma olmadığını gösteren 0 veya 10'dan büyük veya buna eşit değerlerdir. Varsayılan değer 120'dir.
Databricks CLI sürüm 0.260.0'a eklendi
channel Map Kanal ayrıntıları. Kanala bakın.
Databricks CLI sürüm 0.260.0'a eklendi
cluster_size String Bu ambar için ayrılan kümelerin boyutu. Spark kümesinin boyutunu artırmak, üzerinde daha büyük sorgular çalıştırmanıza olanak tanır. Eşzamanlı sorgu sayısını artırmak istiyorsanız max_num_clusters ayarlayın. Desteklenen değerler için bkz. cluster_size.
Databricks CLI sürüm 0.260.0'a eklendi
creator_name String Ambarı oluşturan kullanıcının adı.
Databricks CLI sürüm 0.260.0'a eklendi
enable_photon Boolean Depo Foton ile optimize edilmiş kümeleri kullanmalı mı? Varsayılan değer false'tur.
Databricks CLI sürüm 0.260.0'a eklendi
enable_serverless_compute Boolean Ambarın sunucusuz işlem kullanıp kullanmayacağı belirlenmelidir.
Databricks CLI sürüm 0.260.0'a eklendi
instance_profile_arn String Deprecated. IAM rolünü kümeye geçirmek için kullanılan örnek profili.
Databricks CLI sürüm 0.260.0'a eklendi
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 0.268.0'a eklendi
max_num_clusters Integer Otomatik ölçeklendiricinin eşzamanlı sorguları işlemek için oluşturacağı en fazla küme sayısı. Değerler 30'a eşit veya ondan küçük ve değerinden büyük veya buna min_num_clusterseşit olmalıdır. Eğer ayarlanmamışsa, varsayılan olarak min_clusters kullanılır.
Databricks CLI sürüm 0.260.0'a eklendi
min_num_clusters Integer Bu SQL ambarı için tutulacak kullanılabilir kümelerin en az sayısı. Bunu artırmak, daha fazla sayıda kümenin her zaman çalışır durumda olmasını garanti altına alır ve bu nedenle yeni sorgular için soğuk başlangıç süresini kısaltabilir. Bu, bir kaynak yöneticisindeki ayrılmış ve iptal edilebilir çekirdeklere benzer. Değerler 0'dan büyük ve min(max_num_clusters, 30) değerinden küçük veya buna eşit olmalıdır. Varsayılan değer 1'tir.
Databricks CLI sürüm 0.260.0'a eklendi
name String Kümenin mantıksal adı. Ad bir kuruluş içinde benzersiz olmalı ve 100 karakterden az olmalıdır.
Databricks CLI sürüm 0.260.0'a eklendi
permissions Sequence Depoya uygulanacak izinler. Bkz. izinler.
Databricks CLI sürüm 0.260.0'a eklendi
spot_instance_policy String Spot instance kullanılıp kullanılmayacağı. Geçerli değerler , POLICY_UNSPECIFIED, COST_OPTIMIZEDRELIABILITY_OPTIMIZED. Varsayılan değer: COST_OPTIMIZED.
Databricks CLI sürüm 0.260.0'a eklendi
tags Map Ambar için bir dizi özel etiket. Bkz. sql_warehouse.tags.
Databricks CLI sürüm 0.260.0'a eklendi
warehouse_type String Ambar türü PRO veya CLASSIC. Sunucusuz işlem kullanmak istiyorsanız, bu alanı olarak PRO ve alanını enable_serverless_computetrueolarak da ayarlayın.
Databricks CLI sürüm 0.260.0'a eklendi

sql_warehouse.channel

Type: Map

SQL ambarı için kanal yapılandırması.

Key Type Description
name String Kanalın adı. Geçerli değerler CHANNEL_NAME_CURRENT, CHANNEL_NAME_PREVIEW, CHANNEL_NAME_CUSTOM.
dbsql_version String Özel kanallar için DBSQL sürümü.

sql_warehouse.tags

Type: Map

SQL ambarı için özel etiketler.

Key Type Description
custom_tags Sequence Bu SQL ambarıyla ilişkili tüm kaynaklardaki (örneğin AWS örnekleri ve EBS birimleri) etiketleri tanımlayan anahtar-değer çiftleri kümesi. Etiket sayısı 45'ten az olmalıdır.

Example

Aşağıdaki örnek bir SQL ambarını tanımlar:

resources:
  sql_warehouses:
    my_sql_warehouse:
      name: my_sql_warehouse
      cluster_size: X-Large
      enable_serverless_compute: true
      max_num_clusters: 3
      min_num_clusters: 1
      auto_stop_mins: 60
      warehouse_type: PRO
      tags:
        custom_tags:
          - key: 'bizunit'
            value: 'commercial'
          - key: 'area'
            value: 'marketing'

senkronize_edilmiş_veritabanı_tablosu

Type: Map

Eşitlenen veritabanı tablosu kaynağı , Lakebase veritabanı tablolarını bir pakette tanımlamanıza olanak tanır.

Eşitlenen veritabanı tabloları hakkında bilgi için bkz. Veritabanı örneği nedir?.

Databricks CLI sürüm 0.266.0'a eklendi

synced_database_tables:
  <synced_database_table-name>:
    <synced_database_table-field-name>: <synced_database_table-field-value>
Key Type Description
database_instance_name String Hedef veritabanı örneğinin adı. Bu, standart kataloglarda eşitlenmiş veritabanı tabloları oluştururken gereklidir. Bu, kayıtlı kataloglarda eşitlenmiş veritabanı tabloları oluştururken isteğe bağlıdır.
Databricks CLI sürüm 0.266.0'a eklendi
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 0.268.0'a eklendi
logical_database_name String Bu tablo için hedef Postgres veritabanı nesnesinin (mantıksal veritabanı) adı.
Databricks CLI sürüm 0.266.0'a eklendi
name String Formda catalog.schema.tabletablonun tam adı.
Databricks CLI sürüm 0.266.0'a eklendi
spec Map Veritabanı tablosu belirtimi. Bkz. eşitlenmiş veritabanı tablosu belirtimi.
Databricks CLI sürüm 0.266.0'a eklendi

senkronize_veri_tabanı_tablosu.spec

Type: Map

Veritabanı tablosu belirtimi.

Databricks CLI sürüm 0.266.0'a eklendi

Key Type Description
create_database_objects_if_missing Boolean Eşitlenen tablonun mantıksal veritabanının ve şema kaynaklarının henüz mevcut değilse oluşturulup oluşturulmayacağı.
existing_pipeline_id String Mevcut bir işlem hattının kimliği. Bu ayarlanırsa, eşitlenen tablo, başvuruda bulunılan mevcut işlem hattına paketlenir. Bu, yeni işlem hattı oluşturmayı önler ve mevcut işlem hattının paylaşılmasına izin verir. Bu durumda, scheduling_policy eşitlenen bu tablonun mevcut işlem hattının zamanlama ilkesiyle uyumlu olması gerekir. existing_pipeline_id ve new_pipeline_spec'den en fazla biri tanımlanmalıdır.
new_pipeline_spec Map Yeni işlem hattının belirtimi. Bkz. new_pipeline_spec. existing_pipeline_id ve new_pipeline_spec'den en fazla biri tanımlanmalıdır.
primary_key_columns Sequence Birincil anahtarı oluşturan sütun adlarının listesi.
scheduling_policy String Eşitleme için zamanlama ilkesi. Geçerli değerler SNAPSHOT, CONTINUOUS, TRIGGERED.
source_table_full_name String biçimindeki catalog.schema.tablekaynak tablonun tam adı.
timeseries_key String Aynı birincil anahtara sahip satırları tekrarlardan arındırmak için zaman serisi anahtarı.

synced_database_table.spec.new_pipeline_spec

Type: Map

Eşitlenmiş veritabanı tablosu tarafından kullanılan yeni işlem hattının şartnamesi.

Key Type Description
budget_policy_id String Yeni oluşturulan işlem hattı üzerinde ayarlanacak bütçe politikasının kimliği.
storage_catalog String Denetim noktaları ve olay günlükleri gibi ara dosyaları depolamak için işlem hattının kataloğu. Bu, kullanıcının Delta tabloları oluşturma izinlerine sahip olduğu standart bir katalog olmalıdır.
storage_schema String Denetim noktaları ve olay günlükleri gibi ara dosyaları depolamak için işlem hattının şeması. Bunun, kullanıcının Delta tabloları oluşturma izinlerine sahip olduğu standart katalogda olması gerekir.

Examples

Aşağıdaki örnek, ilgili veritabanı kataloğunda eşitlenmiş bir veritabanı tablosunu tanımlar:

resources:
  database_instances:
    my_instance:
      name: my-instance
      capacity: CU_1
  database_catalogs:
    my_catalog:
      database_instance_name: my-instance
      database_name: 'my_database'
      name: my_catalog
      create_database_if_not_exists: true
  synced_database_tables:
    my_synced_table:
      name: ${resources.database_catalogs.my_catalog.name}.${resources.database_catalogs.my_catalog.database_name}.my_destination_table
      database_instance_name: ${resources.database_catalogs.my_catalog.database_instance_name}
      logical_database_name: ${resources.database_catalogs.my_catalog.database_name}
      spec:
        source_table_full_name: 'my_source_table'
        scheduling_policy: SNAPSHOT
        primary_key_columns:
          - my_pk_column
        new_pipeline_spec:
          storage_catalog: 'my_delta_catalog'
          storage_schema: 'my_delta_schema'

Aşağıdaki örnek, standart bir katalog içinde eşitlenmiş bir veritabanı tablosu tanımlar:

resources:
  synced_database_tables:
    my_synced_table:
      name: 'my_standard_catalog.public.synced_table'
      # database_instance_name is required for synced tables created in standard catalogs.
      database_instance_name: 'my-database-instance'
      # logical_database_name is required for synced tables created in standard catalogs:
      logical_database_name: ${resources.database_catalogs.my_catalog.database_name}
      spec:
        source_table_full_name: 'source_catalog.schema.table'
        scheduling_policy: SNAPSHOT
        primary_key_columns:
          - my_pk_column
        create_database_objects_if_missing: true
        new_pipeline_spec:
          storage_catalog: 'my_delta_catalog'
          storage_schema: 'my_delta_schema'

Bu örnek, eşitlenmiş bir veritabanı tablosu oluşturur ve bunun için işlem hattı zamanlamasını özelleştirir. Zaten sahip olduğunuz varsayılır:

  • adlı bir veritabanı örneği my-database-instance
  • Adlı standart bir katalog my_standard_catalog
  • Standart katalogda default adlı bir şema
  • Birincil anahtarı source_delta.schema.customer olan c_custkey adlı bir kaynak delta tablosu
resources:
  synced_database_tables:
    my_synced_table:
      name: 'my_standard_catalog.default.my_synced_table'
      database_instance_name: 'my-database-instance'
      logical_database_name: 'test_db'
      spec:
        source_table_full_name: 'source_delta.schema.customer'
        scheduling_policy: SNAPSHOT
        primary_key_columns:
          - c_custkey
        create_database_objects_if_missing: true
        new_pipeline_spec:
          storage_catalog: 'source_delta'
          storage_schema: 'schema'

  jobs:
    sync_pipeline_schedule_job:
      name: sync_pipeline_schedule_job
      description: 'Job to schedule synced database table pipeline.'
      tasks:
        - task_key: synced-table-pipeline
          pipeline_task:
            pipeline_id: ${resources.synced_database_tables.my_synced_table.data_synchronization_status.pipeline_id}
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'

hacim (Unity Kataloğu)

Type: Map

Birimler bildirim temelli Otomasyon Paketleri için Python desteklenir. Bkz. databricks.bundles.volumes.

Birim kaynak türü, Unity Kataloğu birimlerini bir paketin parçası olarak tanımlamanıza ve oluşturmanıza olanak tanır. Tanımlanmış bir birim içeren bir paket dağıtırken şunları unutmayın:

  • Çalışma alanında var olana kadar bir hacme, paketin artifact_path'ında başvurulamaz. Bu nedenle, birimi oluşturmak için Bildirim temelli Otomasyon Paketleri'ni kullanmak istiyorsanız, önce birimi pakette tanımlamanız, birimi oluşturmak için dağıtmanız ve ardından sonraki dağıtımlarda artifact_path buna başvurmanız gerekir.
  • Dağıtım hedefi dev_${workspace.current_user.short_name} yapılandırıldığında, paket içindeki birimler mode: development ön eki ile eklenmez. Ancak, bu ön eki el ile yapılandırabilirsiniz. Bkz. Özel ön ayarlar.

Databricks CLI sürüm 0.236.0'a eklendi

volumes:
  <volume-name>:
    <volume-field-name>: <volume-field-value>
Key Type Description
catalog_name String Şema ve birimin kataloğunun adı.
Databricks CLI sürüm 0.236.0'a eklendi
comment String Hacme iliştirilen açıklama.
Databricks CLI sürüm 0.236.0'a eklendi
grants Sequence Hacimle ilişkili bağışlar. Bkz. grant.
Databricks CLI sürüm 0.236.0'a eklendi
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 0.268.0'a eklendi
name String Birimin adı.
Databricks CLI sürüm 0.236.0'a eklendi
schema_name String Hacmin bulunduğu şemanın adı.
Databricks CLI sürüm 0.236.0'a eklendi
storage_location String Bulut üzerindeki depolama konumu.
Databricks CLI sürüm 0.236.0'a eklendi
volume_type String Hacim türü, ya EXTERNAL ya da MANAGED. Harici birim belirtilen lokasyonda bulunur. Yönetilen birim, üst şema, üst katalog veya meta veri deposu tarafından belirtilen varsayılan konumda bulunur. Bkz. Yönetilen ve dış birimler.

Example

Aşağıdaki örnek, anahtar my_volume_idile bir Unity Kataloğu birimi oluşturur:

resources:
  volumes:
    my_volume_id:
      catalog_name: main
      name: my_volume
      schema_name: my_schema

Unity Kataloğu birimindeki bir dosyaya yazan bir işi çalıştıran örnek bir paket için bkz. bundle-examples GitHub deposu.

Ortak nesneler

izin vermek

Type: Map

Bahsi geçen özneyi ve bu özneye tanınacak ayrıcalıkları tanımlar. Daha fazla bilgi için Ayrıcalıkları gösterme, verme ve iptal etme bölümüne bakın.

Databricks CLI sürüm 0.229.0 veya altına eklendi

Key Type Description
principal String Ayrıcalık verilecek sorumlunun adı. Bu bir kullanıcı, grup veya hizmet sorumlusu olabilir.
privileges Sequence Belirtilen varlığa verilmelidir ayrıcalıklar. Geçerli değerler kaynak türüne bağlıdır (örneğin, SELECT, MODIFY, CREATE, USAGE, READ_FILES, WRITE_FILES, EXECUTE, ). ALL_PRIVILEGES

Example

Aşağıdaki örnek, grants içeren bir Unity Kataloğu şemasını tanımlar:

resources:
  schemas:
    my_schema:
      name: test-schema
      grants:
        - principal: users
          privileges:
            - SELECT
        - principal: my_team
          privileges:
            - CAN_MANAGE
      catalog_name: main

yaşam döngüsü

Type: Map

Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler.

Databricks CLI sürüm 0.268.0'a eklendi

Key Type Description
prevent_destroy Boolean Kaynağın yok edilmesini önlemek için yaşam döngüsü ayarı.
Databricks CLI sürüm 0.268.0'a eklendi
started Boolean Kaynağı başlangıç modunda dağıtmak için yaşam döngüsü ayarı. Yalnızca doğrudan dağıtım modundaki uygulamalar, kümeler ve sql_warehouses için desteklenir.
Databricks CLI sürüm 0.297.0'a eklendi