Bildirim temelli Otomasyon Paketleri kaynakları

Bildirim temelli Otomasyon Paketleri (eski adıyla Databricks Varlık Paketleri), paket yapılandırmasında resources eşlemesinde paket tarafından kullanılan Azure Databricks kaynakları hakkında bilgi belirtmenize olanak tanır. Bkz. kaynak başvurusu.

Bu sayfa, paketler için desteklenen tüm kaynak türleri için yapılandırma başvurusu sağlar ve desteklenen her tür için ayrıntılar ve bir örnek sağlar. Ek örnekler için bkz . Paket yapılandırma örnekleri.

YAML yapılandırmasını doğrulamak için kullanılan paketlerin JSON şeması Databricks CLI GitHub deposundadır.

Tip

Var olan herhangi bir kaynak için YAML oluşturmak için databricks bundle generate komutunu kullanın. Bkz. databricks bundle generate.

Desteklenen kaynaklar

Aşağıdaki tabloda, paketler için desteklenen kaynak türleri (varsa YAML ve Python) listelenmektedir. Bazı kaynaklar bir pakette tanımlanarak ve paket dağıtılarak oluşturulabilir ve bazı kaynaklar yalnızca pakete dahil edilecek mevcut bir varlığa başvurularak oluşturulabilir.

Kaynak yapılandırması, Databricks REST API nesnesine karşılık gelen bir Databricks nesnesi tanımlar. REST API nesnesinin YAML olarak ifade edilen desteklenen oluşturma isteği alanları, kaynağın desteklenen anahtarlarıdır. Her kaynağın ilgili nesnesine ilişkin belgelerin bağlantıları aşağıdaki tabloda yer almaktadır.

Tip

databricks bundle validate komutu, paket yapılandırma dosyalarında bilinmeyen kaynak özellikleri bulunursa uyarılar döndürür.

Resource Python desteği Karşılık gelen REST API nesnesi
Uyarı Uyarı nesnesi
app uygulama nesnesi
catalog (Unity Kataloğu) Katalog nesnesi
cluster küme nesnesi
dashboard pano nesnesi
database_catalog Veritabanı kataloğu nesnesi
database_instance Veritabanı örneği nesnesi
experiment Deneme nesnesi
external_location (Unity Kataloğu) Dış konum nesnesi
genie_spaces Genie aracıları
instance_pool Örnek havuzu nesnesi
job İşler İş nesnesi
job_run İş çalıştırma nesnesi
modeli (eski) Model (eski) nesnesi
model_serving_endpoint Uç nokta nesnesi sunan model
pipeline Pipelines Boruhattı nesnesi
postgres_branch Postgres dal nesnesi
postgres_catalog Postgres katalog nesnesi
postgres_database Postgres veritabanı nesnesi
postgres_endpoint Postgres işlem uç noktası nesnesi
postgres_project Postgres proje nesnesi
postgres_role Postgres rol nesnesi
postgres_synced_table Postgres eşitlenmiş tablo nesnesi
quality_monitor Kalite izleyici nesnesi
registered_model (Unity Kataloğu) Kayıtlı model nesnesi
şema (Unity Kataloğu) Şema Şema nesnesi
gizli (Unity Catalog) Gizli nesne
secret_scope Gizli dizi kapsam nesnesi
sql_warehouse SQL ambarı nesnesi
senkronize_veritabanı_tablosu Eşitlenmiş veritabanı tablosu nesnesi
vector_search_endpoint AI Search uç nokta nesnesi
vector_search_index Vektör arama dizini nesnesi
volume (Unity Kataloğu) Hacimler Hacim nesnesi

Uyarı

Type: Map

Uyarı kaynağı bir SQL uyarısı (v2) tanımlar.

Databricks CLI sürüm 0.279.0'a eklendi

alerts:
  <alert-name>:
    <alert-field-name>: <alert-field-value>
Key Type Description
custom_description String Optional. Uyarı için özel açıklama. Bıyık şablonunu destekler.
Databricks CLI sürüm 0.279.0'a eklendi
custom_summary String Optional. Uyarı için özel özet. Bıyık şablonunu destekler.
Databricks CLI sürüm 0.279.0'a eklendi
display_name String Gerekli. Uyarının görünen adı, örneğin, Example alert.
Databricks CLI sürüm 0.279.0'a eklendi
evaluation Map Gerekli. Uyarının değerlendirme yapılandırması. Bkz. alert.evaluation.
Databricks CLI sürüm 0.279.0'a eklendi
file_path String Uyarı varlığının yerel dosya yolu.
Databricks CLI sürüm 0.282.0'a eklendi
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 0.279.0'a eklendi
parent_path String Optional. Uyarıyı içeren klasörün çalışma alanı yolu. Yalnızca oluşturmada ayarlanabilir ve güncelleştirilemez. Örnek: /Users/someone@example.com.
Databricks CLI sürüm 0.279.0'a eklendi
permissions Sequence Uyarı izinleri hakkında. Bkz. izinler.
Databricks CLI sürüm 0.279.0'a eklendi
query_text String Gerekli. Çalıştırılacak sorgunun metni, örneğin, SELECT 1.
Databricks CLI sürüm 0.279.0'a eklendi
run_as Map Optional. Uyarıyı çalıştırmak için kullanılacak kimliği belirtir. Bu alan, uyarıları belirli bir kullanıcı veya hizmet sorumlusu olarak çalışacak şekilde yapılandırmanıza olanak tanır. Bkz. run_as.
  • Kullanıcı kimliği için: user_name öğesini etkin çalışma alanı kullanıcısının e-postasına ayarlayın. Kullanıcılar bunu yalnızca kendi e-postalarına ayarlayabilir.
  • Hizmet yetkilisi için: service_principal_name öğesini uygulama kimliği olarak ayarlayın. ServicePrincipal/User rolünü gerektirir. Belirtilmezse, uyarı istek kullanıcısı olarak çalışır.

Databricks CLI sürüm 0.279.0'a eklendi
schedule Map Gerekli. Uyarının zamanlama yapılandırması. Bkz. alert.schedule.
Databricks CLI sürüm 0.279.0'a eklendi
warehouse_id String Gerekli. Uyarıya eklenen SQL ambarının kimliği, örneğin, a7066a8ef796be84.
Databricks CLI sürüm 0.279.0'a eklendi

uyarı.değerlendirme

Type: Map

Uyarının değerlendirme yapılandırması.

Key Type Description
comparison_operator String Uyarı değerlendirmesinde karşılaştırma için kullanılan işleç.
empty_result_state String Sonuç boşsa uyarı durumu. Durumun kullanım dışı bırakılması planlandığından bu alanı UNKNOWNUNKNOWN olarak ayarlamaktan kaçının.
notification Map Uyarı tetiklendiğinde bildirimde bulunacak kullanıcı veya diğer hedef. Bkz. alert.evaluation.notification.
source Map Uyarıyı değerlendirmek için kullanılacak sonuç kaynak sütunu. Bkz . alert.evaluation.source.
threshold Map Uyarı değerlendirmesi için kullanılacak eşik. Bu bir sütun veya değer olabilir. Bkz . alert.evaluation.threshold.

uyarı.değerlendirme.bildirim

Type: Map

Uyarı tetiklendiğinde bildirimde bulunacak kullanıcı veya diğer hedef.

Key Type Description
notify_on_ok Boolean Optional. Uyarı normale döndüğünde uyarı abonelerine bildirimde bulunup bulunmayacağı.
retrigger_seconds Integer Optional. Bir uyarının başka bir bildirim göndermesine izin verilmeden önce tetiklenmesini beklediği saniye sayısı. 0 olarak ayarlanırsa veya atlanırsa, uyarı ilk tetiklemeden sonra başka bildirim göndermez. Bu değeri 1 olarak ayarlamak, uyarının koşulun karşılandığı her değerlendirmede bildirim göndermesine olanak tanır ve bildirim amacıyla her zaman yeniden tetiklemesini sağlar.
subscriptions Sequence Optional. Bildirim aboneliklerinin sıralanmamış listesi. Bkz alert.evaluation.notification.subscriptions.
uyarı.değerlendirme.bildirim.abonelikleri

Type: Sequence

Bildirim aboneliklerinin sıralanmamış listesi.

Listedeki her öğe bir AlertSubscription:

Key Type Description
destination_id String Bildirim hedefinin kimliği.
user_email String Bildirimde bulunacak kullanıcının e-posta adresi.

uyarı.değerlendirme.kaynak

Type: Map

Uyarıyı değerlendirmek için kullanılacak sonuçtaki kaynak sütun.

Key Type Description
aggregation String Kaynak sütuna uygulanacak toplama yöntemi. Geçerli değerler: SUM, COUNT, COUNT_DISTINCT, AVG, MEDIAN, MIN, MAX, STDDEV
display String Kaynak sütunun görünen adı.
name String Sorgu sonucundaki kaynak sütunun adı.

uyarı.değerlendirme.eşiği

Type: Map

Uyarı değerlendirmesi için kullanılacak eşik bir sütun veya değer olabilir.

Key Type Description
column Map Eşik olarak kullanılacak sütun referansı. Bkz . alert.evaluation.source.
value Map Eşik olarak kullanılacak sabit değer. Bkz . alert.evaluation.threshold.value.
alert.değerlendirme.eşik.değer

Type: Map

Eşik olarak kullanılacak sabit değer. Aşağıdaki değer türlerinden birini belirtin.

Key Type Description
bool_value Boolean Optional. Eşik için Boole değeri, örneğin, true.
double_value Double Optional. Eşik için sayısal değer, örneğin, 1.25.
string_value String Optional. Eşik için dize değeri, örneğin, test.

uyarı.takvimi

Type: Map

Uyarının zamanlama yapılandırması.

Key Type Description
pause_status String Optional. Bu zamanlamanın duraklatılıp duraklatılmadığı mı? Geçerli değerler: UNPAUSED, PAUSED. Varsayılan: UNPAUSED.
quartz_cron_schedule String Gerekli. Bu işlem hattının zamanlamasını belirten quartz söz dizimini kullanan bir cron ifadesi. Quartz formatı quartz scheduler biçiminde açıklanmıştır.
timezone_id String Gerekli. Java saat dilimi kimliği. Zamanlama bu saat dilimi kullanılarak çözülür. Bu, zamanlamayı belirlemek için quartz_cron_schedule ile birleştirilecektir. Ayrıntılar için bkz SET TIME ZONE .

Examples

Aşağıdaki örnek yapılandırma, basit bir değerlendirmeyle bir uyarı tanımlar:

resources:
  alerts:
    my_alert:
      display_name: my_alert
      evaluation:
        comparison_operator: EQUAL
        source:
          name: '1'
        threshold:
          value:
            double_value: 2
      query_text: select 2
      schedule:
        quartz_cron_schedule: '44 19 */1 * * ?'
        timezone_id: Europe/Amsterdam
      warehouse_id: 799f096837fzzzz4

Aşağıdaki örnek yapılandırma, toplama kullanılarak değerlendirilen ve bildirim gönderen izinlere sahip bir uyarı tanımlar:

resources:
  alerts:
    my_alert:
      permissions:
        - level: CAN_MANAGE
          user_name: someone@example.com
      custom_summary: 'My alert'
      display_name: 'My alert'
      evaluation:
        comparison_operator: 'EQUAL'
        notification:
          notify_on_ok: false
          retrigger_seconds: 1
        source:
          aggregation: 'MAX'
          display: '1'
          name: '1'
        threshold:
          value:
            double_value: 2
      query_text: 'select 2'
      schedule:
        pause_status: 'UNPAUSED'
        quartz_cron_schedule: '44 19 */1 * * ?'
        timezone_id: 'Europe/Amsterdam'
      warehouse_id: 799f096837fzzzz4

uygulaması

Type: Map

Uygulama kaynağı,bir Databricks uygulaması tanımlar. Databricks Uygulamaları hakkında bilgi için bkz. Databricks Uygulamaları.

Uygulama eklemek için, gerekli source_code_pathdahil olmak üzere uygulamayı tanımlamak için ayarları belirtin.

Tip

Aşağıdaki komutu kullanarak Streamlit Databricks uygulamasıyla bir paket başlatabilirsiniz:

databricks bundle init https://github.com/databricks/bundle-examples --template-dir contrib/templates/streamlit-app

Databricks CLI sürüm 0.239.0'a eklendi

apps:
  <app-name>:
    <app-field-name>: <app-field-value>
Key Type Description
budget_policy_id String Uygulamanın bütçe ilkesi kimliği.
Databricks CLI sürüm 0.243.0'a eklendi
compute_size String Uygulamanın işlem boyutu. Geçerli değerler , MEDIUMveya LARGE değerleridirXLARGE, ancak çalışma alanı yapılandırmasına bağlıdır.
Databricks CLI sürüm 0.273.0'a eklendi
config Map Uygulama yapılandırma komutları ve ortam değişkenleri. bkz. app.config.
Databricks CLI sürüm 0.283.0'a eklendi
description String Uygulamanın açıklaması.
Databricks CLI sürüm 0.239.0'a eklendi
git_repository Map Uygulama dağıtımları için Git deposu yapılandırması. Belirtildiğinde, dağıtımlar yalnızca git başvurusu (dal, etiket veya işleme) sağlayarak bu depodaki koda başvurabilir. bkz. app.git_repository.
Databricks CLI sürüm 0.283.0'a eklendi
git_source Map Uygulama dağıtımları için Git kaynak yapılandırması. Uygulamayı dağıtırken hangi Git başvurusunun (dal, etiket veya işleme) kullanılacağını belirtir. Kodu doğrudan git'ten dağıtmak için ile git_repository birlikte kullanılır. source_code_path içindekigit_source, depodaki uygulama kodunun göreli yolunu belirtir. Bkz. app.git_source.
Databricks CLI sürüm 0.290.0'a eklendi
lifecycle Map Kaynağın dağıtıldığında veya yok edildiğindeki davranışı. Bkz . yaşam döngüsü.
Databricks CLI sürüm 0.268.0'a eklendi
name String Uygulamanın adı. Ad yalnızca küçük harfli alfasayısal karakterler ve kısa çizgiler içermelidir. Çalışma alanı içinde benzersiz olmalıdır.
Databricks CLI sürüm 0.239.0'a eklendi
permissions Sequence Uygulamanın izinleri. Bkz. izinler.
Databricks CLI sürüm 0.239.0'a eklendi
resources Sequence Uygulamanın hesaplama kaynakları. Bkz . app.resources.
Databricks CLI sürüm 0.239.0'a eklendi
source_code_path String ./app Databricks uygulama kaynak kodunun yerel yolu.
Databricks CLI sürüm 0.239.0'a eklendi
telemetry_export_destinations Sequence Uygulamanın telemetri dışarı aktarma hedefleri. bkz. app.telemetry_export_destinations.
Databricks CLI sürüm 0.294.0'a eklendi
usage_policy_id String Bu uygulama için kullanılacak sunucusuz kullanım ilkesinin kimliği.
Databricks CLI sürüm 0.283.0'a eklendi
user_api_scopes Sequence Kullanıcı API'sinin kapsamları.
Databricks CLI sürüm 0.246.0'a eklendi

app.config

Uygulama yapılandırma komutları ve ortam değişkenleri. Bkz Databricks uygulama yürütmesini app.yaml ile yapılandırma.

Key Type Description
command Sequence Uygulamayı çalıştırma komutları, örneğin ["streamlit", "run", "app.py"]
env Sequence Uygulama çalışma zamanı ortamında ayarlanacağı uygulama ortamı değişkenlerini belirten ve name çiftlerinin listesivalue. Bu, app.yaml dosyasında belirtilen ortam değişkenlerini geçersiz kılar. Varsayılan uygulama ortamı değişkenleri hakkında bilgi için bkz. Databricks Apps ortamı.
Uygulama başlatılana kadar ortam değişkenleri ayarlanmaz.

app.git_repository

Type: Map

Deponun konumunu belirten Git deposu yapılandırması.

Key Type Description
provider String Gerekli. Git sağlayıcısı. Büyük/küçük harfe duyarsız. Desteklenen değerler: , , , , , gitHub, gitHubEnterprise, bitbucketCloud, bitbucketServer. azureDevOpsServicesgitLabgitLabEnterpriseEditionawsCodeCommit
Databricks CLI sürüm 0.283.0'a eklendi
url String Gerekli. Git deposunun URL'si.
Databricks CLI sürüm 0.283.0'a eklendi

app.git_source

Type: Map

Uygulama dağıtımları için Git kaynak yapılandırması.

Key Type Description
branch String Kullanıma alınması gereken Git dalı.
commit String Git kullanıma alınması için SHA işler.
source_code_path String Git deposundaki uygulama kaynak kodunun göreli yolu. Belirtilmezse, deponun kökü kullanılır.
tag String Kullanıma alınması gereken Git etiketi.

app.kaynaklar

Type: Sequence

Uygulama için işlem kaynaklarının listesi.

Listedeki her öğe bir AppResource:

Key Type Description
app Map Uygulama adı ve izinler
description String Uygulama kaynağının açıklaması.
database Map Kullanılacak Lakebase Sağlama veritabanını tanımlayan ayarlar. Bkz . app.resources.database.
experiment Map Kullanılacak MLflow denemesini tanımlayan ayarlar. Bkz . app.resources.experiment.
genie_space Map Kullanılacak Genie Aracısı'nı tanımlayan ayarlar. Bkz. app.resources.genie_space.
job Map Kullanılacak iş kaynağını tanımlayan ayarlar. Bkz . app.resources.job.
name String Uygulama kaynağının adı.
postgres Map Kullanılacak Lakebase Otomatik Ölçeklendirme veritabanını tanımlayan ayarlar. Bkz . app.resources.postgres.
secret Map Kullanılacak Azure Databricks gizli dizi kaynağını tanımlayan ayarlar. Bkz . app.resources.secret.
serving_endpoint Map Kullanılacak uç nokta kaynağını sunan modeli tanımlayan ayarlar. bkz. app.resources.serving_endpoint.
sql_warehouse Map Kullanılacak SQL ambarı kaynağını tanımlayan ayarlar. Bkz. app.resources.sql_warehouse.
uc_securable Map Unity Kataloğu'nu tanımlayan ve güvenli hale getirilebilen ayarlar. Bkz. app.resources.uc_securable.

app.kaynaklar.veritabanı

Type: Map

Kullanılacak Lakebase veritabanını tanımlayan ayarlar.

Key Type Description
database_name String Veritabanının adı.
instance_name String Veritabanı örneğinin adı.
permission String Veritabanının izin düzeyi. Geçerli değerler şunlardır: CAN_CONNECT_AND_CREATE.

app.resources.experiment

Type: Map

Kullanılacak MLflow denemesini tanımlayan ayarlar.

Key Type Description
experiment_id String MLflow denemesinin kimliği.
permission String Denemenin izin düzeyi. Geçerli değerler CAN_READ, CAN_EDIT, CAN_MANAGE.

app.kaynaklar.genie_space

Type: Map

Kullanılacak Genie Aracısı'nı tanımlayan ayarlar.

Key Type Description
name String Genie Aracısı'nın adı.
permission String Alanın izin düzeyi. Geçerli değerler , CAN_VIEW, CAN_EDIT, CAN_MANAGE. CAN_RUN
space_id String Genie Aracısı'nın kimliği, örneğin 550e8400-e29b-41d4-a716-999955440000.

app.resources.job

Type: Map

Kullanılacak iş kaynağını tanımlayan ayarlar.

Key Type Description
id String İşin ID'si.
permission String İş için yetki düzeyi. Geçerli değerler , CAN_VIEW, CAN_MANAGE_RUN, CAN_MANAGE. IS_OWNER

app.resources.postgres

Type: Map

Kullanılacak Lakebase Otomatik Ölçeklendirme veritabanını tanımlayan ayarlar.

Key Type Description
branch String Dalın adı, örneğin, projects/proj-abc123/branches/branch-xyz789.
database String Veritabanı örneğinin adı, örneğin, projects/proj-abc123/branches/branch-xyz789/databases/db-456.
permission String Veritabanının izin düzeyi. Geçerli değerler şunlardır: CAN_CONNECT_AND_CREATE.

uygulama.kaynaklar.gizli

Type: Map

Kullanılacak Azure Databricks gizli dizi kaynağını tanımlayan ayarlar.

Key Type Description
key String Gizli anahtar, izin vermek için kullanılır.
permission String Gizli için izin düzeyi. Geçerli değerler READ, WRITE, MANAGE.
scope String Gizli kapsamın adı.

app.kaynaklar.servis_uç_noktası

Type: Map

Kullanılacak uç nokta kaynağını sunan modeli tanımlayan ayarlar.

Key Type Description
name String Hizmet uç noktasının adı.
permission String Sunum uç noktası için izin düzeyi. Geçerli değerler CAN_QUERY, CAN_MANAGE, CAN_VIEW.

uygulama.kaynaklar.sql_depo

Type: Map

Kullanılacak SQL ambarını tanımlayan ayarlar.

Key Type Description
id String SQL depo kimliği.
permission String SQL ambarı için izin düzeyi. Geçerli değerler CAN_USE, CAN_MANAGE, IS_OWNER.

app.resources.uc_securable

Type: Map

Unity Kataloğu'nu tanımlayan ve güvenli hale getirilebilen ayarlar. Uygulamalar birimleri, tabloları, işlevleri ve bağlantıları güvenli hale getirilebilir kaynaklar olarak destekler.

Key Type Description
permission String Unity Kataloğu için güvenli hale getirilebilen izin düzeyi. Geçerli değerler aşağıdakine securable_typebağlıdır:
  • VOLUME: READ_VOLUME, WRITE_VOLUME
  • TABLE: SELECT, MODIFY
  • FUNCTION: EXECUTE
  • CONNECTION: USE_CONNECTION
securable_full_name String Unity Kataloğu'nun güvenliği sağlanabilir tam adı biçimindedir catalog.schema.name. Bağlantı için bağlantı adını kullanın.
securable_type String Unity Kataloğu'nun güvenli hale getirilebilen türü. Geçerli değerler VOLUME, TABLE, FUNCTIONve CONNECTION.

Note

Birimler, tablolar ve işlevler için, uygulamanın hizmet sorumlusunun üst katalog ve USE CATALOG şema üzerindeki gereksinimleri ve ayrıcalıkları da vardırUSE SCHEMA. Azure Databricks, güvenli hale getirilebilir öğesini bir uygulama kaynağı olarak eklediğinizde bu ayrıcalıkları otomatik olarak verir.

app.telemetry_export_destinations

Type: Sequence

Uygulama için telemetri dışarı aktarma hedeflerinin listesi.

Databricks CLI sürüm 0.294.0'a eklendi

Listedeki her öğe bir AppTelemetryExportDestination:

Key Type Description
unity_catalog Map OTEL telemetrisi dışarı aktarma için Unity Kataloğu Hedefleri.
Databricks CLI sürüm 0.294.0'a eklendi

Examples

Bir uygulamayı tanımlayan bir paket oluşturma konusunda yol gösteren bir öğretici için bkz. Bildirim temelli Otomasyon Paketlerini kullanarak Databricks uygulamalarını yönetme.

Aşağıdaki örnek temel bir uygulamayı tanımlar:

resources:
  apps:
    hello_world_app:
      name: 'hello-world-app'
      source_code_path: . # This assumes the app source code is at the root of the project.
      description: 'A Databricks app'

Aşağıdaki örnek, paket tarafından oluşturulan bir işi yöneten adlı my_app bir uygulama oluşturur. Tam örnek için bkz. bundle-examples GitHub deposu.

resources:
  jobs:
    # Define a job in the bundle
    hello_world:
      name: hello_world
      tasks:
        - task_key: task
          spark_python_task:
            python_file: ../src/main.py
          environment_key: default

      environments:
        - environment_key: default
          spec:
            environment_version: '2'

  # Define an app that manages the job in the bundle
  apps:
    job_manager:
      name: 'job_manager_app'
      description: 'An app which manages a job created by this bundle'

      # The location of the source code for the app
      source_code_path: ../src/app

      # The resources in the bundle which this app has access to. This binds the resource in the app with the bundle resource.
      resources:
        - name: 'app-job'
          job:
            id: ${resources.jobs.hello_world.id}
            permission: 'CAN_MANAGE_RUN'

Buna karşılık gelen app.yaml , uygulamayı çalıştırma yapılandırmasını tanımlar:

command:
  - flask
  - --app
  - app
  - run
  - --debug
env:
  - name: JOB_ID
    valueFrom: 'app-job'

Aşağıdaki örnek, paket tarafından oluşturulan bir MLflow denemesine erişimi olan bir uygulama oluşturur:

resources:
  experiments:
    # Define an MLflow experiment in the bundle
    my_experiment:
      name: /Users/${workspace.current_user.userName}/my-app-experiment

  apps:
    my_ml_app:
      name: 'my-ml-app'
      description: 'An app with access to an MLflow experiment'
      source_code_path: ./app

      # Grant the app access to the MLflow experiment
      resources:
        - name: 'app-experiment'
          experiment:
            experiment_id: ${resources.experiments.my_experiment.id}
            permission: 'CAN_MANAGE'

Alternatif olarak, aşağıdaki örnek paket yapılandırmasında tanımlanan özel yapılandırmaya sahip bir uygulamayı tanımlar:

resources:
  apps:
    my_app:
      name: my_app
      description: my_app_description
      source_code_path: ./app
      config:
        command: ['flask', '--app', 'app', 'run']
        env:
          - name: MY_ENV_VAR
            value: test_value
          - name: ANOTHER_VAR
            value: another_value

Aşağıdaki örnek, Lakebase Otomatik Ölçeklendirme kaynağına sahip bir uygulamayı tanımlar:

resources:
  apps:
    my_app:
      name: my-app
      source_code_path: .
      resources:
        - name: lakebase-db
          postgres:
            branch: projects/my-app/branches/production
            database: projects/my-app/branches/production/databases/db-xxxx-yyyyyyyy
            permission: CAN_CONNECT_AND_CREATE

catalogs

Type: Map

Katalog kaynağı, katalogları (Unity Kataloğu) bir pakette tanımlamanızı sağlar.

Note

Katalogları tanımlamak için Bildirim temelli Otomasyon Paketlerinin kullanılması yalnızca doğrudan dağıtım altyapısını kullanıyorsanız desteklenir.

Databricks CLI sürüm 0.287.0'a eklendi

catalogs:
  <catalog-name>:
    <catalog-field-name>: <catalog-field-value>
Key Type Description
comment String Kataloğun kullanıcı tarafından sağlanan serbest biçimli metin açıklaması.
Databricks CLI sürüm 0.287.0'a eklendi
connection_name String Dış veri kaynağına bağlantının adı.
Databricks CLI sürüm 0.287.0'a eklendi
custom_max_retention_hours Integer Katalog için özel maksimum saklama süresi, saat cinsinden.
Databricks CLI sürüm 1.5.0'da eklendi
grants Sequence Katalogla ilişkili izinler. Bkz. grant.
Databricks CLI sürüm 0.287.0'a eklendi
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 0.287.0'a eklendi
managed_encryption_settings Map Yönetilen katalog verileri için CMK şifrelemesini denetleme. bkz. catalog.managed_encryption_settings.
Databricks CLI sürüm 0.298.0'a eklendi
name String Gerekli. Kataloğun adı.
Databricks CLI sürüm 0.287.0'a eklendi
options Nesne Güvenli hale getirilebilir öğeye eklenmiş anahtar-değer özelliklerinin haritası.
Databricks CLI sürüm 0.287.0'a eklendi
properties Nesne Güvenli hale getirilebilir öğeye eklenmiş anahtar-değer özelliklerinin haritası.
Databricks CLI sürüm 0.287.0'a eklendi
provider_name String OpenSharing sağlayıcısının adı. OpenSharing kataloğu, uzaktan paylaşım sunucusundaki OpenSharing paylaşımını temel alan bir katalogdur. Bkz. OpenSharing nedir?.
Databricks CLI sürüm 0.287.0'a eklendi
share_name String Paylaşım sağlayıcısı altındaki paylaşımın adı.
Databricks CLI sürüm 0.287.0'a eklendi
storage_root String Katalogdaki yönetilen tablolar için depolama kök URL'si.
Databricks CLI sürüm 0.287.0'a eklendi

Example

# databricks.yml
bundle:
  name: catalogs-example
  engine: direct # catalogs require the direct deployment engine

resources:
  catalogs:
    my_catalog:
      name: my_catalog
      comment: 'Catalog created by Declarative Automation Bundles'
      properties:
        purpose: 'Testing'
      grants:
        - principal: someone@example.com
          privileges:
            - USE_CATALOG
            - CREATE_SCHEMA

  schemas:
    my_schema:
      name: my_schema
      catalog_name: ${resources.catalogs.my_catalog.name}
      comment: 'Schema in custom catalog'

catalog.managed_encryption_settings

Type: Map

Yönetilen katalog verileri için şifreleme ayarları. Müşteri tarafından yönetilen anahtarı (CMK) yapılandırmak için kullanılır.

Databricks CLI sürüm 0.298.0'a eklendi

Key Type Description
azure_encryption_settings Map İsteğe bağlı Azure ayarları — yalnızca Azure CMK kullanıldığında gereklidir.
Databricks CLI sürüm 0.298.0'a eklendi
azure_key_vault_key_id String Azure içindeki AKV URL'si, aksi takdirde null.
Databricks CLI sürüm 0.298.0'a eklendi
customer_managed_key_id String AWS ve GCP'de CMK UUID, aksi takdirde null.
Databricks CLI sürüm 0.298.0'a eklendi

kümesi

Type: Map

Küme kaynağı bir küme tanımlar.

clusters:
  <cluster-name>:
    <cluster-field-name>: <cluster-field-value>
Key Type Description
apply_policy_default_values Boolean true olarak ayarlandığında, ilkedeki sabit ve varsayılan değerler atlanmış alanlar için kullanılır. false olarak ayarlandığında, yalnızca ilkedeki sabit değerler uygulanır.
autoscale Map Yüke göre kümelerin ölçeğini otomatik olarak büyütmek ve küçültmek için gereken parametreler. Bkz. otomatik ölçeklendirme.
autotermination_minutes Integer Küme, bu süre boyunca devre dışı olduktan sonra dakikalar içinde otomatik olarak sonlandırılır. Ayarlanmadıysa, bu küme otomatik olarak sonlandırılmaz. Belirtilirse, eşik 10 ile 10000 dakika arasında olmalıdır. Kullanıcılar otomatik sonlandırmayı açıkça devre dışı bırakmak için bu değeri 0 olarak da ayarlayabilir.
aws_attributes Map Amazon Web Services üzerinde çalışan kümelerle ilgili öznitelikler. Küme oluşturma sırasında belirtilmezse, bir varsayılan değerler kümesi kullanılır. Bkz. aws_attributes.
azure_attributes Map Microsoft Azure üzerinde çalışan kümelerle ilgili öznitelikler. Küme oluşturma sırasında belirtilmezse, bir varsayılan değerler kümesi kullanılır. Bkz. azure_attributes.
cluster_log_conf Map Spark günlüklerini uzun vadeli bir depolama hedefine teslim etme yapılandırması. bkz. cluster_log_conf.
cluster_name String Kullanıcı tarafından istenen küme adı. Bunun benzersiz olması gerekmez. Oluşturma sırasında belirtilmezse, küme adı boş bir dize olur.
custom_tags Map Küme kaynakları için ek etiketler. Databricks, tüm küme kaynaklarını (örneğin AWS örnekleri ve EBS birimleri) bunlara ek olarak default_tagsbu etiketlerle etiketleyecektir.
data_security_mode String Kümeden verilere erişirken kullanılacak veri idaresi modeli. Geçerli değerler DATA_SECURITY_MODE_AUTO, DATA_SECURITY_MODE_STANDARD, DATA_SECURITY_MODE_DEDICATEDve NONEdeğerleridir. USER_ISOLATION ve SINGLE_USER için sırasıyla eski diğer adlardır DATA_SECURITY_MODE_STANDARDDATA_SECURITY_MODE_DEDICATED. LEGACY_* Modlar Databricks Runtime 15.0'dan itibaren kullanım dışı bırakılmıştır.
dependency_mode String (Beta) Küme için bağımlılık yapılandırmasını kontrol eder. Geçerli değerler: DEPENDENCY_MODE_ENVIRONMENTS, DEPENDENCY_MODE_CLUSTER_LIBRARIES ve DEPENDENCY_MODE_AUTO.
Databricks CLI sürüm 1.10.0'da eklendi
docker_image Map Özel docker görüntüsü. bkz. docker_image.
driver_instance_pool_id String Kümenin sürücüsünün bağlı olduğu örnek havuzunun isteğe bağlı kimliği. Sürücü havuzu atanmamışsa, havuz kümesi kimlikli örnek havuzunu (örnek*pool_id) kullanır.
driver_node_type_flexibility Map Sürücü düğümü için esnek düğüm türü yapılandırması. Bkz. cluster.driver_node_type_flexibility.
Databricks CLI sürüm 0.285.0'a eklendi
driver_node_type_id String Spark sürücüsünün düğüm türü. Bu alan isteğe bağlıdır. Ayar kaldırılırsa, sürücü düğümü türü değerine node_type_idayarlanır. Ayarlandıysanode_type_id, bu alan ile virtual_cluster_sizebirlikte ayarlanmamalıdır. her ikisi de driver_node_type_id, node_type_idve virtual_cluster_size belirtilirse driver_node_type_id ve node_type_id öncelik kazanır.
enable_elastic_disk Boolean Yerel DepolamaYı Otomatik Ölçeklendirme: Etkinleştirildiğinde, Spark çalışanlarının disk alanı azaldığında bu küme dinamik olarak ek disk alanı alır. Bu özelliğin düzgün çalışması için belirli AWS izinlerinin olması gerekir. Daha fazla ayrıntı için Kullanıcı Kılavuzu'na bakın.
enable_local_disk_encryption Boolean Küme VM'lerinin yerel disklerinde LUKS'nin etkinleştirilip etkinleştirilmeyileceği.
gcp_attributes Map Google Cloud Platform'da çalışan kümelerle ilgili öznitelikler. Küme oluşturma sırasında belirtilmezse, bir varsayılan değerler kümesi kullanılır. Bkz. gcp_attributes.
init_scripts Sequence Başlatma betiklerinin depolanması için yapılandırma. Herhangi bir sayıda hedef belirtilebilir. Komut dosyaları, sağlanan sırayla yürütülür. bkz. init_scripts.
instance_pool_id String Kümenin ait olduğu örnek havuzunun isteğe bağlı kimliği.
is_single_node Boolean Bu alan yalnızca olduğunda kind = CLASSIC_PREVIEWkullanılabilir. True olarak ayarlandığında Databricks otomatik olarak , ve custom_tagsile ilgili spark_confnum_workerstek düğüm ayarlar.
Databricks CLI sürüm 0.237.0'a eklendi
kind String Bu hesaplama belgesi ile belirtilen hesaplama türü.
Databricks CLI sürüm 0.237.0'a eklendi
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 0.268.0'a eklendi
node_type_id String Bu alan, bu kümedeki Spark düğümlerinin her biri için kullanılabilen kaynakları tek bir değer aracılığıyla kodlar. Örneğin Spark düğümleri bellek veya işlem yoğunluklu iş yükleri için sağlanabilir ve iyileştirilebilir. Kullanılabilir düğüm türlerinin listesi , Liste düğümü türleri API'sini kullanarak alınabilir.
num_workers Integer Bu kümenin sahip olması gereken çalışan düğümlerinin sayısı. Bir kümede toplam num_workers + 1 Spark düğümü için bir Spark Sürücüsü ve num_workers Yürütücüleri vardır.
permissions Sequence Küme izinleri. Bkz. izinler.
policy_id String Varsa kümeyi oluşturmak için kullanılan küme ilkesinin kimliği.
remote_disk_throughput Integer Saniye başına bayt cinsinden uzak disk aktarım hızı.
Databricks CLI sürüm 0.257.0'a eklendi
runtime_engine String Kümenin çalışma zamanı altyapısını, ya STANDARD ya da PHOTON olarak belirler.
single_user_name String Data*security_mode ise tek kullanıcı adı.SINGLE_USER
spark_conf Map İsteğe bağlı, kullanıcı tarafından belirtilen Spark yapılandırma anahtarı-değer çiftleri kümesini içeren bir nesne. Kullanıcılar ayrıca, spark.driver.extraJavaOptions aracılığıyla sürücüye ve spark.executor.extraJavaOptions aracılığıyla yürütücülere fazladan JVM seçeneklerinden oluşan bir dize geçirebilir.
spark_env_vars Map İsteğe bağlı, kullanıcı tarafından belirtilen ortam değişkeni anahtar-değer çiftleri kümesini içeren bir nesne.
spark_version String Kümenin Spark sürümü, örneğin. 3.3.x-scala2.11 Kullanılabilir Spark sürümlerinin listesi Kullanılabilir Spark sürümlerini listeleme API'sini kullanarak alınabilir.
ssh_public_keys Sequence Bu kümedeki her Spark düğümüne eklenecek SSH ortak anahtar içeriği. İlgili özel anahtarlar, kullanıcı adı ubuntu ile 2200 bağlantı noktasında oturum açmak için kullanılabilir. En fazla 10 anahtar belirtilebilir.
total_initial_remote_disk_size Integer Bayt cinsinden toplam ilk uzak disk boyutu.
Databricks CLI sürüm 0.257.0'a eklendi
use_ml_runtime Boolean Bu alan yalnızca olduğunda kind = CLASSIC_PREVIEWkullanılabilir. effective_spark_version, spark_version (Databricks Runtime sürümü), bu alan use_ml_runtime ve node_type_id'ün bir gpu düğümü olup olmaması durumuna göre belirlenir.
Databricks CLI sürüm 0.237.0'a eklendi
worker_node_type_flexibility Map Çalışan düğümleri için esnek düğüm türü yapılandırması. Bkz. cluster.worker_node_type_flexibility.
Databricks CLI sürüm 0.285.0'a eklendi
workload_type Map Küme iş yükü türleri için gösterilen Küme Öznitelikleri. bkz. workload_type.

cluster.autoscale

Type: Map

Yüke göre kümeleri otomatik olarak yukarı ve aşağı ölçeklendirmeye yönelik parametreler.

Key Type Description
min_workers Integer Az kullanıldığında kümenin ölçeğini azaltabileceği en az çalışan sayısı. Ayrıca, kümenin oluşturulduktan sonra sahip olacağı ilk çalışan sayısıdır.
max_workers Integer Aşırı yüklendiğinde kümenin ölçeğini artırabileceği en fazla çalışan sayısı. max_workers kesinlikle değerinden min_workersbüyük olmalıdır.

cluster.aws_özellikler

Type: Map

Amazon Web Services üzerinde çalışan kümelerle ilgili öznitelikler.

Key Type Description
zone_id String Kümenin bulunduğu kullanılabilirlik alanının/veri merkezinin tanımlayıcısı. Bu dize us-west-2a şeklinde olacaktır.
availability String first_on_demand birimlerinden sonra gelen tüm düğümler için kullanılacak kullanılabilirlik türü. Geçerli değerler , SPOT, ON_DEMANDSPOT_WITH_FALLBACK. Eğer first_on_demand sıfırsa, bu erişilebilirlik türü tüm küme için kullanılır.
spot_bid_price_percent Integer AWS spot örnekleri için en yüksek fiyat, karşılık gelen örnek türünün isteğe bağlı fiyatının yüzdesi olarak.
instance_profile_arn String Bu kümenin düğümleri yalnızca bu örnek profiline sahip AWS örneklerine yerleştirilir.
first_on_demand Integer Kümenin ilk first_on_demand düğümleri isteğe bağlı örneklere yerleştirilir. Küme sürücüsü düğümünün isteğe bağlı bir örneğe yerleştirildiğinden emin olmak için bu değer değerinden 0büyük olmalıdır.
ebs_volume_type String Bu kümeyle birlikte açılacak EBS birimlerinin türü. Geçerli değerler GENERAL_PURPOSE_SSD veya THROUGHPUT_OPTIMIZED_HDD.
ebs_volume_count Integer Her örnek için başlatılan birim sayısı.
ebs_volume_size Integer Her örnek için başlatılan her EBS biriminin (GiB cinsinden) boyutu.
ebs_volume_iops Integer EBS gp3 birimi başına IOPS sayısı.
ebs_volume_throughput Integer Saniyede MiB cinsinden EBS gp3 birimi başına aktarım hızı.

cluster.azure_özellikleri

Type: Map

Microsoft Azure üzerinde çalışan kümelerle ilgili öznitelikler.

Key Type Description
first_on_demand Integer Kümenin ilk first_on_demand düğümleri isteğe bağlı örneklere yerleştirilir.
availability String first_on_demand birimlerinden sonra gelen tüm düğümler için kullanılacak kullanılabilirlik türü. Geçerli değerler , SPOT_AZURE, ON_DEMAND_AZURESPOT_WITH_FALLBACK_AZURE. Eğer first_on_demand sıfırsa, bu erişilebilirlik türü tüm küme için kullanılır.
spot_bid_max_price Sayı Azure spot örnekleri için en yüksek fiyat. En düşük fiyatı belirtmek için kullanın -1 .
capacity_reservation_group String VM'leri başlatmak için kullanılacak Azure kapasite rezervasyonu grup kaynak kimliği, formatında /subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.Compute/capacityReservationGroups/{capacityReservationGroupName}. Belirtildiğinde, VM'ler sağlanan kapasite rezervasyonu kullanılarak başlatılır.
Kapasite rezervasyonları yalnızca çalışma alanı enjekte edilmiş bir VNet (Databricks tarafından yönetilmeyen müşteri tanımlı bir VNet) kullandığında belirtilebilir. Enterprise Uygulamasına databricks-login-prod aşağıdaki dört izin verilmelidir: Microsoft.Compute/capacityReservationGroups/read, Microsoft.Compute/capacityReservationGroups/deploy/action, Microsoft.Compute/capacityReservationGroups/capacityReservations/read, ve Microsoft.Compute/capacityReservationGroups/capacityReservations/deploy/action.
Databricks CLI sürüm 1.5.0'da eklendi
log_analytics_info Map Azure Log Analytics aracısı yapılandırması. Bkz. log_analytics_info.

cluster.azure_attributes.log_analytics_info

Type: Map

Azure Log Analytics aracısı yapılandırması.

Key Type Description
log_analytics_workspace_id String Azure Log Analytics çalışma alanının kimliği.
log_analytics_primary_key String Azure Log Analytics çalışma alanının birincil anahtarı.

küme.gcp_özellikleri

Type: Map

Google Cloud Platform'da çalışan kümelerle ilgili öznitelikler.

Key Type Description
use_preemptible_executors Boolean Ön alabilir yürütücülerin kullanılıp kullanılmayacağı. Öncelikli yönetici işlemciler, GCE tarafından herhangi bir zamanda geri kazanılabilen öncelikli GCE örnekleridir.
google_service_account String Databricks kümesi VM örnekleri tarafından kullanılacak Google hizmet hesabı.
local_ssd_count Integer Kümedeki her düğüme eklenecek yerel SSD sayısı. Varsayılan değer şudur: 0.
zone_id String Kümenin bulunduğu kullanılabilirlik alanının/veri merkezinin tanımlayıcısı.
availability String Spark yürütücülerinin önemtirilebilir VM'lerde, isteğe bağlı VM'lerde veya talep üzeri VM'lerde veya talep üzeri VM'lere geri dönüp kullanılıp kullanılmadığını belirler. Geçerli değerler , PREEMPTIBLE_GCP, ON_DEMAND_GCPPREEMPTIBLE_WITH_FALLBACK_GCP.
boot_disk_size Integer Önyükleme diskinin GB cinsinden kapasitesi. Değerler genellikle 100 ile 1000 arasında değişir.

cluster.cluster_log_conf

Spark günlüklerini uzun vadeli bir depolama hedefine teslim etme yapılandırması.

Key Type Description
dbfs Map Küme günlüğü teslimi için DBFS konumu. Bkz. dbfs.
s3 Map Küme günlüğü teslimi için S3 konumu. Bkz. s3.
volumes Map Küme günlüğü teslimi için depolama birimlerinin konumu. Bkz. hacimler.

cluster.cluster_log_conf.dbfs

Type: Map

Küme günlüğü teslimi için DBFS konumu.

Key Type Description
destination String Küme günlüğü teslimi için DBFS yolu (örneğin, dbfs:/cluster-logs).

cluster.cluster_log_conf.s3

Type: Map

Küme günlüğü teslimi için S3 konumu.

Key Type Description
destination String Küme günlüğü teslimi için S3 URI'sini (örneğin, s3://my-bucket/cluster-logs).
region String S3 bucket'ının AWS bölgesi.
endpoint String S3 uç nokta URL'si (isteğe bağlı).
enable_encryption Boolean Küme günlükleri için şifrelemenin etkinleştirilip etkinleştirilmeyileceği.
encryption_type String Şifreleme türü. Geçerli değerler: SSE_S3, SSE_KMS.
kms_key String Şifreleme için KMS anahtarı ARN'si ( SSE_KMS kullanılırken).
canned_acl String Uygulanacak olan önceden tanımlı (canned) ACL, küme günlükleri içindir.

cluster.cluster_log_conf. ciltler

Type: Map

Küme günlüğü teslimi için depolama birimlerinin konumu.

Key Type Description
destination String Küme günlüğü tesliminin birim yolu (örneğin, /Volumes/catalog/schema/volume/cluster_log).

cluster.docker_image (Docker imajı)

Type: Map

Özel Docker görüntü yapılandırması.

Key Type Description
url String Docker görüntüsünün URL'si.
basic_auth Map Docker deposu için temel kimlik doğrulaması. bkz. basic_auth.

cluster.docker_image.temel_kimlik_dogrulama

Type: Map

Docker deposu için temel kimlik doğrulaması.

Key Type Description
username String Docker kayıt defteri kimlik doğrulamasının kullanıcı adı.
password String Docker kayıt defteri kimlik doğrulamasının parolası.

küme.başlatma_betikleri

Type: Map

Başlatma betiklerinin depolanması için yapılandırma. En az bir konum türü belirtilmelidir.

Key Type Description
dbfs Map Init betiğinin DBFS konumu. Bkz. dbfs.
workspace Map init betiğinin çalışma alanı konumu. Bkz . çalışma alanı.
s3 Map Init betiğinin S3 konumu. Bkz. s3.
abfss Map init betiğinin ABFSS konumu. Bkz. abfss.
gcs Map Init betiğinin GCS konumu. Bkz. gcs.
volumes Map Unity Kataloğu Birimleri init betiğinin konumu. Bkz. hacimler.

cluster.init_scripts.dbfs

Type: Map

Init betiğinin DBFS konumu.

Key Type Description
destination String Init betiğinin DBFS yolu.

küme.init_komut_dosyaları.çalışma_alanı

Type: Map

init betiğinin çalışma alanı konumu.

Key Type Description
destination String init betiğinin çalışma alanı yolu.

cluster.init_scripts.s3

Type: Map

Init betiğinin S3 konumu.

Key Type Description
destination String Başlangıç betiğine ait S3 URI'si.
region String S3 bucket'ının AWS bölgesi.
endpoint String S3 uç nokta URL'si (isteğe bağlı).

cluster.init_scripts.abfss

Type: Map

init betiğinin ABFSS konumu.

Key Type Description
destination String init betiğinin ABFSS yolu.

cluster.init_scripts.gcs

Type: Map

Init betiğinin GCS konumu.

Key Type Description
destination String Init betiğinin GCS yolu.

cluster.init_scripts. ciltler

Type: Map

Init betiğinin birim konumu.

Key Type Description
destination String Init betiğinin Unity Kataloğu Birimleri yolu.

cluster.driver_node_type_flexibility

Type: Map

Sürücü düğümü için esnek düğüm türü yapılandırması.

Databricks CLI sürüm 0.285.0'a eklendi

Key Type Description
alternate_node_type_ids Sequence Birincil düğüm türü kullanılamadığında geri dönüş olarak kullanılacak düğüm türü kimliklerinin listesi.
Databricks CLI sürüm 0.285.0'a eklendi

cluster.worker_node_type_flexibility

Type: Map

Çalışan düğümleri için esnek düğüm türü yapılandırması.

Databricks CLI sürüm 0.285.0'a eklendi

Key Type Description
alternate_node_type_ids Sequence Birincil düğüm türü kullanılamadığında geri dönüş olarak kullanılacak düğüm türü kimliklerinin listesi.
Databricks CLI sürüm 0.285.0'a eklendi

küme.işyükü_türü

Type: Map

Küme iş yükü türlerini gösteren küme öznitelikleri.

Key Type Description
clients Map Kümeyi ne tür istemcilerin kullanabileceğini tanımlar. Bakınız müşteriler.

küme.iş_yükü_türü.müşteriler

Type: Map

Bu hesaplama iş yükü için istemci türü.

Key Type Description
jobs Boolean Kümenin işleri çalıştırıp çalıştıramayacağını belirleyebilir misiniz?
notebooks Boolean Kümenin not defterlerini çalıştırıp çalıştıramayacağı.

Examples

Aşağıdaki örnek, Databricks Runtime 15.4 LTS ve bir küme ilkesi ile geçerli kullanıcı için ayrılmış (tek kullanıcılı) bir küme oluşturur:

resources:
  clusters:
    my_cluster:
      num_workers: 0
      node_type_id: 'i3.xlarge'
      driver_node_type_id: 'i3.xlarge'
      spark_version: '15.4.x-scala2.12'
      spark_conf:
        'spark.executor.memory': '2g'
      autotermination_minutes: 60
      enable_elastic_disk: true
      single_user_name: ${workspace.current_user.userName}
      policy_id: '000128DB309672CA'
      enable_local_disk_encryption: false
      data_security_mode: SINGLE_USER
      runtime_engine: STANDARD

Bu örnek basit bir küme my_cluster oluşturur ve bunu içinde not defterini my_jobçalıştırmak için kullanılacak küme olarak ayarlar:

bundle:
  name: clusters

resources:
  clusters:
    my_cluster:
      num_workers: 2
      node_type_id: 'i3.xlarge'
      autoscale:
        min_workers: 2
        max_workers: 7
      spark_version: '13.3.x-scala2.12'
      spark_conf:
        'spark.executor.memory': '2g'

  jobs:
    my_job:
      tasks:
        - task_key: test_task
          notebook_task:
            notebook_path: './src/my_notebook.py'
          existing_cluster_id: ${resources.clusters.my_cluster.id}

gösterge tablosu

Type: Map

Pano kaynağı, AI/BI panolarını bir pakette yönetmenizi sağlar. AI/BI panoları hakkında bilgi için bkz. Panolar.

Yerel ortamınızdan bir pano içeren bir paket dağıttıysanız ve ardından bu panoyu değiştirmek için kullanıcı arabirimini kullandıysanız, kullanarak bundle generateaçıkça güncelleştirmediğiniz sürece kullanıcı arabirimi aracılığıyla yapılan değişiklikler yerel paketteki pano JSON dosyasına uygulanmaz. Panodaki değişiklikleri sürekli yoklayıp almak için --watch seçeneğini kullanabilirsiniz. Bkz. databricks bundle generate.

Ayrıca, yerel ortamınızdan uzak çalışma alanında bulunandan farklı bir pano JSON dosyası içeren bir paket dağıtmaya çalışırsanız bir hata oluşur. Yerel çalışma alanındaki panoyu uzak çalışma alanına yükleyip üzerine yazmayı zorunlu kılmak için --force seçeneğini kullanın. Bkz. databricks paket dağıtımı.

Databricks CLI sürüm 0.232.0'a eklendi

Note

Bildirim temelli Otomasyon Paketleri'ni pano Git desteğiyle kullanırken, panoların dosya olarak eşitlenmesini dışlamak için eşitleme eşlemesini ekleyerek yinelenen panoların oluşturulmasını önleyin:

sync:
  exclude:
    - src/*.lvdash.json
dashboards:
  <dashboard-name>:
    <dashboard-field-name>: <dashboard-field-value>
Key Type Description
dataset_catalog String Sorguda aksi belirtilmediyse panodaki tüm veri kümeleri tarafından kullanılan varsayılan katalog değeri. Bu alanı ayarlayan yapılandırma örneği için bkz. Pano kataloğu ve şema parametreleştirmesi.
Databricks CLI sürüm 0.283.0'a eklendi
dataset_schema String Sorguda aksi belirtilmediyse panodaki tüm veri kümeleri tarafından kullanılan varsayılan şema değeri. Bu alanı ayarlayan yapılandırma örneği için bkz. Pano kataloğu ve şema parametreleştirmesi.
Databricks CLI sürüm 0.283.0'a eklendi
display_name String Gösterge tablosunun görünen adı.
Databricks CLI sürüm 0.232.0'a eklendi
embed_credentials Boolean Paket dağıtım kimliği kimlik bilgilerinin tüm pano görüntüleyicileri için sorgu yürütmek için kullanılıp kullanılmadığı. olarak ayarlanırsa false, görüntüleyicinin kimlik bilgileri kullanılır. Varsayılan değer şudur: false.
Databricks CLI sürüm 0.232.0'a eklendi
etag String Panonun etag'i. Panonun son okumadan sonra değiştirilmediğinden emin olmak için güncelleştirmelerde isteğe bağlı olarak sağlanabilir.
Databricks CLI sürüm 0.234.0'a eklendi
file_path String Dosya adı da dahil olmak üzere pano varlığının yerel yolu. Dışarı aktarılan panolarda her zaman dosya uzantısı .lvdash.jsonbulunur.
Databricks CLI sürüm 0.232.0'a eklendi
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
parent_path String Panoyu içeren klasörün çalışma alanı yolu. Baştaki eğik çizgiyi içerir ve sondaki eğik çizgi yoktur.
Databricks CLI sürüm 0.232.0'a eklendi
path String Varlık adı da dahil olmak üzere pano varlığının çalışma alanı yolu.
Databricks CLI sürüm 0.234.0'a eklendi
permissions Sequence Gösterge tablosu izinleri. Bkz. izinler.
Databricks CLI sürüm 0.232.0'a eklendi
serialized_dashboard Any Panonun serileştirilmiş dize biçimindeki içeriği.
Databricks CLI sürüm 0.232.0'a eklendi
warehouse_id String Gösterge panelini çalıştırmak için kullanılan depo kimliği.
Databricks CLI sürüm 0.232.0'a eklendi

Example

Aşağıdaki örnek örnek NYC Taxi Trip Analysis panosunu içerir ve Databricks çalışma alanına dağıtır.

resources:
  dashboards:
    nyc_taxi_trip_analysis:
      display_name: 'NYC Taxi Trip Analysis'
      file_path: ../src/nyc_taxi_trip_analysis.lvdash.json
      warehouse_id: ${var.warehouse_id}

veri_tabanı_kataloğu

Type: Map

Veritabanı kataloğu kaynağı, bir paketteki veritabanı örneklerine karşılık gelen veritabanı katalogları tanımlamanızı sağlar. Veritabanı kataloğu, Unity Kataloğu kataloğu olarak kaydedilmiş bir Lakebase veritabanıdır.

Veritabanı katalogları hakkında bilgi için bkz. Katalog oluşturma.

Databricks CLI sürüm 0.265.0'a eklendi

database_catalogs:
  <database_catalog-name>:
    <database_catalog-field-name>: <database_catalog-field-value>
Key Type Description
create_database_if_not_exists Boolean Veritabanı yoksa oluşturulup oluşturulmayacağı.
Databricks CLI sürüm 0.265.0'a eklendi
database_instance_name String Veritabanını barındıran örneğin adı.
Databricks CLI sürüm 0.265.0'a eklendi
database_name String Katalogla ilişkilendirilen veritabanının adı (örneğinde).
Databricks CLI sürüm 0.265.0'a eklendi
lifecycle Map Kaynağın dağıtıldığında veya yok edildiğindeki davranışı dahil olmak üzere bir kaynağın yaşam döngüsü ayarlarını içerir. Bkz . yaşam döngüsü.
Databricks CLI sürüm 0.265.0'a eklendi
name String Unity Kataloğu'ndaki kataloğun adı.
Databricks CLI sürüm 0.265.0'a eklendi

Example

Aşağıdaki örnek, ilgili veritabanı kataloğuna sahip bir veritabanı örneğini tanımlar:

resources:
  database_instances:
    my_instance:
      name: my-instance
      capacity: CU_1
  database_catalogs:
    my_catalog:
      database_instance_name: ${resources.database_instances.my_instance.name}
      name: example_catalog
      database_name: my_database
      create_database_if_not_exists: true

veritabanı_örneği

Type: Map

Veritabanı örneği kaynağı, veritabanı örneklerini bir pakette tanımlamanıza olanak tanır. Lakebase veritabanı örneği depolama ve işlem kaynaklarını yönetir ve kullanıcıların bağlanacakları uç noktaları sağlar.

Note

Kaynak tarafından database_instances oluşturulan yeni veritabanı örnekleri artık Lakebase Otomatik Ölçeklendirme projeleri olarak oluşturulur. Ayrıntılar için bkz. Varsayılan olarak otomatik ölçeklendirme . Yeni Lakebase çalışması için bunun yerine kaynağı kullanmanızı postgres_projects öneririz.

Önemli

Veritabanı örneğiyle bir paket dağıttığınızda örnek hemen çalışmaya başlar ve fiyatlandırmaya tabidir. Bkz. Lakebase fiyatlandırması.

Veritabanı örnekleri hakkında bilgi için bkz. Lakebase Sağlandı.

Databricks CLI sürüm 0.265.0'a eklendi

database_instances:
  <database_instance-name>:
    <database_instance-field-name>: <database_instance-field-value>
Key Type Description
capacity String Örneğin sku'su. Geçerli değerler CU_1, CU_2, CU_4CU_8.
Databricks CLI sürüm 0.265.0'a eklendi
custom_tags Sequence Örnekle ilişkilendirilmiş özel etiketleri belirten anahtar-değer çiftlerinin listesi.
Databricks CLI sürüm 0.273.0'a eklendi
enable_pg_native_login Boolean Örneğin PG yerel parola oturum açma özelliğinin etkinleştirilip etkinleştirilmediği. Varsayılan olarak true değerini alır.
Databricks CLI sürüm 0.267.0'a eklendi
enable_readable_secondaries Boolean İkincillerin salt okunur trafiğe hizmet vermesine izin verilip verilmeyeceği. Varsayılan olarak false değerini alır.
Databricks CLI sürüm 0.265.0'a eklendi
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 0.268.0'a eklendi
name String Örneğin adı. Bu, örneğin benzersiz tanımlayıcısıdır.
Databricks CLI sürüm 0.265.0'a eklendi
node_count Integer Örnekteki 1 birincil ve 0 veya daha fazla ikincilden oluşan düğüm sayısı. Varsayılan olarak 1 birincil ve 0 ikincil değere sahiptir.
Databricks CLI sürüm 0.265.0'a eklendi
parent_instance_ref Map Ebeveyn örneğin bağlantısı. Bu yalnızca örnek alt örnekse kullanılabilir. Bkz. üst örnek.
Databricks CLI sürüm 0.265.0'a eklendi
permissions Sequence Veritabanı örneğinin izinleri. Bkz. izinler.
Databricks CLI sürüm 0.265.0'a eklendi
retention_window_in_days Integer Örneğin bekletme penceresi. Bu, geçmiş verilerin tutıldığı gün içindeki zaman penceresidir. Varsayılan değer 7 gündür. Geçerli değerler 2 ile 35 gündür.
Databricks CLI sürüm 0.265.0'a eklendi
stopped Boolean Örneğin durdurulup durdurulmadığı.
Databricks CLI sürüm 0.265.0'a eklendi
usage_policy_id String Örnekle ilişkilendirmek için istenen sunucusuz kullanım ilkesi.
Databricks CLI sürüm 0.273.0'a eklendi

veritabani_nesneleri.ebeveyn_nesne_baglanti_ref

Type: Map

Ebeveyn örneğin bağlantısı. Bu yalnızca örnek alt örnekse kullanılabilir.

Key Type Description
branch_time String Referans veritabanı örneğinin dal zamanı. Üst öğe örneği için bu, örneğin oluşturulduğu üst öğede bulunan zaman noktasıdır. Bir alt başvuru örneği için bu, alt örneğin oluşturulduğu örnekteki zaman noktasıdır.
lsn String Referans veritabanı örneğinin kullanıcı tarafından belirtilen WAL LSN'si.
name String Referans veritabanı örneğinin adı.

Example

Aşağıdaki örnek, ilgili veritabanı kataloğuna sahip bir veritabanı örneğini tanımlar:

resources:
  database_instances:
    my_instance:
      name: my-instance
      capacity: CU_1
  database_catalogs:
    my_catalog:
      database_instance_name: ${resources.database_instances.my_instance.name}
      name: example_catalog
      database_name: my_database
      create_database_if_not_exists: true

Bir veritabanı örneğinin ve buna karşılık gelen veritabanı kataloğunun nasıl tanımlandığını gösteren örnek bir paket için bkz. bundle-examples GitHub deposu.

deneyi

Type: Map

Deneme kaynağı, MLflow denemelerini bir pakette tanımlamanızı sağlar. MLflow denemeleri hakkında bilgi için bkz.MLflow denemeleriyle eğitim çalıştırmalarını düzenleme .

experiments:
  <experiment-name>:
    <experiment-field-name>: <experiment-field-value>
Key Type Description
artifact_location String Deneme yapıtlarının depolandığı konum. Konumun veya dbfs:gibi s3: bir URI şeması içermesi gerekir. Yapıtları bir Unity Kataloğu biriminde depolamak için (önerilen, MLflow 2.15.0 veya üzerini gerektirir), formun dbfs:/Volumes/<catalog>/<schema>/<volume>/<path>yolunu kullanın. Bkz. Çalışma alanından deneme oluşturma.
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 0.268.0'a eklendi
name String Denemeyi tanımlayan kullanıcı dostu ad. Databricks çalışma alanında bir deneme adı, örneğin /Workspace/Users/someone@example.com/my_experiment, mutlak bir yol olarak belirtilmelidir.
permissions Sequence Denemenin izinleri. Bkz. izinler.
tags Sequence Ek meta veri anahtar-değer çiftleri. Etiketlere bakın. Denemenin açıklamasını ayarlamak için etiketini kullanın mlflow.note.content . Sunucusuz bütçe ilkesi eklemek için etiketini kullanın mlflow.workload_creation_policy_id . Bkz . Sunucusuz kullanım ilkeleriyle öznitelik kullanımı.

Example

Aşağıdaki örnek, tüm kullanıcıların görüntüleyebileceği bir denemeyi tanımlar:

resources:
  experiments:
    experiment:
      name: /Workspace/Users/someone@example.com/my_experiment
      permissions:
        - level: CAN_READ
          group_name: users
      tags:
        - key: mlflow.note.content
          value: MLflow experiment used to track runs

external_location (Unity Kataloğu)

Type: Map

Dış konum kaynağı, bir pakette dış konumları (Unity Kataloğu) tanımlamanızı sağlar.

Note

Dış konumları tanımlamak için Bildirim temelli Otomasyon Paketlerinin kullanılması yalnızca doğrudan dağıtım altyapısını kullanıyorsanız desteklenir.

Databricks CLI sürüm 0.289.0'a eklendi

external_locations:
  <external-location-name>:
    <external-location-field-name>: <external-location-field-value>
Key Type Description
comment String Dış konumun kullanıcı tarafından sağlanan serbest biçimli metin açıklaması.
Databricks CLI sürüm 0.289.0'a eklendi
credential_name String Gerekli. Bu konumla kullanılan depolama kimlik bilgilerinin adı.
Databricks CLI sürüm 0.289.0'a eklendi
enable_file_events Boolean Bu dış konumda dosya olaylarının etkinleştirilip etkinleştirilmeyileceği. Varsayılan olarak true değerini alır. Gerçek uygulanan değer, sunucu tarafı varsayılanları nedeniyle farklılık gösterebilir. Geçerli durumu denetleyin effective_enable_file_events .
Databricks CLI sürüm 0.289.0'a eklendi
encryption_details Map Bulut depolamaya bağlanan istemciler için geçerli olan şifreleme seçenekleri. Bkz . external_location.encryption_details.
Databricks CLI sürüm 0.289.0'a eklendi
fallback Boolean Bu dış konum için geri dönüş modunun etkinleştirilip etkinleştirilmediğini gösterir. Geri dönüş modu etkinleştirildiğinde, Unity Kataloğu kimlik bilgileri yeterli değilse konuma erişim küme kimlik bilgilerine geri döner.
Databricks CLI sürüm 0.289.0'a eklendi
file_event_queue Map Bu dış konum için dosya olay kuyruğu ayarları. enable_file_eventsdeğilsefalse, bu anahtar tanımlanmalıdır ve belgelenmiş özelliklerden tam olarak birine sahip olmalıdır. Bkz . external_location.file_event_queue.
Databricks CLI sürüm 0.289.0'a eklendi
grants Sequence Dış konumla ilişkili izinler. Bkz. grant.
Databricks CLI sürüm 0.289.0'a eklendi
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 0.289.0'a eklendi
name String Gerekli. Dış konumun adı.
Databricks CLI sürüm 0.289.0'a eklendi
read_only Boolean Dış konumun salt okunur bir durumda olup olmadığını belirtir.
Databricks CLI sürüm 0.289.0'a eklendi
skip_validation Boolean Dış konumla ilişkili depolama kimlik bilgilerinin doğrulanması atlar.
Databricks CLI sürüm 0.289.0'a eklendi
url String Gerekli. Dış konumun yol URL'si.
Databricks CLI sürüm 0.289.0'a eklendi

external_location.encryption_details

Type: Map

Bulut depolamaya bağlanan istemciler için geçerli olan şifreleme seçenekleri.

Key Type Description
sse_encryption_details Map Amazon S3 ile iletişim kuran istemcilerin sunucu tarafı şifreleme özellikleri.

external_location.file_event_queue

Type: Map

Bu dış konum için dosya olay kuyruğu ayarları.

Key Type Description
managed_aqs Map Yönetilen Azure Kuyruk Depolama ayarları.
managed_pubsub Map Yönetilen Google Cloud Pub/Sub ayarları.
managed_sqs Map Yönetilen Amazon SQS ayarları.
provided_aqs Map Kullanıcı tarafından sağlanan Azure Kuyruk Depolama ayarları.
provided_pubsub Map Kullanıcı tarafından sağlanan Google Cloud Pub/Sub ayarları.
provided_sqs Map Kullanıcı tarafından sağlanan Amazon SQS ayarları.

Example

# databricks.yml
bundle:
  name: external-locations-example
  engine: direct # External locations require the direct deployment engine

resources:
  external_locations:
    my_external_location:
      name: my_external_location
      url: 's3://my-bucket/my-path'
      credential_name: my_storage_credential
      comment: 'External location created by Databricks Asset Bundles'
      grants:
        - principal: someone@example.com
          privileges:
            - CREATE_EXTERNAL_TABLE
            - READ_FILES

genie_space

Type: Map

Genie aracısı kaynağı, Genie aracılarını bir pakette tanımlamanızı sağlar. Genie aracıları hakkında daha fazla bilgi için bkz. Genie Agents.

Note

Genie aracılarını tanımlamak için Bildirim temelli Otomasyon Paketlerinin kullanılması yalnızca doğrudan dağıtım altyapısını kullanıyorsanız desteklenir.

Databricks CLI sürüm 1.3.0'a eklendi

genie_spaces:
  <genie_space-name>:
    <genie_space-field-name>: <genie_space-field-value>
Key Type Description
description String Genie aracısı açıklaması.
Databricks CLI sürüm 1.3.0'a eklendi
file_path String Girdi yerine sales_analytics.geniespace.json kullanılacak yerel dosyanın (örneğin, serialized_space) yolu.
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 1.3.0'a eklendi
parent_path String Genie aracısının kaydedileceği üst klasör yolu.
Databricks CLI sürüm 1.3.0'a eklendi
permissions Sequence Genie aracısı izinleri. Bkz. izinler.
Databricks CLI sürüm 1.3.0'a eklendi
serialized_space String Gerekli. Genie Aracısı'nın serileştirilmiş dize formundaki içeriği. Bu alan, alanın düzenini ve bileşenlerini temsil eden JSON dizesinin yapısını sağlar. belirtilirse file_path , üzerinde serialized_spacebir üstünlük alır.
Databricks CLI sürüm 1.3.0'a eklendi
title String Genie aracısı için isteğe bağlı bir başlık geçersiz kılma.
Databricks CLI sürüm 1.3.0'a eklendi
warehouse_id String Gerekli. Yeni alanla ilişkilendirilecek SQL ambarının kimliği.
Databricks CLI sürüm 1.3.0'a eklendi

Examples

Aşağıdaki örnek bir Genie aracısı kaynağını tanımlar:

# databricks.yml
bundle:
  name: nyc-taxi-genie
  engine: direct # genie_spaces require the direct deployment engine

resources:
  genie_spaces:
    nyc_taxi_genie:
      title: 'NYC Taxi Trip Analysis'
      description: 'Ask questions about NYC taxi trip data in natural language'
      warehouse_id: <warehouse-id>
      file_path: ./nyc_taxi_genie.geniespace.json
      permissions:
        - level: CAN_RUN
          group_name: users

nyc_taxi_genie.geniespace.json İlgili dosya, veri kaynakları, yönergeler ve örnek sorular da dahil olmak üzere alanın serileştirilmiş tanımını tutar. Bunun yerine anahtarda YAML'de serialized_space de belirtilebilir.

// nyc_taxi_genie.geniespace.json
{
  "version": 2,
  "config": {
    "sample_questions": [
      {
        "id": "11111111111111111111111111111111",
        "question": ["What is the average fare per trip?"]
      }
    ]
  },
  "data_sources": {
    "tables": [
      {
        "identifier": "samples.nyctaxi.trips",
        "column_configs": [
          { "column_name": "fare_amount" },
          { "column_name": "pickup_zip" },
          { "column_name": "tpep_pickup_datetime" },
          { "column_name": "trip_distance" }
        ]
      }
    ]
  },
  "instructions": {
    "text_instructions": [
      {
        "id": "22222222222222222222222222222222",
        "content": ["Fare amounts are in USD. When asked about revenue, use SUM(fare_amount)."]
      }
    ]
  }
}

instance_pool

Type: Map

instance_pool kaynağı, bir pakette örnek havuzlarını tanımlamanıza olanak tanır. Bir örnek havuzu, havuza bağlı kümelerin daha hızlı başlayıp ölçeklenmesi için boşta ve kullanıma hazır bulut örnekleri setini tutar. Örnek havuzlar hakkında bilgi için bkz. Havuzlara Bağlı.

Note

Deklarative Automation Bundles kullanarak örnek havuzlarını tanımlamak yalnızca doğrudan dağıtım motoru kullanıyorsanız desteklenir.

Databricks CLI sürüm 1.9.0'a eklendi

instance_pools:
  <instance_pool-name>:
    <instance_pool-field-name>: <instance_pool-field-value>
Key Type Description
aws_attributes Map Amazon Web Services'te çalışan örnek havuzlarıyla ilgili özellikler. Havuz oluşturulduğunda belirtilmediyse, varsayılan değerler seti kullanılır. Bkz. instance_pool.aws_attributes.
Databricks CLI sürüm 1.9.0'a eklendi
azure_attributes Map Azure üzerinde çalışan örnek havuzlarıyla ilgili öznitelikler. Havuz oluşturulduğunda belirtilmediyse, varsayılan değerler seti kullanılır. Bkz. instance_pool.azure_attributes.
Databricks CLI sürüm 1.9.0'a eklendi
custom_tags Map Havuz kaynakları için ek etiketler. Databricks, tüm havuz kaynaklarını (örneğin AWS örnekleri ve EBS hacimleri) bu etiketlerle etiketler.default_tags Databricks en fazla 45 özel etikete izin verir.
Databricks CLI sürüm 1.9.0'a eklendi
disk_spec Map Tüm Spark konteynerlerine bağlanacak disklerin spesifikasyonu. Bkz. instance_pool.disk_spec.
Databricks CLI sürüm 1.9.0'a eklendi
enable_elastic_disk Boolean Yerel depolamanın otomatik ölçeklendirilmesi: etkinleştirildiğinde, bu havuzdaki örnekler Spark çalışanlarının disk alanı azaldığında dinamik olarak ek disk alanı kazanır. AWS'de bu özellik doğru çalışması için özel AWS izinleri gerektirir.
Databricks CLI sürüm 1.9.0'a eklendi
gcp_attributes Map Google Cloud Platform üzerinde çalışan örnek havuzlarıyla ilgili nitelikler. Havuz oluşturulduğunda belirtilmediyse, varsayılan değerler seti kullanılır. Bkz. instance_pool.gcp_attributes.
Databricks CLI sürüm 1.9.0'a eklendi
idle_instance_autotermination_minutes Integer Havuzdaki ekstra örnekler, bu süre için etkin olmayan durumda olduktan sonra otomatik olarak birkaç dakika içinde sonlandırır, eğer gereksinim min_idle_instances zaten karşılanmışsa. Ayarlanmazsa, ekstra havuz örnekleri varsayılan zaman aşımından sonra otomatik olarak sonlandırılır. Belirtilmişse, eşik dakika ile 0 dakika arasında 10000 olmalıdır. Bu değeri 0 , minimum önbellek boyutu hâlâ tutulabiliyorsa boşta olan örnekleri önbellekten anında kaldıracak şekilde ayarlayın.
Databricks CLI sürüm 1.9.0'a eklendi
instance_pool_name String Gerekli. Havuz adı. Havuz adı benzersiz olmalı ve uzunluğu 1 ile 100 karakter arasında olmalıdır.
Databricks CLI sürüm 1.9.0'a eklendi
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 1.9.0'a eklendi
max_capacity Integer Havuzda tutulan maksimum açık örnekler sayısı, hem kümeler hem de boşta olanlar tarafından kullanılan örnekler dahil. Daha fazla örnek sağlama gerektiren kümeler, upsize talepleri sırasında başarısız olur.
Databricks CLI sürüm 1.9.0'a eklendi
min_idle_instances Integer Instance havuzunda tutulacak minimum boşta instance sayısı.
Databricks CLI sürüm 1.9.0'a eklendi
node_type_flexibility Map Havuz için esnek düğüm tipi yapılandırma. Bkz. instance_pool.node_type_flexibility.
Databricks CLI sürüm 1.9.0'a eklendi
node_type_id String Gerekli. Bu alan, bu havuzu kullanan kümelerdeki her bir Spark düğümüne sunulan kaynakları tek bir değer aracılığıyla kodlar. Örneğin Spark düğümleri bellek veya işlem yoğunluklu iş yükleri için sağlanabilir ve iyileştirilebilir. Kullanılabilir düğüm türlerinin listesi , Liste düğümü türleri API'sini kullanarak alınabilir.
Databricks CLI sürüm 1.9.0'a eklendi
permissions Sequence Örnek havuzu izinleri. İzin verilen seviyeler CAN_MANAGE ve CAN_ATTACH_TO. Bkz. izinler.
Databricks CLI sürüm 1.9.0'a eklendi
preloaded_docker_images Sequence Havuz örneklerine ön yükleme için özel Docker görüntüleri. Bkz. instance_pool.preloaded_docker_images.
Databricks CLI sürüm 1.9.0'a eklendi
preloaded_spark_versions Sequence Havuz için en fazla bir ön yüklenmiş Spark görüntü versiyonunu içeren bir liste. Havuz destekli kümeler, önceden yüklenmiş Spark sürümüyle başlarken daha hızlı başlar. Kullanılabilir Spark sürümlerinin listesi Kullanılabilir Spark sürümlerini listeleme API'sini kullanarak alınabilir.
Databricks CLI sürüm 1.9.0'a eklendi
remote_disk_throughput Integer Uzak disk için yapılandırılabilir veri ceri, saniyede MB cinsinden. Şu anda sadece GCP HYPERDISK_BALANCED tipleri için destekleniyor.
Databricks CLI sürüm 1.9.0'a eklendi
total_initial_remote_disk_size Integer Uzak disklerin toplam başlangıç hacim boyutu, GB cinsinden. Şu anda sadece GCP HYPERDISK_BALANCED tipleri için destekleniyor.
Databricks CLI sürüm 1.9.0'a eklendi

instance_pool.aws_attributes

Type: Map

Amazon Web Services'te çalışan örnek havuzlarıyla ilgili özellikler. Havuz oluşturulduğunda belirtilmediyse, varsayılan değerler seti kullanılır.

Databricks CLI sürüm 1.9.0'a eklendi

Key Type Description
availability String Spot düğümler için kullanılan kullanılabilirlik türü. Geçerli değerler: SPOT ve ON_DEMAND.
Databricks CLI sürüm 1.9.0'a eklendi
instance_profile_arn String (Beta) Örnek havuzuna ait tüm AWS örnekleri bu örnek profiline sahiptir. Eğer atlanırsa, örnekler başlangıçta çalışma alanının varsayılan örnek profiliyle başlatılır. Tanımlanmışsa, havuzu kullanan kümeler örnek profilini devralır ve küme oluşturulduğunda veya güncellemede kendi örnek profillerini belirtmemelidir. Havuz bir örnek profili belirtmiyorsa, havuzu kullanan kümeler herhangi bir örnek profilini belirtebilir. Örnek profili, daha önce bir hesap yöneticisi tarafından Databricks ortamına eklenmiş olmalıdır. Bu özellik yalnızca belirli müşteri planları için mevcut olabilir.
Databricks CLI sürüm 1.9.0'a eklendi
spot_bid_price_percent Integer AWS spot örnekleri için teklif fiyatını, ilgili örnek türünün talep üzerine fiyatının yüzdesi olarak hesaplar. Örneğin, bu alan ayarlanmışsa 50 ve havuz yeni r3.xlarge bir spot instance gerektiriyorsa, teklif fiyatı talep üzerine bir r3.xlarge örnekin yarısı kadar olur. Belirtilmezse, varsayılan değer olur 100. Bu alan ise .10000
Databricks CLI sürüm 1.9.0'a eklendi
zone_id String Havuzun bulunduğu erişilebilirlik bölgesi/veri merkezi için tanımlayıcı, örneğin us-west-2a. Sağlanan erişilebilirlik bölgesi, Databricks dağıtımıyla aynı bölgede olmalıdır. Bu isteğe bağlı bir alan olup belirtilmediyse varsayılan bir bölge kullanılır. Mevcut bölgelerin listesi ve varsayılan değer, List zones API'si kullanılarak bulunabilir.
Databricks CLI sürüm 1.9.0'a eklendi

instance_pool.azure_attributes

Type: Map

Azure üzerinde çalışan örnek havuzlarıyla ilgili öznitelikler. Havuz oluşturulduğunda belirtilmediyse, varsayılan değerler seti kullanılır.

Databricks CLI sürüm 1.9.0'a eklendi

Key Type Description
availability String Spot düğümler için kullanılan kullanılabilirlik türü. Geçerli değerler: SPOT_AZURE ve ON_DEMAND_AZURE.
Databricks CLI sürüm 1.9.0'a eklendi
capacity_reservation_group String Bu havuzda VM'leri başlatmak için kullanılacak Azure kapasite rezervasyon grup kaynak kimliği. Belirtildiğinde, VM'ler sağlanan kapasite rezervasyonu kullanılarak başlatılır. Bu alanı çıkarmak, havuzdaki mevcut yapılandırılmış kapasite rezervasyon gruplarını temizler.
Kapasite rezervasyonları yalnızca çalışma alanı enjekte edilmiş bir VNet (Databricks tarafından yönetilmeyen müşteri tanımlı bir VNet) kullandığında belirtilebilir. Kurumsal Uygulamaya databricks-login-prod aşağıdaki dört yetki verilmelidir:
  • Microsoft.Compute/capacityReservationGroups/read
  • Microsoft.Compute/capacityReservationGroups/deploy/action
  • Microsoft.Compute/capacityReservationGroups/capacityReservations/read
  • Microsoft.Compute/capacityReservationGroups/capacityReservations/deploy/action

/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.Compute/capacityReservationGroups/{capacityReservationGroupName} biçimini kullanın.
Databricks CLI sürüm 1.9.0'a eklendi
spot_bid_max_price Sayı Azure spot örnekleri için maksimum fiyat, ABD doları (USD) cinsinden. Örneğin, değer 2 saatlik maksimum 2,00 USD fiyat belirler. Maksimum fiyatı -1 ayarlayın ki VM fiyata göre tahliye edilmesin. VM için fiyat, kapasite ve kota mevcut olduğu sürece spot fiyatı veya standart bir VM fiyatıdır; hangisi daha azdırsa.
Databricks CLI sürüm 1.9.0'a eklendi

instance_pool.disk_spec

Type: Map

Tüm Spark konteynerlerine bağlanacak disklerin spesifikasyonu.

Databricks CLI sürüm 1.9.0'a eklendi

Key Type Description
disk_count Integer Her örnek için başlatılan disk sayısı. Bu özellik yalnızca desteklenen düğüm tipleri için etkinleştirilir ve düğüm tipinin desteklediği disklerin sınırına kadar seçim yapabilirsiniz. OS diski olmayan düğüm tipleri için en az bir disk belirtilmelidir, aksi takdirde küme oluşturma başarısız olur.
Diskler bağlıysa, Databricks Spark'ı yalnızca çizik depolama için diskleri kullanacak şekilde yapılandırır, çünkü heterojen boyutlu çizme cihazları verimsiz disk kullanımına yol açabilir. Eğer hiç disk bağlanmadıysa, Databricks Spark'ı instance store disklerini kullanacak şekilde yapılandırır. Diskler belirtilmişse, Spark yapılandırması spark.local.dir geçersiz hale getirilir.
Diskler AWS için , /ebs0, ve benzeri yerlere monte /ebs1edilir, /remote_volume0Azure için ise , /remote_volume1, ve bu şekilde devam eder.
Databricks CLI sürüm 1.9.0'a eklendi
disk_iops Integer Her bağlı disk için sağlanacak IOPS sayısı.
Databricks CLI sürüm 1.9.0'a eklendi
disk_size Integer Her disk boyutu, GiB'de, her örnek için başlatılır. Değerler, belirli bir örnek türü için desteklenen aralıkta olmalıdır. AWS için genel amaçlı SSD 100–4096 GiB, veri verimiyle optimize edilmiş HDD ise 500–4096 GiB'dir. Azure için, Premium LRS (SSD) 1–1023 GiB ve Standard LRS (HDD) 1–1023 GiB'dir.
Databricks CLI sürüm 1.9.0'a eklendi
disk_throughput Integer Her bağlı disk için sağlanacak disk akış hızı, saniyede MB cinsinden.
Databricks CLI sürüm 1.9.0'a eklendi
disk_type Map Havuz örnekleriyle başlatılacak disk türü. Ya azure_disk_volume_type (geçerli değerler PREMIUM_LRS ve STANDARD_LRS) ya ebs_volume_type da (geçerli değerler GENERAL_PURPOSE_SSD ve ) THROUGHPUT_OPTIMIZED_HDDile ayarlayın.
Databricks CLI sürüm 1.9.0'a eklendi

instance_pool.gcp_attributes

Type: Map

Google Cloud Platform üzerinde çalışan örnek havuzlarıyla ilgili nitelikler. Havuz oluşturulduğunda belirtilmediyse, varsayılan değerler seti kullanılır.

Databricks CLI sürüm 1.9.0'a eklendi

Key Type Description
gcp_availability String Örnek havuzunun önemlenebilir VM'ler, talep üzerine VM'ler veya talep üzeri VM'ler içerip içermediğini, ilki mevcut değilse talep üzerine VM'lere geri dönüş seçeneği olduğunu belirler. Geçerli değerler: PREEMPTIBLE_GCP, ON_DEMAND_GCP ve PREEMPTIBLE_WITH_FALLBACK_GCP.
Databricks CLI sürüm 1.9.0'a eklendi
local_ssd_count Integer Sağlanırsa, instance havuzundaki her düğümde bu sayıda yerel SSD bulunur. Her yerel SSD 375 GB boyutunda. Her örnek türü için desteklenen yerel SSD sayısı için GCP dokümantasyonuna bakınız.
Databricks CLI sürüm 1.9.0'a eklendi
zone_id String Havuzun bulunduğu erişilebilirlik bölgesi/veri merkezi için tanımlayıcı, örneğin us-west1-a. Sağlanan erişilebilirlik bölgesi, Databricks çalışma alanı ile aynı bölgede olmalıdır. Bu isteğe bağlı bir alan olup belirtilmediyse varsayılan bir bölge kullanılır. Bu alanı HA yüksek erişilebilirlik için ayarlayın; bu da düğümleri Databricks dağıtım bölgesi için kullanılabilirlik bölgelerine veya makine türü ve bölgesi için mevcut bölgelerden birine yayar. Boşsa, Databricks bir kullanılabilirlik bölgesi seçer.
Databricks CLI sürüm 1.9.0'a eklendi

instance_pool.node_type_flexibility

Type: Map

Havuz için esnek düğüm tipi yapılandırma.

Databricks CLI sürüm 1.9.0'a eklendi

Key Type Description
alternate_node_type_ids Sequence Birincil düğüm türü kullanılamadığında geri dönüş olarak kullanılacak düğüm türü kimliklerinin listesi.
Databricks CLI sürüm 1.9.0'a eklendi

instance_pool.preloaded_docker_images

Type: Sequence

Havuz örneklerine ön yükleme için özel Docker görüntüleri.

Databricks CLI sürüm 1.9.0'a eklendi

Key Type Description
basic_auth Map Docker deposu için temel kimlik doğrulaması. username ve password ayarlayın.
Databricks CLI sürüm 1.9.0'a eklendi
url String Docker görselinin URL'si.
Databricks CLI sürüm 1.9.0'a eklendi

Example

Aşağıdaki örnek, bir örnek havuzunu ve bunu kullanan bir kümeyi tanımlar:

resources:
  instance_pools:
    my_pool:
      instance_pool_name: my-pool
      node_type_id: i3.xlarge
      min_idle_instances: 2
      max_capacity: 10
      idle_instance_autotermination_minutes: 15
      preloaded_spark_versions:
        - '15.4.x-scala2.12'

  clusters:
    my_cluster:
      cluster_name: my-cluster
      instance_pool_id: ${resources.instance_pools.my_pool.id}
      spark_version: '15.4.x-scala2.12'
      num_workers: 2

görevi

Type: Map

İşler bildirim temelli Otomasyon Paketleri için Python desteklenir. Bkz. databricks.bundles.jobs.

İş kaynağı, paketlerinizde işleri ve buna karşılık gelen görevleri tanımlamanızı sağlar.

İşler hakkında bilgi için bkz. Lakeflow İşleri. İş oluşturmak için Bildirim temelli Otomasyon Paketleri şablonu kullanan bir öğretici için bkz. Bildirim temelli Otomasyon Paketleri ile iş geliştirme.

jobs:
  <job-name>:
    <job-field-name>: <job-field-value>
Key Type Description
budget_policy_id String Bu iş için kullanılacak, kullanıcı tarafından belirlenen bütçe politikasının ID'si. Belirtilmezse, işi oluştururken veya değiştirirken varsayılan bir bütçe ilkesi uygulanabilir. Bu iş yükü tarafından kullanılan bütçe ilkesi için bkz effective_budget_policy_id .
Databricks CLI sürüm 0.231.0'a eklendi
continuous Map Bu iş için isteğe bağlı bir sürekli özellik. Sürekli özelliği, her zaman bir çalıştırma yürütmesi olmasını sağlar. schedule ve continuous'den yalnızca biri kullanılabilir. Bkz. sürekli.
deployment Map Dış kaynaklar tarafından yönetilen işler için dağıtım bilgileri. Bkz. dağıtım.
description String İş için isteğe bağlı bir açıklama. UTF-8 kodlamasında uzunluk üst sınırı 27700 karakterdir.
email_notifications Map Bu işin çalıştırmaları başladığında veya tamamlandığında ve bu iş silindiğinde bildirim alan isteğe bağlı bir e-posta adresleri kümesi. bkz. email_notifications.
environments Sequence Bu işin sunucusuz görevleri tarafından başvurulabilecek görev yürütme ortamı belirtimlerinin listesi. Sunucusuz görevler için bir ortamın mevcut olması gerekir. Sunucusuz not defteri görevleri için, ortama not defteri ortam panelinden erişilebilir. Diğer sunucusuz görevler için görev ortamının görev ayarlarındaki environment_key kullanılarak belirtilmesi gerekir. Bkz. ortamlar.
format String Deprecated. İşin biçimi.
git_source Map Görevler tarafından kullanılan kaynak kodunu içeren uzak Git deposu için isteğe bağlı belirtim. Bkz. job.git_source.
Önemli:git_source olarak ayarlanan source alanı ve GIT görev alanı paketler için önerilmez, çünkü yerel göreli yollar Git deposundaki aynı içeriğe işaret etmeyebilir ve paketler, dağıtılan işin, dağıtıldığı yerden alınan yerel kopyayla aynı içeriğe sahip olmasını bekler.
Bunun yerine, depoyu yerel olarak kopyalayın ve paket projenizi bu depo içinde ayarlayın; böylece görevlerin kaynağı çalışma alanıdır.
health Map Bu görev için tanımlanabilen isteğe bağlı bir sağlık kuralları kümesi. Bkz. sağlık.
job_clusters Sequence Bu işin görevleri tarafından paylaşılabilen ve yeniden kullanılabilen iş kümesi belirtimlerinin listesi. Bkz. job_clusters.
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 0.268.0'a eklendi
max_concurrent_runs Integer Opsiyonel olarak izin verilen maksimum eşzamanlı iş yürütme sayısı. Aynı işin birden çok çalıştırmasını eşzamanlı olarak yürütebilmek istiyorsanız bu değeri ayarlayın.
name String İş için isteğe bağlı bir ad. UTF-8 kodlamasında uzunluk üst sınırı 4096 bayttır.
notification_settings Map Bu iş için email_notifications ve webhook_notifications her birine bildirim gönderirken kullanılan isteğe bağlı bildirim ayarları. Bkz. notification_settings.
parameters Sequence İş düzeyi parametre tanımları. Bkz . job.parameters.
performance_target String Sunucusuz çalıştırmanın yürütülmesinin ne kadar yüksek performanslı veya maliyet açısından verimli olması gerektiğini tanımlar.
Databricks CLI sürüm 0.241.0'a eklendi
permissions Sequence İşin yetkileri. Bkz. izinler.
queue Map İşin kuyruk ayarları. Bkz. kuyruk.
run_as Map İşin çalıştığı kullanıcı veya hizmet prensibi. Bu alan, iş için açık yapılandırmayı run_as gösterir. Belirtilmezse, iş, işi oluşturan kullanıcı olarak çalışır. veya user_nameservice_principal_name belirtilmelidir. Aksi takdirde bir hata oluşur. Bkz. run_as.
schedule Map Bu iş için isteğe bağlı bir düzenli zamanlama. Varsayılan davranış, işin yalnızca İşler kullanıcı arabiriminde "Şimdi Çalıştır" seçeneğine tıklayarak veya öğesine runNowbir API isteği göndererek tetiklendiğinde çalışmasıdır. Bkz. zamanlama.
tags Map İşle ilişkili etiketlerin haritası. Bunlar, iş kümeleri için küme etiketleri olarak kümeye iletilir ve küme etiketleriyle aynı sınırlamalara tabidir. İşe en fazla 25 etiket eklenebilir.
tasks Sequence Bu işin gerçekleştireceği görev tanımlarının listesi. Bkz. Bildirim temelli Otomasyon Paketlerinde işlere görev ekleme.
Databricks CLI sürüm 0.237.0'a eklendi
timeout_seconds Integer Her çalıştırmada bu işe isteğe bağlı bir zaman aşımı uygulanır. değeri 0 zaman aşımı olmadığı anlamına gelir.
trigger Map Belirli koşullar karşılandığında çalıştırmayı tetikleyen bir yapılandırma. Bkz. tetikleyici.
usage_policy_id String Bu iş için kullanılacak sunucusuz kullanım ilkesinin kimliği.
Databricks CLI sürüm 0.273.0'a eklendi
webhook_notifications Map Bu işin çalıştırmaları başladığında veya tamamlandığında bildirimde bulunacak sistem bildirim kimlikleri koleksiyonu. Bkz. webhook_notifications.

job.sürekli

Type: Map

Sürekli iş yürütme yapılandırması.

Key Type Description
pause_status String Sürekli işin duraklatılıp duraklatılmadığı durumu. Geçerli değerler: PAUSED, UNPAUSED.
task_retry_mode String Devam eden işin görev düzeyi yeniden denemelerini nasıl uyguladığını belirtin. Geçerli değerler: NEVER ve ON_FAILURE. Varsayılan olarak NEVER değerini alır.

iş.dağıtım

Type: Map

Dış kaynaklar tarafından yönetilen işler için dağıtım bilgileri.

Key Type Description
kind String Dağıtım türü. Örneğin, BUNDLE.
metadata_file_path String Dağıtım için meta veri dosyasının yolu.

iş.email_bildirimleri

Type: Map

İş çalıştırmaları için e-posta bildirim ayarları.

Key Type Description
on_start Sequence Bir çalıştırma başlatıldığında bildirilmesi gereken e-posta adreslerinin listesi.
on_success Sequence Bir çalıştırma başarılı olduğunda bildirilmesi gereken e-posta adreslerinin listesi.
on_failure Sequence Çalıştırma başarısız olduğunda bildirilmesi gereken e-posta adreslerinin listesi.
on_duration_warning_threshold_exceeded Sequence Çalışma süresi uyarı eşiğini aştığında bildirilmesi gereken e-posta adreslerinin listesi.
no_alert_for_skipped_runs Boolean Atlanan çalıştırmalar için uyarı göndermeyi atlayıp atlamamayı seçin.
on_streaming_backlog_exceeded Sequence Herhangi bir akış için akış kapsamı eşikleri aşıldığında bildirilmesi gereken e-posta adreslerinin listesi. Akış kapsamı eşikleri, alanında şu ölçümler kullanılarak ayarlanabilir health : STREAMING_BACKLOG_BYTES, STREAMING_BACKLOG_RECORDS, STREAMING_BACKLOG_SECONDSveya STREAMING_BACKLOG_FILES. Uyarı, bu ölçümlerin 10 dakikalık ortalamasını temel alır. Sorun devam ederse bildirimler her 30 dakikada bir yeniden oluşturulur.

iş.ortamları

Type: Sequence

Bir işin sunucusuz görevleri tarafından başvurulabilen görev yürütme ortamı belirtimlerinin listesi.

Listedeki her öğe bir JobEnvironment:

Key Type Description
environment_key String Bir ortamın anahtarı. Bir iş içinde benzersiz olmalıdır.
spec Map Sunucusuz bir ortamı temsil eden varlık. Bkz . job.environments.spec.

job.environments.spec

Type: Map

Sunucusuz bir ortamı temsil eden varlık.

Key Type Description
client String Deprecated. İstemci sürümü.
dependencies Sequence Bu ortamda pip sürümü tarafından desteklenen pip bağımlılıklarının listesi.
environment_version String Gerekli. Ortam tarafından kullanılan ortam sürümü. Her sürüm belirli bir Python sürümü ve bir dizi Python paketiyle birlikte gelir. Sürüm, tamsayıdan oluşan bir dizedir.

job.git_kaynağı

Type: Map

İş kaynak kodu için Git deposu yapılandırması.

Key Type Description
git_branch String Bu iş tarafından kullanıma alınıp kullanılacak dalın adı. Bu alan veya git_tagile git_commit birlikte belirtilemez.
git_commit String Bu iş tarafından kullanıma alınması ve kullanılması için işleyin. Bu alan veya git_branchile git_tag birlikte belirtilemez.
git_provider String Git deposunu barındırmak için kullanılan hizmetin benzersiz tanımlayıcısı. Değer büyük/küçük harfe duyarlı değildir. Geçerli değerler: gitHub, bitbucketCloud, gitLab, azureDevOpsServices, gitHubEnterprise, bitbucketServer, gitLabEnterpriseEdition.
git_snapshot Map İşin çalıştırıldığı sırada uzak deponun salt okunur durumu. Bu alan yalnızca iş çalıştırmalarına dahil edilir. Bkz. git_snapshot.
git_tag String Bu iş tarafından kullanıma alınıp kullanılacak etiketin adı. Bu alan veya git_branchile git_commit birlikte belirtilemez.
git_url String Bu iş tarafından kopyalanacak deponun URL'si.
sparse_checkout Map Git deposu için seyrek kullanıma alma yapılandırması. Bkz . job.git_source.sparse_checkout.
Databricks CLI sürüm 0.290.0'a eklendi

job.git_source.sparse_checkout

Type: Map

Git deposu için seyrek kullanıma alma yapılandırması.

Databricks CLI sürüm 0.290.0'a eklendi

Key Type Description
patterns Sequence Seyrek kullanıma alma için dahil edilen desenlerin listesi.
Databricks CLI sürüm 0.290.0'a eklendi

job.git_source.git_snapshot

Type: Map

Salt okunur taahhüt bilgisi anlık görüntüsü.

Key Type Description
used_commit String Çalıştırmayı yürütmek için kullanılan işleme. Belirtildiyse git_branch, bu, çalıştırma sırasındaki dalın KAFASI'na işaret eder; belirtildiyse git_tag, etiketin işaret ettiği commit'e işaret eder.

iş.sağlık

Type: Map

İş için sağlık izleme yapılandırması.

Key Type Description
rules Sequence İş sağlığı kurallarının listesi. Her kural bir metric ve op (işleç) ve valueiçerir. Bkz. job.health.rules.

iş.sağlık.kuralları

Type: Sequence

İş sağlığı kurallarının listesi.

Listedeki her öğe bir JobHealthRule:

Key Type Description
metric String Belirli bir sağlık kuralı için değerlendirilen sağlık ölçümünü belirtir.
  • RUN_DURATION_SECONDS: Bir çalıştırma için beklenen toplam süre saniye cinsindendir.
  • STREAMING_BACKLOG_BYTES: Tüm akışlarda tüketilmeyi bekleyen maksimum veri baytlarının tahmini. Bu ölçüm Genel Önizleme aşamasındadır.
  • STREAMING_BACKLOG_RECORDS: Tüm akışlarda azami göreli gecikme için bir tahmin. Bu ölçüm Genel Önizleme aşamasındadır.
  • STREAMING_BACKLOG_SECONDS: Tüm akışlar arasında maksimum kullanıcı bekleme süresinin tahmini. Bu ölçüm Genel Önizleme aşamasındadır.
  • STREAMING_BACKLOG_FILES: Tüm akışlardaki maksimum beklemede olan dosya sayısı tahmini. Bu ölçüm Genel Önizleme aşamasındadır.
op String Sistem durumu ölçüm değerini belirtilen eşikle karşılaştırmak için kullanılan işleci belirtir.
value Integer Sistem durumu ölçümünü sistem durumu kuralını karşılamak için uyması gereken eşik değerini belirtir.

iş.görev_kümeleri

Type: Sequence

Bu işin görevleri tarafından paylaşılabilen ve yeniden kullanılabilen iş kümesi belirtimlerinin listesi. Kitaplıklar paylaşılan bir iş kümesinde bildirilemez. Görev ayarlarında bağımlı kitaplıkları bildirmeniz gerekir.

Listedeki her öğe bir JobCluster:

Key Type Description
job_cluster_key String İş kümesi için benzersiz bir ad. Bu alan gereklidir ve proje içinde benzersiz olmalıdır. JobTaskSettings görev yürütme için hangi kümenin başlatıldığını belirlemek için bu alana başvurabilir.
new_cluster Map new_cluster, her görev için oluşturulan kümenin açıklaması. Bkz. küme.

iş. bildirim_ayarları

Type: Map

İş için tüm bildirimlere uygulanan bildirim ayarları.

Key Type Description
no_alert_for_skipped_runs Boolean Atlanan çalıştırmalar için uyarı göndermeyi atlayıp atlamamayı seçin.
no_alert_for_canceled_runs Boolean İptal edilen çalıştırmalar için uyarı gönderme işleminin atlanıp atlanmayacağı.

job.parametreler

Type: Sequence

İş parametresi tanımlarının listesi.

Listedeki her öğe bir JobParameter:

Key Type Description
default String Gerekli. Parametrenin varsayılan değeri( örneğin, "kullanıcılar").
name String Gerekli. Tanımlı parametrenin adı( örneğin, "tablo"). Geçerli değerler yalnızca , _ve -alfasayısal karakterler .içerir.

iş.kuyruğu

Type: Map

İş için sıra ayarları.

Key Type Description
enabled Boolean İş için kuyruğa alma özelliğinin etkinleştirilip etkinleştirilmeyileceği.

iş.planı

Type: Map

Düzenli iş yürütme için yapılandırmayı zamanlayın.

Key Type Description
quartz_cron_expression String Quartz söz dizimini kullanan bir Cron ifadesi, işin ne zaman çalıştırılacağını belirtir. Örneğin, 0 0 9 * * ? işi her gün 09:00 UTC'de çalıştırır.
timezone_id String Program için saat dilimi. Örneğin, America/Los_Angeles veya UTC.
pause_status String Programın duraklatılıp duraklatılmadığı konusunda bir durum var mı? Geçerli değerler: PAUSED, UNPAUSED.

iş.tetikleyici

Type: Map

Olay temelli iş yürütme için tetikleyici yapılandırması.

Key Type Description
file_arrival Map Dosya gelişine göre tetikleme. Bkz. file_arrival.
table Map Tabloya dayalı tetikleyici. Tabloya bakın.
table_update Map Tablo güncelleştirmelerini temel alan tetikleyici. Bkz. table_update.
periodic Map Periyodik tetikleyici. Bkz. periyodik.
pause_status String Tetikleyicinin duraklatılmış olup olmadığına bakar. Geçerli değerler: PAUSED, UNPAUSED.

iş.tetikleyici.dosya_gelmesi

Type: Map

Dosya gelişine göre yapılandırmayı tetikleyin.

Key Type Description
url String Yeni dosyalar için izlenecek dosya yolu.
min_time_between_triggers_seconds Integer Tetikleyici olayları arasındaki saniye cinsinden minimum süre.
wait_after_last_change_seconds Integer Tetiklemeden önce son dosya değişikliğinden sonraki saniye cinsinden bekleme süresi.

iş.tetikleyici.tablo

Type: Map

Tabloyu temel alan yapılandırmayı tetikleme.

Key Type Description
table_names Sequence İzlenecek tablo adlarının listesi.
condition String İşi tetikleyebilmek için karşılanması gereken SQL koşulu.

iş.tetikleyici.tablo_güncelleme

Type: Map

Tablo güncelleştirmelerini temel alan yapılandırmayı tetikleyin.

Key Type Description
table_names Sequence Güncelleştirmeler için izlenecek tablo adlarının listesi.
condition String İşi tetikleyebilmek için karşılanması gereken SQL koşulu.
wait_after_last_change_seconds Integer Tetiklemeden önce son tablo güncelleştirmesinin ardından saniye cinsinden bekleme süresi.

iş.tetikleyici.periyodik

Type: Map

Periyodik tetikleyici yapılandırması.

Key Type Description
interval Integer Periyodik tetikleyici için aralık değeri.
unit String Aralık için zaman birimi. Geçerli değerler: HOURS, DAYS, WEEKS.

job.webhook_bildirimleri

Type: Map

İş çalıştırmaları için webhook bildirim ayarları.

Key Type Description
on_start Sequence Çalıştırma başlatıldığında bildirilmesi gereken web kancası bildirim kimliklerinin listesi.
on_success Sequence Başarılı bir çalıştırma gerçekleştiğinde bildirilmesi gereken web kancası bildirim kimliklerinin listesi.
on_failure Sequence Çalışma (işlem) başarısız olduğunda bildirimde bulunulması gereken webhook bildirim kimliklerinin listesi.
on_duration_warning_threshold_exceeded Sequence Bir çalıştırma süresi uyarı eşiğini aştığında bildirilmesi gereken web kancası bildirim kimliklerinin listesi.
on_streaming_backlog_exceeded Sequence Herhangi bir akış için akış kapsamı eşikleri aşıldığında çağrılacak sistem bildirim kimliklerinin listesi. Akış kapsamı eşikleri, alanında şu ölçümler kullanılarak ayarlanabilir health : STREAMING_BACKLOG_BYTES, STREAMING_BACKLOG_RECORDS, STREAMING_BACKLOG_SECONDSveya STREAMING_BACKLOG_FILES. Uyarı, bu ölçümlerin 10 dakikalık ortalamasını temel alır. Sorun devam ederse bildirimler her 30 dakikada bir yeniden oluşturulur. En fazla 3 hedef belirtilebilir.

Examples

Aşağıdaki örnek, bir not defteri göreviyle hello-job kaynak anahtarına sahip bir işi tanımlar:

resources:
  jobs:
    hello-job:
      name: hello-job
      tasks:
        - task_key: hello-task
          notebook_task:
            notebook_path: ./hello.py

Aşağıdaki örnek, SQL not defterine sahip bir işi tanımlar:

resources:
  jobs:
    job_with_sql_notebook:
      name: 'Job to demonstrate using a SQL notebook with a SQL warehouse'
      tasks:
        - task_key: notebook
          notebook_task:
            notebook_path: ./select.sql
            warehouse_id: 799f096837fzzzz4

Ek iş yapılandırma örnekleri için bkz. İş yapılandırması.

İş görevlerini tanımlama ve iş ayarlarını geçersiz kılma hakkında bilgi için bkz:

job_run

Type: Map

job_run kaynağı, paket dağıtımının bir parçası olarak mevcut bir işi çalıştırır. İş tanımlayan bir işin aksine, bir iş çalıştırma işlemi var olan işi ID ile referans verir.

Note

İş çalıştırmalarını tanımlamak için Deklarative Automation Bundles kullanmak yalnızca doğrudan dağıtım motoru kullanıyorsanız desteklenir.

Databricks CLI sürüm 1.7.0'a eklendi

job_runs:
  <job_run-name>:
    <job_run-field-name>: <job_run-field-value>
Key Type Description
job_id Integer Gerekli. Çalıştırılacak işin ID'si.
Databricks CLI sürüm 1.7.0'a eklendi
job_parameters Map Çalışmada kullanılan iş seviyesi parametreleri, örneğin param: overriding_val.
Databricks CLI sürüm 1.7.0'a eklendi
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 1.7.0'a eklendi
only Sequence İşin içinde çalıştırılacak görev anahtarlarının listesi. Bu alan sağlanmazsa, işteki tüm görevler çalıştırılır.
Bir görev anahtarına yukarı akış görevlerini çalıştırmak için ile + önek, ya da aşağı akış görevlerini çalıştırmak için ek ekleyin + . Örneğin, +my_task koşular my_task ve yukarısındaki her şey, my_task+ koşular my_task ve aşağısındaki her şey, ikisi +my_task+ de çalışıyor. Görev anahtarı sadece o görevi çalıştırıyor.+
Databricks CLI sürüm 1.7.0'a eklendi
performance_target String Sunucusuz bir işteki performans modu. Performans hedefi, çalışma için hesaplama performansı veya maliyet verimliliği seviyesini belirler ve iş seviyesinde tanımlanan performans hedefini geçersiz kılar. Geçerli değerler STANDARD, sunucusuz iş yüklerinin maliyet etkin bir şekilde yürütülmesini sağlar ve PERFORMANCE_OPTIMIZED, hızlı ölçeklendirme ve optimize küme performansı sayesinde hızlı başlatma ve yürütme sürelerini önceliklendirir.
Databricks CLI sürüm 1.7.0'a eklendi
pipeline_params Map Bir boru hattı görevi için yenileme ayarları. Bkz. job_run.pipeline_params.
Databricks CLI sürüm 1.7.0'a eklendi
queue Map Koşunun kuyruk ayarları. Koşu için kuyruk etkinleştirmek için ayarlandı enabledtrue .
Databricks CLI sürüm 1.7.0'a eklendi

job_run.pipeline_params

Type: Map

Bir boru hattı görevi için yenileme ayarları.

Databricks CLI sürüm 1.7.0'a eklendi

Key Type Description
full_refresh Boolean Spark deklaratif boru hattında tam bir yenileme başlatıp başlatılmaması mı?
Databricks CLI sürüm 1.7.0'a eklendi
full_refresh_selection Sequence (Beta) Tam yenilemeyle güncellenecek tablolar listesi.
Databricks CLI sürüm 1.7.0'a eklendi
refresh_flow_selection Sequence (Beta) Akış isimleri seçici olarak yenilenir. Bunlar, diğer seçici yenileme seçenekleriyle refresh_selection birleştirilir ve full_refresh_selection, nihai yenilenecek akış setini belirlemek için.
Databricks CLI sürüm 1.7.0'a eklendi
refresh_selection Sequence (Beta) Tam yenileme olmadan güncellenecek tabloların listesi.
Databricks CLI sürüm 1.7.0'a eklendi
reset_checkpoint_selection Sequence (Beta) Veri temizlemeden kontrol noktalarını sıfırlayabileceğiniz akış akışlarının bir listesi.
Databricks CLI sürüm 1.7.0'a eklendi

Example

Aşağıdaki örnek, mevcut bir işi çalıştırmayı tetikler, bir iş parametresini geçersiz kılarak koşuyu tek bir görev ve onun üst akışındaki görevlerle sınırlar:

resources:
  job_runs:
    my_job_run:
      job_id: 123456789
      job_parameters:
        catalog: main
      only:
        - +my_task

modeli (eski)

Type: Map

Model kaynağı, eski modelleri paketlerde tanımlamanızı sağlar. Databricks bunun yerine Unity Kataloğu kayıtlı modellerini kullanmanızı önerir.

model_dağıtım_uç_noktası

Type: Map

model_serving_endpoint kaynağı,uç noktaları sunan modeli tanımlamanızı sağlar. bkz. uç noktaları sunan modeli yönetme.

model_serving_endpoints:
  <model_serving_endpoint-name>:
    <model_serving_endpoint-field-name>: <model_serving_endpoint-field-value>
Key Type Description
ai_gateway Map Hizmet veren uç nokta için AI Gateway yapılandırması. NOT: Şu anda yalnızca dış model ve sağlanan aktarım hızı uç noktaları desteklenmektedir. Bkz. ai_gateway.
Databricks CLI sürüm 0.230.0'a eklendi
budget_policy_id String Bu uç nokta için kullanılacak bütçe ilkesinin kimliği.
Databricks CLI sürüm 0.244.0'a eklendi
config Map Sunum uç noktasının temel yapılandırması. Bkz. yapılandırma.
description String Sunum uç noktası için bir açıklama.
Databricks CLI sürüm 0.260.0'a eklendi
email_notifications Map Sunum uç noktası için e-posta bildirimleri yapılandırması. bkz. email_notifications.
Databricks CLI sürüm 0.264.0'a eklendi
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 0.268.0'a eklendi
name String Hizmet uç noktasının adı. Bu alan gereklidir ve Databricks çalışma alanında benzersiz olmalıdır. Uç nokta adı alfasayısal karakterler, tireler ve alt çizgilerden oluşabilir.
permissions Sequence Uç nokta izinlerini sunan model. Bkz. izinler.
rate_limits Sequence Deprecated. Hizmet sunma uç noktasına uygulanacak hız sınırları. Hız sınırlarını yönetmek için AI Gateway'i kullanın.
route_optimized Boolean Hizmet veren uç nokta için yol iyileştirmeyi etkinleştirin.
tags Sequence Hizmet sunma uç noktasına eklenecek ve otomatik olarak faturalama günlüklerine yayılacak etiketler.
telemetry_config Map Unity Kataloğu tablolarına uç nokta telemetrisinin (loglar, izler ve metrikler) kalıcı olarak konfigürasyonu. Bakışınız telemetry_config.
Databricks CLI sürüm 1.6.0'da eklendi

model_serving_endpoint.telemetry_config

Type: Map

Unity Kataloğu tablolarına uç nokta telemetrisinin (loglar, izler ve metrikler) kalıcı olarak konfigürasyonu.

Databricks CLI sürüm 1.6.0'da eklendi

Key Type Description
inference_table_config Map Çıkarım tablosu yük kaydı için yapılandırma, örnekleme dahil.
Databricks CLI sürüm 1.6.0'da eklendi
table_names Map Uç nokta telemetrisinin (loglar, izler ve metrikler) dışa aktarıldığı Unity Kataloğu tabloları. Verilen tablolardan uç nokta için yeni bir telemetri profili oluşturmak için bunu sağla.
Databricks CLI sürüm 1.10.0'da eklendi
telemetry_profile_id String Bu uç noktaya uygulanacak mevcut bir telemetri profilinin kimliği. Bunu önceden oluşturulmuş bir telemetri profilini yeniden kullanmak için verin, belirtmek table_namesyerine.
Databricks CLI sürüm 1.10.0'da eklendi

model_serving_endpoint.email_notifications

Type: Map

Sunum uç noktası için e-posta bildirimleri yapılandırması.

Key Type Description
on_update_failure Sequence Bir uç nokta yapılandırmasını veya durumunu güncelleştiremediğinde bildirilecek e-posta adreslerinin listesi.
on_update_success Sequence Bir uç nokta yapılandırmasını veya durumunu başarıyla güncelleştirdiğinde bildirilecek e-posta adreslerinin listesi.

model_serving_endpoint.yapay_zeka_geçidi

Type: Map

Hizmet veren uç nokta için AI Gateway yapılandırması.

Key Type Description
fallback_config Map Kullanılabilirliği artırmak için sunulan bir varlığa yönelik istek belirli hata kodlarıyla başarısız olursa diğer hizmet verilen varlıklara otomatik olarak geri dönüş yapan trafik geri dönüşü yapılandırması. Bkz. fallback_config.
guardrails Map Koruma yapılandırması. Korumalara bakın.
inference_table_config Map Unity Kataloğu tablolarında çıkarım günlüğü için yapılandırma. Bkz. inference_table_config.
rate_limits Sequence Hız sınırı yapılandırmaları.
usage_tracking_config Map Kullanım izleme yapılandırması. Bkz. usage_tracking_config.

model_serving_endpoint.ai_gateway.fallback_config

Type: Map

Bir istek belirli hata kodlarıyla başarısız olursa diğer hizmet verilen varlıklara otomatik olarak geri dönüş yapan trafik geri dönüşü yapılandırması.

Key Type Description
enabled Boolean Bu uç nokta için geri dönüşün etkinleştirilip etkinleştirilmediği.

model_servis_sonu_noktası.ai_geçidi.korkuluklar

Type: Map

AI ağ geçidi sınırlandırmaları yapılandırması.

Key Type Description
input Map Giriş korkulukları yapılandırması, safety ve pii gibi alanlarla yapılır.
output Map Çıktı koruma yapılandırması, safety, pii gibi alanları içerir.
invalid_keywords Sequence Engellenmesi gereken anahtar sözcüklerin listesi.

model_sunma_ucu.yapayzeka_ağı_geçidi.çıkarım_tablo_yapılandırması

Type: Map

Unity Kataloğu tablolarında çıkarım günlüğü için yapılandırma.

Key Type Description
catalog_name String Unity Kataloğu'ndaki kataloğun adı.
schema_name String Unity Kataloğu'ndaki şemanın adı.
table_name_prefix String Çıkarım tablosu adları için ön ek.
enabled Boolean Çıkarım tablosu günlüğünün etkinleştirilip etkinleştirilmediği.

model_serving_endpoint.ai_geçidi.kullanım_takip_yapılandırması

Type: Map

Kullanımı izlemeye yönelik yapay zeka ağ geçidi yapılandırması.

Key Type Description
enabled Boolean Kullanım izlemenin etkinleştirilip etkinleştirilmediği.

model_serving_endpoint.config

Type: Map

Sunum uç noktasının temel yapılandırması.

Key Type Description
served_entities Sequence Uç noktaya hizmet veren varlıkların listesi. Sunulan her varlık, entity_name, entity_version, workload_size, scale_to_zero_enabled, workload_type, environment_vars gibi alanlar içerir.
served_models Sequence (Kullanım dışı: bunun yerine kullanın served_entities ) Hizmet vermek üzere uç nokta için sunulan modellerin listesi.
traffic_config Map Hizmet veren uç noktaya çağrıların nasıl yönlendirilmesi gerektiğini tanımlayan trafik yapılandırması. bkz. traffic_config.

model_servis_uc_noktası.konfigürasyon.trafik_yapılandırması

Type: Map

Hizmet veren uç noktaya çağrıların nasıl yönlendirilmesi gerektiğini tanımlayan trafik yapılandırması.

Key Type Description
routes Sequence Trafik dağıtımı için yolların listesi. Her yol served_model_name ve traffic_percentage içerir.

Example

Aşağıdaki örnek, uç nokta sunan bir Unity Kataloğu modelini tanımlar:

resources:
  model_serving_endpoints:
    uc_model_serving_endpoint:
      name: 'uc-model-endpoint'
      config:
        served_entities:
          - entity_name: 'myCatalog.mySchema.my-ads-model'
            entity_version: '10'
            workload_size: 'Small'
            scale_to_zero_enabled: 'true'
        traffic_config:
          routes:
            - served_model_name: 'my-ads-model-10'
              traffic_percentage: '100'
      tags:
        - key: 'team'
          value: 'data science'

boru hattı

Type: Map

İşlem hatları bildirim temelli Otomasyon Paketleri için Python desteklenir. Bkz. databricks.bundles.pipelines.

İşlem hattı kaynağı, işlem hatları oluşturmanıza olanak tanır. İşlem hatları hakkında bilgi için bkz. Spark Bildirimli İşlem Hatları. İşlem hattı oluşturmak için Bildirim temelli Otomasyon Paketleri şablonunu kullanan bir öğretici için bkz. Bildirim temelli Otomasyon Paketleri ile işlem hatları geliştirme.

pipelines:
  <pipeline-name>:
    <pipeline-field-name>: <pipeline-field-value>
Key Type Description
allow_duplicate_names Boolean Yanlış ise, ad başka bir işlem hattının adıyla çatışırsa dağıtım başarısız olur.
Databricks CLI sürüm 0.261.0'a eklendi
budget_policy_id String Bu boru hattının bütçe politikası.
Databricks CLI sürüm 0.230.0'a eklendi
cascade_on_destroy Boolean Pipeline'ın yok edilmesinin veri setlerini (maddeleştirilmiş görünümler, akış tabloları ve görünümler) de silmesi mu olur. Ayarlanmadığında, sunucu varsayılan olarak uygulanır. Veri setlerini yok ettiğinde saklamak için ayarlandı false . Doğrudan dağıtım motoruyla destekleniyor.
Databricks CLI sürüm 1.12.0'da eklendi
catalog String Bu işlem hattından verileri yayımlamak için Unity Kataloğu'ndaki bir katalog. Eğer target belirtilirse, bu işlem hattındaki tablolar, target içinde bir catalog şemada yayımlanır (örneğin, catalog.target.table). Belirtilmezse target Unity Kataloğu'na hiçbir veri yayımlanmaz.
channel String Lakeflow işlem hatları, Lakeflow işlem hatlarının hangi sürümünün kullanılacağını belirten Yayın Kanalı'nı kullanır.
clusters Sequence Bu işlem hattı dağıtımı için küme ayarları. Bkz. küme.
configuration Map Bu işlem hattı yürütme yapılandırması.
continuous Boolean Boru hattının sürekli mi yoksa tetiklenmiş mi olduğu. Bu, triggerdeğiştirir.
deployment Map Bu işlem hattının dağıtım türü. Bkz. dağıtım.
development Boolean İşlem hattının geliştirme modunda olup olmadığı. Varsayılan değer false'tur.
dry_run Boolean İşlem hattının bir kuru çalıştırma işlem hattı olup olmadığı.
edition String İşlem hattı ürün sürümü.
environment Map Sunucusuz işlemde bağımlılıkları yüklemek için kullanılan bu işlem hattının ortam belirtimi. Bkz. ortam. Bu anahtar yalnızca Databricks CLI sürüm 0.258 ve üzerinde desteklenir.
Databricks CLI sürüm 0.257.0'a eklendi
event_log Map Bu işlem hattı için olay günlüğü yapılandırması. Bkz. event_log.
Databricks CLI sürüm 0.246.0'a eklendi
filters Map Dağıtılan grafiğe hangi işlem hattı paketlerinin dahilleneceğini belirleyen filtreler. Bkz. filtreler.
gateway_definition Map Ağ geçidi işlem hattı yapılandırması. Bu ayarlar ayarlarla ingestion_definition kullanılamaz.
id String Bu işlem hattı için benzersiz tanımlayıcı.
ingestion_definition Map Yönetilen veri alma işlem hattı yapılandırması. Bu ayarlar, libraries, schema, target veya catalog ayarlarıyla kullanılamaz. Bkz. ingestion_definition.
libraries Sequence Bu dağıtım için gereken kitaplıkların veya kodun listesi. Bkz. pipeline.libraries.
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 0.268.0'a eklendi
name String Bu işlem hattı için anlaşılır bir ad.
notifications Sequence Bu işlem hattı için bildirim ayarları. Bildirimlere bakın.
parameters Map Boru hattı yürütme için kullanılacak varsayılan parametreler, her anahtar parametrenin adıdır ve değer parametre değeridir. Maksimum toplam boyut JSON formatında 10k karakterdir.
permissions Sequence İşlem hattının izinleri. Bkz. izinler.
photon Boolean Bu işlem hattı için Photon'un etkinleştirilip etkinleştirilmediği. olarak ayarlanırsa serverlesstruebu anahtar yoksayılır.
restart_window Map Bu işlem hattı için bir yeniden başlatma penceresi tanımlar. ardına düşmeden işlem hatları bu pencere içinde yeniden başlatılabilir.
root_path String Bu işlem hattının kök yolu. Bu, Databricks kullanıcı arabiriminde işlem hattını düzenlerken kök dizin olarak kullanılır ve işlem hattı yürütme sırasında Python kaynakları yürütürken sys.path dosyasına eklenir.
Databricks CLI sürüm 0.253.0'a eklendi
run_as Map İşlem hattının çalıştığı kimlik. Belirtilmezse işlem hattı, işlem hattını oluşturan kullanıcı olarak çalışır. Yalnızca user_name veya service_principal_name belirtilebilir. Her ikisi de belirtilirse bir hata oluşur. Bkz. run_as.
Databricks CLI sürüm 0.241.0'a eklendi
schema String Tabloların okunduğu veya yayımlandığı varsayılan şema (veritabanı).
Databricks CLI sürüm 0.230.0'a eklendi
serverless Boolean Bu işlem hattı için sunucusuz işlemin etkinleştirilip etkinleştirilmediği.
storage String Denetim noktalarını ve tabloları depolamak için DBFS kök dizini.
tags Map İşlem hattıyla ilişkili etiketlerin haritası. Bunlar küme etiketleri olarak kümeye iletilir ve bu nedenle aynı sınırlamalara tabidir. İşlem hattına en fazla 25 etiket eklenebilir.
Databricks CLI sürüm 0.256.0'a eklendi
target String Bu işlem hattında tabloların ekleneceği hedef şema (veritabanı). Tam olarak schema veya target'den biri belirtilmelidir. Unity Kataloğu'na yayımlamak için catalog de belirtin. Bu eski alan, schema alanı tercih edilerek işlem hattı oluşturmak için kullanım dışı bırakılmıştır.
usage_policy_id String Bu işlem hattı için kullanılacak sunucusuz kullanım ilkesinin kimliği.
Databricks CLI sürüm 0.273.0'a eklendi

pipeline.yayınlama

Type: Map

Boru hattı için dağıtım türü ayarları.

Key Type Description
kind String Dağıtım türü. Örneğin, BUNDLE.
metadata_file_path String Dağıtım için meta veri dosyasının yolu.

boruhattı.ortam

Type: Map

Sunucusuz işlemde bağımlılıkları yüklemeye yönelik ortam belirtimi.

Key Type Description
dependencies Sequence Bu ortamda pip sürümü tarafından desteklenen pip bağımlılıklarının listesi. Her bağımlılık bir pip gereksinim dosyası satırıdır.
environment_version String (Beta) Örneğin, müşteri Python kodunu çalıştırmak için kullanılan sunucusuz Python ortamının ortam sürümü.4 Her ortam sürümü, belirli bir Python sürümü ve tanımlanmış sürümlere sahip önceden kurulu kütüphanelerden oluşan bir seti içerir; böylece kararlı ve tekrarlanabilir bir yürütme ortamı sağlar. Databricks, her ortam versiyonu için üç yıllık bir yaşam döngüsünü destekler. Mevcut sürümler ve dahil edilen paketler için Çevre sürümleri sayfasına bakınız.
Databricks CLI sürüm 0.294.0'a eklendi

pipeline.event_log

Type: Map

İşlem hattı için olay günlüğü yapılandırması.

Key Type Description
catalog String Etkinlik günlüğünün yayımlandığı Unity Kataloğu.
name String Unity Kataloğu'nda olay günlüğünün yayımlandığı ad.
schema String Etkinlik günlüğünün yayımlandığı Unity Catalog şeması.

işlem_hattı.filtreler

Type: Map

Dağıtılan grafta hangi işlem hattı paketlerinin dahilleneceğini belirleyen filtreler.

Key Type Description
include Sequence Eklenecek paket adlarının listesi.
exclude Sequence Dışlanması gereken paket adlarının listesi.

pipeline.ingestion_definition

Type: Map

Yönetilen bir veri yükleme işlem hattının yapılandırması. Bu ayarlar, libraries, schema, target veya catalog ayarlarıyla kullanılamaz.

Key Type Description
connection_name String Alım için kullanılacak bağlantının adı. Yalnızca API kimlik doğrulamasını destekleyen bağlayıcılar için program aracılığıyla bağlantı oluşturmak için, önceden dağıtım betiğinde veya iş görevinde kullanın databricks connections create . Bkz. Dağıtım.
connector_type String Optional. Kaynaklar için bağlayıcı türü. Geçerli değerler: CDC ve QUERY_BASED.
Databricks CLI sürüm 0.296.0'a eklendi
data_staging_options Map Optional. Aşamalı veri depolamanın konumu. Bu, ağ geçidi işlem hattı ile CDC yönetilen alım işlem hattından birleştirilmiş CDC yönetilen alım işlem hattına geçiş için gereklidir. Belirtilmezse, hazırlanan veriler için birim katalogda ve en üst düzey işlem hattı tanımında belirtilen şema/hedefte oluşturulur.
Databricks CLI sürüm 0.296.0'a eklendi
full_refresh_window Map Optional. CDC'de anlık görüntü sorguları için zaman aralıkları kümesini belirten bir pencere.
ingest_from_uc_foreign_catalog Boolean Değişmez. True olarak ayarlanırsa işlem hattı, Unity Kataloğu bağlantısı veya alım ağ geçidi belirtmeye gerek kalmadan doğrudan Unity Kataloğu yabancı kataloglarından tabloları alır. source_catalog IngestionConfig nesnelerindeki alanlar, alınacak Unity Kataloğu yabancı katalogları olarak yorumlanır.
Databricks CLI sürüm 0.279.0'a eklendi
ingestion_gateway_id String Veri alımı ağ geçidinin kimliği.
objects Sequence Gerekli. Çoğaltılacak tabloları ve çoğaltılan tabloların hedefini belirten ayarlar. Her nesne SchemaSpec, TableSpec veya ReportSpec olabilir.
source_type String kullanılırken source_configurationsgereklidir. Bağlayıcı türünü belirtir (örneğin, , POSTGRESQLMYSQL).
source_configurations Sequence Katalog düzeyinde kaynak yapılandırma parametreleri. Bu alanı kullanırken de belirtmelisiniz source_type. Bkz. source_configurations.
table_configuration Map Alma tabloları için yapılandırma. Bkz. table_configuration.

SchemaSpec

Type: Map

Bir şemadan tüm tabloları almak için şema nesnesi belirtimi.

Key Type Description
source_schema String Alınacak kaynak şemanın adı.
destination_catalog String Unity Kataloğu'nda hedef kataloğun adı.
destination_schema String Unity Kataloğu'nda hedef şemanın adı.
table_configuration Map Bu şemadaki tüm tablolara uygulanacak yapılandırma. Bakınız pipeline.ingestion_definition.table_configuration.

Tablo Özellikleri (TableSpec)

Type: Map

Belirli bir tabloyu içeri aktarmak için tablo nesnesinin belirlenmesi.

Key Type Description
source_schema String Tabloyu içeren kaynak şemanın adı.
source_table String Aktarılacak kaynak tablonun adı.
destination_catalog String Unity Kataloğu'nda hedef kataloğun adı.
destination_schema String Unity Kataloğu'nda hedef şemanın adı.
destination_table String Unity Kataloğu'ndaki hedef tablonun adı.
table_configuration Map Bu özgün tablo için yapılandırma. Bakınız pipeline.ingestion_definition.table_configuration.

ReportSpec

Type: Map

Analiz raporlarını içselleştirmek için rapor nesnesi belirtimi.

Key Type Description
source_url String Kaynak raporun URL'si.
source_report String Kaynak raporun adı veya tanımlayıcısı.
destination_catalog String Unity Kataloğu'nda hedef kataloğun adı.
destination_schema String Unity Kataloğu'nda hedef şemanın adı.
destination_table String Rapor verilerinin hedef tablosunun adı.
table_configuration Map Rapor tablosu için yapılandırma. Bakınız pipeline.ingestion_definition.table_configuration.

pipeline.ingestion_definition.source_configurations

Type: Sequence

Kaynak için yapılandırma. Dizideki her öğe, katalog düzeyi yapılandırmayı içeren bir Harita'dır.

Key Type Description
catalog Map Katalog düzeyinde kaynak yapılandırma parametreleri. Bkz. katalog.
pipeline.ingestion_definition.source_configurations.catalog

Type: Map

Katalog düzeyinde kaynak yapılandırma parametreleri

Key Type Description
postgres Map Postgres'e özgü katalog düzeyi yapılandırma parametreleri. Mantıksal çoğaltma için kullanılacak Postgres yuvası yapılandırmasını temsil eden bir slot_config anahtarı Map içerir.
source_catalog String Kaynak katalog adı.

pipeline.veri_yükleme_tanımı.tablo_konfigürasyonu

Type: Map

Alım tabloları için yapılandırma seçenekleri.

Key Type Description
exclude_columns Sequence Veri alımı için hariç tutulacak sütun adlarının listesi. Belirtilmediğinde, include_columns hangi sütunların işleme alınacağını tamamen kontrol eder. Belirtildiğinde, gelecekteki sütunlar da dahil olmak üzere diğer tüm sütunlar veri alımı için otomatik olarak eklenir. Bu alan, include_columns ile birbirini dışlar.
include_columns Sequence Alım için dahil edilecek sütun adlarının listesi. Belirtilmediğinde, exclude_columns içindeki sütunlar hariç tüm sütunlar dahil edilir. Gelecekteki sütunlar otomatik olarak eklenir. Belirtildiğinde, gelecekteki diğer tüm sütunlar otomatik olarak alımın dışında tutulur. Bu alan, exclude_columns ile birbirini dışlar.
primary_keys Sequence Tablo için birincil anahtar olarak kullanılacak sütun adlarının listesi.
sequence_by Sequence Kaynak verilerdeki olayların mantıksal sırasını belirten sütun adları. Spark Bildirimli İşlem Hatları, sıra dışı gelen değişiklik olaylarını işlemek için bu sıralamayı kullanır.

işlem_hattı.kütüphaneler

Type: Sequence

Bu işlem hattı için gereken kitaplıkların veya kodların listesini tanımlar.

Listedeki her öğe bir tanımdır:

Key Type Description
file Map İşlem hattını tanımlayan ve Databricks Repos'de depolanan bir dosyanın yolu. Bkz pipeline.libraries.file.
glob Map Kaynak kodu dahil etmek için birleştirilmiş alan. Her girdi bir not defteri yolu, dosya yolu veya biten /**bir klasör yolu olabilir. Bu alan veya notebookile file birlikte kullanılamaz. Bkz. pipeline.libraries.glob.
notebook Map İşlem hattını tanımlayan ve Databricks çalışma alanında depolanan bir not defterinin yolu. Bkz. pipeline.libraries.notebook.
whl String Bu alan kullanım dışı bırakıldı

pipeline.kütüphaneler.dosya

Type: Map

İşlem hattını tanımlayan ve Databricks Repos depolanan bir dosyanın yolu.

Key Type Description
path String Kaynak kodun mutlak yolu.

pipeline.libraries.glob

Type: Map

Kaynak kodu dahil etmek için birleştirilmiş alan. Her girdi bir not defteri yolu, dosya yolu veya biten /**bir klasör yolu olabilir. Bu alan veya notebookile file birlikte kullanılamaz.

Key Type Description
include String Boru hatları için kaynak kodu ekleme

boru hattı.kütüphaneler.not defteri

Type: Map

İşlem hattını tanımlayan ve Databricks çalışma alanında depolanan bir not defterinin yolu.

Key Type Description
path String Kaynak kodun mutlak yolu.

pipeline.notifications

Type: Sequence

Bu işlem hattı için bildirim ayarları. Dizideki her öğe bir bildirim yapılandırmasıdır.

Key Type Description
alerts Sequence Bildirimleri tetikleyen uyarıların listesi. Geçerli değerler , on-update-success, on-update-failure, on-update-fatal-failure. on-flow-failure
email_recipients Sequence Yapılandırılmış bir uyarı tetiklendiğinde bildirilmesi gereken e-posta adreslerinin listesi.

Example

Aşağıdaki örnek, hello-pipelinekaynak anahtarına sahip bir işlem hattını tanımlar:

resources:
  pipelines:
    hello-pipeline:
      name: hello-pipeline
      clusters:
        - label: default
          num_workers: 1
      development: true
      continuous: false
      channel: CURRENT
      edition: CORE
      photon: false
      libraries:
        - notebook:
            path: ./pipeline.py

Ek işlem hattı yapılandırma örnekleri için bkz. İşlem hattı yapılandırması.

postgres_branch

Önemli

Bu özellik Beta sürümündedir.

Type:Map

Postgres dal kaynağı, Lakebase dallarını bir pakette tanımlamanızı sağlar. Ayrıca karşılık gelen Postgres projelerini ve işlem uç noktalarını da tanımlamanız gerekir.

Databricks CLI sürüm 0.287.0'a eklendi

postgres_branches:
  <postgres_branch-name>:
    <postgres_branch-field-name>: <postgres_branches-field-value>
Key Type Description
branch_id String Dal için kullanılacak kimlik. Bu, dalın kaynak adının son bileşeni olur. Kimlik gereklidir ve 1-63 karakter uzunluğunda olmalı, küçük harfle başlamalıdır ve yalnızca küçük harf, sayı ve kısa çizgi içermelidir. Örneğin development, projects/my-app/branches/development olur.
Databricks CLI sürüm 0.287.0'a eklendi
expire_time String Mutlak süre sonu zaman damgası. Ayarlandığında, dalın süresi şu anda dolacaktır.
Databricks CLI sürüm 0.287.0'a eklendi
is_protected Boolean true olarak ayarlandığında, dalı silme ve sıfırlamaya karşı korur. Dal korunurken ilişkili işlem uç noktaları ve proje silinemez.
Databricks CLI sürüm 0.287.0'a eklendi
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 0.287.0'a eklendi
no_expiry Boolean Süre sonunu açıkça devre dışı bırakın. true olarak ayarlandığında dalın süresi dolmaz. false olarak ayarlanırsa istek geçersizdir; yerine ttl veya expire_time sağlayın.
Databricks CLI sürüm 0.287.0'a eklendi
parent String Bu dalın oluşturulacağı proje. Biçim: projects/{project_id}
Databricks CLI sürüm 0.287.0'a eklendi
purge_on_delete Boolean Dalın verileri silindiğinde onu silip temizlemek kararı.
Databricks CLI sürüm 1.7.0'a eklendi
replace_existing Boolean Dağıtım sırasında aynı kimliği taşıyan mevcut bir dalın değiştirilip değiştirilmeyeceği.
Databricks CLI sürüm 1.0.0'a eklendi
source_branch String Bu dalın oluşturulduğu kaynak dalın adı (belirli bir noktaya kurtarma için veri kökeni). Belirtilmezse, varsayılan olarak projenin varsayılan dalı kullanılır. Biçim: projects/{project_id}/branches/{branch_id}
Databricks CLI sürüm 0.287.0'a eklendi
source_branch_lsn String Bu dalın oluşturulduğu kaynak daldaki Günlük Sırası Numarası (LSN).
Databricks CLI sürüm 0.287.0'a eklendi
source_branch_time String Bu dalın oluşturulduğu kaynak daldaki zaman noktası.
Databricks CLI sürüm 0.287.0'a eklendi
ttl String Göreli yaşam süresi. Ayarlandığında dalın süresi creation_time + ttl olarak dolar.
Databricks CLI sürüm 0.287.0'a eklendi

Example

Bkz. postgres_projects örnek.

postgres_catalog

Önemli

Bu özellik Beta sürümündedir.

Type: Map

Postgres katalog kaynağı, Lakebase Postgres kataloglarını bir pakette tanımlamanıza olanak tanır. Her katalog bir Unity Kataloğu kataloğunu Bir Lakebase Otomatik Ölçeklendirme dalındaki Postgres veritabanına bağlar.

Databricks CLI sürüm 1.0.0'a eklendi

postgres_catalogs:
  <postgres_catalog-name>:
    <postgres_catalog-field-name>: <postgres_catalog-field-value>
Key Type Description
branch String Kataloğu destekleyen Lakebase Otomatik Ölçeklendirme dalı.
Databricks CLI sürüm 1.0.0'a eklendi
catalog_id String Gerekli. Postgres veritabanına bağlanacak Unity Kataloğu kataloğunun kimliği.
Databricks CLI sürüm 1.0.0'a eklendi
create_database_if_missing Boolean Postgres veritabanı yoksa oluşturulup oluşturulmayacağı.
Databricks CLI sürüm 1.0.0'a eklendi
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 1.0.0'a eklendi
postgres_database String Gerekli. Kataloğa bağlanacak Postgres veritabanının adı.
Databricks CLI sürüm 1.0.0'a eklendi

Example

resources:
  postgres_projects:
    project:
      project_id: test-pg-project
      display_name: Test Postgres Project

  postgres_catalogs:
    catalog:
      catalog_id: test_catalog
      branch: ${resources.postgres_projects.project.name}/branches/production
      postgres_database: appdb
      create_database_if_missing: true

postgres_database

Önemli

Bu özellik Beta sürümündedir.

Type: Map

Postgres veritabanı kaynağı , Lakebase Postgres veritabanlarını bir pakette tanımlamanızı sağlar. Her veritabanı bir Lakebase Otomatik Ölçeklendirme dalında oluşturulur.

Databricks CLI sürüm 1.4.0'a eklendi

postgres_databases:
  <postgres_database-name>:
    <postgres_database-field-name>: <postgres_database-field-value>
Key Type Description
database_id String Gerekli. Veritabanı için kullanılacak kimlik. Bu, veritabanının kaynak adının son bileşeni olur.
Databricks CLI sürüm 1.4.0'a eklendi
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 1.4.0'a eklendi
parent String Gerekli. Bu veritabanının oluşturulduğu dal. Biçim: projects/{project_id}/branches/{branch_id}.
Databricks CLI sürüm 1.4.0'a eklendi
postgres_database String Postgres veritabanının adı.
Databricks CLI sürüm 1.4.0'a eklendi
replace_existing Boolean Dağıtım sırasında aynı kimlikle var olan bir veritabanının değiştirilip değiştirilmeyeceği.
Databricks CLI sürüm 1.7.0'a eklendi
role String Oluşturmada gereklidir. Veritabanının sahibi olan Postgres rolünün kaynak adı. Biçim: projects/{project_id}/branches/{branch_id}/roles/{role_id}.
Databricks CLI sürüm 1.4.0'a eklendi

Examples

resources:
  postgres_projects:
    my_project:
      project_id: test-pg-proj
      display_name: 'Test Project for Database'
      pg_version: 16
      history_retention_duration: '604800s'

  postgres_branches:
    main:
      parent: ${resources.postgres_projects.my_project.id}
      branch_id: main
      no_expiry: true

  postgres_roles:
    owner:
      parent: ${resources.postgres_branches.main.id}
      role_id: app-owner
      postgres_role: app_owner

  postgres_databases:
    my_database:
      parent: ${resources.postgres_branches.main.id}
      database_id: my-database
      postgres_database: app_db
      # The live API requires `role`. Declare an explicit role so the bundle is
      # portable across users (the auto-created project-owner role's id is
      # derived from the creator's identity).
      role: ${resources.postgres_roles.owner.id}

postgres_endpoint

Önemli

Bu özellik Beta sürümündedir.

Type: Map

Postgres uç noktası kaynağı, Lakebase hesaplama uç noktalarını bir pakette tanımlamanıza olanak tanır. Ayrıca ilgili Lakebase projelerini ve Lakebase dallarını da tanımlamanız gerekir.

Databricks CLI sürüm 0.287.0'a eklendi

postgres_endpoints:
  <postgres_endpoint-name>:
    <postgres_endpoint-field-name>: <postgres_endpoint-field-value>
Key Type Description
autoscaling_limit_max_cu Sayı İşlem Birimi sayısı üst sınırı. En düşük değer 0,5'tir.
Databricks CLI sürüm 0.287.0'a eklendi
autoscaling_limit_min_cu Sayı En az İşlem Birimi sayısı. En düşük değer 0,5'tir.
Databricks CLI sürüm 0.287.0'a eklendi
disabled Boolean İşlem uç noktasına bağlantıların kısıtlanıp kısıtlanmayacağı. Bu seçeneğin etkinleştirilmesi işlem işlemini askıya alma işlemini zamanlar. Devre dışı bırakılmış bir işlem uç noktası bir bağlantı veya konsol eylemi tarafından etkinleştirilemez.
Databricks CLI sürüm 0.287.0'a eklendi
endpoint_id String Uç Nokta için kullanılacak kimlik. Bu, uç noktanın kaynak adının son bileşeni olur. Kimlik gereklidir ve 1-63 karakter uzunluğunda olmalı, küçük harfle başlamalıdır ve yalnızca küçük harf, sayı ve kısa çizgi içermelidir. Örneğin primary, projects/my-app/branches/development/endpoints/primary olur.
Databricks CLI sürüm 0.287.0'a eklendi
endpoint_type String Uç nokta türü. Bir dalda yalnızca bir READ_WRITE uç noktası olabilir. Olası değerler: ENDPOINT_TYPE_READ_WRITE, ENDPOINT_TYPE_READ_ONLY.
Databricks CLI sürüm 0.287.0'a eklendi
group Map Uç nokta grubu yapılandırması. Bkz. postgres_endpoint.group.
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 0.287.0'a eklendi
no_suspension Boolean true olarak ayarlandığında, otomatik askıya alma özelliğini açıkça devre dışı bırakır (hiçbir zaman askıya alınmaz). Sağlandığında true olarak ayarlanmalıdır.
Databricks CLI sürüm 0.287.0'a eklendi
parent String Bu Uç Noktanın oluşturulacağı dal. Biçim: projects/{project_id}/branches/{branch_id}
Databricks CLI sürüm 0.287.0'a eklendi
replace_existing Boolean Dağıtım sırasında aynı kimlikle var olan bir işlem uç noktasının değiştirilip değiştirilmeyeceği.
Databricks CLI sürüm 1.0.0'a eklendi
settings Map İşlem uç noktası için ayarlar koleksiyonu.
Databricks CLI sürüm 0.287.0'a eklendi
suspend_timeout_duration String İşlem uç noktasının otomatik olarak askıya alındığı etkinlik dışı kalma süresi. Belirtildiyse 60 ile 604800 arasında olmalıdır (1 dakika ile 1 hafta arası).
Databricks CLI sürüm 0.287.0'a eklendi

postgres_endpoint.grup

Type: Map

Uç nokta grubu yapılandırması.

Key Type Description
enable_readable_secondaries Boolean Okuma-yazma uç noktalarına salt okunur bağlantılara izin verilip verilmeyeceği. Yalnızca olduğu group.max > 1okuma-yazma uç noktaları için geçerlidir.
max Integer Gerekli. Uç nokta grubundaki işlem sayısı üst sınırı. Şu anda bunun değerine mineşit olması gerekir. 1 Yüksek Kullanılabilirliği (HA) devre dışı bırakmak için tek işlem uç noktaları için olarak ayarlayın. Bir uç nokta grubundaki tüm işlemleri el ile askıya almak için uç noktada olarak disabled ayarlayıntrue.
min Integer Gerekli. Uç nokta grubundaki minimum işlem sayısı. Şu anda bunun değerine maxeşit olması gerekir. Bu, değerinden büyük veya eşit 1olmalıdır.

Example

Bkz. postgres_projects örnek.

postgres_project

Önemli

Bu özellik Beta sürümündedir.

Type: Map

Postgres proje kaynağı, Lakebase Otomatik Ölçeklendirme Postgres veritabanı projelerini bir pakette tanımlamanızı sağlar. Ayrıca karşılık gelen Postgres dallarını ve işlem uç noktalarını da tanımlamanız gerekir.

Databricks CLI sürüm 0.287.0'a eklendi

postgres_projects:
  <postgres_project-name>:
    <postgres_project-field-name>: <postgres_project-field-value>
Key Type Description
budget_policy_id String Bu projenin bütçe ilkesi kimliği.
custom_tags Sequence Bu proje için özel etiketler. Bkz . postgres_project.custom_tags.
default_branch String Biçiminde projenin projects/{project_id}/branches/{branch_id}varsayılan dalı.
default_endpoint_settings Map İşlem uç noktası için ayarlar koleksiyonu. Bkz . postgres_project.default_endpoint_settings.
Databricks CLI sürüm 0.287.0'a eklendi
display_name String İnsan tarafından okunabilen proje adı. Uzunluk 1 ile 256 karakter arasında olmalıdır.
Databricks CLI sürüm 0.287.0'a eklendi
enable_pg_native_login Boolean Proje için yerel Postgres oturum açmanın etkinleştirilip etkinleştirilmeyileceği.
Databricks CLI sürüm 0.294.0'a eklendi
history_retention_duration String Bu projedeki tüm dallar için belirli bir noktaya kurtarma için paylaşılan geçmişin korunacak saniye sayısı. Değer 0 ile 2592000 arasında olmalıdır (30 güne kadar).
Databricks CLI sürüm 0.287.0'a eklendi
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 0.287.0'a eklendi
permissions Sequence Postgres projesinin izinleri. Bkz. izinler.
Databricks CLI sürüm 0.292.0'a eklendi
pg_version Integer Ana Postgres sürüm numarası. Desteklenen sürümler 16 ve 17'dir.
Databricks CLI sürüm 0.287.0'a eklendi
project_id String Project için kullanılacak kimlik. Bu, projenin kaynak adının son bileşeni olur. Kimlik gereklidir ve 1-63 karakter uzunluğunda olmalı, küçük harfle başlamalıdır ve yalnızca küçük harf, sayı ve kısa çizgi içermelidir. Örneğin my-app, projects/my-app olur.
Databricks CLI sürüm 0.287.0'a eklendi
purge_on_delete Boolean Silindiğinde projenin verilerinin temizlenip temizlenmeyeceği.
Databricks CLI sürüm 1.2.0'a eklendi

Örneği

resources:
  postgres_projects:
    my_db:
      project_id: test-prod-app
      display_name: 'Production Database'
      pg_version: 17

  postgres_branches:
    main:
      parent: ${resources.postgres_projects.my_db.id}
      branch_id: main
      is_protected: false
      no_expiry: true

  postgres_endpoints:
    primary:
      parent: ${resources.postgres_branches.main.id}
      endpoint_id: primary
      endpoint_type: ENDPOINT_TYPE_READ_WRITE
      autoscaling_limit_min_cu: 0.5
      autoscaling_limit_max_cu: 4

postgres_project.custom_tags

Type: Sequence

Proje için özel etiketlerin listesi.

Key Type Description
key String Özel etiketin anahtarı.
value String Özel etiketin değeri.

postgres_project.default_endpoint_settings

Type: Map

Key Type Description
autoscaling_limit_max_cu Sayı İşlem Birimi sayısı üst sınırı. En düşük değer 0,5'tir.
autoscaling_limit_min_cu Sayı En az İşlem Birimi sayısı. En düşük değer 0,5'tir.
no_suspension Boolean true olarak ayarlandığında, otomatik askıya alma özelliğini açıkça devre dışı bırakır (hiçbir zaman askıya alınmaz). Sağlandığında true olarak ayarlanmalıdır. suspend_timeout_duration ile birbirini dışlar. Güncelleştirme sırasında update_mask kullanın spec.project_default_settings.suspension .
pg_settings Map Postgres ayarlarının ham gösterimi.
suspend_timeout_duration String İşlem uç noktasının otomatik olarak askıya alındığı etkinlik dışı kalma süresi. Belirtildiyse 60 ile 604800 arasında olmalıdır (1 dakika ile 1 hafta arası). no_suspension ile birbirini dışlar. Güncelleştirme sırasında update_mask kullanın spec.project_default_settings.suspension .

postgres_role

Önemli

Bu özellik Beta sürümündedir.

Type: Map

Postgres rol kaynağı, bir pakette Lakebase Postgres rollerini tanımlamanızı sağlar. Her rol bir Lakebase Otomatik Ölçeklendirme dalında oluşturulur.

Databricks CLI sürüm 1.4.0'a eklendi

postgres_roles:
  <postgres_role-name>:
    <postgres_role-field-name>: <postgres_role-field-value>
Key Type Description
attributes Map Rolle ilişkilendirmek için istenen API tarafından kullanıma sunulan Postgres rol öznitelikleri. Bkz. postgres_role.attributes.
Databricks CLI sürüm 1.4.0'a eklendi
auth_method String Postgres'e bağlanırken rolün kimliği nasıl doğrulanır? Belirtilmezse, dosyasından identity_typeanlamlı bir kimlik doğrulama yöntemi türetilir. Geçerli değerler , NO_LOGIN, PG_PASSWORD_SCRAM_SHA_256LAKEBASE_OAUTH_V1.
Databricks CLI sürüm 1.4.0'a eklendi
identity_type String Bu rolün temsil ettiği Databricks yönetilen kimliğinin türü. Databricks kimliğiyle ilişkilendirilmemiş normal bir Postgres rolü oluşturmak için boş bırakın. Geçerli değerler , USER, SERVICE_PRINCIPALGROUP.
Databricks CLI sürüm 1.4.0'a eklendi
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 1.4.0'a eklendi
membership_roles Sequence Bu rolün üyesi olduğu standart roller.
Databricks CLI sürüm 1.4.0'a eklendi
parent String Gerekli. Bu rolün oluşturulduğu dal. Biçim: projects/{project_id}/branches/{branch_id}.
Databricks CLI sürüm 1.4.0'a eklendi
postgres_role String Postgres rolünün adı. Rol oluşturulurken gereklidir. Yönetilen Databricks kimliği postgres_role tarafından desteklenen bir Postgres rolü oluşturmak için aşağıdakilerden biri olmalıdır:
  • Kullanıcı e-postası, bir identity_type için USER.
  • uygulama kimliği, bir identity_type için SERVICE_PRINCIPAL.
  • Bir için grup identity_typeGROUPadı.

Databricks CLI sürüm 1.4.0'a eklendi
replace_existing Boolean Dağıtım sırasında aynı kimliği taşıyan mevcut bir rolün değiştirilip değiştirilmeyeceği.
Databricks CLI sürüm 1.7.0'a eklendi
role_id String Gerekli. Kullanıcı tarafından belirtilen rol kimliği; rolün kaynak adının son bileşeni haline gelir. 4-63 karakter, küçük harf, sayı ve kısa çizgi olmalıdır (RFC 1123).
Databricks CLI sürüm 1.4.0'a eklendi

postgres_role.attributes

Type: Map

Rolle ilişkilendirmek için istenen API tarafından kullanıma sunulan Postgres rol öznitelikleri.

Databricks CLI sürüm 1.4.0'a eklendi

Key Type Description
bypassrls Boolean Rolün satır düzeyi güvenliği atlayıp atlamadığı.
createdb Boolean Rolün veritabanları oluşturup oluşturamayacağı.
createrole Boolean Rolün diğer rollerin güvenlik etiketini oluşturup oluşturamayacağı, değiştirebileceği, bırakabileceği, açıklama ekleyip değiştiremeyeceği.

Examples

resources:
  postgres_projects:
    my_project:
      project_id: my-pg-proj
      display_name: 'Test Project for Role'
      pg_version: 16
      history_retention_duration: '604800s'

  postgres_branches:
    main:
      parent: ${resources.postgres_projects.my_project.id}
      branch_id: main
      no_expiry: true

  postgres_roles:
    my_role:
      parent: ${resources.postgres_branches.main.id}
      role_id: my-role
      postgres_role: app_role
      attributes:
        createdb: true

postgres_synced_table

Önemli

Bu özellik Beta sürümündedir.

Type: Map

Postgres eşitlenmiş tablo kaynağı , Lakebase Postgres eşitlenmiş tablolarını bir pakette tanımlamanızı sağlar. Eşitlenen her tablo, bir Unity Kataloğu Delta kaynak tablosunu sürekli olarak Lakebase Otomatik Ölçeklendirme örneğindeki postgres tablosuna çoğaltır.

Databricks CLI sürüm 1.0.0'a eklendi

postgres_synced_tables:
  <postgres_synced_table-name>:
    <postgres_synced_table-field-name>: <postgres_synced_table-field-value>
Key Type Description
branch String Eşitlenen tablonun oluşturulduğu Lakebase Otomatik Ölçeklendirme dalı.
Databricks CLI sürüm 1.0.0'a eklendi
create_database_objects_if_missing Boolean Eşitlenen tablonun mantıksal veritabanının ve şema kaynaklarının henüz mevcut değilse oluşturulup oluşturulmayacağı.
Databricks CLI sürüm 1.0.0'a eklendi
existing_pipeline_id String Mevcut bir işlem hattının kimliği. Bu ayarlanırsa, eşitlenen tablo, başvuruda bulunılan mevcut işlem hattına paketlenir. Bu, yeni işlem hattı oluşturmayı önler ve mevcut işlem hattının paylaşılmasına izin verir. Bu durumda, scheduling_policy eşitlenen bu tablonun mevcut işlem hattının zamanlama ilkesiyle uyumlu olması gerekir. existing_pipeline_id ve new_pipeline_spec'den en fazla biri tanımlanmalıdır.
Databricks CLI sürüm 1.0.0'a eklendi
extra_columns Sequence Kaynak tablodan çoğaltılanların dışında, senkronize tabloya eklenecek ekstra PostgreSQL sütunları.
Databricks CLI sürüm 1.10.0'da eklendi
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 1.0.0'a eklendi
new_pipeline_spec Map Yeni işlem hattının belirtimi. Bkz . postgres_synced_table.new_pipeline_spec. existing_pipeline_id ve new_pipeline_spec'den en fazla biri tanımlanmalıdır.
Databricks CLI sürüm 1.0.0'a eklendi
postgres_database String Eşitlenen tablo için hedef Postgres veritabanının adı.
Databricks CLI sürüm 1.0.0'a eklendi
primary_key_columns Sequence Birincil anahtarı oluşturan sütun adlarının listesi.
Databricks CLI sürüm 1.0.0'a eklendi
scheduling_policy String Eşitlenen tablonun temel işlem hattının zamanlama ilkesi. Geçerli değerler , CONTINUOUS, TRIGGEREDSNAPSHOT.
Databricks CLI sürüm 1.0.0'a eklendi
source_table_full_name String biçimindeki catalog.schema.tablekaynak tablonun tam adı.
Databricks CLI sürüm 1.0.0'a eklendi
synced_table_id String Gerekli. Eşitlenen tablo için kullanılacak kimlik.
Databricks CLI sürüm 1.0.0'a eklendi
timeseries_key String Aynı birincil anahtara sahip satırları tekrarlardan arındırmak için zaman serisi anahtarı.
Databricks CLI sürüm 1.0.0'a eklendi
type_overrides Sequence Belirli sütunlar için varsayılan Delta-to-PostgreSQL tip eşlemesini geçersiz kılar. Bkz. postgres_synced_table.type_overrides.
Databricks CLI sürüm 1.5.0'da eklendi

postgres_synced_table.new_pipeline_spec

Type: Map

Eşitlenen tablo tarafından kullanılan yeni işlem hattı belirtimi.

Databricks CLI sürüm 1.0.0'a eklendi

Key Type Description
budget_policy_id String Yeni oluşturulan işlem hattında ayarlanacağı bütçe ilkesi.
storage_catalog String Denetim noktaları ve olay günlükleri gibi ara dosyaları depolamak için işlem hattının kataloğu. Bu, kullanıcının Delta tabloları oluşturma izinlerine sahip olduğu standart bir katalog olmalıdır.
storage_schema String Denetim noktaları ve olay günlükleri gibi ara dosyaları depolamak için işlem hattının şeması. Bunun, kullanıcının Delta tabloları oluşturma izinlerine sahip olduğu standart katalogda olması gerekir.

postgres_synced_table.type_overrides

Type: Sequence

Tek bir sütun için varsayılan Delta-to-PostgreSQL tip eşlemesini geçersiz kılar.

Databricks CLI sürüm 1.5.0'da eklendi

Key Type Description
column_name String Gerekli. (Beta) Hedef PostgreSQL tipinin geçersiz hale getirilmesi gereken kaynak sütunun adı.
Databricks CLI sürüm 1.5.0'da eklendi
pg_type String Gerekli. (Beta) Sütun için kullanılacak PostgreSQL'e özgü hedef tip. Tek geçerli değer olur PG_SPECIFIC_TYPE_VECTOR.
Databricks CLI sürüm 1.5.0'da eklendi
size Integer (Beta) Hedef tip için boyut parametresi, bir ölçü alan tipler için, örneğin vektör boyutu veya varchar uzunluğu. Seçilenin pg_type bir boyuta ihtiyacı olduğunda gereklidir.
Databricks CLI sürüm 1.5.0'da eklendi

Example

resources:
  schemas:
    pipeline_storage:
      name: test_pipeline_storage
      catalog_name: main
      comment: 'Pipeline storage for the synced-table test'

  postgres_projects:
    my_project:
      project_id: test-pg-proj
      display_name: 'Test Project for Synced Table'
      pg_version: 17

  postgres_catalogs:
    my_catalog:
      catalog_id: lakebase_test
      branch: ${resources.postgres_projects.my_project.id}/branches/production
      postgres_database: appdb
      create_database_if_missing: true

  postgres_synced_tables:
    my_table:
      synced_table_id: ${resources.postgres_catalogs.my_catalog.catalog_id}.public.trips_synced
      source_table_full_name: main.source_test.trips_source
      primary_key_columns: ['tpep_pickup_datetime']
      scheduling_policy: SNAPSHOT
      postgres_database: appdb
      branch: ${resources.postgres_projects.my_project.id}/branches/production
      create_database_objects_if_missing: true
      new_pipeline_spec:
        storage_catalog: ${resources.schemas.pipeline_storage.catalog_name}
        storage_schema: ${resources.schemas.pipeline_storage.name}

kalite_monitörü (Unity Kataloğu)

Type: Map

quality_monitor kaynağı, Unity Kataloğu tablo izleyicisi tanımlamanızı sağlar. İzleyiciler hakkında bilgi için bkz. Veri profili oluşturma.

quality_monitors:
  <quality_monitor-name>:
    <quality_monitor-field-name>: <quality_monitor-field-value>
Key Type Description
assets_dir String İzleme varlıklarını depolayan dizin (örn. pano, ölçüm tabloları).
baseline_table_name String Kayma ölçümlerinin hesaplandığı temel tablonun adı. İzlenen tablodaki sütunlar da taban çizgisi tablosunda bulunmalıdır.
custom_metrics Sequence İzlenen tabloda hesaplanacak özelleştirilmiş ölçümler. Bunlar toplu ölçümler, türetilmiş ölçümler (zaten hesaplanan toplama ölçümlerinden) veya kayma ölçümleri (zaman pencerelerindeki ölçümleri karşılaştırma) olabilir. Bkz. custom_metrics.
inference_log Map Çıkarım günlüklerini izleme yapılandırması. Bkz. inference_log.
latest_monitor_failure_msg String İzleyici hatası için en son hata iletisi. Bu, bir izleyici başarısız olduğunda doldurulan salt okunur bir alandır.
Databricks CLI sürüm 0.264.0'a eklendi
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 0.268.0'a eklendi
notifications Map Monitör için bildirim ayarları. Bildirimlere bakın.
output_schema_name String Çıktı ölçüm tablolarının oluşturulduğu şema.
schedule Map Ölçüm tablolarını otomatik olarak güncelleştirme ve yenileme zamanlaması. Bkz. zamanlama.
skip_builtin_dashboard Boolean Varsayılan veri kalite ölçümlerini özetleyen panonun oluşturulup oluşturulmayacağı?
slicing_exprs Sequence Hedeflenen analiz için verileri dilimlediğiniz sütun ifadelerinin listesi. Veriler her ifadeye göre bağımsız olarak gruplandırılır ve her koşul ve tamamlayıcıları için ayrı bir dilim elde edilir. Yüksek kardinalite sütunları için, yalnızca sıklığa göre ilk 100 benzersiz değer dilim oluşturur.
snapshot Map Anlık görüntü tablolarını izlemek için yapılandırma. Bkz. anlık görüntü.
table_name String Tablonun tam adı.
Databricks CLI sürüm 0.235.0'a eklendi
time_series Map Zaman serisi tablolarını izlemek için yapılandırma. bkz. time_series.
warehouse_id String Gösterge paneli oluşturmak için ambarı belirtmek amacıyla isteğe bağlı bir bağımsız değişken. Belirtilmezse, çalışan ilk ambar kullanılır.

quality_monitor.özel_metrikler

Type: Sequence

Özel ölçüm tanımlarının listesi.

Listedeki her öğe bir CustomMetric:

Key Type Description
definition String Ölçümün nasıl hesaplandığını belirten bir SQL ifadesi için Jinja şablonu. Bkz . ölçüm tanımı oluşturma.
input_columns Sequence Ölçümün hesaplanması gereken giriş tablosundaki sütun adlarının listesi. Ölçümün birden çok sütundaki bilgilere ihtiyacı olduğunu belirtmek için kullanabilirsiniz :table .
name String Çıktı tablolarındaki ölçümün adı.
output_data_type String Özel ölçümün çıktı türü.
type String Yalnızca CUSTOM_METRIC_TYPE_AGGREGATE, CUSTOM_METRIC_TYPE_DERIVED veya CUSTOM_METRIC_TYPE_DRIFT olabilir. CUSTOM_METRIC_TYPE_AGGREGATE ve CUSTOM_METRIC_TYPE_DERIVED ölçümleri tek bir tabloda hesaplanırkenCUSTOM_METRIC_TYPE_DRIFT, ölçümler taban çizgisi ve giriş tablosu arasında veya birbirini izleyen iki zaman penceresinde karşılaştırılır.
  • CUSTOM_METRIC_TYPE_AGGREGATE: Yalnızca tablonuzda mevcut olan sütunlara bağımlıdır
  • CUSTOM_METRIC_TYPE_DERIVED: Önceden hesaplanan toplama ölçümlerine bağlıdır
  • CUSTOM_METRIC_TYPE_DRIFT: Önceden hesaplanan birleştirilmiş veya türetilmiş metriklere bağlıdır

quality_monitor.inference_log

Type: Map

Çıkarım günlüklerini izleme yapılandırması.

Key Type Description
granularities Sequence Çıkarım günlüklerini toplamaya yönelik zaman ayrıntı düzeyleri (örneğin, ["1 day"]).
model_id_col String Model kimliğini içeren sütunun adı.
prediction_col String Tahmini içeren sütunun adı.
timestamp_col String Zaman damgasını içeren sütunun adı.
problem_type String ML sorununun türü. Geçerli değerler: PROBLEM_TYPE_CLASSIFICATION, PROBLEM_TYPE_REGRESSION.
label_col String Etiketi içeren sütunun adı (temel gerçek).
prediction_proba_col String Tahmin olasılıklarını içeren sütunun adı.

kalite_izleyici.bildirimleri

Type: Map

monitör için bildirim ayarları.

Key Type Description
on_failure Map monitör başarısız olduğunda bildirim ayarları. Bkz. on_failure.
on_new_classification_tag_detected Map Yeni sınıflandırma etiketleri algılandığında bildirim ayarları. Bkz. on_new_classification_tag_detected.

kalite_gözlemci.bildirimler.hata_durumunda

Type: Map

monitör başarısız olduğunda bildirim ayarları.

Key Type Description
email_addresses Sequence İzleyici hatası durumunda bildirim gönderilecek e-posta adreslerinin listesi.

kalite_izleyici.bildirimler.yeni_sınıflandırma_etiket_belirlediğinde

Type: Map

Yeni sınıflandırma etiketleri algılandığında bildirim ayarları.

Key Type Description
email_addresses Sequence Yeni sınıflandırma etiketleri algılandığında bildirilmesi gereken e-posta adreslerinin listesi.

kalite_izleyicisi.program

Type: Map

Ölçüm tablolarını otomatik olarak güncelleştirmek ve yenilemek için zamanlayın.

Key Type Description
quartz_cron_expression String Quartz söz dizimi kullanan bir Cron ifadesi. Örneğin, 0 0 8 * * ? her gün 08:00'de çalışır.
timezone_id String Zamanlamanın saat dilimi (örneğin, , UTCAmerica/Los_Angeles).
pause_status String Zamanlamanın duraklatılıp duraklatılmadığı. Geçerli değerler: PAUSED, UNPAUSED.

kalite_izleyici.anlık_görüntü

Type: Map

Anlık görüntü tablolarını izlemek için yapılandırma.

kalite_izleyici.zaman_serisi

Zaman serisi tablolarını izlemek için yapılandırma.

Key Type Description
granularities Sequence Zaman serisi verilerini toplamaya yönelik zaman ayrıntı düzeyleri (örneğin, ["30 minutes"]).
timestamp_col String Zaman damgasını içeren sütunun adı.

Examples

Aşağıdaki örnekler InferenceLog, TimeSeries ve Snapshot profil türleri için kalite izleyicilerini tanımlar.

# InferenceLog profile type
resources:
  quality_monitors:
    my_quality_monitor:
      table_name: dev.mlops_schema.predictions
      output_schema_name: ${bundle.target}.mlops_schema
      assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
      inference_log:
        granularities: [1 day]
        model_id_col: model_id
        prediction_col: prediction
        label_col: price
        problem_type: PROBLEM_TYPE_REGRESSION
        timestamp_col: timestamp
      schedule:
        quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
        timezone_id: UTC
# TimeSeries profile type
resources:
  quality_monitors:
    my_quality_monitor:
      table_name: dev.mlops_schema.predictions
      output_schema_name: ${bundle.target}.mlops_schema
      assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
      time_series:
        granularities: [30 minutes]
        timestamp_col: timestamp
      schedule:
        quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
        timezone_id: UTC
# Snapshot profile type
resources:
  quality_monitors:
    my_quality_monitor:
      table_name: dev.mlops_schema.predictions
      output_schema_name: ${bundle.target}.mlops_schema
      assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
      snapshot: {}
      schedule:
        quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
        timezone_id: UTC

Aşağıdaki örnek, izleme temelinde bir kalite izleyicisi ve buna karşılık gelen model yeniden eğitme işini yapılandırmaktadır:

# Quality monitoring workflow
resources:
  quality_monitors:
    mlops_quality_monitor:
      table_name: ${bundle.target}.mlops_demo.predictions
      output_schema_name: ${bundle.target}.mlops_demo
      assets_dir: /Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
      inference_log:
        granularities: [1 hour]
        model_id_col: model_version
        prediction_col: prediction
        label_col: fare_amount
        problem_type: PROBLEM_TYPE_REGRESSION
        timestamp_col: inference_timestamp
      schedule:
        quartz_cron_expression: 57 0 14 * * ? # refresh monitoring metrics every day at 7 am PT
        timezone_id: UTC
  jobs:
    retraining_job:
      name: ${bundle.target}-mlops_demo-monitoring-retraining-job
      tasks:
        - task_key: monitored_metric_violation_check
          notebook_task:
            notebook_path: ../monitoring/notebooks/MonitoredMetricViolationCheck.py
            base_parameters:
              env: ${bundle.target}
              table_name_under_monitor: ${bundle.target}.mlops_demo.predictions
              metric_to_monitor: r2_score
              metric_violation_threshold: 0.7
              num_evaluation_windows: 24
              num_violation_windows: 5 # 5 out of the past 24 windows have metrics lower than threshold

        - task_key: is_metric_violated
          depends_on:
            - task_key: monitored_metric_violation_check
          condition_task:
            op: EQUAL_TO
            left: '{{tasks.monitored_metric_violation_check.values.is_metric_violated}}'
            right: 'true'

        - task_key: trigger_retraining
          depends_on:
            - task_key: is_metric_violated
              outcome: 'true'
          run_job_task:
            job_id: ${resources.jobs.model_training_job.id}

      schedule:
        quartz_cron_expression: '0 0 15 * * ?' # daily at 8 am PDT
        timezone_id: UTC

      # To get notifications, provide a list of emails to the on_failure argument.
      #
      #  email_notifications:
      #    on_failure:
      #      - someone@example.com

kayıtlı_model (Unity Kataloğu)

Type: Map

Kayıtlı model kaynağı, Unity Kataloğu'nda modelleri tanımlamanızı sağlar. Unity Kataloğu kayıtlı modelleri hakkında bilgi için bkz. Unity Kataloğu'nda model yaşam döngüsünü yönetme.

registered_models:
  <registered_model-name>:
    <registered_model-field-name>: <registered_model-field-value>
Key Type Description
aliases Sequence Kayıtlı modele bağlı takma adların listesi. Bkz. registered_model.aliases.
Databricks CLI sürüm 0.273.0'a eklendi
catalog_name String Şemanın ve kayıtlı modelin bulunduğu kataloğun adı.
comment String Kayıtlı modele eklenen açıklama.
created_at Integer Unix devrinden bu yana milisaniye cinsinden kayıtlı modelin oluşturma zaman damgası.
Databricks CLI sürüm 0.273.0'a eklendi
created_by String Kayıtlı modeli oluşturan kullanıcının tanımlayıcısı.
Databricks CLI sürüm 0.273.0'a eklendi
full_name String Kayıtlı modelin üç düzeyli (tam olarak nitelenmiş) adı.
Databricks CLI sürüm 0.273.0'a eklendi
grants Sequence Kayıtlı modelle ilişkili hibeler. Bkz. grant.
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 0.268.0'a eklendi
metastore_id String Meta veri deposunun benzersiz tanımlayıcısı.
Databricks CLI sürüm 0.273.0'a eklendi
name String Kayıtlı modelin adı.
owner String Kayıtlı modelin sahibi olan kullanıcının tanımlayıcısı.
Databricks CLI sürüm 0.273.0'a eklendi
schema_name String Kayıtlı modelin bulunduğu şemanın adı.
storage_location String Model sürüm veri dosyalarının bulutta saklandığı yer.
updated_at String Unix dönemlerinden bu yana milisaniye cinsinden kayıtlı modelin son güncelleştirme zaman damgası.
Databricks CLI sürüm 0.273.0'a eklendi
updated_by String Kayıtlı modeli son kez güncelleştiren kullanıcının tanımlayıcısı.
Databricks CLI sürüm 0.273.0'a eklendi

registered_model.takma adlar

Type: Sequence

Kayıtlı modelle bağlantılı takma adların listesi.

Listedeki her öğe bir Alias:

Key Type Description
alias_name String Takma adın adı, örneğin "şampiyon" veya "latest_stable"
catalog_name String Model sürümünü içeren kataloğun adı
id String Diğer adın benzersiz tanımlayıcısı
model_name String Model sürümünün ana kayıtlı modelinin adı, üst şemaya göre
schema_name String Üst kataloğa göre model sürümünü içeren şemanın adı
version_num Integer Bu diğer adın işaret ettiği model sürümünün tamsayı sürüm numarası.

Example

Aşağıdaki örnek, Unity Kataloğu'nda kayıtlı bir modeli tanımlar:

resources:
  registered_models:
    model:
      name: my_model
      catalog_name: ${bundle.target}
      schema_name: mlops_schema
      comment: Registered model in Unity Catalog for ${bundle.target} deployment target
      grants:
        - privileges:
            - EXECUTE
          principal: account users

şeması (Unity Kataloğu)

Type: Map

Şemalar bildirim temelli Otomasyon Paketleri için Python desteklenir. Bkz. databricks.bundles.schemas.

Şema kaynak türü, bir paketin parçası olarak oluşturulan iş akışlarınızda ve işlem hatlarınızda tablolar ve diğer varlıklar için Unity Kataloğu şemaları tanımlamanızı sağlar. Diğer kaynak türlerinden farklı bir şema aşağıdaki sınırlamalara sahiptir:

  • Bir şema kaynağının sahibi her zaman dağıtım kullanıcısıdır ve değiştirilemez. Şayet run_as pakette belirtilmişse, şema üzerindeki işlemler tarafından yoksayılacaktır.
  • Şema kaynağı için yalnızca ilgili Schemas nesnesi oluşturma API'sinin desteklediği alanlar kullanılabilir. Örneğin, enable_predictive_optimization yalnızca güncelleştirme API'sinde kullanılabilir olduğundan desteklenmez.
schemas:
  <schema-name>:
    <schema-field-name>: <schema-field-value>
Key Type Description
catalog_name String Ana kataloğun adı.
comment String Kullanıcı tarafından sağlanan serbest biçimli metin açıklaması.
custom_max_retention_hours Integer Şema için özel maksimum saklama süresi, saat cinsinden.
Databricks CLI sürüm 1.5.0'da eklendi
grants Sequence Şemayla ilişkili hibeler. Bkz. grant.
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 0.268.0'a eklendi
name String Üst katalogla ilişkili olarak şemanın adı.
properties Map Şemaya eklenmiş anahtar-değer özelliklerinin haritası.
storage_root String Şema içindeki yönetilen tablolar için depolama kök URL'si.

Examples

Aşağıdaki örnek, hedef olarak anahtarla bir Unity Kataloğu şeması oluşturan kaynak anahtarına my_pipelinemy_schema sahip bir işlem hattını tanımlar. Bu örnekte değiştirmeler kullanılır.

resources:
  pipelines:
    my_pipeline:
      name: test-pipeline
      libraries:
        - notebook:
            path: ../src/nb.ipynb
        - file:
            path: ../src/range.sql
      development: true
      catalog: ${resources.schemas.my_schema.catalog_name}
      target: ${resources.schemas.my_schema.id}

  schemas:
    my_schema:
      name: test-schema
      catalog_name: main
      comment: This schema was created by Declarative Automation Bundles.

En üst düzey atama eşlemesi Bildirim temelli Otomasyon Paketleri tarafından desteklenmez, bu nedenle bir şema için izinler ayarlamak istiyorsanız, eşleme içinde schemas şema için izinleri tanımlayın. Daha fazla bilgi için Ayrıcalıkları gösterme, verme ve iptal etme bölümüne bakın.

Aşağıdaki örnek, grants içeren bir Unity Kataloğu şemasını tanımlar:

resources:
  schemas:
    my_schema:
      name: test-schema
      grants:
        - principal: users
          privileges:
            - SELECT
        - principal: my_team
          privileges:
            - MANAGE
      catalog_name: main

gizli (Unity Catalog)

Type: Map

Gizli kaynak, Unity Kataloğunda saklanan bir sır tanımlamanızı sağlar. Sırlar, şifreler, tokenlar ve anahtarlar gibi hassas kimlik bilgilerini güvenli bir şekilde saklayan üç seviyeli isim alanı nesneleridir (catalog.schema.secret).

Note

Sırları tanımlamak için Deklarative Automation Bundles kullanmak yalnızca doğrudan dağıtım motoru kullanıyorsanız desteklenir.

Databricks CLI sürüm 1.12.0'da eklendi

secrets:
  <secret-name>:
    <secret-field-name>: <secret-field-value>
Key Type Description
catalog_name String Gerekli. Şemanın ve sırrın bulunduğu kataloğun adı.
Databricks CLI sürüm 1.12.0'da eklendi
comment String Kullanıcı tarafından sağlanan serbest metin açıklaması sırrın için. 1 ile 65536 karakter arasında olmalı.
Databricks CLI sürüm 1.12.0'da eklendi
expire_time String Sırrın kullanıcı tarafından sağlanan son kullanma süresi. Bu alan, sırrın artık kullanılmaması gerektiğini belirtir ve arayüzde uyarı olarak görüntülenebilir. Tamamen bilgilendiricidir ve otomatik eylemleri tetiklemez veya sırrın yaşam döngüsünü etkilemez.
Databricks CLI sürüm 1.12.0'da eklendi
grants Sequence Bu sırda başvurmak için hibeler. Bkz. grant.
Databricks CLI sürüm 1.12.0'da eklendi
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 1.12.0'da eklendi
name String Gerekli. Sırrın adı, ana şemasına göre.
Databricks CLI sürüm 1.12.0'da eklendi
owner String Sırrın sahibi. Yaratma ilkesi varsayılan olarak oluşturulma prensibesine geçer. Sırrın mülkiyetini başka bir yöneticiye aktarmak için güncellenebilir.
Databricks CLI sürüm 1.12.0'da eklendi
schema_name String Gerekli. Sırrın bulunduğu şemanın adı.
Databricks CLI sürüm 1.12.0'da eklendi
value String Gerekli. Saklanacak gizli değer. Bu alan yalnızca girdi için kullanılır ve yanıtlarda geri dönmez—gizli değeri okumak için effective_value alanı ( GetSecret ayarla include_valuetrue) kullanın. Maksimum boyut 60 KiB'dir (şifreleme öncesi). Kabul edilen içerik arasında şifreler, tokenlar, anahtarlar ve diğer hassas kimlik bilgileri bulunur. 1 ile 61440 karakter arasında olmalı.
Databricks CLI sürüm 1.12.0'da eklendi

Examples

Aşağıdaki örnek, değeri dağıtım zamanında bir bundle değişkeni tarafından sağlanan bir Unity Kataloğu gizliliğini tanımlar:

bundle:
  name: my-bundle

variables:
  my_secret_value:
    description: 'Secret value passed at deploy time'

resources:
  secrets:
    my_secret:
      catalog_name: main
      schema_name: default
      name: my_api_key
      value: ${var.my_secret_value}
      comment: 'API key for external service'

gizli_kapsam

Type: Map

secret_scope kaynağı, bir pakette gizli dizi kapsamları tanımlamanızı sağlar. Gizli kapsamlar hakkında bilgi için bkz. Gizli yönetim.

Databricks CLI sürüm 0.252.0'a eklendi

secret_scopes:
  <secret_scope-name>:
    <secret_scope-field-name>: <secret_scope-field-value>
Key Type Description
backend_type String Kapsamın oluşturulacağı arka uç türü. Belirtilmezse, bu varsayılan olarak olur DATABRICKS.
Databricks CLI sürüm 0.252.0'a eklendi
keyvault_metadata Map Eğer backend_type ise, gizli dizi kapsamının meta verileri AZURE_KEYVAULT. Bkz. keyvault_metadata.
Databricks CLI sürüm 0.252.0'a eklendi
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 0.268.0'a eklendi
name String Kullanıcı tarafından istenen kapsam adı. Kapsam adları benzersizdir.
Databricks CLI sürüm 0.252.0'a eklendi
permissions Sequence Gizli alan kapsamına uygulanacak izinler. İzinler, gizli kapsam ACL'leri aracılığıyla yönetilir, bu nedenle her group_name, user_name, veya service_principal_name ACL'de bir principal alana çevrilir. İzin verilen seviyeler READ, WRITE, ve MANAGE. Bkz. izinler.
Databricks CLI sürüm 0.252.0'a eklendi

secret_scope.keyvault_metadata

Type: Map

Azure Key Vault destekli gizli dizi kapsamları için meta veriler.

Key Type Description
resource_id String Key Vault Azure kaynak kimliği.
dns_name String Azure Key Vault DNS adı.

Examples

Aşağıdaki örnek, bir anahtar kasası arka ucu kullanan bir gizli kapsam tanımlar:

resources:
  secret_scopes:
    secret_scope_azure:
      name: test-secrets-azure-backend
      backend_type: 'AZURE_KEYVAULT'
      keyvault_metadata:
        resource_id: my_azure_keyvault_id
        dns_name: my_azure_keyvault_dns_name

Aşağıdaki örnek, gizli kapsamları ve izinleri kullanarak özel bir ACL örneği ayarlar:

resources:
  secret_scopes:
    my_secret_scope:
      name: my_secret_scope
      permissions:
        - user_name: admins
          level: WRITE
        - user_name: users
          level: READ

Bir gizli dizi kapsamının ve bir pakette ondan okunan bir görevle işin nasıl tanımlandığını gösteren örnek bir paket için bkz. bundle-examples GitHub deposu.

sql_warehouse

Type: Map

SQL ambarı kaynağı, bir pakette SQL ambarı tanımlamanızı sağlar. SQL ambarları hakkında bilgi için bkz. Azure Databricks üzerinde Data ambarı.

Databricks CLI sürüm 0.260.0'a eklendi

sql_warehouses:
  <sql-warehouse-name>:
    <sql-warehouse-field-name>: <sql-warehouse-field-value>
Key Type Description
auto_stop_mins Integer SQL ambarının otomatik olarak durdurulmadan önce boşta olması gereken dakika cinsinden süre (örneğin, çalışan sorgular olmadan). Geçerli değerler 0'dır, bu otomatik durdurma olmadığını gösterir, ya da 10'dan büyük veya eşittir (klasik/pro) veya 1'e eşittir (sunucusuz). Varsayılan 120 (klasik/pro) ve 10 (sunucusuz).
Databricks CLI sürüm 0.260.0'a eklendi
channel Map Kanal ayrıntıları. Kanala bakın.
Databricks CLI sürüm 0.260.0'a eklendi
cluster_size String Bu ambar için ayrılan kümelerin boyutu. Spark kümesinin boyutunu artırmak, üzerinde daha büyük sorgular çalıştırmanıza olanak tanır. Eşzamanlı sorgu sayısını artırmak istiyorsanız max_num_clusters ayarlayın. Desteklenen değerler için bkz. cluster_size.
Databricks CLI sürüm 0.260.0'a eklendi
creator_name String Ambarı oluşturan kullanıcının adı.
Databricks CLI sürüm 0.260.0'a eklendi
enable_photon Boolean Depo Foton ile optimize edilmiş kümeleri kullanmalı mı? Varsayılan değer false'tur.
Databricks CLI sürüm 0.260.0'a eklendi
enable_serverless_compute Boolean Ambarın sunucusuz işlem kullanıp kullanmayacağı belirlenmelidir.
Databricks CLI sürüm 0.260.0'a eklendi
instance_profile_arn String Deprecated. IAM rolünü kümeye geçirmek için kullanılan örnek profili.
Databricks CLI sürüm 0.260.0'a eklendi
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 0.268.0'a eklendi
max_num_clusters Integer Otomatik ölçeklendiricinin eşzamanlı sorguları işlemek için oluşturacağı en fazla küme sayısı. Değerler 30'a eşit veya ondan küçük ve değerinden büyük veya buna min_num_clusterseşit olmalıdır. Eğer ayarlanmamışsa, varsayılan olarak min_clusters kullanılır.
Databricks CLI sürüm 0.260.0'a eklendi
min_num_clusters Integer Bu SQL ambarı için tutulacak kullanılabilir kümelerin en az sayısı. Bunu artırmak, daha fazla sayıda kümenin her zaman çalışır durumda olmasını garanti altına alır ve bu nedenle yeni sorgular için soğuk başlangıç süresini kısaltabilir. Bu, bir kaynak yöneticisindeki ayrılmış ve iptal edilebilir çekirdeklere benzer. Değerler 0'dan büyük ve min(max_num_clusters, 30) değerinden küçük veya buna eşit olmalıdır. Varsayılan değer 1'tir.
Databricks CLI sürüm 0.260.0'a eklendi
name String Kümenin mantıksal adı. Ad bir kuruluş içinde benzersiz olmalı ve 100 karakterden az olmalıdır.
Databricks CLI sürüm 0.260.0'a eklendi
permissions Sequence Depoya uygulanacak izinler. Bkz. izinler.
Databricks CLI sürüm 0.260.0'a eklendi
spot_instance_policy String Spot instance kullanılıp kullanılmayacağı. Geçerli değerler , POLICY_UNSPECIFIED, COST_OPTIMIZEDRELIABILITY_OPTIMIZED. Varsayılan değer: COST_OPTIMIZED.
Databricks CLI sürüm 0.260.0'a eklendi
tags Map Ambar için bir dizi özel etiket. Bkz. sql_warehouse.tags.
Databricks CLI sürüm 0.260.0'a eklendi
warehouse_type String Ambar türü. Geçerli değerler: PRO ve CLASSIC. Sunucusuz işlem kullanmak istiyorsanız, bu alanı olarak PRO ve alanını enable_serverless_computetrueolarak da ayarlayın.
Databricks CLI sürüm 0.260.0'a eklendi

sql_warehouse.channel

Type: Map

SQL ambarı için kanal yapılandırması.

Key Type Description
name String Kanalın adı. Geçerli değerler CHANNEL_NAME_CURRENT, CHANNEL_NAME_PREVIEW, CHANNEL_NAME_CUSTOM.
dbsql_version String Özel kanallar için DBSQL sürümü.

sql_warehouse.etiketler

Type: Map

SQL ambarı için özel etiketler.

Key Type Description
custom_tags Sequence Bu SQL ambarıyla ilişkili tüm kaynaklardaki (örneğin AWS örnekleri ve EBS birimleri) etiketleri tanımlayan anahtar-değer çiftleri kümesi. Etiket sayısı 45'ten az olmalıdır.

Example

Aşağıdaki örnek bir SQL ambarını tanımlar:

resources:
  sql_warehouses:
    my_sql_warehouse:
      name: my_sql_warehouse
      cluster_size: X-Large
      enable_serverless_compute: true
      max_num_clusters: 3
      min_num_clusters: 1
      auto_stop_mins: 60
      warehouse_type: PRO
      tags:
        custom_tags:
          - key: 'bizunit'
            value: 'commercial'
          - key: 'area'
            value: 'marketing'

senkronize_edilmiş_veritabanı_tablosu

Type: Map

Eşitlenen veritabanı tablosu kaynağı , Lakebase veritabanı tablolarını bir pakette tanımlamanıza olanak tanır.

Eşitlenen veritabanı tabloları hakkında bilgi için bkz. Lakebase Sağlandı.

Databricks CLI sürüm 0.266.0'a eklendi

synced_database_tables:
  <synced_database_table-name>:
    <synced_database_table-field-name>: <synced_database_table-field-value>
Key Type Description
database_instance_name String Hedef veritabanı örneğinin adı. Bu, standart kataloglarda eşitlenmiş veritabanı tabloları oluştururken gereklidir. Bu, kayıtlı kataloglarda senkronize veritabanı tabloları oluşturulduğunda isteğe bağlıdır; Bu durumda belirtilirse, veritabanı örneği adı kayıtlı katalogla eşleşmelidir, aksi takdirde talep reddedilir.
Databricks CLI sürüm 0.266.0'a eklendi
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 0.268.0'a eklendi
logical_database_name String Bu tablo için hedef Postgres veritabanı nesnesinin (mantıksal veritabanı) adı.
Kayıtlı bir Postgres kataloğunda senkronize bir tablo oluşturulduğunda, hedef Postgres veritabanı adı kayıtlı katalogun adı olarak çıkarılır. Bu durumda bu alan belirtilirse, Postgres veritabanı adı kayıtlı katalogla eşleşmelidir, aksi takdirde talep reddedilir.
Standart bir katalogda senkronize bir tablo oluşturulurken bu alan gereklidir ve belirtmek isteğe değer bir Postgres veritabanını hedeflemeyi sağlar. Bunun içindeki create_database_objects_if_missingalan için sonuçları spec olduğunu unutmayın.
Databricks CLI sürüm 0.266.0'a eklendi
name String Gerekli. Formda catalog.schema.tabletablonun tam adı.
Databricks CLI sürüm 0.266.0'a eklendi
spec Map Veritabanı tablosu belirtimi. Bkz. eşitlenmiş veritabanı tablosu belirtimi.
Databricks CLI sürüm 0.266.0'a eklendi

senkronize_veri_tabanı_tablosu.spec

Type: Map

Veritabanı tablosu belirtimi.

Databricks CLI sürüm 0.266.0'a eklendi

Key Type Description
create_database_objects_if_missing Boolean Eşitlenen tablonun mantıksal veritabanının ve şema kaynaklarının henüz mevcut değilse oluşturulup oluşturulmayacağı.
existing_pipeline_id String Mevcut bir işlem hattının kimliği. Bu ayarlanırsa, eşitlenen tablo, başvuruda bulunılan mevcut işlem hattına paketlenir. Bu, yeni işlem hattı oluşturmayı önler ve mevcut işlem hattının paylaşılmasına izin verir. Bu durumda, scheduling_policy eşitlenen bu tablonun mevcut işlem hattının zamanlama ilkesiyle uyumlu olması gerekir. existing_pipeline_id ve new_pipeline_spec'den en fazla biri tanımlanmalıdır.
new_pipeline_spec Map Yeni işlem hattının belirtimi. Bkz. new_pipeline_spec. existing_pipeline_id ve new_pipeline_spec'den en fazla biri tanımlanmalıdır.
primary_key_columns Sequence Birincil anahtarı oluşturan sütun adlarının listesi.
scheduling_policy String Eşitleme için zamanlama ilkesi. Geçerli değerler SNAPSHOT, CONTINUOUS, TRIGGERED.
source_table_full_name String biçimindeki catalog.schema.tablekaynak tablonun tam adı.
timeseries_key String Aynı birincil anahtara sahip satırları tekrarlardan arındırmak için zaman serisi anahtarı.

synced_database_table.spec.new_pipeline_spec

Type: Map

Eşitlenmiş veritabanı tablosu tarafından kullanılan yeni işlem hattının şartnamesi.

Key Type Description
budget_policy_id String Yeni oluşturulan işlem hattı üzerinde ayarlanacak bütçe politikasının kimliği.
storage_catalog String Denetim noktaları ve olay günlükleri gibi ara dosyaları depolamak için işlem hattının kataloğu. Bu, kullanıcının Delta tabloları oluşturma izinlerine sahip olduğu standart bir katalog olmalıdır.
storage_schema String Denetim noktaları ve olay günlükleri gibi ara dosyaları depolamak için işlem hattının şeması. Bunun, kullanıcının Delta tabloları oluşturma izinlerine sahip olduğu standart katalogda olması gerekir.

Examples

Aşağıdaki örnek, ilgili veritabanı kataloğunda eşitlenmiş bir veritabanı tablosunu tanımlar:

resources:
  database_instances:
    my_instance:
      name: my-instance
      capacity: CU_1
  database_catalogs:
    my_catalog:
      database_instance_name: my-instance
      database_name: 'my_database'
      name: my_catalog
      create_database_if_not_exists: true
  synced_database_tables:
    my_synced_table:
      name: ${resources.database_catalogs.my_catalog.name}.${resources.database_catalogs.my_catalog.database_name}.my_destination_table
      database_instance_name: ${resources.database_catalogs.my_catalog.database_instance_name}
      logical_database_name: ${resources.database_catalogs.my_catalog.database_name}
      spec:
        source_table_full_name: 'my_source_table'
        scheduling_policy: SNAPSHOT
        primary_key_columns:
          - my_pk_column
        new_pipeline_spec:
          storage_catalog: 'my_delta_catalog'
          storage_schema: 'my_delta_schema'

Aşağıdaki örnek, standart bir katalog içinde eşitlenmiş bir veritabanı tablosu tanımlar:

resources:
  synced_database_tables:
    my_synced_table:
      name: 'my_standard_catalog.public.synced_table'
      # database_instance_name is required for synced tables created in standard catalogs.
      database_instance_name: 'my-database-instance'
      # logical_database_name is required for synced tables created in standard catalogs:
      logical_database_name: ${resources.database_catalogs.my_catalog.database_name}
      spec:
        source_table_full_name: 'source_catalog.schema.table'
        scheduling_policy: SNAPSHOT
        primary_key_columns:
          - my_pk_column
        create_database_objects_if_missing: true
        new_pipeline_spec:
          storage_catalog: 'my_delta_catalog'
          storage_schema: 'my_delta_schema'

Bu örnek, eşitlenmiş bir veritabanı tablosu oluşturur ve bunun için işlem hattı zamanlamasını özelleştirir. Zaten sahip olduğunuz varsayılır:

  • adlı bir veritabanı örneği my-database-instance
  • Adlı standart bir katalog my_standard_catalog
  • Standart katalogda default adlı bir şema
  • Birincil anahtarı source_delta.schema.customer olan c_custkey adlı bir kaynak delta tablosu
resources:
  synced_database_tables:
    my_synced_table:
      name: 'my_standard_catalog.default.my_synced_table'
      database_instance_name: 'my-database-instance'
      logical_database_name: 'test_db'
      spec:
        source_table_full_name: 'source_delta.schema.customer'
        scheduling_policy: SNAPSHOT
        primary_key_columns:
          - c_custkey
        create_database_objects_if_missing: true
        new_pipeline_spec:
          storage_catalog: 'source_delta'
          storage_schema: 'schema'

  jobs:
    sync_pipeline_schedule_job:
      name: sync_pipeline_schedule_job
      description: 'Job to schedule synced database table pipeline.'
      tasks:
        - task_key: synced-table-pipeline
          pipeline_task:
            pipeline_id: ${resources.synced_database_tables.my_synced_table.data_synchronization_status.pipeline_id}
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'

vector_search_endpoint

Type: Map

vector_search_endpoint kaynağı, bir pakette Yapay Zeka Arama uç noktalarını tanımlamanızı sağlar. AI Search hakkında bilgi için bkz. Databricks AI Search.

Note

Vektör arama uç noktalarını tanımlamak için Bildirim temelli Otomasyon Paketlerinin kullanılması yalnızca doğrudan dağıtım altyapısını kullanıyorsanız desteklenir.

Databricks CLI sürüm 0.298.0'a eklendi

vector_search_endpoints:
  <vector_search_endpoint-name>:
    <vector_search_endpoint-field-name>: <vector_search_endpoint-field-value>
Key Type Description
budget_policy_id String Bu uç nokta için kullanılacak bütçe ilkesinin kimliği.
Databricks CLI sürüm 0.298.0'a eklendi
endpoint_type String Uç noktanın türü. Geçerli değerler: STORAGE_OPTIMIZED ve STANDARD.
Databricks CLI sürüm 0.298.0'a eklendi
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 0.298.0'a eklendi
name String AI Arama uç noktasının adı.
Databricks CLI sürüm 0.298.0'a eklendi
permissions Sequence AI Arama uç noktasına uygulanacak izinler. İzin verilen seviyeler CAN_CREATE, CAN_MANAGE, ve CAN_USE. Bkz. izinler.
Databricks CLI sürüm 0.298.0'a eklendi
target_qps Integer AI Arama uç noktası için saniye başına hedef sorgular. num_replicas ile birbirini dışlar. Gerçek replika sayısı, bu değere göre endeks oluşturma veya senkronizasyon zamanı hesaplanır. Bu en iyi şekilde yapılan bir hedeftir; sistem bu QPS'nin sağlanacağını garanti etmez.
Databricks CLI sürüm 0.299.2 içinde eklendi

Example

Aşağıdaki örnek bir Yapay Zeka Arama uç noktasını tanımlar:

# databricks.yml
bundle:
  name: vector-search-example
  engine: direct # Vector Search requires the direct deployment engine

resources:
  vector_search_endpoints:
    my_vector_search_endpoint:
      name: my_vector_search_endpoint
      endpoint_type: STANDARD

vector_search_index

Type: Map

vector_search_index kaynağı, bir pakette vektör arama dizinleri tanımlamanızı sağlar. Vektör araması hakkında bilgi için bkz. Databricks AI Search.

Databricks CLI sürüm 1.1.0'a eklendi

vector_search_indexes:
  <vector_search_index-name>:
    <vector_search_index-field-name>: <vector_search_index-field-value>
Key Type Description
delta_sync_index_spec Map Delta Eşitleme Dizini belirtimi. ise index_type gereklidir DELTA_SYNC. Bkz . vector_search_index.delta_sync_index_spec.
Databricks CLI sürüm 1.1.0'a eklendi
direct_access_index_spec Map Doğrudan Vektör Erişim Dizini belirtimi. ise index_type gereklidir DIRECT_ACCESS. Bkz . vector_search_index.direct_access_index_spec.
Databricks CLI sürüm 1.1.0'a eklendi
endpoint_name String Gerekli. Dizine hizmet vermek için kullanılacak uç noktanın adı.
Databricks CLI sürüm 1.1.0'a eklendi
grants Sequence Vektör arama diziniyle ilişkili izinler. Bkz. grant.
Databricks CLI sürüm 1.1.0'a eklendi
index_subtype String (Beta) Dizinin alt türü. Geçerli değerler: HYBRID ve FULL_TEXT. VECTOR desteklenmez.
Databricks CLI sürüm 1.1.0'a eklendi
index_type String Gerekli. İndeksin türü. Geçerli değerler şunlardır:
  • DELTA_SYNC: Temel alınan veriler değiştikçe dizini otomatik ve artımlı olarak güncelleştiren, kaynak Delta Tablosu ile otomatik olarak eşitlenen dizin.
  • DIRECT_ACCESS: REST ve SDK API'leri aracılığıyla vektörlerin ve meta verilerin doğrudan okunmasını ve yazmasını destekleyen bir dizin. Bu modelle, kullanıcı dizin güncelleştirmelerini yönetir. Databricks CLI sürüm 1.1.0'a eklendi
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 1.1.0'a eklendi
name String Gerekli. Dizinin adı.
Databricks CLI sürüm 1.1.0'a eklendi
primary_key String Gerekli. Dizinin birincil anahtarı.
Databricks CLI sürüm 1.1.0'a eklendi

vector_search_index.delta_sync_index_spec

Type: Map

Delta Eşitleme Dizini belirtimi.

Databricks CLI sürüm 1.1.0'a eklendi

Key Type Description
columns_to_index Sequence Optional. Diğer ad için columns_to_sync. Vektör dizinine eklenecek sütunları seçin. Bu alan boşsa, kaynak tablodaki tüm sütunlar eklenir. Birincil anahtar sütunu ve ekleme kaynak sütunu veya ekleme vektör sütunu her zaman eklenir. Yalnızca biri columns_to_sync veya columns_to_index biri belirtilebilir.
columns_to_sync Sequence Optional. Vektör diziniyle eşitlenecek sütunları seçin. Bu alan boşsa, kaynak tablodaki tüm sütunlar dizinle eşitlenir. Birincil anahtar sütunu ile gömme kaynak sütunu veya gömme vektör sütunu sürekli olarak senkronize edilir.
embedding_source_columns Sequence Ekleme kaynağını içeren sütunlar.
embedding_vector_columns Sequence Ekleme vektörlerini içeren sütunlar.
embedding_writeback_table String Optional. Vektör dizini içeriğini ve hesaplanan eklemeleri eşitlenecek Delta tablosunun adı.
pipeline_type String İşlem hattı yürütme modu. Geçerli değerler şunlardır:
  • TRIGGERED: Sistem işlem hattındaki kaynak tabloyu bir kez başarıyla yeniledikten sonra işlemeyi durdurur ve güncelleştirme başlatıldığında tablonun kullanılabilir verilere göre güncelleştirildiğinden emin olur.
  • CONTINUOUS: İşlem hattı, vektör dizinini güncel tutmak için kaynak tabloya ulaşan yeni verileri işler.
source_table String Kaynak tablonun adı.

vector_search_index.direct_access_index_spec

Type: Map

Doğrudan Vektör Erişim Dizini belirtimi.

Databricks CLI sürüm 1.1.0'a eklendi

Key Type Description
embedding_source_columns Sequence Ekleme kaynağını içeren sütunlar. Biçimi olmalıdır array[double].
embedding_vector_columns Sequence Ekleme vektörlerini içeren sütunlar. Biçimi olmalıdır array[double].
schema_json String JSON biçiminde dizinin şeması. Desteklenen türler : integer, long, float, double, boolean, , string, date. timestamp Vektör sütunları için desteklenen türler: array<float>, array<double>.

Example

Aşağıdaki örnek bir Delta Sync vektör arama dizinini tanımlar:

resources:
  vector_search_endpoints:
    my_endpoint:
      name: my-endpoint
      endpoint_type: STANDARD
  vector_search_indexes:
    my_index:
      name: main.default.my_index
      endpoint_name: ${resources.vector_search_endpoints.my_endpoint.name}
      primary_key: id
      index_type: DELTA_SYNC
      delta_sync_index_spec:
        source_table: main.default.source
        pipeline_type: TRIGGERED
      grants:
        - principal: data-engineers
          privileges: [SELECT]

hacim (Unity Kataloğu)

Type: Map

Birimler bildirim temelli Otomasyon Paketleri için Python desteklenir. Bkz. databricks.bundles.volumes.

Birim kaynak türü, Unity Kataloğu birimlerini bir paketin parçası olarak tanımlamanıza ve oluşturmanıza olanak tanır. Tanımlanmış bir birim içeren bir paket dağıtırken şunları unutmayın:

  • Çalışma alanında var olana kadar bir hacme, paketin artifact_path'ında başvurulamaz. Bu nedenle, birimi oluşturmak için Bildirim temelli Otomasyon Paketleri'ni kullanmak istiyorsanız, önce birimi pakette tanımlamanız, birimi oluşturmak için dağıtmanız ve ardından sonraki dağıtımlarda artifact_path buna başvurmanız gerekir.
  • Dağıtım hedefi dev_${workspace.current_user.short_name} yapılandırıldığında, paket içindeki birimler mode: development ön eki ile eklenmez. Ancak, bu ön eki el ile yapılandırabilirsiniz. Bkz. Özel ön ayarlar.

Databricks CLI sürüm 0.236.0'a eklendi

volumes:
  <volume-name>:
    <volume-field-name>: <volume-field-value>
Key Type Description
catalog_name String Şema ve birimin kataloğunun adı.
Databricks CLI sürüm 0.236.0'a eklendi
comment String Hacme iliştirilen açıklama.
Databricks CLI sürüm 0.236.0'a eklendi
grants Sequence Hacimle ilişkili bağışlar. Bkz. grant.
Databricks CLI sürüm 0.236.0'a eklendi
lifecycle Map Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü.
Databricks CLI sürüm 0.268.0'a eklendi
name String Birimin adı.
Databricks CLI sürüm 0.236.0'a eklendi
schema_name String Hacmin bulunduğu şemanın adı.
Databricks CLI sürüm 0.236.0'a eklendi
storage_location String Bulut üzerindeki depolama konumu.
Databricks CLI sürüm 0.236.0'a eklendi
volume_type String Hacim türü, ya EXTERNAL ya da MANAGED. Harici birim belirtilen lokasyonda bulunur. Yönetilen birim, üst şema, üst katalog veya meta veri deposu tarafından belirtilen varsayılan konumda bulunur. Bkz. Yönetilen ve dış birimler.

Example

Aşağıdaki örnek, anahtar my_volume_idile bir Unity Kataloğu birimi oluşturur:

resources:
  volumes:
    my_volume_id:
      catalog_name: main
      name: my_volume
      schema_name: my_schema

Unity Kataloğu birimindeki bir dosyaya yazan bir işi çalıştıran örnek bir paket için bkz. bundle-examples GitHub deposu.

Ortak nesneler

izin vermek

Type: Map

Bahsi geçen özneyi ve bu özneye tanınacak ayrıcalıkları tanımlar. Daha fazla bilgi için Ayrıcalıkları gösterme, verme ve iptal etme bölümüne bakın.

Key Type Description
principal String Ayrıcalık verilecek sorumlunun adı. Bu bir kullanıcı, grup veya hizmet sorumlusu olabilir.
privileges Sequence Belirtilen varlığa verilmelidir ayrıcalıklar. Geçerli değerler kaynak türüne bağlıdır (örneğin, SELECT, MODIFY, CREATE, USAGE, READ_FILES, WRITE_FILES, EXECUTE, ). ALL_PRIVILEGES

Example

Aşağıdaki örnek, grants içeren bir Unity Kataloğu şemasını tanımlar:

resources:
  schemas:
    my_schema:
      name: test-schema
      grants:
        - principal: users
          privileges:
            - SELECT
        - principal: my_team
          privileges:
            - MANAGE
      catalog_name: main

yaşam döngüsü

Type: Map

Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler.

Databricks CLI sürüm 0.268.0'a eklendi

Key Type Description
prevent_destroy Boolean Kaynağın yok edilmesini önlemek için yaşam döngüsü ayarı.
Databricks CLI sürüm 0.268.0'a eklendi
started Boolean Kaynağı başlangıç modunda dağıtmak için yaşam döngüsü ayarı. Yalnızca doğrudan dağıtım modunda uygulamalar, kümeler ve sql_warehouses için desteklenir.
Databricks CLI sürüm 0.297.0'a (uygulamalar) eklendi
Databricks CLI sürüm 1.1.0'a (kümeler) eklendi
Databricks CLI sürüm 1.2.0'a (sql_warehouses) eklendi