Not
Bu sayfaya erişim yetkilendirme gerektiriyor. Oturum açmayı veya dizinleri değiştirmeyi deneyebilirsiniz.
Bu sayfaya erişim yetkilendirme gerektiriyor. Dizinleri değiştirmeyi deneyebilirsiniz.
Bildirim temelli Otomasyon Paketleri (eski adıyla Databricks Varlık Paketleri), paket yapılandırmasında resources eşlemesinde paket tarafından kullanılan Azure Databricks kaynakları hakkında bilgi belirtmenize olanak tanır. Bkz. kaynak başvurusu.
Bu sayfa, paketler için desteklenen tüm kaynak türleri için yapılandırma başvurusu sağlar ve desteklenen her tür için ayrıntılar ve bir örnek sağlar. Ek örnekler için bkz . Paket yapılandırma örnekleri.
YAML yapılandırmasını doğrulamak için kullanılan paketlerin JSON şeması Databricks CLI GitHub deposundadır.
Tip
Var olan herhangi bir kaynak için YAML oluşturmak için databricks bundle generate komutunu kullanın. Bkz. databricks bundle generate.
Desteklenen kaynaklar
Aşağıdaki tabloda, paketler için desteklenen kaynak türleri (varsa YAML ve Python) listelenmektedir. Bazı kaynaklar bir pakette tanımlanarak ve paket dağıtılarak oluşturulabilir ve bazı kaynaklar yalnızca pakete dahil edilecek mevcut bir varlığa başvurularak oluşturulabilir.
Kaynak yapılandırması, Databricks REST API nesnesine karşılık gelen bir Databricks nesnesi tanımlar. REST API nesnesinin YAML olarak ifade edilen desteklenen oluşturma isteği alanları, kaynağın desteklenen anahtarlarıdır. Her kaynağın ilgili nesnesine ilişkin belgelerin bağlantıları aşağıdaki tabloda yer almaktadır.
Tip
databricks bundle validate komutu, paket yapılandırma dosyalarında bilinmeyen kaynak özellikleri bulunursa uyarılar döndürür.
| Resource | Python desteği | Karşılık gelen REST API nesnesi |
|---|---|---|
| Uyarı | Uyarı nesnesi | |
| app | uygulama nesnesi |
|
| catalog (Unity Kataloğu) | Katalog nesnesi | |
| cluster | küme nesnesi |
|
| dashboard | pano nesnesi | |
| database_catalog | Veritabanı kataloğu nesnesi | |
| database_instance | Veritabanı örneği nesnesi | |
| experiment | Deneme nesnesi |
|
| external_location (Unity Kataloğu) | Dış konum nesnesi | |
| job | İşler | İş nesnesi |
| modeli (eski) | Model (eski) nesnesi | |
| model_serving_endpoint | Uç nokta nesnesi sunan model | |
| pipeline | Pipelines | Boruhattı nesnesi |
| postgres_branch | Postgres dal nesnesi | |
| postgres_endpoint | Postgres işlem uç noktası nesnesi | |
| postgres_project | Postgres proje nesnesi | |
| quality_monitor | Kalite izleyici nesnesi | |
| registered_model (Unity Kataloğu) | Kayıtlı model nesnesi | |
| şema (Unity Kataloğu) | Şema | Şema nesnesi |
| secret_scope | Gizli dizi kapsam nesnesi | |
| sql_warehouse | SQL ambarı nesnesi | |
| senkronize_veritabanı_tablosu | Eşitlenmiş veritabanı tablosu nesnesi | |
| volume (Unity Kataloğu) | Hacimler | Hacim nesnesi |
Uyarı
Type: Map
Uyarı kaynağı bir SQL uyarısı (v2) tanımlar.
Databricks CLI sürüm 0.279.0'a eklendi
alerts:
<alert-name>:
<alert-field-name>: <alert-field-value>
| Key | Type | Description |
|---|---|---|
custom_description |
String | Optional. Uyarı için özel açıklama. Bıyık şablonunu destekler. Databricks CLI sürüm 0.279.0'a eklendi |
custom_summary |
String | Optional. Uyarı için özel özet. Bıyık şablonunu destekler. Databricks CLI sürüm 0.279.0'a eklendi |
display_name |
String | Gerekli. Uyarının görünen adı, örneğin, Example alert.Databricks CLI sürüm 0.279.0'a eklendi |
evaluation |
Map | Gerekli. Uyarının değerlendirme yapılandırması. Bkz. alert.evaluation. Databricks CLI sürüm 0.279.0'a eklendi |
file_path |
String | Uyarı varlığının yerel dosya yolu. Databricks CLI sürüm 0.282.0'a eklendi |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 0.279.0'a eklendi |
parent_path |
String | Optional. Uyarıyı içeren klasörün çalışma alanı yolu. Yalnızca oluşturmada ayarlanabilir ve güncelleştirilemez. Örnek: /Users/someone@example.com.Databricks CLI sürüm 0.279.0'a eklendi |
permissions |
Sequence | Uyarı izinleri hakkında. Bkz. izinler. Databricks CLI sürüm 0.279.0'a eklendi |
query_text |
String | Gerekli. Çalıştırılacak sorgunun metni, örneğin, SELECT 1.Databricks CLI sürüm 0.279.0'a eklendi |
run_as |
Map | Optional. Uyarıyı çalıştırmak için kullanılacak kimliği belirtir. Bu alan, uyarıları belirli bir kullanıcı veya hizmet sorumlusu olarak çalışacak şekilde yapılandırmanıza olanak tanır. Bkz. run_as.
Databricks CLI sürüm 0.279.0'a eklendi |
schedule |
Map | Gerekli. Uyarının zamanlama yapılandırması. Bkz. alert.schedule. Databricks CLI sürüm 0.279.0'a eklendi |
warehouse_id |
String | Gerekli. Uyarıya eklenen SQL ambarının kimliği, örneğin, a7066a8ef796be84.Databricks CLI sürüm 0.279.0'a eklendi |
uyarı.değerlendirme
Type: Map
Uyarının değerlendirme yapılandırması.
| Key | Type | Description |
|---|---|---|
comparison_operator |
String | Uyarı değerlendirmesinde karşılaştırma için kullanılan işleç. |
empty_result_state |
String | Sonuç boşsa uyarı durumu. Durumun kullanım dışı bırakılması planlandığından bu alanı UNKNOWNUNKNOWN olarak ayarlamaktan kaçının. |
notification |
Map | Uyarı tetiklendiğinde bildirimde bulunacak kullanıcı veya diğer hedef. Bkz. alert.evaluation.notification. |
source |
Map | Uyarıyı değerlendirmek için kullanılacak sonuç kaynak sütunu. Bkz . alert.evaluation.source. |
threshold |
Map | Uyarı değerlendirmesi için kullanılacak eşik. Bu bir sütun veya değer olabilir. Bkz . alert.evaluation.threshold. |
uyarı.değerlendirme.bildirim
Type: Map
Uyarı tetiklendiğinde bildirimde bulunacak kullanıcı veya diğer hedef.
| Key | Type | Description |
|---|---|---|
notify_on_ok |
Boolean | Optional. Uyarı normale döndüğünde uyarı abonelerine bildirimde bulunup bulunmayacağı. |
retrigger_seconds |
Integer | Optional. Bir uyarının başka bir bildirim göndermesine izin verilmeden önce tetiklenmesini beklediği saniye sayısı.
0 olarak ayarlanırsa veya atlanırsa, uyarı ilk tetiklemeden sonra başka bildirim göndermez. Bu değeri 1 olarak ayarlamak, uyarının koşulun karşılandığı her değerlendirmede bildirim göndermesine olanak tanır ve bildirim amacıyla her zaman yeniden tetiklemesini sağlar. |
subscriptions |
Sequence | Optional. Bildirim aboneliklerinin sıralanmamış listesi. Bkz alert.evaluation.notification.subscriptions. |
uyarı.değerlendirme.bildirim.abonelikleri
Type: Sequence
Bildirim aboneliklerinin sıralanmamış listesi.
Listedeki her öğe bir AlertSubscription:
| Key | Type | Description |
|---|---|---|
destination_id |
String | Bildirim hedefinin kimliği. |
user_email |
String | Bildirimde bulunacak kullanıcının e-posta adresi. |
uyarı.değerlendirme.kaynak
Type: Map
Uyarıyı değerlendirmek için kullanılacak sonuçtaki kaynak sütun.
| Key | Type | Description |
|---|---|---|
aggregation |
String | Kaynak sütuna uygulanacak toplama yöntemi. Geçerli değerler: SUM, COUNT, COUNT_DISTINCT, AVG, MEDIAN, MIN, MAX, STDDEV |
display |
String | Kaynak sütunun görünen adı. |
name |
String | Sorgu sonucundaki kaynak sütunun adı. |
uyarı.değerlendirme.eşiği
Type: Map
Uyarı değerlendirmesi için kullanılacak eşik bir sütun veya değer olabilir.
| Key | Type | Description |
|---|---|---|
column |
Map | Eşik olarak kullanılacak sütun referansı. Bkz . alert.evaluation.source. |
value |
Map | Eşik olarak kullanılacak sabit değer. Bkz . alert.evaluation.threshold.value. |
alert.değerlendirme.eşik.değer
Type: Map
Eşik olarak kullanılacak sabit değer. Aşağıdaki değer türlerinden birini belirtin.
| Key | Type | Description |
|---|---|---|
bool_value |
Boolean | Optional. Eşik için Boole değeri, örneğin, true. |
double_value |
Double | Optional. Eşik için sayısal değer, örneğin, 1.25. |
string_value |
String | Optional. Eşik için dize değeri, örneğin, test. |
uyarı.takvimi
Type: Map
Uyarının zamanlama yapılandırması.
| Key | Type | Description |
|---|---|---|
pause_status |
String | Optional. Bu zamanlamanın duraklatılıp duraklatılmadığı mı? Geçerli değerler: UNPAUSED, PAUSED. Varsayılan: UNPAUSED. |
quartz_cron_schedule |
String | Gerekli. Bu işlem hattının zamanlamasını belirten quartz söz dizimini kullanan bir cron ifadesi. Quartz formatı quartz scheduler biçiminde açıklanmıştır. |
timezone_id |
String | Gerekli. Java saat dilimi kimliği. Zamanlama bu saat dilimi kullanılarak çözülür. Bu, zamanlamayı belirlemek için quartz_cron_schedule ile birleştirilecektir. Ayrıntılar için bkz SET TIME ZONE . |
Examples
Aşağıdaki örnek yapılandırma, basit bir değerlendirmeyle bir uyarı tanımlar:
resources:
alerts:
my_alert:
display_name: my_alert
evaluation:
comparison_operator: EQUAL
source:
name: '1'
threshold:
value:
double_value: 2
query_text: select 2
schedule:
quartz_cron_schedule: '44 19 */1 * * ?'
timezone_id: Europe/Amsterdam
warehouse_id: 799f096837fzzzz4
Aşağıdaki örnek yapılandırma, toplama kullanılarak değerlendirilen ve bildirim gönderen izinlere sahip bir uyarı tanımlar:
resources:
alerts:
my_alert:
permissions:
- level: CAN_MANAGE
user_name: someone@example.com
custom_summary: 'My alert'
display_name: 'My alert'
evaluation:
comparison_operator: 'EQUAL'
notification:
notify_on_ok: false
retrigger_seconds: 1
source:
aggregation: 'MAX'
display: '1'
name: '1'
threshold:
value:
double_value: 2
query_text: 'select 2'
schedule:
pause_status: 'UNPAUSED'
quartz_cron_schedule: '44 19 */1 * * ?'
timezone_id: 'Europe/Amsterdam'
warehouse_id: 799f096837fzzzz4
uygulaması
Type: Map
Uygulama kaynağı,bir
Uygulama eklemek için, gerekli source_code_pathdahil olmak üzere uygulamayı tanımlamak için ayarları belirtin.
Tip
Aşağıdaki komutu kullanarak Streamlit Databricks uygulamasıyla bir paket başlatabilirsiniz:
databricks bundle init https://github.com/databricks/bundle-examples --template-dir contrib/templates/streamlit-app
Databricks CLI sürüm 0.239.0'a eklendi
apps:
<app-name>:
<app-field-name>: <app-field-value>
| Key | Type | Description |
|---|---|---|
budget_policy_id |
String | Uygulamanın bütçe ilkesi kimliği. Databricks CLI sürüm 0.243.0'a eklendi |
compute_size |
String | Uygulamanın işlem boyutu. Geçerli değerler şunlardır: MEDIUM veya LARGE ve bu değerler çalışma alanı yapılandırmasına bağlıdır.Databricks CLI sürüm 0.273.0'a eklendi |
config |
Map | Uygulama yapılandırma komutları ve ortam değişkenleri. bkz. app.config. Databricks CLI sürüm 0.283.0'a eklendi |
description |
String | Uygulamanın açıklaması. Databricks CLI sürüm 0.239.0'a eklendi |
git_repository |
Map | Uygulama dağıtımları için Git deposu yapılandırması. Belirtildiğinde, dağıtımlar yalnızca git başvurusu (dal, etiket veya işleme) sağlayarak bu depodaki koda başvurabilir.
bkz. app.git_repository. Databricks CLI sürüm 0.290.0'a eklendi |
git_source |
Map | Uygulama dağıtımları için Git kaynak yapılandırması. Uygulamayı dağıtırken hangi Git başvurusunun (dal, etiket veya işleme) kullanılacağını belirtir. Kodu doğrudan git'ten dağıtmak için ile git_repository birlikte kullanılır.
source_code_path içindekigit_source, depodaki uygulama kodunun göreli yolunu belirtir.
Bkz. app.git_source.Databricks CLI sürüm 0.290.0'a eklendi |
lifecycle |
Map | Kaynağın dağıtıldığında veya yok edildiğindeki davranışı. Bkz . yaşam döngüsü. Databricks CLI sürüm 0.268.0'a eklendi |
name |
String | Uygulamanın adı. Ad yalnızca küçük harfli alfasayısal karakterler ve kısa çizgiler içermelidir. Çalışma alanı içinde benzersiz olmalıdır. Databricks CLI sürüm 0.239.0'a eklendi |
permissions |
Sequence | Uygulamanın izinleri. Bkz. izinler. Databricks CLI sürüm 0.239.0'a eklendi |
resources |
Sequence | Uygulamanın hesaplama kaynakları. Bkz . app.resources. Databricks CLI sürüm 0.239.0'a eklendi |
source_code_path |
String |
./app Databricks uygulama kaynak kodunun yerel yolu.Databricks CLI sürüm 0.239.0'a eklendi |
telemetry_export_destinations |
Sequence | Uygulamanın telemetri dışarı aktarma hedefleri.
bkz. app.telemetry_export_destinations. Databricks CLI sürüm 0.294.0'a eklendi |
usage_policy_id |
String | Bu uygulama için kullanılacak sunucusuz kullanım ilkesinin kimliği. Databricks CLI sürüm 0.283.0'a eklendi |
user_api_scopes |
Sequence | Kullanıcı API'sinin kapsamları. Databricks CLI sürüm 0.246.0'a eklendi |
app.config
Uygulama yapılandırma komutları ve ortam değişkenleri. Bkz Databricks uygulama yürütmesini app.yaml ile yapılandırma.
| Key | Type | Description |
|---|---|---|
command |
Sequence | Uygulamayı çalıştırma komutları, örneğin ["streamlit", "run", "app.py"] |
env |
Sequence | Uygulama çalışma zamanı ortamında ayarlanacağı uygulama ortamı değişkenlerini belirten ve name çiftlerinin listesivalue. Bu, app.yaml dosyasında belirtilen ortam değişkenlerini geçersiz kılar. Varsayılan uygulama ortamı değişkenleri hakkında bilgi için bkz. Databricks Apps ortamı.Uygulama başlatılana kadar ortam değişkenleri ayarlanmaz. |
app.git_repository
Type: Map
Deponun konumunu belirten Git deposu yapılandırması.
| Key | Type | Description |
|---|---|---|
url |
String | Git deposunun URL'si. |
app.git_source
Type: Map
Uygulama dağıtımları için Git kaynak yapılandırması.
| Key | Type | Description |
|---|---|---|
branch |
String | Kullanıma alınması gereken Git dalı. |
commit |
String | Git kullanıma alınması için SHA işler. |
source_code_path |
String | Git deposundaki uygulama kaynak kodunun göreli yolu. Belirtilmezse, deponun kökü kullanılır. |
tag |
String | Kullanıma alınması gereken Git etiketi. |
app.kaynaklar
Type: Sequence
Uygulama için işlem kaynaklarının listesi.
Listedeki her öğe bir AppResource:
| Key | Type | Description |
|---|---|---|
app |
Map | Uygulama adı ve izinler |
description |
String | Uygulama kaynağının açıklaması. |
database |
Map | Kullanılacak Lakebase Sağlama veritabanını tanımlayan ayarlar. Bkz . app.resources.database. |
experiment |
Map | Kullanılacak MLflow denemesini tanımlayan ayarlar. Bkz . app.resources.experiment. |
genie_space |
Map | Kullanılacak Genie Space'i tanımlayan ayarlar. Bkz. app.resources.genie_space. |
job |
Map | Kullanılacak iş kaynağını tanımlayan ayarlar. Bkz . app.resources.job. |
name |
String | Uygulama kaynağının adı. |
postgres |
Map | Kullanılacak Lakebase Otomatik Ölçeklendirme veritabanını tanımlayan ayarlar. Bkz . app.resources.postgres. |
secret |
Map | Kullanılacak Azure Databricks gizli dizi kaynağını tanımlayan ayarlar. Bkz . app.resources.secret. |
serving_endpoint |
Map | Kullanılacak uç nokta kaynağını sunan modeli tanımlayan ayarlar. bkz. app.resources.serving_endpoint. |
sql_warehouse |
Map | Kullanılacak SQL ambarı kaynağını tanımlayan ayarlar. Bkz. app.resources.sql_warehouse. |
uc_securable |
Map | Kullanılacak Unity Kataloğu birimini tanımlayan ayarlar. Bkz. app.resources.uc_securable. |
app.kaynaklar.veritabanı
Type: Map
Kullanılacak Lakebase veritabanını tanımlayan ayarlar.
| Key | Type | Description |
|---|---|---|
database_name |
String | Veritabanının adı. |
instance_name |
String | Veritabanı örneğinin adı. |
permission |
String | Veritabanının izin düzeyi. Geçerli değerler şunlardır: CAN_CONNECT_AND_CREATE. |
app.resources.experiment
Type: Map
Kullanılacak MLflow denemesini tanımlayan ayarlar.
| Key | Type | Description |
|---|---|---|
experiment_id |
String | MLflow denemesinin kimliği. |
permission |
String | Denemenin izin düzeyi. Geçerli değerler CAN_READ, CAN_EDIT, CAN_MANAGE. |
app.kaynaklar.genie_space
Type: Map
Kullanılacak Genie Space'i tanımlayan ayarlar.
| Key | Type | Description |
|---|---|---|
name |
String | Genie Space'in adı. |
permission |
String | Alanın izin düzeyi. Geçerli değerler , CAN_VIEW, CAN_EDIT, CAN_MANAGE. CAN_RUN |
space_id |
String | Genie Space'in kimliği, örneğin 550e8400-e29b-41d4-a716-999955440000. |
app.resources.job
Type: Map
Kullanılacak iş kaynağını tanımlayan ayarlar.
| Key | Type | Description |
|---|---|---|
id |
String | İşin ID'si. |
permission |
String | İş için yetki düzeyi. Geçerli değerler , CAN_VIEW, CAN_MANAGE_RUN, CAN_MANAGE. IS_OWNER |
app.resources.postgres
Type: Map
Kullanılacak Lakebase Otomatik Ölçeklendirme veritabanını tanımlayan ayarlar.
| Key | Type | Description |
|---|---|---|
branch |
String | Dalın adı, örneğin, projects/proj-abc123/branches/branch-xyz789. |
database |
String | Veritabanı örneğinin adı, örneğin, projects/proj-abc123/branches/branch-xyz789/databases/db-456. |
permission |
String | Veritabanının izin düzeyi. Geçerli değerler şunlardır: CAN_CONNECT_AND_CREATE. |
uygulama.kaynaklar.gizli
Type: Map
Kullanılacak Azure Databricks gizli dizi kaynağını tanımlayan ayarlar.
| Key | Type | Description |
|---|---|---|
key |
String | Gizli anahtar, izin vermek için kullanılır. |
permission |
String | Gizli için izin düzeyi. Geçerli değerler READ, WRITE, MANAGE. |
scope |
String | Gizli kapsamın adı. |
app.kaynaklar.servis_uç_noktası
Type: Map
Kullanılacak uç nokta kaynağını sunan modeli tanımlayan ayarlar.
| Key | Type | Description |
|---|---|---|
name |
String | Hizmet uç noktasının adı. |
permission |
String | Sunum uç noktası için izin düzeyi. Geçerli değerler CAN_QUERY, CAN_MANAGE, CAN_VIEW. |
uygulama.kaynaklar.sql_depo
Type: Map
Kullanılacak SQL ambarını tanımlayan ayarlar.
| Key | Type | Description |
|---|---|---|
id |
String | SQL depo kimliği. |
permission |
String | SQL ambarı için izin düzeyi. Geçerli değerler CAN_USE, CAN_MANAGE, IS_OWNER. |
app.resources.uc_securable
Type: Map
Kullanılacak Unity Kataloğu birimini tanımlayan ayarlar.
| Key | Type | Description |
|---|---|---|
permission |
String | Unity Kataloğu için güvenli hale getirilebilen izin düzeyi. Geçerli değerler: READ_VOLUME ve WRITE_VOLUME. |
securable_full_name |
String | Unity Kataloğu'nun güvenlik sağlanabilir biçimdeki tam adı catalog.schema.volume. |
securable_type |
String | Unity Kataloğu'nun güvenli hale getirilebilen türü. Geçerli değerler şunlardır: VOLUME. |
app.telemetry_export_destinations
Type: Sequence
Uygulama için telemetri dışarı aktarma hedeflerinin listesi.
Databricks CLI sürüm 0.294.0'a eklendi
Listedeki her öğe bir AppTelemetryExportDestination:
| Key | Type | Description |
|---|---|---|
unity_catalog |
Map | OTEL telemetrisi dışarı aktarma için Unity Kataloğu Hedefleri. Databricks CLI sürüm 0.294.0'a eklendi |
Examples
Bir uygulamayı tanımlayan bir paket oluşturma konusunda yol gösteren bir öğretici için bkz. Bildirim temelli Otomasyon Paketlerini kullanarak Databricks uygulamalarını yönetme.
Aşağıdaki örnek temel bir uygulamayı tanımlar:
resources:
apps:
hello_world_app:
name: 'hello-world-app'
source_code_path: . # This assumes the app source code is at the root of the project.
description: 'A Databricks app'
Aşağıdaki örnek, paket tarafından oluşturulan bir işi yöneten adlı my_app bir uygulama oluşturur. Tam örnek için bkz. bundle-examples GitHub deposu.
resources:
jobs:
# Define a job in the bundle
hello_world:
name: hello_world
tasks:
- task_key: task
spark_python_task:
python_file: ../src/main.py
environment_key: default
environments:
- environment_key: default
spec:
environment_version: '2'
# Define an app that manages the job in the bundle
apps:
job_manager:
name: 'job_manager_app'
description: 'An app which manages a job created by this bundle'
# The location of the source code for the app
source_code_path: ../src/app
# The resources in the bundle which this app has access to. This binds the resource in the app with the bundle resource.
resources:
- name: 'app-job'
job:
id: ${resources.jobs.hello_world.id}
permission: 'CAN_MANAGE_RUN'
Buna karşılık gelen app.yaml , uygulamayı çalıştırma yapılandırmasını tanımlar:
command:
- flask
- --app
- app
- run
- --debug
env:
- name: JOB_ID
valueFrom: 'app-job'
Aşağıdaki örnek, paket tarafından oluşturulan bir MLflow denemesine erişimi olan bir uygulama oluşturur:
resources:
experiments:
# Define an MLflow experiment in the bundle
my_experiment:
name: /Users/${workspace.current_user.userName}/my-app-experiment
apps:
my_ml_app:
name: 'my-ml-app'
description: 'An app with access to an MLflow experiment'
source_code_path: ./app
# Grant the app access to the MLflow experiment
resources:
- name: 'app-experiment'
experiment:
experiment_id: ${resources.experiments.my_experiment.id}
permission: 'CAN_MANAGE'
Alternatif olarak, aşağıdaki örnek paket yapılandırmasında tanımlanan özel yapılandırmaya sahip bir uygulamayı tanımlar:
resources:
apps:
my_app:
name: my_app
description: my_app_description
source_code_path: ./app
config:
command: ['flask', '--app', 'app', 'run']
env:
- name: MY_ENV_VAR
value: test_value
- name: ANOTHER_VAR
value: another_value
Aşağıdaki örnek, Lakebase Otomatik Ölçeklendirme kaynağına sahip bir uygulamayı tanımlar:
resources:
apps:
my_app:
name: my-app
source_code_path: .
resources:
- name: lakebase-db
postgres:
branch: projects/my-app/branches/production
database: projects/my-app/branches/production/databases/db-xxxx-yyyyyyyy
permission: CAN_CONNECT_AND_CREATE
catalogs
Type: Map
Katalog kaynağı, katalogları (Unity Kataloğu) bir pakette tanımlamanızı sağlar.
Note
Katalogları tanımlamak için Bildirim temelli Otomasyon Paketlerinin kullanılması yalnızca doğrudan dağıtım altyapısını kullanıyorsanız desteklenir.
Databricks CLI sürüm 0.287.0'a eklendi
catalogs:
<catalog-name>:
<catalog-field-name>: <catalog-field-value>
| Key | Type | Description |
|---|---|---|
comment |
String | Kataloğun kullanıcı tarafından sağlanan serbest biçimli metin açıklaması. Databricks CLI sürüm 0.287.0'a eklendi |
connection_name |
String | Dış veri kaynağına bağlantının adı. Databricks CLI sürüm 0.287.0'a eklendi |
grants |
Sequence | Katalogla ilişkili izinler. Bkz. grant. Databricks CLI sürüm 0.287.0'a eklendi |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 0.287.0'a eklendi |
name |
String | Gerekli. Kataloğun adı. Databricks CLI sürüm 0.287.0'a eklendi |
options |
Nesne | Güvenli hale getirilebilir öğeye eklenmiş anahtar-değer özelliklerinin haritası. Databricks CLI sürüm 0.287.0'a eklendi |
properties |
Nesne | Güvenli hale getirilebilir öğeye eklenmiş anahtar-değer özelliklerinin haritası. Databricks CLI sürüm 0.287.0'a eklendi |
provider_name |
String | Delta paylaşım sağlayıcısının adı. Delta Sharing kataloğu, uzak paylaşım sunucusundaki Delta paylaşımını temel alan bir katalogdur. Bkz . Delta Sharing nedir?. Databricks CLI sürüm 0.287.0'a eklendi |
share_name |
String | Paylaşım sağlayıcısı altındaki paylaşımın adı. Databricks CLI sürüm 0.287.0'a eklendi |
storage_root |
String | Katalogdaki yönetilen tablolar için depolama kök URL'si. Databricks CLI sürüm 0.287.0'a eklendi |
Example
resources:
catalogs:
my_catalog:
name: my_catalog
comment: 'Catalog created by Declarative Automation Bundles'
properties:
purpose: 'Testing'
grants:
- principal: someone@example.com
privileges:
- USE_CATALOG
- CREATE_SCHEMA
schemas:
my_schema:
name: my_schema
catalog_name: ${resources.catalogs.my_catalog.name}
comment: 'Schema in custom catalog'
kümesi
Type: Map
Küme kaynağı bir küme tanımlar.
Databricks CLI sürüm 0.229.0 veya altına eklendi
clusters:
<cluster-name>:
<cluster-field-name>: <cluster-field-value>
| Key | Type | Description |
|---|---|---|
apply_policy_default_values |
Boolean | true olarak ayarlandığında, ilkedeki sabit ve varsayılan değerler atlanmış alanlar için kullanılır. false olarak ayarlandığında, yalnızca ilkedeki sabit değerler uygulanır. Databricks CLI sürüm 0.229.0 veya altına eklendi |
autoscale |
Map | Yüke göre kümelerin ölçeğini otomatik olarak büyütmek ve küçültmek için gereken parametreler. Bkz. otomatik ölçeklendirme. Databricks CLI sürüm 0.229.0 veya altına eklendi |
autotermination_minutes |
Integer | Küme, bu süre boyunca devre dışı olduktan sonra dakikalar içinde otomatik olarak sonlandırılır. Ayarlanmadıysa, bu küme otomatik olarak sonlandırılmaz. Belirtilirse, eşik 10 ile 10000 dakika arasında olmalıdır. Kullanıcılar otomatik sonlandırmayı açıkça devre dışı bırakmak için bu değeri 0 olarak da ayarlayabilir. Databricks CLI sürüm 0.229.0 veya altına eklendi |
aws_attributes |
Map | Amazon Web Services üzerinde çalışan kümelerle ilgili öznitelikler. Küme oluşturma sırasında belirtilmezse, bir varsayılan değerler kümesi kullanılır.
Bkz. aws_attributes. Databricks CLI sürüm 0.229.0 veya altına eklendi |
azure_attributes |
Map | Microsoft Azure üzerinde çalışan kümelerle ilgili öznitelikler. Küme oluşturma sırasında belirtilmezse, bir varsayılan değerler kümesi kullanılır.
Bkz. azure_attributes. Databricks CLI sürüm 0.229.0 veya altına eklendi |
cluster_log_conf |
Map | Spark günlüklerini uzun vadeli bir depolama hedefine teslim etme yapılandırması.
bkz. cluster_log_conf. Databricks CLI sürüm 0.229.0 veya altına eklendi |
cluster_name |
String | Kullanıcı tarafından istenen küme adı. Bunun benzersiz olması gerekmez. Oluşturma sırasında belirtilmezse, küme adı boş bir dize olur. Databricks CLI sürüm 0.229.0 veya altına eklendi |
custom_tags |
Map | Küme kaynakları için ek etiketler. Databricks, tüm küme kaynaklarını (örneğin AWS örnekleri ve EBS birimleri) bunlara ek olarak default_tagsbu etiketlerle etiketleyecektir.Databricks CLI sürüm 0.229.0 veya altına eklendi |
data_security_mode |
String | Kümeden verilere erişirken kullanılacak veri idaresi modeli. Geçerli değerler : NONE, SINGLE_USER, USER_ISOLATION, LEGACY_SINGLE_USER, LEGACY_TABLE_ACL, LEGACY_PASSTHROUGH.Databricks CLI sürüm 0.229.0 veya altına eklendi |
docker_image |
Map | Özel docker görüntüsü.
bkz. docker_image. Databricks CLI sürüm 0.229.0 veya altına eklendi |
driver_instance_pool_id |
String | Kümenin sürücüsünün bağlı olduğu örnek havuzunun isteğe bağlı kimliği. Sürücü havuzu atanmamışsa, havuz kümesi kimlikli örnek havuzunu (örnek*pool_id) kullanır. Databricks CLI sürüm 0.229.0 veya altına eklendi |
driver_node_type_flexibility |
Map | Sürücü düğümü için esnek düğüm türü yapılandırması.
Bkz. cluster.driver_node_type_flexibility. Databricks CLI sürüm 0.285.0'a eklendi |
driver_node_type_id |
String | Spark sürücüsünün düğüm türü. Bu alan isteğe bağlıdır. Ayar kaldırılırsa, sürücü düğümü türü değerine node_type_idayarlanır. Ayarlandıysanode_type_id, bu alan ile virtual_cluster_sizebirlikte ayarlanmamalıdır. her ikisi de driver_node_type_id, node_type_idve virtual_cluster_size belirtilirse driver_node_type_id ve node_type_id öncelik kazanır.Databricks CLI sürüm 0.229.0 veya altına eklendi |
enable_elastic_disk |
Boolean | Yerel DepolamaYı Otomatik Ölçeklendirme: Etkinleştirildiğinde, Spark çalışanlarının disk alanı azaldığında bu küme dinamik olarak ek disk alanı alır. Bu özelliğin düzgün çalışması için belirli AWS izinlerinin olması gerekir. Daha fazla ayrıntı için Kullanıcı Kılavuzu'na bakın. Databricks CLI sürüm 0.229.0 veya altına eklendi |
enable_local_disk_encryption |
Boolean | Küme VM'lerinin yerel disklerinde LUKS'nin etkinleştirilip etkinleştirilmeyileceği. Databricks CLI sürüm 0.229.0 veya altına eklendi |
gcp_attributes |
Map | Google Cloud Platform'da çalışan kümelerle ilgili öznitelikler. Küme oluşturma sırasında belirtilmezse, bir varsayılan değerler kümesi kullanılır. Bkz. gcp_attributes. Databricks CLI sürüm 0.229.0 veya altına eklendi |
init_scripts |
Sequence | Başlatma betiklerinin depolanması için yapılandırma. Herhangi bir sayıda hedef belirtilebilir. Komut dosyaları, sağlanan sırayla yürütülür.
bkz. init_scripts. Databricks CLI sürüm 0.229.0 veya altına eklendi |
instance_pool_id |
String | Kümenin ait olduğu örnek havuzunun isteğe bağlı kimliği. Databricks CLI sürüm 0.229.0 veya altına eklendi |
is_single_node |
Boolean | Bu alan yalnızca olduğunda kind = CLASSIC_PREVIEWkullanılabilir. True olarak ayarlandığında Databricks otomatik olarak , ve custom_tagsile ilgili spark_confnum_workerstek düğüm ayarlar.Databricks CLI sürüm 0.237.0'a eklendi |
kind |
String | Bu hesaplama belgesi ile belirtilen hesaplama türü. Databricks CLI sürüm 0.237.0'a eklendi |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 0.268.0'a eklendi |
node_type_id |
String | Bu alan, bu kümedeki Spark düğümlerinin her biri için kullanılabilen kaynakları tek bir değer aracılığıyla kodlar. Örneğin Spark düğümleri bellek veya işlem yoğunluklu iş yükleri için sağlanabilir ve iyileştirilebilir. Kullanılabilir düğüm türlerinin listesi , Liste düğümü türleri API'sini kullanarak alınabilir. Databricks CLI sürüm 0.229.0 veya altına eklendi |
num_workers |
Integer | Bu kümenin sahip olması gereken çalışan düğümlerinin sayısı. Bir kümede toplam num_workers + 1 Spark düğümü için bir Spark Sürücüsü ve num_workers Yürütücüleri vardır.Databricks CLI sürüm 0.229.0 veya altına eklendi |
permissions |
Sequence | Küme izinleri. Bkz. izinler. Databricks CLI sürüm 0.229.0 veya altına eklendi |
policy_id |
String | Varsa kümeyi oluşturmak için kullanılan küme ilkesinin kimliği. Databricks CLI sürüm 0.229.0 veya altına eklendi |
remote_disk_throughput |
Integer | Saniye başına bayt cinsinden uzak disk aktarım hızı. Databricks CLI sürüm 0.257.0'a eklendi |
runtime_engine |
String | Kümenin çalışma zamanı altyapısını, ya STANDARD ya da PHOTON olarak belirler.Databricks CLI sürüm 0.229.0 veya altına eklendi |
single_user_name |
String | Data*security_mode ise tek kullanıcı adı.SINGLE_USERDatabricks CLI sürüm 0.229.0 veya altına eklendi |
spark_conf |
Map | İsteğe bağlı, kullanıcı tarafından belirtilen Spark yapılandırma anahtarı-değer çiftleri kümesini içeren bir nesne. Kullanıcılar ayrıca, spark.driver.extraJavaOptions aracılığıyla sürücüye ve spark.executor.extraJavaOptions aracılığıyla yürütücülere fazladan JVM seçeneklerinden oluşan bir dize geçirebilir.Databricks CLI sürüm 0.229.0 veya altına eklendi |
spark_env_vars |
Map | İsteğe bağlı, kullanıcı tarafından belirtilen ortam değişkeni anahtar-değer çiftleri kümesini içeren bir nesne. Databricks CLI sürüm 0.229.0 veya altına eklendi |
spark_version |
String | Kümenin Spark sürümü, örneğin. 3.3.x-scala2.11 Kullanılabilir Spark sürümlerinin listesi Kullanılabilir Spark sürümlerini listeleme API'sini kullanarak alınabilir.Databricks CLI sürüm 0.229.0 veya altına eklendi |
ssh_public_keys |
Sequence | Bu kümedeki her Spark düğümüne eklenecek SSH ortak anahtar içeriği. İlgili özel anahtarlar, kullanıcı adı ubuntu ile 2200 bağlantı noktasında oturum açmak için kullanılabilir. En fazla 10 anahtar belirtilebilir.Databricks CLI sürüm 0.229.0 veya altına eklendi |
total_initial_remote_disk_size |
Integer | Bayt cinsinden toplam ilk uzak disk boyutu. Databricks CLI sürüm 0.257.0'a eklendi |
use_ml_runtime |
Boolean | Bu alan yalnızca olduğunda kind = CLASSIC_PREVIEWkullanılabilir.
effective_spark_version, spark_version (Databricks Runtime sürümü), bu alan use_ml_runtime ve node_type_id'ün bir gpu düğümü olup olmaması durumuna göre belirlenir.Databricks CLI sürüm 0.237.0'a eklendi |
worker_node_type_flexibility |
Map | Çalışan düğümleri için esnek düğüm türü yapılandırması.
Bkz. cluster.worker_node_type_flexibility. Databricks CLI sürüm 0.285.0'a eklendi |
workload_type |
Map | Küme iş yükü türleri için gösterilen Küme Öznitelikleri.
bkz. workload_type. Databricks CLI sürüm 0.229.0 veya altına eklendi |
cluster.autoscale
Type: Map
Yüke göre kümeleri otomatik olarak yukarı ve aşağı ölçeklendirmeye yönelik parametreler.
| Key | Type | Description |
|---|---|---|
min_workers |
Integer | Az kullanıldığında kümenin ölçeğini azaltabileceği en az çalışan sayısı. Ayrıca, kümenin oluşturulduktan sonra sahip olacağı ilk çalışan sayısıdır. |
max_workers |
Integer | Aşırı yüklendiğinde kümenin ölçeğini artırabileceği en fazla çalışan sayısı.
max_workers kesinlikle değerinden min_workersbüyük olmalıdır. |
cluster.aws_özellikler
Type: Map
Amazon Web Services üzerinde çalışan kümelerle ilgili öznitelikler.
| Key | Type | Description |
|---|---|---|
zone_id |
String | Kümenin bulunduğu kullanılabilirlik alanının/veri merkezinin tanımlayıcısı. Bu dize us-west-2a şeklinde olacaktır. |
availability |
String |
first_on_demand birimlerinden sonra gelen tüm düğümler için kullanılacak kullanılabilirlik türü. Geçerli değerler , SPOT, ON_DEMANDSPOT_WITH_FALLBACK. |
spot_bid_price_percent |
Integer | AWS spot örnekleri için en yüksek fiyat, karşılık gelen örnek türünün isteğe bağlı fiyatının yüzdesi olarak. |
instance_profile_arn |
String | Bu kümenin düğümleri yalnızca bu örnek profiline sahip AWS örneklerine yerleştirilir. |
first_on_demand |
Integer | Kümenin ilk first_on_demand düğümleri isteğe bağlı örneklere yerleştirilir. Küme sürücüsü düğümünün isteğe bağlı bir örneğe yerleştirildiğinden emin olmak için bu değer değerinden 0büyük olmalıdır. |
ebs_volume_type |
String | Bu kümeyle birlikte açılacak EBS birimlerinin türü. Geçerli değerler GENERAL_PURPOSE_SSD veya THROUGHPUT_OPTIMIZED_HDD. |
ebs_volume_count |
Integer | Her örnek için başlatılan birim sayısı. |
ebs_volume_size |
Integer | Her örnek için başlatılan her EBS biriminin (GiB cinsinden) boyutu. |
ebs_volume_iops |
Integer | EBS gp3 birimi başına IOPS sayısı. |
ebs_volume_throughput |
Integer | Saniyede MiB cinsinden EBS gp3 birimi başına aktarım hızı. |
cluster.azure_özellikleri
Type: Map
Microsoft Azure üzerinde çalışan kümelerle ilgili öznitelikler.
| Key | Type | Description |
|---|---|---|
first_on_demand |
Integer | Kümenin ilk first_on_demand düğümleri isteğe bağlı örneklere yerleştirilir. |
availability |
String |
first_on_demand birimlerinden sonra gelen tüm düğümler için kullanılacak kullanılabilirlik türü. Geçerli değerler , SPOT_AZURE, ON_DEMAND_AZURESPOT_WITH_FALLBACK_AZURE. |
spot_bid_max_price |
Sayı | Azure spot örnekleri için en yüksek fiyat. En düşük fiyatı belirtmek için kullanın -1 . |
log_analytics_info |
Map | Azure Log Analytics aracısı yapılandırması. Bkz. log_analytics_info. |
cluster.azure_attributes.log_analytics_info
Type: Map
Azure Log Analytics aracısı yapılandırması.
| Key | Type | Description |
|---|---|---|
log_analytics_workspace_id |
String | Azure Log Analytics çalışma alanının kimliği. |
log_analytics_primary_key |
String | Azure Log Analytics çalışma alanının birincil anahtarı. |
küme.gcp_özellikleri
Type: Map
Google Cloud Platform'da çalışan kümelerle ilgili öznitelikler.
| Key | Type | Description |
|---|---|---|
use_preemptible_executors |
Boolean | Ön alabilir yürütücülerin kullanılıp kullanılmayacağı. Öncelikli yönetici işlemciler, GCE tarafından herhangi bir zamanda geri kazanılabilen öncelikli GCE örnekleridir. |
google_service_account |
String | Databricks kümesi VM örnekleri tarafından kullanılacak Google hizmet hesabı. |
local_ssd_count |
Integer | Kümedeki her düğüme eklenecek yerel SSD sayısı. Varsayılan değer şudur: 0. |
zone_id |
String | Kümenin bulunduğu kullanılabilirlik alanının/veri merkezinin tanımlayıcısı. |
availability |
String | Tüm düğümler için kullanılan kullanılabilirlik türü. Geçerli değerler , PREEMPTIBLE_GCP, ON_DEMAND_GCPPREEMPTIBLE_WITH_FALLBACK_GCP. |
boot_disk_size |
Integer | Önyükleme diskinin GB cinsinden kapasitesi. Değerler genellikle 100 ile 1000 arasında değişir. |
cluster.cluster_log_conf
Spark günlüklerini uzun vadeli bir depolama hedefine teslim etme yapılandırması.
| Key | Type | Description |
|---|---|---|
dbfs |
Map | Küme günlüğü teslimi için DBFS konumu. Bkz. dbfs. |
s3 |
Map | Küme günlüğü teslimi için S3 konumu. Bkz. s3. |
volumes |
Map | Küme günlüğü teslimi için depolama birimlerinin konumu. Bkz. hacimler. |
cluster.cluster_log_conf.dbfs
Type: Map
Küme günlüğü teslimi için DBFS konumu.
| Key | Type | Description |
|---|---|---|
destination |
String | Küme günlüğü teslimi için DBFS yolu (örneğin, dbfs:/cluster-logs). |
cluster.cluster_log_conf.s3
Type: Map
Küme günlüğü teslimi için S3 konumu.
| Key | Type | Description |
|---|---|---|
destination |
String | Küme günlüğü teslimi için S3 URI'sini (örneğin, s3://my-bucket/cluster-logs). |
region |
String | S3 bucket'ının AWS bölgesi. |
endpoint |
String | S3 uç nokta URL'si (isteğe bağlı). |
enable_encryption |
Boolean | Küme günlükleri için şifrelemenin etkinleştirilip etkinleştirilmeyileceği. |
encryption_type |
String | Şifreleme türü. Geçerli değerler: SSE_S3, SSE_KMS. |
kms_key |
String | Şifreleme için KMS anahtarı ARN'si ( SSE_KMS kullanılırken). |
canned_acl |
String | Uygulanacak olan önceden tanımlı (canned) ACL, küme günlükleri içindir. |
cluster.cluster_log_conf.volumes
Type: Map
Küme günlüğü teslimi için depolama birimlerinin konumu.
| Key | Type | Description |
|---|---|---|
destination |
String | Küme günlüğü tesliminin birim yolu (örneğin, /Volumes/catalog/schema/volume/cluster_log). |
cluster.docker_image (Docker imajı)
Type: Map
Özel Docker görüntü yapılandırması.
| Key | Type | Description |
|---|---|---|
url |
String | Docker görüntüsünün URL'si. |
basic_auth |
Map | Docker deposu için temel kimlik doğrulaması. bkz. basic_auth. |
cluster.docker_image.temel_kimlik_dogrulama
Type: Map
Docker deposu için temel kimlik doğrulaması.
| Key | Type | Description |
|---|---|---|
username |
String | Docker kayıt defteri kimlik doğrulamasının kullanıcı adı. |
password |
String | Docker kayıt defteri kimlik doğrulamasının parolası. |
küme.başlatma_betikleri
Type: Map
Başlatma betiklerinin depolanması için yapılandırma. En az bir konum türü belirtilmelidir.
| Key | Type | Description |
|---|---|---|
dbfs |
Map | Init betiğinin DBFS konumu. Bkz. dbfs. |
workspace |
Map | init betiğinin çalışma alanı konumu. Bkz . çalışma alanı. |
s3 |
Map | Init betiğinin S3 konumu. Bkz. s3. |
abfss |
Map | init betiğinin ABFSS konumu. Bkz. abfss. |
gcs |
Map | Init betiğinin GCS konumu. Bkz. gcs. |
volumes |
Map | UC Volumes init betiğinin konumu. Bkz. hacimler. |
cluster.init_scripts.dbfs
Type: Map
Init betiğinin DBFS konumu.
| Key | Type | Description |
|---|---|---|
destination |
String | Init betiğinin DBFS yolu. |
küme.init_komut_dosyaları.çalışma_alanı
Type: Map
init betiğinin çalışma alanı konumu.
| Key | Type | Description |
|---|---|---|
destination |
String | init betiğinin çalışma alanı yolu. |
cluster.init_scripts.s3
Type: Map
Init betiğinin S3 konumu.
| Key | Type | Description |
|---|---|---|
destination |
String | Başlangıç betiğine ait S3 URI'si. |
region |
String | S3 bucket'ının AWS bölgesi. |
endpoint |
String | S3 uç nokta URL'si (isteğe bağlı). |
cluster.init_scripts.abfss
Type: Map
init betiğinin ABFSS konumu.
| Key | Type | Description |
|---|---|---|
destination |
String | init betiğinin ABFSS yolu. |
cluster.init_scripts.gcs
Type: Map
Init betiğinin GCS konumu.
| Key | Type | Description |
|---|---|---|
destination |
String | Init betiğinin GCS yolu. |
cluster.init_scripts.volumes
Type: Map
Init betiğinin birim konumu.
| Key | Type | Description |
|---|---|---|
destination |
String | Init betiğinin UC Birimleri yolu. |
cluster.driver_node_type_flexibility
Type: Map
Sürücü düğümü için esnek düğüm türü yapılandırması.
Databricks CLI sürüm 0.285.0'a eklendi
| Key | Type | Description |
|---|---|---|
alternate_node_type_ids |
Sequence | Birincil düğüm türü kullanılamadığında geri dönüş olarak kullanılacak düğüm türü kimliklerinin listesi. Databricks CLI sürüm 0.285.0'a eklendi |
cluster.worker_node_type_flexibility
Type: Map
Çalışan düğümleri için esnek düğüm türü yapılandırması.
Databricks CLI sürüm 0.285.0'a eklendi
| Key | Type | Description |
|---|---|---|
alternate_node_type_ids |
Sequence | Birincil düğüm türü kullanılamadığında geri dönüş olarak kullanılacak düğüm türü kimliklerinin listesi. Databricks CLI sürüm 0.285.0'a eklendi |
küme.işyükü_türü
Type: Map
Küme iş yükü türlerini gösteren küme öznitelikleri.
| Key | Type | Description |
|---|---|---|
clients |
Map | Kümeyi ne tür istemcilerin kullanabileceğini tanımlar. Bakınız müşteriler. |
küme.iş_yükü_türü.müşteriler
Type: Map
Bu hesaplama iş yükü için istemci türü.
| Key | Type | Description |
|---|---|---|
jobs |
Boolean | Kümenin işleri çalıştırıp çalıştıramayacağını belirleyebilir misiniz? |
notebooks |
Boolean | Kümenin not defterlerini çalıştırıp çalıştıramayacağı. |
Examples
Aşağıdaki örnek, Databricks Runtime 15.4 LTS ve bir küme ilkesi ile geçerli kullanıcı için ayrılmış (tek kullanıcılı) bir küme oluşturur:
resources:
clusters:
my_cluster:
num_workers: 0
node_type_id: 'i3.xlarge'
driver_node_type_id: 'i3.xlarge'
spark_version: '15.4.x-scala2.12'
spark_conf:
'spark.executor.memory': '2g'
autotermination_minutes: 60
enable_elastic_disk: true
single_user_name: ${workspace.current_user.userName}
policy_id: '000128DB309672CA'
enable_local_disk_encryption: false
data_security_mode: SINGLE_USER
runtime_engine: STANDARD
Bu örnek basit bir küme my_cluster oluşturur ve bunu içinde not defterini my_jobçalıştırmak için kullanılacak küme olarak ayarlar:
bundle:
name: clusters
resources:
clusters:
my_cluster:
num_workers: 2
node_type_id: 'i3.xlarge'
autoscale:
min_workers: 2
max_workers: 7
spark_version: '13.3.x-scala2.12'
spark_conf:
'spark.executor.memory': '2g'
jobs:
my_job:
tasks:
- task_key: test_task
notebook_task:
notebook_path: './src/my_notebook.py'
existing_cluster_id: ${resources.clusters.my_cluster.id}
gösterge tablosu
Type: Map
Pano kaynağı, AI/BI panolarını bir pakette yönetmenizi sağlar. AI/BI panoları hakkında bilgi için bkz. Panolar.
Yerel ortamınızdan bir pano içeren bir paket dağıttıysanız ve ardından bu panoyu değiştirmek için kullanıcı arabirimini kullandıysanız, kullanarak bundle generateaçıkça güncelleştirmediğiniz sürece kullanıcı arabirimi aracılığıyla yapılan değişiklikler yerel paketteki pano JSON dosyasına uygulanmaz. Panodaki değişiklikleri sürekli yoklayıp almak için --watch seçeneğini kullanabilirsiniz. Bkz. databricks bundle generate.
Ayrıca, yerel ortamınızdan uzak çalışma alanında bulunandan farklı bir pano JSON dosyası içeren bir paket dağıtmaya çalışırsanız bir hata oluşur. Yerel çalışma alanındaki panoyu uzak çalışma alanına yükleyip üzerine yazmayı zorunlu kılmak için --force seçeneğini kullanın. Bkz. databricks paket dağıtımı.
Databricks CLI sürüm 0.232.0'a eklendi
Note
Bildirim temelli Otomasyon Paketleri'ni pano Git desteğiyle kullanırken, panoların dosya olarak eşitlenmesini dışlamak için eşitleme eşlemesini ekleyerek yinelenen panoların oluşturulmasını önleyin:
sync:
exclude:
- src/*.lvdash.json
dashboards:
<dashboard-name>:
<dashboard-field-name>: <dashboard-field-value>
| Key | Type | Description |
|---|---|---|
dataset_catalog |
String | Sorguda aksi belirtilmediyse panodaki tüm veri kümeleri tarafından kullanılan varsayılan katalog değeri. Bu alanı ayarlayan yapılandırma örneği için bkz. Pano kataloğu ve şema parametreleştirmesi. Databricks CLI sürüm 0.283.0'a eklendi |
dataset_schema |
String | Sorguda aksi belirtilmediyse panodaki tüm veri kümeleri tarafından kullanılan varsayılan şema değeri. Bu alanı ayarlayan yapılandırma örneği için bkz. Pano kataloğu ve şema parametreleştirmesi. Databricks CLI sürüm 0.283.0'a eklendi |
display_name |
String | Gösterge tablosunun görünen adı. Databricks CLI sürüm 0.232.0'a eklendi |
embed_credentials |
Boolean | Paket dağıtım kimliği kimlik bilgilerinin tüm pano görüntüleyicileri için sorgu yürütmek için kullanılıp kullanılmadığı. olarak ayarlanırsa false, görüntüleyicinin kimlik bilgileri kullanılır. Varsayılan değer şudur: false.Databricks CLI sürüm 0.232.0'a eklendi |
etag |
String | Panonun etag'i. Panonun son okumadan sonra değiştirilmediğinden emin olmak için güncelleştirmelerde isteğe bağlı olarak sağlanabilir. Databricks CLI sürüm 0.234.0'a eklendi |
file_path |
String | Dosya adı da dahil olmak üzere pano varlığının yerel yolu. Dışarı aktarılan panolarda her zaman dosya uzantısı .lvdash.jsonbulunur.Databricks CLI sürüm 0.232.0'a eklendi |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. |
parent_path |
String | Panoyu içeren klasörün çalışma alanı yolu. Baştaki eğik çizgiyi içerir ve sondaki eğik çizgi yoktur. Databricks CLI sürüm 0.232.0'a eklendi |
path |
String | Varlık adı da dahil olmak üzere pano varlığının çalışma alanı yolu. Databricks CLI sürüm 0.234.0'a eklendi |
permissions |
Sequence | Gösterge tablosu izinleri. Bkz. izinler. Databricks CLI sürüm 0.232.0'a eklendi |
serialized_dashboard |
Any | Panonun serileştirilmiş dize biçimindeki içeriği. Databricks CLI sürüm 0.232.0'a eklendi |
warehouse_id |
String | Gösterge panelini çalıştırmak için kullanılan depo kimliği. Databricks CLI sürüm 0.232.0'a eklendi |
Example
Aşağıdaki örnek örnek NYC Taxi Trip Analysis panosunu içerir ve Databricks çalışma alanına dağıtır.
resources:
dashboards:
nyc_taxi_trip_analysis:
display_name: 'NYC Taxi Trip Analysis'
file_path: ../src/nyc_taxi_trip_analysis.lvdash.json
warehouse_id: ${var.warehouse_id}
veri_tabanı_kataloğu
Type: Map
Veritabanı kataloğu kaynağı, bir paketteki veritabanı örneklerine karşılık gelen veritabanı katalogları tanımlamanızı sağlar. Veritabanı kataloğu, Unity Kataloğu kataloğu olarak kaydedilmiş bir Lakebase veritabanıdır.
Veritabanı katalogları hakkında bilgi için bkz. Katalog oluşturma.
Databricks CLI sürüm 0.265.0'a eklendi
database_catalogs:
<database_catalog-name>:
<database_catalog-field-name>: <database_catalog-field-value>
| Key | Type | Description |
|---|---|---|
create_database_if_not_exists |
Boolean | Veritabanı yoksa oluşturulup oluşturulmayacağı. Databricks CLI sürüm 0.265.0'a eklendi |
database_instance_name |
String | Veritabanını barındıran örneğin adı. Databricks CLI sürüm 0.265.0'a eklendi |
database_name |
String | Katalogla ilişkilendirilmiş veritabanının adı (örnekte). Databricks CLI sürüm 0.265.0'a eklendi |
lifecycle |
Map | Kaynağın dağıtıldığında veya yok edildiğindeki davranışı dahil olmak üzere bir kaynağın yaşam döngüsü ayarlarını içerir. Bkz . yaşam döngüsü. Databricks CLI sürüm 0.265.0'a eklendi |
name |
String | Unity Kataloğu'ndaki kataloğun adı. Databricks CLI sürüm 0.265.0'a eklendi |
Example
Aşağıdaki örnek, ilgili veritabanı kataloğuna sahip bir veritabanı örneğini tanımlar:
resources:
database_instances:
my_instance:
name: my-instance
capacity: CU_1
database_catalogs:
my_catalog:
database_instance_name: ${resources.database_instances.my_instance.name}
name: example_catalog
database_name: my_database
create_database_if_not_exists: true
veritabanı_örneği
Type: Map
Veritabanı örneği kaynağı, veritabanı örneklerini bir pakette tanımlamanıza olanak tanır. Lakebase veritabanı örneği depolama ve işlem kaynaklarını yönetir ve kullanıcıların bağlanacakları uç noktaları sağlar.
Note
Kaynak tarafından database_instances oluşturulan yeni veritabanı örnekleri artık Lakebase Otomatik Ölçeklendirme projeleri olarak oluşturulur. Ayrıntılar için bkz. Varsayılan olarak otomatik ölçeklendirme . Yeni Lakebase çalışması için bunun yerine kaynağı kullanmanızı postgres_projects öneririz.
Önemli
Veritabanı örneğiyle bir paket dağıttığınızda örnek hemen çalışmaya başlar ve fiyatlandırmaya tabidir. Bkz. Lakebase fiyatlandırması.
Veritabanı örnekleri hakkında bilgi için bkz. Veritabanı örneği nedir?.
Databricks CLI sürüm 0.265.0'a eklendi
database_instances:
<database_instance-name>:
<database_instance-field-name>: <database_instance-field-value>
| Key | Type | Description |
|---|---|---|
capacity |
String | Örneğin sku'su. Geçerli değerler CU_1, CU_2, CU_4CU_8.Databricks CLI sürüm 0.265.0'a eklendi |
custom_tags |
Sequence | Örnekle ilişkilendirilmiş özel etiketleri belirten anahtar-değer çiftlerinin listesi. Databricks CLI sürüm 0.273.0'a eklendi |
enable_pg_native_login |
Boolean | Örneğin PG yerel parola oturum açma özelliğinin etkinleştirilip etkinleştirilmediği. Varsayılan olarak true değerini alır.Databricks CLI sürüm 0.267.0'a eklendi |
enable_readable_secondaries |
Boolean | İkincillerin salt okunur trafiğe hizmet vermesine izin verilip verilmeyeceği. Varsayılan olarak false değerini alır.Databricks CLI sürüm 0.265.0'a eklendi |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 0.268.0'a eklendi |
name |
String | Örneğin adı. Bu, örneğin benzersiz tanımlayıcısıdır. Databricks CLI sürüm 0.265.0'a eklendi |
node_count |
Integer | Örnekteki 1 birincil ve 0 veya daha fazla ikincilden oluşan düğüm sayısı. Varsayılan olarak 1 birincil ve 0 ikincil değere sahiptir. Databricks CLI sürüm 0.265.0'a eklendi |
parent_instance_ref |
Map | Ebeveyn örneğin bağlantısı. Bu yalnızca örnek alt örnekse kullanılabilir. Bkz. üst örnek. Databricks CLI sürüm 0.265.0'a eklendi |
permissions |
Sequence | Veritabanı örneğinin izinleri. Bkz. izinler. Databricks CLI sürüm 0.265.0'a eklendi |
retention_window_in_days |
Integer | Örneğin bekletme penceresi. Bu, geçmiş verilerin tutıldığı gün içindeki zaman penceresidir. Varsayılan değer 7 gündür. Geçerli değerler 2 ile 35 gündür. Databricks CLI sürüm 0.265.0'a eklendi |
stopped |
Boolean | Örneğin durdurulup durdurulmadığı. Databricks CLI sürüm 0.265.0'a eklendi |
usage_policy_id |
String | Örnekle ilişkilendirmek için istenen sunucusuz kullanım ilkesi. Databricks CLI sürüm 0.273.0'a eklendi |
veritabani_nesneleri.ebeveyn_nesne_baglanti_ref
Type: Map
Ebeveyn örneğin bağlantısı. Bu yalnızca örnek alt örnekse kullanılabilir.
| Key | Type | Description |
|---|---|---|
branch_time |
String | Referans veritabanı örneğinin dal zamanı. Üst öğe örneği için bu, örneğin oluşturulduğu üst öğede bulunan zaman noktasıdır. Bir alt başvuru örneği için bu, alt örneğin oluşturulduğu örnekteki zaman noktasıdır. |
lsn |
String | Referans veritabanı örneğinin kullanıcı tarafından belirtilen WAL LSN'si. |
name |
String | Referans veritabanı örneğinin adı. |
Example
Aşağıdaki örnek, ilgili veritabanı kataloğuna sahip bir veritabanı örneğini tanımlar:
resources:
database_instances:
my_instance:
name: my-instance
capacity: CU_1
database_catalogs:
my_catalog:
database_instance_name: ${resources.database_instances.my_instance.name}
name: example_catalog
database_name: my_database
create_database_if_not_exists: true
Bir veritabanı örneğinin ve buna karşılık gelen veritabanı kataloğunun nasıl tanımlandığını gösteren örnek bir paket için bkz. bundle-examples GitHub deposu.
deneyi
Type: Map
Deneme kaynağı, MLflow denemelerini bir pakette tanımlamanızı sağlar. MLflow denemeleri hakkında bilgi için bkz.MLflow denemeleriyle eğitim çalıştırmalarını düzenleme
Databricks CLI sürüm 0.229.0 veya altına eklendi
experiments:
<experiment-name>:
<experiment-field-name>: <experiment-field-value>
| Key | Type | Description |
|---|---|---|
artifact_location |
String | Deneme yapıtlarının depolandığı konum. Databricks CLI sürüm 0.229.0 veya altına eklendi |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 0.268.0'a eklendi |
name |
String | Denemeyi tanımlayan kullanıcı dostu ad. Databricks çalışma alanında bir deneme adı, örneğin /Workspace/Users/someone@example.com/my_experiment, mutlak bir yol olarak belirtilmelidir.Databricks CLI sürüm 0.229.0 veya altına eklendi |
permissions |
Sequence | Denemenin izinleri. Bkz. izinler. Databricks CLI sürüm 0.229.0 veya altına eklendi |
tags |
Sequence | Ek meta veri anahtar-değer çiftleri.
Etiketlere bakın. Databricks CLI sürüm 0.229.0 veya altına eklendi |
Example
Aşağıdaki örnek, tüm kullanıcıların görüntüleyebileceği bir denemeyi tanımlar:
resources:
experiments:
experiment:
name: /Workspace/Users/someone@example.com/my_experiment
permissions:
- level: CAN_READ
group_name: users
description: MLflow experiment used to track runs
external_location (Unity Kataloğu)
Type: Map
Dış konum kaynağı, bir pakette dış konumları (Unity Kataloğu) tanımlamanızı sağlar.
Note
Dış konumları tanımlamak için Bildirim temelli Otomasyon Paketlerinin kullanılması yalnızca doğrudan dağıtım altyapısını kullanıyorsanız desteklenir.
Databricks CLI sürüm 0.289.0'a eklendi
external_locations:
<external-location-name>:
<external-location-field-name>: <external-location-field-value>
| Key | Type | Description |
|---|---|---|
comment |
String | Dış konumun kullanıcı tarafından sağlanan serbest biçimli metin açıklaması. Databricks CLI sürüm 0.289.0'a eklendi |
credential_name |
String | Gerekli. Bu konumla kullanılan depolama kimlik bilgilerinin adı. Databricks CLI sürüm 0.289.0'a eklendi |
enable_file_events |
Boolean | Bu dış konumda dosya olaylarının etkinleştirilip etkinleştirilmeyileceği. Varsayılan olarak true değerini alır. Gerçek uygulanan değer, sunucu tarafı varsayılanları nedeniyle farklılık gösterebilir. Geçerli durumu denetleyin effective_enable_file_events .Databricks CLI sürüm 0.289.0'a eklendi |
encryption_details |
Map | Bulut depolamaya bağlanan istemciler için geçerli olan şifreleme seçenekleri. Bkz . external_location.encryption_details. Databricks CLI sürüm 0.289.0'a eklendi |
fallback |
Boolean | Bu dış konum için geri dönüş modunun etkinleştirilip etkinleştirilmediğini gösterir. Geri dönüş modu etkinleştirildiğinde, Unity Kataloğu kimlik bilgileri yeterli değilse konuma erişim küme kimlik bilgilerine geri döner. Databricks CLI sürüm 0.289.0'a eklendi |
file_event_queue |
Map | Bu dış konum için dosya olay kuyruğu ayarları.
enable_file_eventsdeğilsefalse, bu anahtar tanımlanmalıdır ve belgelenmiş özelliklerden tam olarak birine sahip olmalıdır. Bkz . external_location.file_event_queue.Databricks CLI sürüm 0.289.0'a eklendi |
grants |
Sequence | Dış konumla ilişkili izinler. Bkz. grant. Databricks CLI sürüm 0.289.0'a eklendi |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 0.289.0'a eklendi |
name |
String | Gerekli. Dış konumun adı. Databricks CLI sürüm 0.289.0'a eklendi |
read_only |
Boolean | Dış konumun salt okunur bir durumda olup olmadığını belirtir. Databricks CLI sürüm 0.289.0'a eklendi |
skip_validation |
Boolean | Dış konumla ilişkili depolama kimlik bilgilerinin doğrulanması atlar. Databricks CLI sürüm 0.289.0'a eklendi |
url |
String | Gerekli. Dış konumun yol URL'si. Databricks CLI sürüm 0.289.0'a eklendi |
external_location.encryption_details
Type: Map
Bulut depolamaya bağlanan istemciler için geçerli olan şifreleme seçenekleri.
| Key | Type | Description |
|---|---|---|
sse_encryption_details |
Map | Amazon S3 ile iletişim kuran istemcilerin sunucu tarafı şifreleme özellikleri. |
external_location.file_event_queue
Type: Map
Bu dış konum için dosya olay kuyruğu ayarları.
| Key | Type | Description |
|---|---|---|
managed_aqs |
Map | Yönetilen Azure Kuyruk Depolama ayarları. |
managed_pubsub |
Map | Yönetilen Google Cloud Pub/Sub ayarları. |
managed_sqs |
Map | Yönetilen Amazon SQS ayarları. |
provided_aqs |
Map | Kullanıcı tarafından sağlanan Azure Kuyruk Depolama ayarları. |
provided_pubsub |
Map | Kullanıcı tarafından sağlanan Google Cloud Pub/Sub ayarları. |
provided_sqs |
Map | Kullanıcı tarafından sağlanan Amazon SQS ayarları. |
Example
resources:
external_locations:
my_external_location:
name: my_external_location
url: 's3://my-bucket/my-path'
credential_name: my_storage_credential
comment: 'External location created by Databricks Asset Bundles'
grants:
- principal: someone@example.com
privileges:
- CREATE_EXTERNAL_TABLE
- READ_FILES
görevi
Type: Map
İşler bildirim temelli Otomasyon Paketleri için Python desteklenir. Bkz. databricks.bundles.jobs.
İş kaynağı, paketlerinizde işleri ve buna karşılık gelen görevleri tanımlamanızı sağlar.
İşler hakkında bilgi için bkz. Lakeflow İşleri. İş oluşturmak için Bildirim temelli Otomasyon Paketleri şablonu kullanan bir öğretici için bkz. Bildirim temelli Otomasyon Paketleri ile iş geliştirme.
Databricks CLI sürüm 0.229.0 veya altına eklendi
jobs:
<job-name>:
<job-field-name>: <job-field-value>
| Key | Type | Description |
|---|---|---|
budget_policy_id |
String | Bu iş için kullanılacak, kullanıcı tarafından belirlenen bütçe politikasının ID'si. Belirtilmezse, işi oluştururken veya değiştirirken varsayılan bir bütçe ilkesi uygulanabilir. Bu iş yükü tarafından kullanılan bütçe ilkesi için bkz effective_budget_policy_id .Databricks CLI sürüm 0.231.0'a eklendi |
continuous |
Map | Bu iş için isteğe bağlı bir sürekli özellik. Sürekli özelliği, her zaman bir çalıştırma yürütmesi olmasını sağlar.
schedule ve continuous'den yalnızca biri kullanılabilir. Bkz. sürekli.Databricks CLI sürüm 0.229.0 veya altına eklendi |
deployment |
Map | Dış kaynaklar tarafından yönetilen işler için dağıtım bilgileri. Bkz. dağıtım. Databricks CLI sürüm 0.229.0 veya altına eklendi |
description |
String | İş için isteğe bağlı bir açıklama. UTF-8 kodlamasında uzunluk üst sınırı 27700 karakterdir. Databricks CLI sürüm 0.229.0 veya altına eklendi |
email_notifications |
Map | Bu işin çalıştırmaları başladığında veya tamamlandığında ve bu iş silindiğinde bildirim alan isteğe bağlı bir e-posta adresleri kümesi.
bkz. email_notifications. Databricks CLI sürüm 0.229.0 veya altına eklendi |
environments |
Sequence | Bu işin sunucusuz görevleri tarafından başvurulabilecek görev yürütme ortamı belirtimlerinin listesi. Sunucusuz görevler için bir ortamın mevcut olması gerekir. Sunucusuz not defteri görevleri için, ortama not defteri ortam panelinden erişilebilir. Diğer sunucusuz görevler için görev ortamının görev ayarlarındaki environment_key kullanılarak belirtilmesi gerekir. Bkz. ortamlar. Databricks CLI sürüm 0.229.0 veya altına eklendi |
format |
String | Deprecated. İşin biçimi. |
git_source |
Map | Görevler tarafından kullanılan kaynak kodunu içeren uzak Git deposu için isteğe bağlı belirtim.
Bkz. job.git_source. Databricks CLI sürüm 0.229.0 veya altına eklendi Önemli: git_source olarak ayarlanan source alanı ve GIT görev alanı paketler için önerilmez, çünkü yerel göreli yollar Git deposundaki aynı içeriğe işaret etmeyebilir ve paketler, dağıtılan işin, dağıtıldığı yerden alınan yerel kopyayla aynı içeriğe sahip olmasını bekler.Bunun yerine, depoyu yerel olarak kopyalayın ve paket projenizi bu depo içinde ayarlayın; böylece görevlerin kaynağı çalışma alanıdır. |
health |
Map | Bu görev için tanımlanabilen isteğe bağlı bir sağlık kuralları kümesi. Bkz. sağlık. Databricks CLI sürüm 0.229.0 veya altına eklendi |
job_clusters |
Sequence | Bu işin görevleri tarafından paylaşılabilen ve yeniden kullanılabilen iş kümesi belirtimlerinin listesi.
Bkz. job_clusters. Databricks CLI sürüm 0.229.0 veya altına eklendi |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 0.268.0'a eklendi |
max_concurrent_runs |
Integer | Opsiyonel olarak izin verilen maksimum eşzamanlı iş yürütme sayısı. Aynı işin birden çok çalıştırmasını eşzamanlı olarak yürütebilmek istiyorsanız bu değeri ayarlayın. |
name |
String | İş için isteğe bağlı bir ad. UTF-8 kodlamasında uzunluk üst sınırı 4096 bayttır. Databricks CLI sürüm 0.229.0 veya altına eklendi |
notification_settings |
Map | Bu iş için email_notifications ve webhook_notifications her birine bildirim gönderirken kullanılan isteğe bağlı bildirim ayarları.
Bkz. notification_settings.Databricks CLI sürüm 0.229.0 veya altına eklendi |
parameters |
Sequence | İş düzeyi parametre tanımları. Bkz . job.parameters. Databricks CLI sürüm 0.229.0 veya altına eklendi |
performance_target |
String | Sunucusuz çalıştırmanın yürütülmesinin ne kadar yüksek performanslı veya maliyet açısından verimli olması gerektiğini tanımlar. Databricks CLI sürüm 0.241.0'a eklendi |
permissions |
Sequence | İşin yetkileri. Bkz. izinler. Databricks CLI sürüm 0.229.0 veya altına eklendi |
queue |
Map | İşin kuyruk ayarları. Bkz. kuyruk. Databricks CLI sürüm 0.229.0 veya altına eklendi |
run_as |
Map | Yalnızca yazma ayarı. İşin çalıştığı kullanıcı veya hizmet sorumlusunu belirtir. Belirtilmezse, iş, işi oluşturan kullanıcı olarak çalışır. veya user_nameservice_principal_name belirtilmelidir. Aksi takdirde bir hata oluşur. Bkz. run_as.Databricks CLI sürüm 0.229.0 veya altına eklendi |
schedule |
Map | Bu iş için isteğe bağlı bir düzenli zamanlama. Varsayılan davranış, işin yalnızca İşler kullanıcı arabiriminde "Şimdi Çalıştır" seçeneğine tıklayarak veya öğesine runNowbir API isteği göndererek tetiklendiğinde çalışmasıdır.
Bkz. zamanlama.Databricks CLI sürüm 0.229.0 veya altına eklendi |
tags |
Map | İşle ilişkili etiketlerin haritası. Bunlar, iş kümeleri için küme etiketleri olarak kümeye iletilir ve küme etiketleriyle aynı sınırlamalara tabidir. İşe en fazla 25 etiket eklenebilir. Databricks CLI sürüm 0.229.0 veya altına eklendi |
tasks |
Sequence | Bu işin gerçekleştireceği görev tanımlarının listesi. Bkz. Bildirim temelli Otomasyon Paketlerinde işlere görev ekleme. Databricks CLI sürüm 0.237.0'a eklendi |
timeout_seconds |
Integer | Her çalıştırmada bu işe isteğe bağlı bir zaman aşımı uygulanır. değeri 0 zaman aşımı olmadığı anlamına gelir.Databricks CLI sürüm 0.229.0 veya altına eklendi |
trigger |
Map | Belirli koşullar karşılandığında çalıştırmayı tetikleyen bir yapılandırma. Bkz. tetikleyici. Databricks CLI sürüm 0.229.0 veya altına eklendi |
usage_policy_id |
String | Bu iş için kullanılacak sunucusuz kullanım ilkesinin kimliği. Databricks CLI sürüm 0.273.0'a eklendi |
webhook_notifications |
Map | Bu işin çalıştırmaları başladığında veya tamamlandığında bildirimde bulunacak sistem bildirim kimlikleri koleksiyonu.
Bkz. webhook_notifications. Databricks CLI sürüm 0.229.0 veya altına eklendi |
job.sürekli
Type: Map
Sürekli iş yürütme yapılandırması.
| Key | Type | Description |
|---|---|---|
pause_status |
String | Sürekli işin duraklatılıp duraklatılmadığı durumu. Geçerli değerler: PAUSED, UNPAUSED. |
task_retry_mode |
String | Devam eden işin görev düzeyi yeniden denemelerini nasıl uyguladığını belirtin. Geçerli değerler: NEVER ve ON_FAILURE. Varsayılan olarak NEVER değerini alır. |
iş.dağıtım
Type: Map
Dış kaynaklar tarafından yönetilen işler için dağıtım bilgileri.
| Key | Type | Description |
|---|---|---|
kind |
String | Dağıtım türü. Örneğin, BUNDLE. |
metadata_file_path |
String | Dağıtım için meta veri dosyasının yolu. |
iş.email_bildirimleri
Type: Map
İş çalıştırmaları için e-posta bildirim ayarları.
| Key | Type | Description |
|---|---|---|
on_start |
Sequence | Bir çalıştırma başlatıldığında bildirilmesi gereken e-posta adreslerinin listesi. |
on_success |
Sequence | Bir çalıştırma başarılı olduğunda bildirilmesi gereken e-posta adreslerinin listesi. |
on_failure |
Sequence | Çalıştırma başarısız olduğunda bildirilmesi gereken e-posta adreslerinin listesi. |
on_duration_warning_threshold_exceeded |
Sequence | Çalışma süresi uyarı eşiğini aştığında bildirilmesi gereken e-posta adreslerinin listesi. |
no_alert_for_skipped_runs |
Boolean | Atlanan çalıştırmalar için uyarı göndermeyi atlayıp atlamamayı seçin. |
on_streaming_backlog_exceeded |
Sequence | Herhangi bir akış için akış kapsamı eşikleri aşıldığında bildirilmesi gereken e-posta adreslerinin listesi. Akış kapsamı eşikleri, alanında şu ölçümler kullanılarak ayarlanabilir health : STREAMING_BACKLOG_BYTES, STREAMING_BACKLOG_RECORDS, STREAMING_BACKLOG_SECONDSveya STREAMING_BACKLOG_FILES. Uyarı, bu ölçümlerin 10 dakikalık ortalamasını temel alır. Sorun devam ederse bildirimler her 30 dakikada bir yeniden oluşturulur. |
iş.ortamları
Type: Sequence
Bir işin sunucusuz görevleri tarafından başvurulabilen görev yürütme ortamı belirtimlerinin listesi.
Listedeki her öğe bir JobEnvironment:
| Key | Type | Description |
|---|---|---|
environment_key |
String | Bir ortamın anahtarı. Bir iş içinde benzersiz olmalıdır. |
spec |
Map | Sunucusuz bir ortamı temsil eden varlık. Bkz . job.environments.spec. |
job.environments.spec
Type: Map
Sunucusuz bir ortamı temsil eden varlık.
| Key | Type | Description |
|---|---|---|
client |
String | Deprecated. İstemci sürümü. |
dependencies |
Sequence | Bu ortamda pip sürümü tarafından desteklenen pip bağımlılıklarının listesi. |
environment_version |
String | Gerekli. Ortam tarafından kullanılan ortam sürümü. Her sürüm belirli bir Python sürümü ve bir dizi Python paketiyle birlikte gelir. Sürüm, tamsayıdan oluşan bir dizedir. |
job.git_kaynağı
Type: Map
İş kaynak kodu için Git deposu yapılandırması.
| Key | Type | Description |
|---|---|---|
git_branch |
String | Bu iş tarafından kullanıma alınıp kullanılacak dalın adı. Bu alan veya git_tagile git_commit birlikte belirtilemez. |
git_commit |
String | Bu iş tarafından kullanıma alınması ve kullanılması için işleyin. Bu alan veya git_branchile git_tag birlikte belirtilemez. |
git_provider |
String | Git deposunu barındırmak için kullanılan hizmetin benzersiz tanımlayıcısı. Değer büyük/küçük harfe duyarlı değildir. Geçerli değerler: gitHub, bitbucketCloud, gitLab, azureDevOpsServices, gitHubEnterprise, bitbucketServer, gitLabEnterpriseEdition. |
git_snapshot |
Map | İşin çalıştırıldığı sırada uzak deponun salt okunur durumu. Bu alan yalnızca iş çalıştırmalarına dahil edilir. Bkz. git_snapshot. |
git_tag |
String | Bu iş tarafından kullanıma alınıp kullanılacak etiketin adı. Bu alan veya git_branchile git_commit birlikte belirtilemez. |
git_url |
String | Bu iş tarafından kopyalanacak deponun URL'si. |
sparse_checkout |
Map | Git deposu için seyrek kullanıma alma yapılandırması. Bkz . job.git_source.sparse_checkout. Databricks CLI sürüm 0.290.0'a eklendi |
job.git_source.sparse_checkout
Type: Map
Git deposu için seyrek kullanıma alma yapılandırması.
Databricks CLI sürüm 0.290.0'a eklendi
| Key | Type | Description |
|---|---|---|
patterns |
Sequence | Seyrek kullanıma alma için dahil edilen desenlerin listesi. Databricks CLI sürüm 0.290.0'a eklendi |
job.git_source.git_snapshot
Type: Map
Salt okunur taahhüt bilgisi anlık görüntüsü.
| Key | Type | Description |
|---|---|---|
used_commit |
String | Çalıştırmayı yürütmek için kullanılan işleme. Belirtildiyse git_branch, bu, çalıştırma sırasındaki dalın KAFASI'na işaret eder; belirtildiyse git_tag, etiketin işaret ettiği commit'e işaret eder. |
iş.sağlık
Type: Map
İş için sağlık izleme yapılandırması.
| Key | Type | Description |
|---|---|---|
rules |
Sequence | İş sağlığı kurallarının listesi. Her kural bir metric ve op (işleç) ve valueiçerir. Bkz. job.health.rules. |
iş.sağlık.kuralları
Type: Sequence
İş sağlığı kurallarının listesi.
Listedeki her öğe bir JobHealthRule:
| Key | Type | Description |
|---|---|---|
metric |
String | Belirli bir sağlık kuralı için değerlendirilen sağlık ölçümünü belirtir.
|
op |
String | Sistem durumu ölçüm değerini belirtilen eşikle karşılaştırmak için kullanılan işleci belirtir. |
value |
Integer | Sistem durumu ölçümünü sistem durumu kuralını karşılamak için uyması gereken eşik değerini belirtir. |
iş.görev_kümeleri
Type: Sequence
Bu işin görevleri tarafından paylaşılabilen ve yeniden kullanılabilen iş kümesi belirtimlerinin listesi. Kitaplıklar paylaşılan bir iş kümesinde bildirilemez. Görev ayarlarında bağımlı kitaplıkları bildirmeniz gerekir.
Listedeki her öğe bir JobCluster:
| Key | Type | Description |
|---|---|---|
job_cluster_key |
String | İş kümesi için benzersiz bir ad. Bu alan gereklidir ve proje içinde benzersiz olmalıdır.
JobTaskSettings görev yürütme için hangi kümenin başlatıldığını belirlemek için bu alana başvurabilir. |
new_cluster |
Map | new_cluster, her görev için oluşturulan kümenin açıklaması. Bkz. küme. |
iş. bildirim_ayarları
Type: Map
İş için tüm bildirimlere uygulanan bildirim ayarları.
| Key | Type | Description |
|---|---|---|
no_alert_for_skipped_runs |
Boolean | Atlanan çalıştırmalar için uyarı göndermeyi atlayıp atlamamayı seçin. |
no_alert_for_canceled_runs |
Boolean | İptal edilen çalıştırmalar için uyarı gönderme işleminin atlanıp atlanmayacağı. |
job.parameters
Type: Sequence
İş parametresi tanımlarının listesi.
Listedeki her öğe bir JobParameter:
| Key | Type | Description |
|---|---|---|
default |
String | Gerekli. Parametrenin varsayılan değeri( örneğin, "kullanıcılar"). |
name |
String | Gerekli. Tanımlı parametrenin adı( örneğin, "tablo"). Geçerli değerler yalnızca , _ve -alfasayısal karakterler .içerir. |
iş.kuyruğu
Type: Map
İş için sıra ayarları.
| Key | Type | Description |
|---|---|---|
enabled |
Boolean | İş için kuyruğa alma özelliğinin etkinleştirilip etkinleştirilmeyileceği. |
iş.planı
Type: Map
Düzenli iş yürütme için yapılandırmayı zamanlayın.
| Key | Type | Description |
|---|---|---|
quartz_cron_expression |
String | Quartz söz dizimini kullanan bir Cron ifadesi, işin ne zaman çalıştırılacağını belirtir. Örneğin, 0 0 9 * * ? işi her gün 09:00 UTC'de çalıştırır. |
timezone_id |
String | Program için saat dilimi. Örneğin, America/Los_Angeles veya UTC. |
pause_status |
String | Programın duraklatılıp duraklatılmadığı konusunda bir durum var mı? Geçerli değerler: PAUSED, UNPAUSED. |
iş.tetikleyici
Type: Map
Olay temelli iş yürütme için tetikleyici yapılandırması.
| Key | Type | Description |
|---|---|---|
file_arrival |
Map | Dosya gelişine göre tetikleme. Bkz. file_arrival. |
table |
Map | Tabloya dayalı tetikleyici. Tabloya bakın. |
table_update |
Map | Tablo güncelleştirmelerini temel alan tetikleyici. Bkz. table_update. |
periodic |
Map | Periyodik tetikleyici. Bkz. periyodik. |
iş.tetikleyici.dosya_gelmesi
Type: Map
Dosya gelişine göre yapılandırmayı tetikleyin.
| Key | Type | Description |
|---|---|---|
url |
String | Yeni dosyalar için izlenecek dosya yolu. |
min_time_between_triggers_seconds |
Integer | Tetikleyici olayları arasındaki saniye cinsinden minimum süre. |
wait_after_last_change_seconds |
Integer | Tetiklemeden önce son dosya değişikliğinden sonraki saniye cinsinden bekleme süresi. |
iş.tetikleyici.tablo
Type: Map
Tabloyu temel alan yapılandırmayı tetikleme.
| Key | Type | Description |
|---|---|---|
table_names |
Sequence | İzlenecek tablo adlarının listesi. |
condition |
String | İşi tetikleyebilmek için karşılanması gereken SQL koşulu. |
iş.tetikleyici.tablo_güncelleme
Type: Map
Tablo güncelleştirmelerini temel alan yapılandırmayı tetikleyin.
| Key | Type | Description |
|---|---|---|
table_names |
Sequence | Güncelleştirmeler için izlenecek tablo adlarının listesi. |
condition |
String | İşi tetikleyebilmek için karşılanması gereken SQL koşulu. |
wait_after_last_change_seconds |
Integer | Tetiklemeden önce son tablo güncelleştirmesinin ardından saniye cinsinden bekleme süresi. |
iş.tetikleyici.periyodik
Type: Map
Periyodik tetikleyici yapılandırması.
| Key | Type | Description |
|---|---|---|
interval |
Integer | Periyodik tetikleyici için aralık değeri. |
unit |
String | Aralık için zaman birimi. Geçerli değerler: HOURS, DAYS, WEEKS. |
job.webhook_bildirimleri
Type: Map
İş çalıştırmaları için webhook bildirim ayarları.
| Key | Type | Description |
|---|---|---|
on_start |
Sequence | Çalıştırma başlatıldığında bildirilmesi gereken web kancası bildirim kimliklerinin listesi. |
on_success |
Sequence | Başarılı bir çalıştırma gerçekleştiğinde bildirilmesi gereken web kancası bildirim kimliklerinin listesi. |
on_failure |
Sequence | Çalışma (işlem) başarısız olduğunda bildirimde bulunulması gereken webhook bildirim kimliklerinin listesi. |
on_duration_warning_threshold_exceeded |
Sequence | Bir çalıştırma süresi uyarı eşiğini aştığında bildirilmesi gereken web kancası bildirim kimliklerinin listesi. |
on_streaming_backlog_exceeded |
Sequence | Herhangi bir akış için akış kapsamı eşikleri aşıldığında çağrılacak sistem bildirim kimliklerinin listesi. Akış kapsamı eşikleri, alanında şu ölçümler kullanılarak ayarlanabilir health : STREAMING_BACKLOG_BYTES, STREAMING_BACKLOG_RECORDS, STREAMING_BACKLOG_SECONDSveya STREAMING_BACKLOG_FILES. Uyarı, bu ölçümlerin 10 dakikalık ortalamasını temel alır. Sorun devam ederse bildirimler her 30 dakikada bir yeniden oluşturulur. En fazla 3 hedef belirtilebilir. |
Examples
Aşağıdaki örnek, bir not defteri göreviyle hello-job kaynak anahtarına sahip bir işi tanımlar:
resources:
jobs:
hello-job:
name: hello-job
tasks:
- task_key: hello-task
notebook_task:
notebook_path: ./hello.py
Aşağıdaki örnek, SQL not defterine sahip bir işi tanımlar:
resources:
jobs:
job_with_sql_notebook:
name: 'Job to demonstrate using a SQL notebook with a SQL warehouse'
tasks:
- task_key: notebook
notebook_task:
notebook_path: ./select.sql
warehouse_id: 799f096837fzzzz4
Ek iş yapılandırma örnekleri için bkz. İş yapılandırması.
İş görevlerini tanımlama ve iş ayarlarını geçersiz kılma hakkında bilgi için bkz:
modeli (eski)
Type: Map
Model kaynağı, eski modelleri paketlerde tanımlamanızı sağlar. Databricks bunun yerine Unity Kataloğu kayıtlı modellerini kullanmanızı önerir.
Databricks CLI sürüm 0.229.0 veya altına eklendi
model_dağıtım_uç_noktası
Type: Map
model_serving_endpoint kaynağı,uç noktaları sunan
Databricks CLI sürüm 0.229.0 veya altına eklendi
model_serving_endpoints:
<model_serving_endpoint-name>:
<model_serving_endpoint-field-name>: <model_serving_endpoint-field-value>
| Key | Type | Description |
|---|---|---|
ai_gateway |
Map | Hizmet veren uç nokta için AI Gateway yapılandırması. NOT: Şu anda yalnızca dış model ve sağlanan aktarım hızı uç noktaları desteklenmektedir. Bkz. ai_gateway. Databricks CLI sürüm 0.230.0'a eklendi |
budget_policy_id |
String | Bu uç nokta için kullanılacak bütçe ilkesinin kimliği. Databricks CLI sürüm 0.244.0'a eklendi |
config |
Map | Sunum uç noktasının temel yapılandırması. Bkz. yapılandırma. Databricks CLI sürüm 0.229.0 veya altına eklendi |
description |
String | Sunum uç noktası için bir açıklama. Databricks CLI sürüm 0.260.0'a eklendi |
email_notifications |
Map | Sunum uç noktası için e-posta bildirimleri yapılandırması.
bkz. email_notifications. Databricks CLI sürüm 0.264.0'a eklendi |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 0.268.0'a eklendi |
name |
String | Hizmet uç noktasının adı. Bu alan gereklidir ve Databricks çalışma alanında benzersiz olmalıdır. Uç nokta adı alfasayısal karakterler, tireler ve alt çizgilerden oluşabilir. Databricks CLI sürüm 0.229.0 veya altına eklendi |
permissions |
Sequence | Uç nokta izinlerini sunan model. Bkz. izinler. Databricks CLI sürüm 0.229.0 veya altına eklendi |
rate_limits |
Sequence | Deprecated. Hizmet sunma uç noktasına uygulanacak hız sınırları. Hız sınırlarını yönetmek için AI Gateway'i kullanın. Databricks CLI sürüm 0.229.0 veya altına eklendi |
route_optimized |
Boolean | Hizmet veren uç nokta için yol iyileştirmeyi etkinleştirin. Databricks CLI sürüm 0.229.0 veya altına eklendi |
tags |
Sequence | Hizmet sunma uç noktasına eklenecek ve otomatik olarak faturalama günlüklerine yayılacak etiketler. Databricks CLI sürüm 0.229.0 veya altına eklendi |
model_serving_endpoint.email_notifications
Type: Map
Sunum uç noktası için e-posta bildirimleri yapılandırması.
| Key | Type | Description |
|---|---|---|
on_update_failure |
Sequence | Bir uç nokta yapılandırmasını veya durumunu güncelleştiremediğinde bildirilecek e-posta adreslerinin listesi. |
on_update_success |
Sequence | Bir uç nokta yapılandırmasını veya durumunu başarıyla güncelleştirdiğinde bildirilecek e-posta adreslerinin listesi. |
model_serving_endpoint.yapay_zeka_geçidi
Type: Map
Hizmet veren uç nokta için AI Gateway yapılandırması.
| Key | Type | Description |
|---|---|---|
fallback_config |
Map | Kullanılabilirliği artırmak için sunulan bir varlığa yönelik istek belirli hata kodlarıyla başarısız olursa diğer hizmet verilen varlıklara otomatik olarak geri dönüş yapan trafik geri dönüşü yapılandırması. Bkz. fallback_config. |
guardrails |
Map | Koruma yapılandırması. Korumalara bakın. |
inference_table_config |
Map | Unity Kataloğu tablolarında çıkarım günlüğü için yapılandırma. Bkz. inference_table_config. |
rate_limits |
Sequence | Hız sınırı yapılandırmaları. |
usage_tracking_config |
Map | Kullanım izleme yapılandırması. Bkz. usage_tracking_config. |
model_serving_endpoint.ai_gateway.fallback_config
Type: Map
Bir istek belirli hata kodlarıyla başarısız olursa diğer hizmet verilen varlıklara otomatik olarak geri dönüş yapan trafik geri dönüşü yapılandırması.
| Key | Type | Description |
|---|---|---|
enabled |
Boolean | Bu uç nokta için geri dönüşün etkinleştirilip etkinleştirilmediği. |
model_servis_sonu_noktası.ai_geçidi.korkuluklar
Type: Map
AI ağ geçidi sınırlandırmaları yapılandırması.
| Key | Type | Description |
|---|---|---|
input |
Map | Giriş korkulukları yapılandırması, safety ve pii gibi alanlarla yapılır. |
output |
Map | Çıktı koruma yapılandırması, safety, pii gibi alanları içerir. |
invalid_keywords |
Sequence | Engellenmesi gereken anahtar sözcüklerin listesi. |
model_sunma_ucu.yapayzeka_ağı_geçidi.çıkarım_tablo_yapılandırması
Type: Map
Unity Kataloğu tablolarında çıkarım günlüğü için yapılandırma.
| Key | Type | Description |
|---|---|---|
catalog_name |
String | Unity Kataloğu'ndaki kataloğun adı. |
schema_name |
String | Unity Kataloğu'ndaki şemanın adı. |
table_name_prefix |
String | Çıkarım tablosu adları için ön ek. |
enabled |
Boolean | Çıkarım tablosu günlüğünün etkinleştirilip etkinleştirilmediği. |
model_serving_endpoint.ai_geçidi.kullanım_takip_yapılandırması
Type: Map
Kullanımı izlemeye yönelik yapay zeka ağ geçidi yapılandırması.
| Key | Type | Description |
|---|---|---|
enabled |
Boolean | Kullanım izlemenin etkinleştirilip etkinleştirilmediği. |
model_serving_endpoint.config
Type: Map
Sunum uç noktasının temel yapılandırması.
| Key | Type | Description |
|---|---|---|
served_entities |
Sequence | Uç noktaya hizmet veren varlıkların listesi. Sunulan her varlık, entity_name, entity_version, workload_size, scale_to_zero_enabled, workload_type, environment_vars gibi alanlar içerir. |
served_models |
Sequence | (Kullanım dışı: bunun yerine kullanın served_entities ) Hizmet vermek üzere uç nokta için sunulan modellerin listesi. |
traffic_config |
Map | Hizmet veren uç noktaya çağrıların nasıl yönlendirilmesi gerektiğini tanımlayan trafik yapılandırması. bkz. traffic_config. |
auto_capture_config |
Map | Çıkarım tablolarını otomatik olarak Unity Kataloğu'na istekleri ve yanıtları günlüğe kaydedecek şekilde yapılandırma. Bkz. auto_capture_config. |
model_servis_uc_noktası.konfigürasyon.trafik_yapılandırması
Type: Map
Hizmet veren uç noktaya çağrıların nasıl yönlendirilmesi gerektiğini tanımlayan trafik yapılandırması.
| Key | Type | Description |
|---|---|---|
routes |
Sequence | Trafik dağıtımı için yolların listesi. Her yol served_model_name ve traffic_percentage içerir. |
model_hizmet_uç_noktası.konfig.otomatik_yakalama_konfigürasyonu
Type: Map
Çıkarım tablolarını otomatik olarak Unity Kataloğu'na istekleri ve yanıtları günlüğe kaydedecek şekilde yapılandırma.
| Key | Type | Description |
|---|---|---|
catalog_name |
String | Unity Kataloğu'ndaki kataloğun adı. |
schema_name |
String | Unity Kataloğu'ndaki şemanın adı. |
table_name_prefix |
String | Çıkarım tablosu adları için ön ek. |
enabled |
Boolean | Çıkarım tablosu günlüğünün etkinleştirilip etkinleştirilmediği. |
Example
Aşağıdaki örnek, uç nokta sunan bir Unity Kataloğu modelini tanımlar:
resources:
model_serving_endpoints:
uc_model_serving_endpoint:
name: 'uc-model-endpoint'
config:
served_entities:
- entity_name: 'myCatalog.mySchema.my-ads-model'
entity_version: '10'
workload_size: 'Small'
scale_to_zero_enabled: 'true'
traffic_config:
routes:
- served_model_name: 'my-ads-model-10'
traffic_percentage: '100'
tags:
- key: 'team'
value: 'data science'
boru hattı
Type: Map
İşlem hatları bildirim temelli Otomasyon Paketleri için Python desteklenir. Bkz. databricks.bundles.pipelines.
İşlem hattı kaynağı, işlem hatları oluşturmanıza olanak tanır. İşlem hatları hakkında bilgi için bkz. Lakeflow Spark Bildirimli İşlem Hatları. İşlem hattı oluşturmak için Bildirim temelli Otomasyon Paketleri şablonunu kullanan bir öğretici için bkz. Bildirim temelli Otomasyon Paketleri ile işlem hatları geliştirme.
Databricks CLI sürüm 0.229.0 veya altına eklendi
pipelines:
<pipeline-name>:
<pipeline-field-name>: <pipeline-field-value>
| Key | Type | Description |
|---|---|---|
allow_duplicate_names |
Boolean | Yanlış ise, ad başka bir işlem hattının adıyla çatışırsa dağıtım başarısız olur. Databricks CLI sürüm 0.261.0'a eklendi |
budget_policy_id |
String | Bu boru hattının bütçe politikası. Databricks CLI sürüm 0.230.0'a eklendi |
catalog |
String | Bu işlem hattından verileri yayımlamak için Unity Kataloğu'ndaki bir katalog. Eğer target belirtilirse, bu işlem hattındaki tablolar, target içinde bir catalog şemada yayımlanır (örneğin, catalog.target.table). Belirtilmezse target Unity Kataloğu'na hiçbir veri yayımlanmaz.Databricks CLI sürüm 0.229.0 veya altına eklendi |
channel |
String | Hangi sürümün kullanılacağını belirten Lakeflow Spark Bildirimli İşlem Hatları Dağıtım Kanalı. Databricks CLI sürüm 0.229.0 veya altına eklendi |
clusters |
Sequence | Bu işlem hattı dağıtımı için küme ayarları. Bkz. küme. Databricks CLI sürüm 0.229.0 veya altına eklendi |
configuration |
Map | Bu işlem hattı yürütme yapılandırması. Databricks CLI sürüm 0.229.0 veya altına eklendi |
continuous |
Boolean | Boru hattının sürekli mi yoksa tetiklenmiş mi olduğu. Bu, triggerdeğiştirir.Databricks CLI sürüm 0.229.0 veya altına eklendi |
deployment |
Map | Bu işlem hattının dağıtım türü. Bkz. dağıtım. Databricks CLI sürüm 0.229.0 veya altına eklendi |
development |
Boolean | İşlem hattının geliştirme modunda olup olmadığı. Varsayılan değer false'tur. Databricks CLI sürüm 0.229.0 veya altına eklendi |
dry_run |
Boolean | İşlem hattının bir kuru çalıştırma işlem hattı olup olmadığı. |
edition |
String | İşlem hattı ürün sürümü. Databricks CLI sürüm 0.229.0 veya altına eklendi |
environment |
Map | Sunucusuz işlemde bağımlılıkları yüklemek için kullanılan bu işlem hattının ortam belirtimi. Bkz. ortam. Bu anahtar yalnızca Databricks CLI sürüm 0.258 ve üzerinde desteklenir. Databricks CLI sürüm 0.257.0'a eklendi |
event_log |
Map | Bu işlem hattı için olay günlüğü yapılandırması.
Bkz. event_log. Databricks CLI sürüm 0.246.0'a eklendi |
filters |
Map | Dağıtılan grafiğe hangi işlem hattı paketlerinin dahilleneceğini belirleyen filtreler. Bkz. filtreler. Databricks CLI sürüm 0.229.0 veya altına eklendi |
gateway_definition |
Map | Ağ geçidi işlem hattı yapılandırması. Bu ayarlar ayarlarla ingestion_definition kullanılamaz.Databricks CLI sürüm 0.229.0 veya altına eklendi |
id |
String | Bu işlem hattı için benzersiz tanımlayıcı. Databricks CLI sürüm 0.229.0 veya altına eklendi |
ingestion_definition |
Map | Yönetilen veri alma işlem hattı yapılandırması. Bu ayarlar, libraries, schema, target veya catalog ayarlarıyla kullanılamaz. Bkz. ingestion_definition.Databricks CLI sürüm 0.229.0 veya altına eklendi |
libraries |
Sequence | Bu dağıtım için gereken kitaplıkların veya kodun listesi. Bkz. pipeline.libraries. Databricks CLI sürüm 0.229.0 veya altına eklendi |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 0.268.0'a eklendi |
name |
String | Bu işlem hattı için anlaşılır bir ad. Databricks CLI sürüm 0.229.0 veya altına eklendi |
notifications |
Sequence | Bu işlem hattı için bildirim ayarları.
Bildirimlere bakın. Databricks CLI sürüm 0.229.0 veya altına eklendi |
permissions |
Sequence | İşlem hattının izinleri. Bkz. izinler. Databricks CLI sürüm 0.229.0 veya altına eklendi |
photon |
Boolean | Bu işlem hattı için Photon'un etkinleştirilip etkinleştirilmediği. olarak ayarlanırsa serverlesstruebu anahtar yoksayılır.Databricks CLI sürüm 0.229.0 veya altına eklendi |
restart_window |
Map | Bu işlem hattı için bir yeniden başlatma penceresi tanımlar. ardına düşmeden işlem hatları bu pencere içinde yeniden başlatılabilir. |
root_path |
String | Bu işlem hattının kök yolu. Bu, Databricks kullanıcı arabiriminde işlem hattını düzenlerken kök dizin olarak kullanılır ve işlem hattı yürütme sırasında Python kaynakları yürütürken sys.path dosyasına eklenir. Databricks CLI sürüm 0.253.0'a eklendi |
run_as |
Map | İşlem hattının çalıştığı kimlik. Belirtilmezse işlem hattı, işlem hattını oluşturan kullanıcı olarak çalışır. Yalnızca user_name veya service_principal_name belirtilebilir. Her ikisi de belirtilirse bir hata oluşur. Bkz. run_as.Databricks CLI sürüm 0.241.0'a eklendi |
schema |
String | Tabloların okunduğu veya yayımlandığı varsayılan şema (veritabanı). Databricks CLI sürüm 0.230.0'a eklendi |
serverless |
Boolean | Bu işlem hattı için sunucusuz işlemin etkinleştirilip etkinleştirilmediği. Databricks CLI sürüm 0.229.0 veya altına eklendi |
storage |
String | Denetim noktalarını ve tabloları depolamak için DBFS kök dizini. Databricks CLI sürüm 0.229.0 veya altına eklendi |
tags |
Map | İşlem hattıyla ilişkili etiketlerin haritası. Bunlar küme etiketleri olarak kümeye iletilir ve bu nedenle aynı sınırlamalara tabidir. İşlem hattına en fazla 25 etiket eklenebilir. Databricks CLI sürüm 0.256.0'a eklendi |
target |
String | Bu işlem hattında tabloların ekleneceği hedef şema (veritabanı). Tam olarak schema veya target'den biri belirtilmelidir. Unity Kataloğu'na yayımlamak için catalog de belirtin. Bu eski alan, schema alanı tercih edilerek işlem hattı oluşturmak için kullanım dışı bırakılmıştır.Databricks CLI sürüm 0.229.0 veya altına eklendi |
usage_policy_id |
String | Bu işlem hattı için kullanılacak sunucusuz kullanım ilkesinin kimliği. Databricks CLI sürüm 0.273.0'a eklendi |
pipeline.yayınlama
Type: Map
Boru hattı için dağıtım türü ayarları.
| Key | Type | Description |
|---|---|---|
kind |
String | Dağıtım türü. Örneğin, BUNDLE. |
metadata_file_path |
String | Dağıtım için meta veri dosyasının yolu. |
boruhattı.ortam
Type: Map
Sunucusuz işlemde bağımlılıkları yüklemeye yönelik ortam belirtimi.
| Key | Type | Description |
|---|---|---|
dependencies |
Sequence | Bu ortamda pip sürümü tarafından desteklenen pip bağımlılıklarının listesi. Her bağımlılık bir pip gereksinim dosyası satırıdır. |
pipeline.event_log
Type: Map
İşlem hattı için olay günlüğü yapılandırması.
| Key | Type | Description |
|---|---|---|
catalog |
String | Etkinlik günlüğünün yayımlandığı Unity Kataloğu. |
name |
String | Unity Kataloğu'nda olay günlüğünün yayımlandığı ad. |
schema |
String | Etkinlik günlüğünün yayımlandığı Unity Catalog şeması. |
işlem_hattı.filtreler
Type: Map
Dağıtılan grafta hangi işlem hattı paketlerinin dahilleneceğini belirleyen filtreler.
| Key | Type | Description |
|---|---|---|
include |
Sequence | Eklenecek paket adlarının listesi. |
exclude |
Sequence | Dışlanması gereken paket adlarının listesi. |
pipeline.ingestion_definition
Type: Map
Yönetilen bir veri yükleme işlem hattının yapılandırması. Bu ayarlar, libraries, schema, target veya catalog ayarlarıyla kullanılamaz.
| Key | Type | Description |
|---|---|---|
connection_name |
String | Alım için kullanılacak bağlantının adı. |
full_refresh_window |
Map | (İsteğe bağlı) CDC'de anlık görüntü sorguları için zaman aralıkları kümesini belirten bir pencere. |
ingestion_gateway_id |
String | Veri alımı ağ geçidinin kimliği. |
objects |
Sequence | Gerekli. Çoğaltılacak tabloları ve çoğaltılan tabloların hedefini belirten ayarlar. Her nesne SchemaSpec, TableSpec veya ReportSpec olabilir. |
source_type |
String | kullanılırken source_configurationsgereklidir. Bağlayıcı türünü belirtir (örneğin, , POSTGRESQLMYSQL). |
source_configurations |
Sequence | Katalog düzeyinde kaynak yapılandırma parametreleri. Bu alanı kullanırken de belirtmelisiniz source_type.
Bkz. source_configurations. |
table_configuration |
Map | Alma tabloları için yapılandırma. Bkz. table_configuration. |
SchemaSpec
Type: Map
Bir şemadan tüm tabloları almak için şema nesnesi belirtimi.
| Key | Type | Description |
|---|---|---|
source_schema |
String | Alınacak kaynak şemanın adı. |
destination_catalog |
String | Unity Kataloğu'nda hedef kataloğun adı. |
destination_schema |
String | Unity Kataloğu'nda hedef şemanın adı. |
table_configuration |
Map | Bu şemadaki tüm tablolara uygulanacak yapılandırma. Bakınız pipeline.ingestion_definition.table_configuration. |
Tablo Özellikleri (TableSpec)
Type: Map
Belirli bir tabloyu içeri aktarmak için tablo nesnesinin belirlenmesi.
| Key | Type | Description |
|---|---|---|
source_schema |
String | Tabloyu içeren kaynak şemanın adı. |
source_table |
String | Aktarılacak kaynak tablonun adı. |
destination_catalog |
String | Unity Kataloğu'nda hedef kataloğun adı. |
destination_schema |
String | Unity Kataloğu'nda hedef şemanın adı. |
destination_table |
String | Unity Kataloğu'ndaki hedef tablonun adı. |
table_configuration |
Map | Bu özgün tablo için yapılandırma. Bakınız pipeline.ingestion_definition.table_configuration. |
ReportSpec
Type: Map
Analiz raporlarını içselleştirmek için rapor nesnesi belirtimi.
| Key | Type | Description |
|---|---|---|
source_url |
String | Kaynak raporun URL'si. |
source_report |
String | Kaynak raporun adı veya tanımlayıcısı. |
destination_catalog |
String | Unity Kataloğu'nda hedef kataloğun adı. |
destination_schema |
String | Unity Kataloğu'nda hedef şemanın adı. |
destination_table |
String | Rapor verilerinin hedef tablosunun adı. |
table_configuration |
Map | Rapor tablosu için yapılandırma. Bakınız pipeline.ingestion_definition.table_configuration. |
pipeline.ingestion_definition.source_configurations
Type: Sequence
Kaynak için yapılandırma. Dizideki her öğe, katalog düzeyi yapılandırmayı içeren bir Harita'dır.
| Key | Type | Description |
|---|---|---|
catalog |
Map | Katalog düzeyinde kaynak yapılandırma parametreleri. Bkz. katalog. |
pipeline.ingestion_definition.source_configurations.catalog
Type: Map
Katalog düzeyinde kaynak yapılandırma parametreleri
| Key | Type | Description |
|---|---|---|
postgres |
Map | Postgres'e özgü katalog düzeyi yapılandırma parametreleri. Mantıksal çoğaltma için kullanılacak Postgres yuvası yapılandırmasını temsil eden bir slot_config anahtarı Map içerir. |
source_catalog |
String | Kaynak katalog adı. |
pipeline.veri_yükleme_tanımı.tablo_konfigürasyonu
Type: Map
Alım tabloları için yapılandırma seçenekleri.
| Key | Type | Description |
|---|---|---|
exclude_columns |
Sequence | Veri alımı için hariç tutulacak sütun adlarının listesi. Belirtilmediğinde, include_columns hangi sütunların işleme alınacağını tamamen kontrol eder. Belirtildiğinde, gelecekteki sütunlar da dahil olmak üzere diğer tüm sütunlar veri alımı için otomatik olarak eklenir. Bu alan, include_columns ile birbirini dışlar. |
include_columns |
Sequence | Alım için dahil edilecek sütun adlarının listesi. Belirtilmediğinde, exclude_columns içindeki sütunlar hariç tüm sütunlar dahil edilir. Gelecekteki sütunlar otomatik olarak eklenir. Belirtildiğinde, gelecekteki diğer tüm sütunlar otomatik olarak alımın dışında tutulur. Bu alan, exclude_columns ile birbirini dışlar. |
primary_keys |
Sequence | Tablo için birincil anahtar olarak kullanılacak sütun adlarının listesi. |
sequence_by |
Sequence | Kaynak verilerdeki olayların mantıksal sırasını belirten sütun adları. Spark Bildirimli İşlem Hatları, sıra dışı gelen değişiklik olaylarını işlemek için bu sıralamayı kullanır. |
işlem_hattı.kütüphaneler
Type: Sequence
Bu işlem hattı için gereken kitaplıkların veya kodların listesini tanımlar.
Listedeki her öğe bir tanımdır:
| Key | Type | Description |
|---|---|---|
file |
Map | İşlem hattını tanımlayan ve Databricks Repos'de depolanan bir dosyanın yolu. Bkz pipeline.libraries.file. |
glob |
Map | Kaynak kodu dahil etmek için birleştirilmiş alan. Her girdi bir not defteri yolu, dosya yolu veya biten /**bir klasör yolu olabilir. Bu alan veya notebookile file birlikte kullanılamaz. Bkz. pipeline.libraries.glob. |
notebook |
Map | İşlem hattını tanımlayan ve Databricks çalışma alanında depolanan bir not defterinin yolu. Bkz. pipeline.libraries.notebook. |
whl |
String | Bu alan kullanım dışı bırakıldı |
pipeline.kütüphaneler.dosya
Type: Map
İşlem hattını tanımlayan ve Databricks Repos depolanan bir dosyanın yolu.
| Key | Type | Description |
|---|---|---|
path |
String | Kaynak kodun mutlak yolu. |
pipeline.libraries.glob
Type: Map
Kaynak kodu dahil etmek için birleştirilmiş alan. Her girdi bir not defteri yolu, dosya yolu veya biten /**bir klasör yolu olabilir. Bu alan veya notebookile file birlikte kullanılamaz.
| Key | Type | Description |
|---|---|---|
include |
String | Boru hatları için kaynak kodu ekleme |
boru hattı.kütüphaneler.not defteri
Type: Map
İşlem hattını tanımlayan ve Databricks çalışma alanında depolanan bir not defterinin yolu.
| Key | Type | Description |
|---|---|---|
path |
String | Kaynak kodun mutlak yolu. |
pipeline.notifications
Type: Sequence
Bu işlem hattı için bildirim ayarları. Dizideki her öğe bir bildirim yapılandırmasıdır.
| Key | Type | Description |
|---|---|---|
alerts |
Sequence | Bildirimleri tetikleyen uyarıların listesi. Geçerli değerler , on-update-success, on-update-failure, on-update-fatal-failure. on-flow-failure |
email_recipients |
Sequence | Yapılandırılmış bir uyarı tetiklendiğinde bildirilmesi gereken e-posta adreslerinin listesi. |
Example
Aşağıdaki örnek, hello-pipelinekaynak anahtarına sahip bir işlem hattını tanımlar:
resources:
pipelines:
hello-pipeline:
name: hello-pipeline
clusters:
- label: default
num_workers: 1
development: true
continuous: false
channel: CURRENT
edition: CORE
photon: false
libraries:
- notebook:
path: ./pipeline.py
Ek işlem hattı yapılandırma örnekleri için bkz. İşlem hattı yapılandırması.
postgres_branch
Type:Map
Postgres dal kaynağı, Lakebase dallarını bir pakette tanımlamanızı sağlar. Ayrıca karşılık gelen Postgres projelerini ve işlem uç noktalarını da tanımlamanız gerekir.
Databricks CLI sürüm 0.287.0'a eklendi
postgres_branches:
<postgres_branch-name>:
<postgres_branch-field-name>: <postgres_branches-field-value>
| Key | Type | Description |
|---|---|---|
branch_id |
String | Dal için kullanılacak kimlik. Bu, dalın kaynak adının son bileşeni olur. Kimlik gereklidir ve 1-63 karakter uzunluğunda olmalı, küçük harfle başlamalıdır ve yalnızca küçük harf, sayı ve kısa çizgi içermelidir. Örneğin development, projects/my-app/branches/development olur.Databricks CLI sürüm 0.287.0'a eklendi |
expire_time |
String | Mutlak süre sonu zaman damgası. Ayarlandığında, dalın süresi şu anda dolacaktır. Databricks CLI sürüm 0.287.0'a eklendi |
is_protected |
Boolean | true olarak ayarlandığında, dalı silme ve sıfırlamaya karşı korur. Dal korunurken ilişkili işlem uç noktaları ve proje silinemez. Databricks CLI sürüm 0.287.0'a eklendi |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 0.287.0'a eklendi |
no_expiry |
Boolean | Süre sonunu açıkça devre dışı bırakın. true olarak ayarlandığında dalın süresi dolmaz. false olarak ayarlanırsa istek geçersizdir; yerine ttl veya expire_time sağlayın. Databricks CLI sürüm 0.287.0'a eklendi |
parent |
String | Bu dalın oluşturulacağı proje. Biçim: projects/{project_id}Databricks CLI sürüm 0.287.0'a eklendi |
source_branch |
String | Bu dalın oluşturulduğu kaynak dalın adı (belirli bir noktaya kurtarma için veri kökeni). Belirtilmezse, varsayılan olarak projenin varsayılan dalı kullanılır. Biçim: projects/{project_id}/branches/{branch_id}Databricks CLI sürüm 0.287.0'a eklendi |
source_branch_lsn |
String | Bu dalın oluşturulduğu kaynak daldaki Günlük Sırası Numarası (LSN). Databricks CLI sürüm 0.287.0'a eklendi |
source_branch_time |
String | Bu dalın oluşturulduğu kaynak daldaki zaman noktası. Databricks CLI sürüm 0.287.0'a eklendi |
ttl |
String | Göreli yaşam süresi. Ayarlandığında dalın süresi creation_time + ttl olarak dolar. Databricks CLI sürüm 0.287.0'a eklendi |
Example
postgres_endpoint
Type: Map
postgres_endpoints kaynağı, bir pakette Lakebase işlem uç noktalarını tanımlamanızı sağlar. Ayrıca ilgili Lakebase projelerini ve Lakebase dallarını da tanımlamanız gerekir.
Databricks CLI sürüm 0.287.0'a eklendi
postgres_endpoints:
<postgres_endpoint-name>:
<postgres_endpoint-field-name>: <postgres_endpoint-field-value>
| Key | Type | Description |
|---|---|---|
autoscaling_limit_max_cu |
Sayı | İşlem Birimi sayısı üst sınırı. En düşük değer 0,5'tir. Databricks CLI sürüm 0.287.0'a eklendi |
autoscaling_limit_min_cu |
Sayı | En az İşlem Birimi sayısı. En düşük değer 0,5'tir. Databricks CLI sürüm 0.287.0'a eklendi |
disabled |
Boolean | İşlem uç noktasına bağlantıların kısıtlanıp kısıtlanmayacağı. Bu seçeneğin etkinleştirilmesi işlem işlemini askıya alma işlemini zamanlar. Devre dışı bırakılmış bir işlem uç noktası bir bağlantı veya konsol eylemi tarafından etkinleştirilemez. Databricks CLI sürüm 0.287.0'a eklendi |
endpoint_id |
String | Uç Nokta için kullanılacak kimlik. Bu, uç noktanın kaynak adının son bileşeni olur. Kimlik gereklidir ve 1-63 karakter uzunluğunda olmalı, küçük harfle başlamalıdır ve yalnızca küçük harf, sayı ve kısa çizgi içermelidir. Örneğin primary, projects/my-app/branches/development/endpoints/primary olur.Databricks CLI sürüm 0.287.0'a eklendi |
endpoint_type |
String | Uç nokta türü. Bir dalda yalnızca bir READ_WRITE uç noktası olabilir. Olası değerler: ENDPOINT_TYPE_READ_WRITE, ENDPOINT_TYPE_READ_ONLY.Databricks CLI sürüm 0.287.0'a eklendi |
group |
Map | Uç nokta grubu yapılandırması. Bkz. postgres_endpoint.group. |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 0.287.0'a eklendi |
no_suspension |
Boolean | true olarak ayarlandığında, otomatik askıya alma özelliğini açıkça devre dışı bırakır (hiçbir zaman askıya alınmaz). Sağlandığında true olarak ayarlanmalıdır. Databricks CLI sürüm 0.287.0'a eklendi |
parent |
String | Bu Uç Noktanın oluşturulacağı dal. Biçim: projects/{project_id}/branches/{branch_id}Databricks CLI sürüm 0.287.0'a eklendi |
settings |
Map | İşlem uç noktası için ayarlar koleksiyonu. Databricks CLI sürüm 0.287.0'a eklendi |
suspend_timeout_duration |
String | İşlem uç noktasının otomatik olarak askıya alındığı etkinlik dışı kalma süresi. Belirtildiyse 60 ile 604800 arasında olmalıdır (1 dakika ile 1 hafta arası). Databricks CLI sürüm 0.287.0'a eklendi |
postgres_endpoint.group
Type: Map
Uç nokta grubu yapılandırması.
| Key | Type | Description |
|---|---|---|
enable_readable_secondaries |
Boolean | Okuma-yazma uç noktalarına salt okunur bağlantılara izin verilip verilmeyeceği. Yalnızca olduğu group.max > 1okuma-yazma uç noktaları için geçerlidir. |
max |
Integer | Gerekli. Uç nokta grubundaki işlem sayısı üst sınırı. Şu anda bunun değerine mineşit olması gerekir.
1 Yüksek Kullanılabilirliği (HA) devre dışı bırakmak için tek işlem uç noktaları için olarak ayarlayın. Bir uç nokta grubundaki tüm işlemleri el ile askıya almak için uç noktada olarak disabled ayarlayıntrue. |
min |
Integer | Gerekli. Uç nokta grubundaki minimum işlem sayısı. Şu anda bunun değerine maxeşit olması gerekir. Bu, değerinden büyük veya eşit 1olmalıdır. |
Example
postgres_project
Type: Map
Postgres proje kaynağı, Lakebase Otomatik Ölçeklendirme Postgres veritabanı projelerini bir pakette tanımlamanızı sağlar. Ayrıca karşılık gelen Postgres dallarını ve işlem uç noktalarını da tanımlamanız gerekir.
Databricks CLI sürüm 0.287.0'a eklendi
postgres_projects:
<postgres_project-name>:
<postgres_project-field-name>: <postgres_project-field-value>
| Key | Type | Description |
|---|---|---|
budget_policy_id |
String | Bu projenin bütçe ilkesi kimliği. |
custom_tags |
Sequence | Bu proje için özel etiketler. Bkz . postgres_project.custom_tags. |
default_branch |
String | Biçiminde projenin projects/{project_id}/branches/{branch_id}varsayılan dalı. |
default_endpoint_settings |
Map | İşlem uç noktası için ayarlar koleksiyonu. Bkz . postgres_project.default_endpoint_settings. Databricks CLI sürüm 0.287.0'a eklendi |
display_name |
String | İnsan tarafından okunabilen proje adı. Uzunluk 1 ile 256 karakter arasında olmalıdır. Databricks CLI sürüm 0.287.0'a eklendi |
enable_pg_native_login |
Boolean | Proje için yerel Postgres oturum açmanın etkinleştirilip etkinleştirilmeyileceği. Databricks CLI sürüm 0.294.0'a eklendi |
history_retention_duration |
String | Bu projedeki tüm dallar için belirli bir noktaya kurtarma için paylaşılan geçmişin korunacak saniye sayısı. Değer 0 ile 2592000 arasında olmalıdır (30 güne kadar). Databricks CLI sürüm 0.287.0'a eklendi |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 0.287.0'a eklendi |
permissions |
Sequence | Postgres projesinin izinleri. Bkz. izinler. Databricks CLI sürüm 0.292.0'a eklendi |
pg_version |
Integer | Ana Postgres sürüm numarası. Desteklenen sürümler 16 ve 17'dir. Databricks CLI sürüm 0.287.0'a eklendi |
project_id |
String | Project için kullanılacak kimlik. Bu, projenin kaynak adının son bileşeni olur. Kimlik gereklidir ve 1-63 karakter uzunluğunda olmalı, küçük harfle başlamalıdır ve yalnızca küçük harf, sayı ve kısa çizgi içermelidir. Örneğin my-app, projects/my-app olur.Databricks CLI sürüm 0.287.0'a eklendi |
Örneği
resources:
postgres_projects:
my_db:
project_id: test-prod-app
display_name: 'Production Database'
pg_version: 17
postgres_branches:
main:
parent: ${resources.postgres_projects.my_db.id}
branch_id: main
is_protected: false
no_expiry: true
postgres_endpoints:
primary:
parent: ${resources.postgres_branches.main.id}
endpoint_id: primary
endpoint_type: ENDPOINT_TYPE_READ_WRITE
autoscaling_limit_min_cu: 0.5
autoscaling_limit_max_cu: 4
postgres_project.custom_tags
Type: Sequence
Proje için özel etiketlerin listesi.
| Key | Type | Description |
|---|---|---|
key |
String | Özel etiketin anahtarı. |
value |
String | Özel etiketin değeri. |
postgres_project.default_endpoint_settings
Type: Map
| Key | Type | Description |
|---|---|---|
autoscaling_limit_max_cu |
Sayı | İşlem Birimi sayısı üst sınırı. En düşük değer 0,5'tir. |
autoscaling_limit_min_cu |
Sayı | En az İşlem Birimi sayısı. En düşük değer 0,5'tir. |
no_suspension |
Boolean | true olarak ayarlandığında, otomatik askıya alma özelliğini açıkça devre dışı bırakır (hiçbir zaman askıya alınmaz). Sağlandığında true olarak ayarlanmalıdır. |
pg_settings |
Map | Postgres ayarlarının ham gösterimi. |
suspend_timeout_duration |
String | İşlem uç noktasının otomatik olarak askıya alındığı etkinlik dışı kalma süresi. Belirtildiyse 60 ile 604800 arasında olmalıdır (1 dakika ile 1 hafta arası). |
kalite_monitörü (Unity Kataloğu)
Type: Map
quality_monitor kaynağı, Unity Kataloğu tablo izleyicisi tanımlamanızı sağlar. İzleyiciler hakkında bilgi için bkz. Veri profili oluşturma.
Databricks CLI sürüm 0.229.0 veya altına eklendi
quality_monitors:
<quality_monitor-name>:
<quality_monitor-field-name>: <quality_monitor-field-value>
| Key | Type | Description |
|---|---|---|
assets_dir |
String | İzleme varlıklarını depolayan dizin (örn. pano, ölçüm tabloları). Databricks CLI sürüm 0.229.0 veya altına eklendi |
baseline_table_name |
String | Kayma ölçümlerinin hesaplandığı temel tablonun adı. İzlenen tablodaki sütunlar da taban çizgisi tablosunda bulunmalıdır. Databricks CLI sürüm 0.229.0 veya altına eklendi |
custom_metrics |
Sequence | İzlenen tabloda hesaplanacak özelleştirilmiş ölçümler. Bunlar toplu ölçümler, türetilmiş ölçümler (zaten hesaplanan toplama ölçümlerinden) veya kayma ölçümleri (zaman pencerelerindeki ölçümleri karşılaştırma) olabilir.
Bkz. custom_metrics. Databricks CLI sürüm 0.229.0 veya altına eklendi |
inference_log |
Map | Çıkarım günlüklerini izleme yapılandırması.
Bkz. inference_log. Databricks CLI sürüm 0.229.0 veya altına eklendi |
latest_monitor_failure_msg |
String | İzleyici hatası için en son hata iletisi. Bu, bir izleyici başarısız olduğunda doldurulan salt okunur bir alandır. Databricks CLI sürüm 0.264.0'a eklendi |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 0.268.0'a eklendi |
notifications |
Map | Monitör için bildirim ayarları.
Bildirimlere bakın. Databricks CLI sürüm 0.229.0 veya altına eklendi |
output_schema_name |
String | Çıktı ölçüm tablolarının oluşturulduğu şema. Databricks CLI sürüm 0.229.0 veya altına eklendi |
schedule |
Map | Ölçüm tablolarını otomatik olarak güncelleştirme ve yenileme zamanlaması.
Bkz. zamanlama. Databricks CLI sürüm 0.229.0 veya altına eklendi |
skip_builtin_dashboard |
Boolean | Varsayılan veri kalite ölçümlerini özetleyen panonun oluşturulup oluşturulmayacağı? Databricks CLI sürüm 0.229.0 veya altına eklendi |
slicing_exprs |
Sequence | Hedeflenen analiz için verileri dilimlediğiniz sütun ifadelerinin listesi. Veriler her ifadeye göre bağımsız olarak gruplandırılır ve her koşul ve tamamlayıcıları için ayrı bir dilim elde edilir. Yüksek kardinalite sütunları için, yalnızca sıklığa göre ilk 100 benzersiz değer dilim oluşturur. Databricks CLI sürüm 0.229.0 veya altına eklendi |
snapshot |
Map | Anlık görüntü tablolarını izlemek için yapılandırma. Bkz. anlık görüntü. Databricks CLI sürüm 0.229.0 veya altına eklendi |
table_name |
String | Tablonun tam adı. Databricks CLI sürüm 0.235.0'a eklendi |
time_series |
Map | Zaman serisi tablolarını izlemek için yapılandırma.
bkz. time_series. Databricks CLI sürüm 0.229.0 veya altına eklendi |
warehouse_id |
String | Gösterge paneli oluşturmak için ambarı belirtmek amacıyla isteğe bağlı bir bağımsız değişken. Belirtilmezse, çalışan ilk ambar kullanılır. Databricks CLI sürüm 0.229.0 veya altına eklendi |
quality_monitor.özel_metrikler
Type: Sequence
Özel ölçüm tanımlarının listesi.
Listedeki her öğe bir CustomMetric:
| Key | Type | Description |
|---|---|---|
definition |
String | Ölçümün nasıl hesaplandığını belirten bir SQL ifadesi için Jinja şablonu. Bkz . ölçüm tanımı oluşturma. |
input_columns |
Sequence | Ölçümün hesaplanması gereken giriş tablosundaki sütun adlarının listesi. Ölçümün birden çok sütundaki bilgilere ihtiyacı olduğunu belirtmek için kullanabilirsiniz :table . |
name |
String | Çıktı tablolarındaki ölçümün adı. |
output_data_type |
String | Özel ölçümün çıktı türü. |
type |
String | Yalnızca CUSTOM_METRIC_TYPE_AGGREGATE, CUSTOM_METRIC_TYPE_DERIVED veya CUSTOM_METRIC_TYPE_DRIFT olabilir.
CUSTOM_METRIC_TYPE_AGGREGATE ve CUSTOM_METRIC_TYPE_DERIVED ölçümleri tek bir tabloda hesaplanırkenCUSTOM_METRIC_TYPE_DRIFT, ölçümler taban çizgisi ve giriş tablosu arasında veya birbirini izleyen iki zaman penceresinde karşılaştırılır.
|
quality_monitor.inference_log
Type: Map
Çıkarım günlüklerini izleme yapılandırması.
| Key | Type | Description |
|---|---|---|
granularities |
Sequence | Çıkarım günlüklerini toplamaya yönelik zaman ayrıntı düzeyleri (örneğin, ["1 day"]). |
model_id_col |
String | Model kimliğini içeren sütunun adı. |
prediction_col |
String | Tahmini içeren sütunun adı. |
timestamp_col |
String | Zaman damgasını içeren sütunun adı. |
problem_type |
String | ML sorununun türü. Geçerli değerler: PROBLEM_TYPE_CLASSIFICATION, PROBLEM_TYPE_REGRESSION. |
label_col |
String | Etiketi içeren sütunun adı (temel gerçek). |
prediction_proba_col |
String | Tahmin olasılıklarını içeren sütunun adı. |
kalite_izleyici.bildirimleri
Type: Map
monitör için bildirim ayarları.
| Key | Type | Description |
|---|---|---|
on_failure |
Map | monitör başarısız olduğunda bildirim ayarları. Bkz. on_failure. |
on_new_classification_tag_detected |
Map | Yeni sınıflandırma etiketleri algılandığında bildirim ayarları. Bkz. on_new_classification_tag_detected. |
kalite_gözlemci.bildirimler.hata_durumunda
Type: Map
monitör başarısız olduğunda bildirim ayarları.
| Key | Type | Description |
|---|---|---|
email_addresses |
Sequence | İzleyici hatası durumunda bildirim gönderilecek e-posta adreslerinin listesi. |
kalite_izleyici.bildirimler.yeni_sınıflandırma_etiket_belirlediğinde
Type: Map
Yeni sınıflandırma etiketleri algılandığında bildirim ayarları.
| Key | Type | Description |
|---|---|---|
email_addresses |
Sequence | Yeni sınıflandırma etiketleri algılandığında bildirilmesi gereken e-posta adreslerinin listesi. |
kalite_izleyicisi.program
Type: Map
Ölçüm tablolarını otomatik olarak güncelleştirmek ve yenilemek için zamanlayın.
| Key | Type | Description |
|---|---|---|
quartz_cron_expression |
String | Quartz söz dizimi kullanan bir Cron ifadesi. Örneğin, 0 0 8 * * ? her gün 08:00'de çalışır. |
timezone_id |
String | Zamanlamanın saat dilimi (örneğin, , UTCAmerica/Los_Angeles). |
pause_status |
String | Zamanlamanın duraklatılıp duraklatılmadığı. Geçerli değerler: PAUSED, UNPAUSED. |
kalite_izleyici.anlık_görüntü
Type: Map
Anlık görüntü tablolarını izlemek için yapılandırma.
kalite_izleyici.zaman_serisi
Zaman serisi tablolarını izlemek için yapılandırma.
| Key | Type | Description |
|---|---|---|
granularities |
Sequence | Zaman serisi verilerini toplamaya yönelik zaman ayrıntı düzeyleri (örneğin, ["30 minutes"]). |
timestamp_col |
String | Zaman damgasını içeren sütunun adı. |
Examples
Aşağıdaki örnekler InferenceLog, TimeSeries ve Snapshot profil türleri için kalite izleyicilerini tanımlar.
# InferenceLog profile type
resources:
quality_monitors:
my_quality_monitor:
table_name: dev.mlops_schema.predictions
output_schema_name: ${bundle.target}.mlops_schema
assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
inference_log:
granularities: [1 day]
model_id_col: model_id
prediction_col: prediction
label_col: price
problem_type: PROBLEM_TYPE_REGRESSION
timestamp_col: timestamp
schedule:
quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
timezone_id: UTC
# TimeSeries profile type
resources:
quality_monitors:
my_quality_monitor:
table_name: dev.mlops_schema.predictions
output_schema_name: ${bundle.target}.mlops_schema
assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
time_series:
granularities: [30 minutes]
timestamp_col: timestamp
schedule:
quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
timezone_id: UTC
# Snapshot profile type
resources:
quality_monitors:
my_quality_monitor:
table_name: dev.mlops_schema.predictions
output_schema_name: ${bundle.target}.mlops_schema
assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
snapshot: {}
schedule:
quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
timezone_id: UTC
Aşağıdaki örnek, izleme temelinde bir kalite izleyicisi ve buna karşılık gelen model yeniden eğitme işini yapılandırmaktadır:
# Quality monitoring workflow
resources:
quality_monitors:
mlops_quality_monitor:
table_name: ${bundle.target}.mlops_demo.predictions
output_schema_name: ${bundle.target}.mlops_demo
assets_dir: /Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
inference_log:
granularities: [1 hour]
model_id_col: model_version
prediction_col: prediction
label_col: fare_amount
problem_type: PROBLEM_TYPE_REGRESSION
timestamp_col: inference_timestamp
schedule:
quartz_cron_expression: 57 0 14 * * ? # refresh monitoring metrics every day at 7 am PT
timezone_id: UTC
jobs:
retraining_job:
name: ${bundle.target}-mlops_demo-monitoring-retraining-job
tasks:
- task_key: monitored_metric_violation_check
notebook_task:
notebook_path: ../monitoring/notebooks/MonitoredMetricViolationCheck.py
base_parameters:
env: ${bundle.target}
table_name_under_monitor: ${bundle.target}.mlops_demo.predictions
metric_to_monitor: r2_score
metric_violation_threshold: 0.7
num_evaluation_windows: 24
num_violation_windows: 5 # 5 out of the past 24 windows have metrics lower than threshold
- task_key: is_metric_violated
depends_on:
- task_key: monitored_metric_violation_check
condition_task:
op: EQUAL_TO
left: '{{tasks.monitored_metric_violation_check.values.is_metric_violated}}'
right: 'true'
- task_key: trigger_retraining
depends_on:
- task_key: is_metric_violated
outcome: 'true'
run_job_task:
job_id: ${resources.jobs.model_training_job.id}
schedule:
quartz_cron_expression: '0 0 15 * * ?' # daily at 8 am PDT
timezone_id: UTC
# To get notifications, provide a list of emails to the on_failure argument.
#
# email_notifications:
# on_failure:
# - someone@example.com
kayıtlı_model (Unity Kataloğu)
Type: Map
Kayıtlı model kaynağı, Unity Kataloğu'nda modelleri tanımlamanızı sağlar. Unity Kataloğu kayıtlı modelleri hakkında bilgi için bkz. Unity Kataloğu'nda model yaşam döngüsünü yönetme.
Databricks CLI sürüm 0.229.0 veya altına eklendi
registered_models:
<registered_model-name>:
<registered_model-field-name>: <registered_model-field-value>
| Key | Type | Description |
|---|---|---|
aliases |
Sequence | Kayıtlı modele bağlı takma adların listesi. Bkz. registered_model.aliases. Databricks CLI sürüm 0.273.0'a eklendi |
browse_only |
Boolean | İstekte include_browse etkinleştirildiğinde, sorumlunun BROWSE ayrıcalığı aracılığıyla ilişkili nesne için meta verileri almayla sınırlı olup olmadığını gösterir. Databricks CLI sürüm 0.273.0'a eklendi |
catalog_name |
String | Şemanın ve kayıtlı modelin bulunduğu kataloğun adı. Databricks CLI sürüm 0.229.0 veya altına eklendi |
comment |
String | Kayıtlı modele eklenen açıklama. Databricks CLI sürüm 0.229.0 veya altına eklendi |
created_at |
Integer | Unix devrinden bu yana milisaniye cinsinden kayıtlı modelin oluşturma zaman damgası. Databricks CLI sürüm 0.273.0'a eklendi |
created_by |
String | Kayıtlı modeli oluşturan kullanıcının tanımlayıcısı. Databricks CLI sürüm 0.273.0'a eklendi |
full_name |
String | Kayıtlı modelin üç düzeyli (tam olarak nitelenmiş) adı. Databricks CLI sürüm 0.273.0'a eklendi |
grants |
Sequence | Kayıtlı modelle ilişkili hibeler. Bkz. grant. Databricks CLI sürüm 0.229.0 veya altına eklendi |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 0.268.0'a eklendi |
metastore_id |
String | Meta veri deposunun benzersiz tanımlayıcısı. Databricks CLI sürüm 0.273.0'a eklendi |
name |
String | Kayıtlı modelin adı. Databricks CLI sürüm 0.229.0 veya altına eklendi |
owner |
String | Kayıtlı modelin sahibi olan kullanıcının tanımlayıcısı. Databricks CLI sürüm 0.273.0'a eklendi |
schema_name |
String | Kayıtlı modelin bulunduğu şemanın adı. Databricks CLI sürüm 0.229.0 veya altına eklendi |
storage_location |
String | Model sürüm veri dosyalarının bulutta saklandığı yer. Databricks CLI sürüm 0.229.0 veya altına eklendi |
updated_at |
String | Unix dönemlerinden bu yana milisaniye cinsinden kayıtlı modelin son güncelleştirme zaman damgası. Databricks CLI sürüm 0.273.0'a eklendi |
updated_by |
String | Kayıtlı modeli son kez güncelleştiren kullanıcının tanımlayıcısı. Databricks CLI sürüm 0.273.0'a eklendi |
registered_model.aliases
Type: Sequence
Kayıtlı modelle bağlantılı takma adların listesi.
Listedeki her öğe bir Alias:
| Key | Type | Description |
|---|---|---|
alias_name |
String | Takma adın adı, örneğin "şampiyon" veya "latest_stable" |
catalog_name |
String | Model sürümünü içeren kataloğun adı |
id |
String | Diğer adın benzersiz tanımlayıcısı |
model_name |
String | Model sürümünün ana kayıtlı modelinin adı, üst şemaya göre |
schema_name |
String | Üst kataloğa göre model sürümünü içeren şemanın adı |
version_num |
Integer | Bu diğer adın işaret ettiği model sürümünün tamsayı sürüm numarası. |
Example
Aşağıdaki örnek, Unity Kataloğu'nda kayıtlı bir modeli tanımlar:
resources:
registered_models:
model:
name: my_model
catalog_name: ${bundle.target}
schema_name: mlops_schema
comment: Registered model in Unity Catalog for ${bundle.target} deployment target
grants:
- privileges:
- EXECUTE
principal: account users
şeması (Unity Kataloğu)
Type: Map
Şemalar bildirim temelli Otomasyon Paketleri için Python desteklenir. Bkz. databricks.bundles.schemas.
Şema kaynak türü, bir paketin parçası olarak oluşturulan iş akışlarınızda ve işlem hatlarınızda tablolar ve diğer varlıklar için Unity Kataloğu
- Bir şema kaynağının sahibi her zaman dağıtım kullanıcısıdır ve değiştirilemez. Şayet
run_aspakette belirtilmişse, şema üzerindeki işlemler tarafından yoksayılacaktır. - Şema kaynağı için yalnızca ilgili Schemas nesnesi oluşturma API'sinin desteklediği alanlar kullanılabilir. Örneğin,
enable_predictive_optimizationyalnızca güncelleştirme API'sinde kullanılabilir olduğundan desteklenmez.
Databricks CLI sürüm 0.229.0 veya altına eklendi
schemas:
<schema-name>:
<schema-field-name>: <schema-field-value>
| Key | Type | Description |
|---|---|---|
catalog_name |
String | Ana kataloğun adı. Databricks CLI sürüm 0.229.0 veya altına eklendi |
comment |
String | Kullanıcı tarafından sağlanan serbest biçimli metin açıklaması. Databricks CLI sürüm 0.229.0 veya altına eklendi |
grants |
Sequence | Şemayla ilişkili hibeler. Bkz. grant. Databricks CLI sürüm 0.229.0 veya altına eklendi |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 0.268.0'a eklendi |
name |
String | Üst katalogla ilişkili olarak şemanın adı. Databricks CLI sürüm 0.229.0 veya altına eklendi |
properties |
Map | Şemaya eklenmiş anahtar-değer özelliklerinin haritası. Databricks CLI sürüm 0.229.0 veya altına eklendi |
storage_root |
String | Şema içindeki yönetilen tablolar için depolama kök URL'si. Databricks CLI sürüm 0.229.0 veya altına eklendi |
Examples
Aşağıdaki örnek, hedef olarak anahtarla bir Unity Kataloğu şeması oluşturan kaynak anahtarına my_pipelinemy_schema sahip bir işlem hattını tanımlar. Bu örnekte değiştirmeler kullanılır.
resources:
pipelines:
my_pipeline:
name: test-pipeline
libraries:
- notebook:
path: ../src/nb.ipynb
- file:
path: ../src/range.sql
development: true
catalog: ${resources.schemas.my_schema.catalog_name}
target: ${resources.schemas.my_schema.id}
schemas:
my_schema:
name: test-schema
catalog_name: main
comment: This schema was created by Declarative Automation Bundles.
En üst düzey atama eşlemesi Bildirim temelli Otomasyon Paketleri tarafından desteklenmez, bu nedenle bir şema için izinler ayarlamak istiyorsanız, eşleme içinde schemas şema için izinleri tanımlayın. Daha fazla bilgi için Ayrıcalıkları gösterme, verme ve iptal etme bölümüne bakın.
Aşağıdaki örnek, grants içeren bir Unity Kataloğu şemasını tanımlar:
resources:
schemas:
my_schema:
name: test-schema
grants:
- principal: users
privileges:
- SELECT
- principal: my_team
privileges:
- CAN_MANAGE
catalog_name: main
gizli_kapsam
Type: Map
secret_scope kaynağı, bir pakette gizli dizi kapsamları tanımlamanızı sağlar. Gizli kapsamlar hakkında bilgi için bkz. Gizli yönetim.
Databricks CLI sürüm 0.252.0'a eklendi
secret_scopes:
<secret_scope-name>:
<secret_scope-field-name>: <secret_scope-field-value>
| Key | Type | Description |
|---|---|---|
backend_type |
String | Kapsamın oluşturulacağı arka uç türü. Belirtilmezse, bu varsayılan olarak olur DATABRICKS.Databricks CLI sürüm 0.252.0'a eklendi |
keyvault_metadata |
Map | Eğer backend_type ise, gizli dizi kapsamının meta verileri AZURE_KEYVAULT.
Bkz. keyvault_metadata.Databricks CLI sürüm 0.252.0'a eklendi |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 0.268.0'a eklendi |
name |
String | Kullanıcı tarafından istenen kapsam adı. Kapsam adları benzersizdir. Databricks CLI sürüm 0.252.0'a eklendi |
permissions |
Sequence | Gizli alan kapsamına uygulanacak izinler. İzinler gizli kapsam ACL'leri aracılığıyla yönetilir. Bkz. izinler. Databricks CLI sürüm 0.252.0'a eklendi |
secret_scope.keyvault_metadata
Type: Map
Azure Key Vault destekli gizli dizi kapsamları için meta veriler.
| Key | Type | Description |
|---|---|---|
resource_id |
String | Key Vault Azure kaynak kimliği. |
dns_name |
String | Azure Key Vault DNS adı. |
Examples
Aşağıdaki örnek, bir anahtar kasası arka ucu kullanan bir gizli kapsam tanımlar:
resources:
secret_scopes:
secret_scope_azure:
name: test-secrets-azure-backend
backend_type: 'AZURE_KEYVAULT'
keyvault_metadata:
resource_id: my_azure_keyvault_id
dns_name: my_azure_keyvault_dns_name
Aşağıdaki örnek, gizli kapsamları ve izinleri kullanarak özel bir ACL örneği ayarlar:
resources:
secret_scopes:
my_secret_scope:
name: my_secret_scope
permissions:
- user_name: admins
level: WRITE
- user_name: users
level: READ
Bir gizli dizi kapsamının ve bir pakette ondan okunan bir görevle işin nasıl tanımlandığını gösteren örnek bir paket için bkz. bundle-examples GitHub deposu.
sql_warehouse
Type: Map
SQL ambarı kaynağı, bir pakette SQL ambarı tanımlamanızı sağlar. SQL ambarları hakkında bilgi için bkz. Azure Databricks üzerinde
Databricks CLI sürüm 0.260.0'a eklendi
sql_warehouses:
<sql-warehouse-name>:
<sql-warehouse-field-name>: <sql-warehouse-field-value>
| Key | Type | Description |
|---|---|---|
auto_stop_mins |
Integer | SQL ambarının otomatik olarak durdurulmadan önce boşta olması gereken dakika cinsinden süre (örneğin, çalışan sorgular olmadan). Geçerli değerler, otomatik durdurma olmadığını gösteren 0 veya 10'dan büyük veya buna eşit değerlerdir. Varsayılan değer 120'dir. Databricks CLI sürüm 0.260.0'a eklendi |
channel |
Map | Kanal ayrıntıları.
Kanala bakın. Databricks CLI sürüm 0.260.0'a eklendi |
cluster_size |
String | Bu ambar için ayrılan kümelerin boyutu. Spark kümesinin boyutunu artırmak, üzerinde daha büyük sorgular çalıştırmanıza olanak tanır. Eşzamanlı sorgu sayısını artırmak istiyorsanız max_num_clusters ayarlayın. Desteklenen değerler için bkz. cluster_size. Databricks CLI sürüm 0.260.0'a eklendi |
creator_name |
String | Ambarı oluşturan kullanıcının adı. Databricks CLI sürüm 0.260.0'a eklendi |
enable_photon |
Boolean | Depo Foton ile optimize edilmiş kümeleri kullanmalı mı? Varsayılan değer false'tur. Databricks CLI sürüm 0.260.0'a eklendi |
enable_serverless_compute |
Boolean | Ambarın sunucusuz işlem kullanıp kullanmayacağı belirlenmelidir. Databricks CLI sürüm 0.260.0'a eklendi |
instance_profile_arn |
String | Deprecated. IAM rolünü kümeye geçirmek için kullanılan örnek profili. Databricks CLI sürüm 0.260.0'a eklendi |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 0.268.0'a eklendi |
max_num_clusters |
Integer | Otomatik ölçeklendiricinin eşzamanlı sorguları işlemek için oluşturacağı en fazla küme sayısı. Değerler 30'a eşit veya ondan küçük ve değerinden büyük veya buna min_num_clusterseşit olmalıdır. Eğer ayarlanmamışsa, varsayılan olarak min_clusters kullanılır.Databricks CLI sürüm 0.260.0'a eklendi |
min_num_clusters |
Integer | Bu SQL ambarı için tutulacak kullanılabilir kümelerin en az sayısı. Bunu artırmak, daha fazla sayıda kümenin her zaman çalışır durumda olmasını garanti altına alır ve bu nedenle yeni sorgular için soğuk başlangıç süresini kısaltabilir. Bu, bir kaynak yöneticisindeki ayrılmış ve iptal edilebilir çekirdeklere benzer. Değerler 0'dan büyük ve min(max_num_clusters, 30) değerinden küçük veya buna eşit olmalıdır. Varsayılan değer 1'tir. Databricks CLI sürüm 0.260.0'a eklendi |
name |
String | Kümenin mantıksal adı. Ad bir kuruluş içinde benzersiz olmalı ve 100 karakterden az olmalıdır. Databricks CLI sürüm 0.260.0'a eklendi |
permissions |
Sequence | Depoya uygulanacak izinler. Bkz. izinler. Databricks CLI sürüm 0.260.0'a eklendi |
spot_instance_policy |
String | Spot instance kullanılıp kullanılmayacağı. Geçerli değerler , POLICY_UNSPECIFIED, COST_OPTIMIZEDRELIABILITY_OPTIMIZED. Varsayılan değer: COST_OPTIMIZED.Databricks CLI sürüm 0.260.0'a eklendi |
tags |
Map | Ambar için bir dizi özel etiket. Bkz. sql_warehouse.tags. Databricks CLI sürüm 0.260.0'a eklendi |
warehouse_type |
String | Ambar türü PRO veya CLASSIC. Sunucusuz işlem kullanmak istiyorsanız, bu alanı olarak PRO ve alanını enable_serverless_computetrueolarak da ayarlayın.Databricks CLI sürüm 0.260.0'a eklendi |
sql_warehouse.channel
Type: Map
SQL ambarı için kanal yapılandırması.
| Key | Type | Description |
|---|---|---|
name |
String | Kanalın adı. Geçerli değerler CHANNEL_NAME_CURRENT, CHANNEL_NAME_PREVIEW, CHANNEL_NAME_CUSTOM. |
dbsql_version |
String | Özel kanallar için DBSQL sürümü. |
sql_warehouse.tags
Type: Map
SQL ambarı için özel etiketler.
| Key | Type | Description |
|---|---|---|
custom_tags |
Sequence | Bu SQL ambarıyla ilişkili tüm kaynaklardaki (örneğin AWS örnekleri ve EBS birimleri) etiketleri tanımlayan anahtar-değer çiftleri kümesi. Etiket sayısı 45'ten az olmalıdır. |
Example
Aşağıdaki örnek bir SQL ambarını tanımlar:
resources:
sql_warehouses:
my_sql_warehouse:
name: my_sql_warehouse
cluster_size: X-Large
enable_serverless_compute: true
max_num_clusters: 3
min_num_clusters: 1
auto_stop_mins: 60
warehouse_type: PRO
tags:
custom_tags:
- key: 'bizunit'
value: 'commercial'
- key: 'area'
value: 'marketing'
senkronize_edilmiş_veritabanı_tablosu
Type: Map
Eşitlenen veritabanı tablosu kaynağı , Lakebase veritabanı tablolarını bir pakette tanımlamanıza olanak tanır.
Eşitlenen veritabanı tabloları hakkında bilgi için bkz. Veritabanı örneği nedir?.
Databricks CLI sürüm 0.266.0'a eklendi
synced_database_tables:
<synced_database_table-name>:
<synced_database_table-field-name>: <synced_database_table-field-value>
| Key | Type | Description |
|---|---|---|
database_instance_name |
String | Hedef veritabanı örneğinin adı. Bu, standart kataloglarda eşitlenmiş veritabanı tabloları oluştururken gereklidir. Bu, kayıtlı kataloglarda eşitlenmiş veritabanı tabloları oluştururken isteğe bağlıdır. Databricks CLI sürüm 0.266.0'a eklendi |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 0.268.0'a eklendi |
logical_database_name |
String | Bu tablo için hedef Postgres veritabanı nesnesinin (mantıksal veritabanı) adı. Databricks CLI sürüm 0.266.0'a eklendi |
name |
String | Formda catalog.schema.tabletablonun tam adı.Databricks CLI sürüm 0.266.0'a eklendi |
spec |
Map | Veritabanı tablosu belirtimi. Bkz. eşitlenmiş veritabanı tablosu belirtimi. Databricks CLI sürüm 0.266.0'a eklendi |
senkronize_veri_tabanı_tablosu.spec
Type: Map
Veritabanı tablosu belirtimi.
Databricks CLI sürüm 0.266.0'a eklendi
| Key | Type | Description |
|---|---|---|
create_database_objects_if_missing |
Boolean | Eşitlenen tablonun mantıksal veritabanının ve şema kaynaklarının henüz mevcut değilse oluşturulup oluşturulmayacağı. |
existing_pipeline_id |
String | Mevcut bir işlem hattının kimliği. Bu ayarlanırsa, eşitlenen tablo, başvuruda bulunılan mevcut işlem hattına paketlenir. Bu, yeni işlem hattı oluşturmayı önler ve mevcut işlem hattının paylaşılmasına izin verir. Bu durumda, scheduling_policy eşitlenen bu tablonun mevcut işlem hattının zamanlama ilkesiyle uyumlu olması gerekir.
existing_pipeline_id ve new_pipeline_spec'den en fazla biri tanımlanmalıdır. |
new_pipeline_spec |
Map | Yeni işlem hattının belirtimi.
Bkz. new_pipeline_spec.
existing_pipeline_id ve new_pipeline_spec'den en fazla biri tanımlanmalıdır. |
primary_key_columns |
Sequence | Birincil anahtarı oluşturan sütun adlarının listesi. |
scheduling_policy |
String | Eşitleme için zamanlama ilkesi. Geçerli değerler SNAPSHOT, CONTINUOUS, TRIGGERED. |
source_table_full_name |
String | biçimindeki catalog.schema.tablekaynak tablonun tam adı. |
timeseries_key |
String | Aynı birincil anahtara sahip satırları tekrarlardan arındırmak için zaman serisi anahtarı. |
synced_database_table.spec.new_pipeline_spec
Type: Map
Eşitlenmiş veritabanı tablosu tarafından kullanılan yeni işlem hattının şartnamesi.
| Key | Type | Description |
|---|---|---|
budget_policy_id |
String | Yeni oluşturulan işlem hattı üzerinde ayarlanacak bütçe politikasının kimliği. |
storage_catalog |
String | Denetim noktaları ve olay günlükleri gibi ara dosyaları depolamak için işlem hattının kataloğu. Bu, kullanıcının Delta tabloları oluşturma izinlerine sahip olduğu standart bir katalog olmalıdır. |
storage_schema |
String | Denetim noktaları ve olay günlükleri gibi ara dosyaları depolamak için işlem hattının şeması. Bunun, kullanıcının Delta tabloları oluşturma izinlerine sahip olduğu standart katalogda olması gerekir. |
Examples
Aşağıdaki örnek, ilgili veritabanı kataloğunda eşitlenmiş bir veritabanı tablosunu tanımlar:
resources:
database_instances:
my_instance:
name: my-instance
capacity: CU_1
database_catalogs:
my_catalog:
database_instance_name: my-instance
database_name: 'my_database'
name: my_catalog
create_database_if_not_exists: true
synced_database_tables:
my_synced_table:
name: ${resources.database_catalogs.my_catalog.name}.${resources.database_catalogs.my_catalog.database_name}.my_destination_table
database_instance_name: ${resources.database_catalogs.my_catalog.database_instance_name}
logical_database_name: ${resources.database_catalogs.my_catalog.database_name}
spec:
source_table_full_name: 'my_source_table'
scheduling_policy: SNAPSHOT
primary_key_columns:
- my_pk_column
new_pipeline_spec:
storage_catalog: 'my_delta_catalog'
storage_schema: 'my_delta_schema'
Aşağıdaki örnek, standart bir katalog içinde eşitlenmiş bir veritabanı tablosu tanımlar:
resources:
synced_database_tables:
my_synced_table:
name: 'my_standard_catalog.public.synced_table'
# database_instance_name is required for synced tables created in standard catalogs.
database_instance_name: 'my-database-instance'
# logical_database_name is required for synced tables created in standard catalogs:
logical_database_name: ${resources.database_catalogs.my_catalog.database_name}
spec:
source_table_full_name: 'source_catalog.schema.table'
scheduling_policy: SNAPSHOT
primary_key_columns:
- my_pk_column
create_database_objects_if_missing: true
new_pipeline_spec:
storage_catalog: 'my_delta_catalog'
storage_schema: 'my_delta_schema'
Bu örnek, eşitlenmiş bir veritabanı tablosu oluşturur ve bunun için işlem hattı zamanlamasını özelleştirir. Zaten sahip olduğunuz varsayılır:
- adlı bir veritabanı örneği
my-database-instance - Adlı standart bir katalog
my_standard_catalog - Standart katalogda
defaultadlı bir şema - Birincil anahtarı
source_delta.schema.customerolanc_custkeyadlı bir kaynak delta tablosu
resources:
synced_database_tables:
my_synced_table:
name: 'my_standard_catalog.default.my_synced_table'
database_instance_name: 'my-database-instance'
logical_database_name: 'test_db'
spec:
source_table_full_name: 'source_delta.schema.customer'
scheduling_policy: SNAPSHOT
primary_key_columns:
- c_custkey
create_database_objects_if_missing: true
new_pipeline_spec:
storage_catalog: 'source_delta'
storage_schema: 'schema'
jobs:
sync_pipeline_schedule_job:
name: sync_pipeline_schedule_job
description: 'Job to schedule synced database table pipeline.'
tasks:
- task_key: synced-table-pipeline
pipeline_task:
pipeline_id: ${resources.synced_database_tables.my_synced_table.data_synchronization_status.pipeline_id}
schedule:
quartz_cron_expression: '0 0 0 * * ?'
hacim (Unity Kataloğu)
Type: Map
Birimler bildirim temelli Otomasyon Paketleri için Python desteklenir. Bkz. databricks.bundles.volumes.
Birim kaynak türü, Unity Kataloğu birimlerini bir paketin parçası olarak tanımlamanıza ve oluşturmanıza olanak tanır. Tanımlanmış bir birim içeren bir paket dağıtırken şunları unutmayın:
- Çalışma alanında var olana kadar bir hacme, paketin
artifact_path'ında başvurulamaz. Bu nedenle, birimi oluşturmak için Bildirim temelli Otomasyon Paketleri'ni kullanmak istiyorsanız, önce birimi pakette tanımlamanız, birimi oluşturmak için dağıtmanız ve ardından sonraki dağıtımlardaartifact_pathbuna başvurmanız gerekir. - Dağıtım hedefi
dev_${workspace.current_user.short_name}yapılandırıldığında, paket içindeki birimlermode: developmentön eki ile eklenmez. Ancak, bu ön eki el ile yapılandırabilirsiniz. Bkz. Özel ön ayarlar.
Databricks CLI sürüm 0.236.0'a eklendi
volumes:
<volume-name>:
<volume-field-name>: <volume-field-value>
| Key | Type | Description |
|---|---|---|
catalog_name |
String | Şema ve birimin kataloğunun adı. Databricks CLI sürüm 0.236.0'a eklendi |
comment |
String | Hacme iliştirilen açıklama. Databricks CLI sürüm 0.236.0'a eklendi |
grants |
Sequence | Hacimle ilişkili bağışlar. Bkz. grant. Databricks CLI sürüm 0.236.0'a eklendi |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 0.268.0'a eklendi |
name |
String | Birimin adı. Databricks CLI sürüm 0.236.0'a eklendi |
schema_name |
String | Hacmin bulunduğu şemanın adı. Databricks CLI sürüm 0.236.0'a eklendi |
storage_location |
String | Bulut üzerindeki depolama konumu. Databricks CLI sürüm 0.236.0'a eklendi |
volume_type |
String | Hacim türü, ya EXTERNAL ya da MANAGED. Harici birim belirtilen lokasyonda bulunur. Yönetilen birim, üst şema, üst katalog veya meta veri deposu tarafından belirtilen varsayılan konumda bulunur. Bkz. Yönetilen ve dış birimler. |
Example
Aşağıdaki örnek, anahtar my_volume_idile bir Unity Kataloğu birimi oluşturur:
resources:
volumes:
my_volume_id:
catalog_name: main
name: my_volume
schema_name: my_schema
Unity Kataloğu birimindeki bir dosyaya yazan bir işi çalıştıran örnek bir paket için bkz. bundle-examples GitHub deposu.
Ortak nesneler
izin vermek
Type: Map
Bahsi geçen özneyi ve bu özneye tanınacak ayrıcalıkları tanımlar. Daha fazla bilgi için Ayrıcalıkları gösterme, verme ve iptal etme bölümüne bakın.
Databricks CLI sürüm 0.229.0 veya altına eklendi
| Key | Type | Description |
|---|---|---|
principal |
String | Ayrıcalık verilecek sorumlunun adı. Bu bir kullanıcı, grup veya hizmet sorumlusu olabilir. |
privileges |
Sequence | Belirtilen varlığa verilmelidir ayrıcalıklar. Geçerli değerler kaynak türüne bağlıdır (örneğin, SELECT, MODIFY, CREATE, USAGE, READ_FILES, WRITE_FILES, EXECUTE, ). ALL_PRIVILEGES |
Example
Aşağıdaki örnek, grants içeren bir Unity Kataloğu şemasını tanımlar:
resources:
schemas:
my_schema:
name: test-schema
grants:
- principal: users
privileges:
- SELECT
- principal: my_team
privileges:
- CAN_MANAGE
catalog_name: main
yaşam döngüsü
Type: Map
Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler.
Databricks CLI sürüm 0.268.0'a eklendi
| Key | Type | Description |
|---|---|---|
prevent_destroy |
Boolean | Kaynağın yok edilmesini önlemek için yaşam döngüsü ayarı. Databricks CLI sürüm 0.268.0'a eklendi |
started |
Boolean | Kaynağı başlangıç modunda dağıtmak için yaşam döngüsü ayarı. Yalnızca doğrudan dağıtım modundaki uygulamalar, kümeler ve sql_warehouses için desteklenir. Databricks CLI sürüm 0.297.0'a eklendi |