Not
Bu sayfaya erişim yetkilendirme gerektiriyor. Oturum açmayı veya dizinleri değiştirmeyi deneyebilirsiniz.
Bu sayfaya erişim yetkilendirme gerektiriyor. Dizinleri değiştirmeyi deneyebilirsiniz.
Bildirim temelli Otomasyon Paketleri (eski adıyla Databricks Varlık Paketleri), paket yapılandırmasında resources eşlemesinde paket tarafından kullanılan Azure Databricks kaynakları hakkında bilgi belirtmenize olanak tanır. Bkz. kaynak başvurusu.
Bu sayfa, paketler için desteklenen tüm kaynak türleri için yapılandırma başvurusu sağlar ve desteklenen her tür için ayrıntılar ve bir örnek sağlar. Ek örnekler için bkz . Paket yapılandırma örnekleri.
YAML yapılandırmasını doğrulamak için kullanılan paketlerin JSON şeması Databricks CLI GitHub deposundadır.
Tip
Var olan herhangi bir kaynak için YAML oluşturmak için databricks bundle generate komutunu kullanın. Bkz. databricks bundle generate.
Desteklenen kaynaklar
Aşağıdaki tabloda, paketler için desteklenen kaynak türleri (varsa YAML ve Python) listelenmektedir. Bazı kaynaklar bir pakette tanımlanarak ve paket dağıtılarak oluşturulabilir ve bazı kaynaklar yalnızca pakete dahil edilecek mevcut bir varlığa başvurularak oluşturulabilir.
Kaynak yapılandırması, Databricks REST API nesnesine karşılık gelen bir Databricks nesnesi tanımlar. REST API nesnesinin YAML olarak ifade edilen desteklenen oluşturma isteği alanları, kaynağın desteklenen anahtarlarıdır. Her kaynağın ilgili nesnesine ilişkin belgelerin bağlantıları aşağıdaki tabloda yer almaktadır.
Tip
databricks bundle validate komutu, paket yapılandırma dosyalarında bilinmeyen kaynak özellikleri bulunursa uyarılar döndürür.
Uyarı
Type: Map
Uyarı kaynağı bir SQL uyarısı (v2) tanımlar.
Databricks CLI sürüm 0.279.0'a eklendi
alerts:
<alert-name>:
<alert-field-name>: <alert-field-value>
| Key | Type | Description |
|---|---|---|
custom_description |
String | Optional. Uyarı için özel açıklama. Bıyık şablonunu destekler. Databricks CLI sürüm 0.279.0'a eklendi |
custom_summary |
String | Optional. Uyarı için özel özet. Bıyık şablonunu destekler. Databricks CLI sürüm 0.279.0'a eklendi |
display_name |
String | Gerekli. Uyarının görünen adı, örneğin, Example alert.Databricks CLI sürüm 0.279.0'a eklendi |
evaluation |
Map | Gerekli. Uyarının değerlendirme yapılandırması. Bkz. alert.evaluation. Databricks CLI sürüm 0.279.0'a eklendi |
file_path |
String | Uyarı varlığının yerel dosya yolu. Databricks CLI sürüm 0.282.0'a eklendi |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 0.279.0'a eklendi |
parent_path |
String | Optional. Uyarıyı içeren klasörün çalışma alanı yolu. Yalnızca oluşturmada ayarlanabilir ve güncelleştirilemez. Örnek: /Users/someone@example.com.Databricks CLI sürüm 0.279.0'a eklendi |
permissions |
Sequence | Uyarı izinleri hakkında. Bkz. izinler. Databricks CLI sürüm 0.279.0'a eklendi |
query_text |
String | Gerekli. Çalıştırılacak sorgunun metni, örneğin, SELECT 1.Databricks CLI sürüm 0.279.0'a eklendi |
run_as |
Map | Optional. Uyarıyı çalıştırmak için kullanılacak kimliği belirtir. Bu alan, uyarıları belirli bir kullanıcı veya hizmet sorumlusu olarak çalışacak şekilde yapılandırmanıza olanak tanır. Bkz. run_as.
Databricks CLI sürüm 0.279.0'a eklendi |
schedule |
Map | Gerekli. Uyarının zamanlama yapılandırması. Bkz. alert.schedule. Databricks CLI sürüm 0.279.0'a eklendi |
warehouse_id |
String | Gerekli. Uyarıya eklenen SQL ambarının kimliği, örneğin, a7066a8ef796be84.Databricks CLI sürüm 0.279.0'a eklendi |
uyarı.değerlendirme
Type: Map
Uyarının değerlendirme yapılandırması.
| Key | Type | Description |
|---|---|---|
comparison_operator |
String | Uyarı değerlendirmesinde karşılaştırma için kullanılan işleç. |
empty_result_state |
String | Sonuç boşsa uyarı durumu. Durumun kullanım dışı bırakılması planlandığından bu alanı UNKNOWNUNKNOWN olarak ayarlamaktan kaçının. |
notification |
Map | Uyarı tetiklendiğinde bildirimde bulunacak kullanıcı veya diğer hedef. Bkz. alert.evaluation.notification. |
source |
Map | Uyarıyı değerlendirmek için kullanılacak sonuç kaynak sütunu. Bkz . alert.evaluation.source. |
threshold |
Map | Uyarı değerlendirmesi için kullanılacak eşik. Bu bir sütun veya değer olabilir. Bkz . alert.evaluation.threshold. |
uyarı.değerlendirme.bildirim
Type: Map
Uyarı tetiklendiğinde bildirimde bulunacak kullanıcı veya diğer hedef.
| Key | Type | Description |
|---|---|---|
notify_on_ok |
Boolean | Optional. Uyarı normale döndüğünde uyarı abonelerine bildirimde bulunup bulunmayacağı. |
retrigger_seconds |
Integer | Optional. Bir uyarının başka bir bildirim göndermesine izin verilmeden önce tetiklenmesini beklediği saniye sayısı.
0 olarak ayarlanırsa veya atlanırsa, uyarı ilk tetiklemeden sonra başka bildirim göndermez. Bu değeri 1 olarak ayarlamak, uyarının koşulun karşılandığı her değerlendirmede bildirim göndermesine olanak tanır ve bildirim amacıyla her zaman yeniden tetiklemesini sağlar. |
subscriptions |
Sequence | Optional. Bildirim aboneliklerinin sıralanmamış listesi. Bkz alert.evaluation.notification.subscriptions. |
uyarı.değerlendirme.bildirim.abonelikleri
Type: Sequence
Bildirim aboneliklerinin sıralanmamış listesi.
Listedeki her öğe bir AlertSubscription:
| Key | Type | Description |
|---|---|---|
destination_id |
String | Bildirim hedefinin kimliği. |
user_email |
String | Bildirimde bulunacak kullanıcının e-posta adresi. |
uyarı.değerlendirme.kaynak
Type: Map
Uyarıyı değerlendirmek için kullanılacak sonuçtaki kaynak sütun.
| Key | Type | Description |
|---|---|---|
aggregation |
String | Kaynak sütuna uygulanacak toplama yöntemi. Geçerli değerler: SUM, COUNT, COUNT_DISTINCT, AVG, MEDIAN, MIN, MAX, STDDEV |
display |
String | Kaynak sütunun görünen adı. |
name |
String | Sorgu sonucundaki kaynak sütunun adı. |
uyarı.değerlendirme.eşiği
Type: Map
Uyarı değerlendirmesi için kullanılacak eşik bir sütun veya değer olabilir.
| Key | Type | Description |
|---|---|---|
column |
Map | Eşik olarak kullanılacak sütun referansı. Bkz . alert.evaluation.source. |
value |
Map | Eşik olarak kullanılacak sabit değer. Bkz . alert.evaluation.threshold.value. |
alert.değerlendirme.eşik.değer
Type: Map
Eşik olarak kullanılacak sabit değer. Aşağıdaki değer türlerinden birini belirtin.
| Key | Type | Description |
|---|---|---|
bool_value |
Boolean | Optional. Eşik için Boole değeri, örneğin, true. |
double_value |
Double | Optional. Eşik için sayısal değer, örneğin, 1.25. |
string_value |
String | Optional. Eşik için dize değeri, örneğin, test. |
uyarı.takvimi
Type: Map
Uyarının zamanlama yapılandırması.
| Key | Type | Description |
|---|---|---|
pause_status |
String | Optional. Bu zamanlamanın duraklatılıp duraklatılmadığı mı? Geçerli değerler: UNPAUSED, PAUSED. Varsayılan: UNPAUSED. |
quartz_cron_schedule |
String | Gerekli. Bu işlem hattının zamanlamasını belirten quartz söz dizimini kullanan bir cron ifadesi. Quartz formatı quartz scheduler biçiminde açıklanmıştır. |
timezone_id |
String | Gerekli. Java saat dilimi kimliği. Zamanlama bu saat dilimi kullanılarak çözülür. Bu, zamanlamayı belirlemek için quartz_cron_schedule ile birleştirilecektir. Ayrıntılar için bkz SET TIME ZONE . |
Examples
Aşağıdaki örnek yapılandırma, basit bir değerlendirmeyle bir uyarı tanımlar:
resources:
alerts:
my_alert:
display_name: my_alert
evaluation:
comparison_operator: EQUAL
source:
name: '1'
threshold:
value:
double_value: 2
query_text: select 2
schedule:
quartz_cron_schedule: '44 19 */1 * * ?'
timezone_id: Europe/Amsterdam
warehouse_id: 799f096837fzzzz4
Aşağıdaki örnek yapılandırma, toplama kullanılarak değerlendirilen ve bildirim gönderen izinlere sahip bir uyarı tanımlar:
resources:
alerts:
my_alert:
permissions:
- level: CAN_MANAGE
user_name: someone@example.com
custom_summary: 'My alert'
display_name: 'My alert'
evaluation:
comparison_operator: 'EQUAL'
notification:
notify_on_ok: false
retrigger_seconds: 1
source:
aggregation: 'MAX'
display: '1'
name: '1'
threshold:
value:
double_value: 2
query_text: 'select 2'
schedule:
pause_status: 'UNPAUSED'
quartz_cron_schedule: '44 19 */1 * * ?'
timezone_id: 'Europe/Amsterdam'
warehouse_id: 799f096837fzzzz4
uygulaması
Type: Map
Uygulama kaynağı,bir
Uygulama eklemek için, gerekli source_code_pathdahil olmak üzere uygulamayı tanımlamak için ayarları belirtin.
Tip
Aşağıdaki komutu kullanarak Streamlit Databricks uygulamasıyla bir paket başlatabilirsiniz:
databricks bundle init https://github.com/databricks/bundle-examples --template-dir contrib/templates/streamlit-app
Databricks CLI sürüm 0.239.0'a eklendi
apps:
<app-name>:
<app-field-name>: <app-field-value>
| Key | Type | Description |
|---|---|---|
budget_policy_id |
String | Uygulamanın bütçe ilkesi kimliği. Databricks CLI sürüm 0.243.0'a eklendi |
compute_size |
String | Uygulamanın işlem boyutu. Geçerli değerler , MEDIUMveya LARGE değerleridirXLARGE, ancak çalışma alanı yapılandırmasına bağlıdır.Databricks CLI sürüm 0.273.0'a eklendi |
config |
Map | Uygulama yapılandırma komutları ve ortam değişkenleri. bkz. app.config. Databricks CLI sürüm 0.283.0'a eklendi |
description |
String | Uygulamanın açıklaması. Databricks CLI sürüm 0.239.0'a eklendi |
git_repository |
Map | Uygulama dağıtımları için Git deposu yapılandırması. Belirtildiğinde, dağıtımlar yalnızca git başvurusu (dal, etiket veya işleme) sağlayarak bu depodaki koda başvurabilir.
bkz. app.git_repository. Databricks CLI sürüm 0.283.0'a eklendi |
git_source |
Map | Uygulama dağıtımları için Git kaynak yapılandırması. Uygulamayı dağıtırken hangi Git başvurusunun (dal, etiket veya işleme) kullanılacağını belirtir. Kodu doğrudan git'ten dağıtmak için ile git_repository birlikte kullanılır.
source_code_path içindekigit_source, depodaki uygulama kodunun göreli yolunu belirtir.
Bkz. app.git_source.Databricks CLI sürüm 0.290.0'a eklendi |
lifecycle |
Map | Kaynağın dağıtıldığında veya yok edildiğindeki davranışı. Bkz . yaşam döngüsü. Databricks CLI sürüm 0.268.0'a eklendi |
name |
String | Uygulamanın adı. Ad yalnızca küçük harfli alfasayısal karakterler ve kısa çizgiler içermelidir. Çalışma alanı içinde benzersiz olmalıdır. Databricks CLI sürüm 0.239.0'a eklendi |
permissions |
Sequence | Uygulamanın izinleri. Bkz. izinler. Databricks CLI sürüm 0.239.0'a eklendi |
resources |
Sequence | Uygulamanın hesaplama kaynakları. Bkz . app.resources. Databricks CLI sürüm 0.239.0'a eklendi |
source_code_path |
String |
./app Databricks uygulama kaynak kodunun yerel yolu.Databricks CLI sürüm 0.239.0'a eklendi |
telemetry_export_destinations |
Sequence | Uygulamanın telemetri dışarı aktarma hedefleri.
bkz. app.telemetry_export_destinations. Databricks CLI sürüm 0.294.0'a eklendi |
usage_policy_id |
String | Bu uygulama için kullanılacak sunucusuz kullanım ilkesinin kimliği. Databricks CLI sürüm 0.283.0'a eklendi |
user_api_scopes |
Sequence | Kullanıcı API'sinin kapsamları. Databricks CLI sürüm 0.246.0'a eklendi |
app.config
Uygulama yapılandırma komutları ve ortam değişkenleri. Bkz Databricks uygulama yürütmesini app.yaml ile yapılandırma.
| Key | Type | Description |
|---|---|---|
command |
Sequence | Uygulamayı çalıştırma komutları, örneğin ["streamlit", "run", "app.py"] |
env |
Sequence | Uygulama çalışma zamanı ortamında ayarlanacağı uygulama ortamı değişkenlerini belirten ve name çiftlerinin listesivalue. Bu, app.yaml dosyasında belirtilen ortam değişkenlerini geçersiz kılar. Varsayılan uygulama ortamı değişkenleri hakkında bilgi için bkz. Databricks Apps ortamı.Uygulama başlatılana kadar ortam değişkenleri ayarlanmaz. |
app.git_repository
Type: Map
Deponun konumunu belirten Git deposu yapılandırması.
| Key | Type | Description |
|---|---|---|
provider |
String | Gerekli. Git sağlayıcısı. Büyük/küçük harfe duyarsız. Desteklenen değerler: , , , , , gitHub, gitHubEnterprise, bitbucketCloud, bitbucketServer. azureDevOpsServicesgitLabgitLabEnterpriseEditionawsCodeCommitDatabricks CLI sürüm 0.283.0'a eklendi |
url |
String | Gerekli. Git deposunun URL'si. Databricks CLI sürüm 0.283.0'a eklendi |
app.git_source
Type: Map
Uygulama dağıtımları için Git kaynak yapılandırması.
| Key | Type | Description |
|---|---|---|
branch |
String | Kullanıma alınması gereken Git dalı. |
commit |
String | Git kullanıma alınması için SHA işler. |
source_code_path |
String | Git deposundaki uygulama kaynak kodunun göreli yolu. Belirtilmezse, deponun kökü kullanılır. |
tag |
String | Kullanıma alınması gereken Git etiketi. |
app.kaynaklar
Type: Sequence
Uygulama için işlem kaynaklarının listesi.
Listedeki her öğe bir AppResource:
| Key | Type | Description |
|---|---|---|
app |
Map | Uygulama adı ve izinler |
description |
String | Uygulama kaynağının açıklaması. |
database |
Map | Kullanılacak Lakebase Sağlama veritabanını tanımlayan ayarlar. Bkz . app.resources.database. |
experiment |
Map | Kullanılacak MLflow denemesini tanımlayan ayarlar. Bkz . app.resources.experiment. |
genie_space |
Map | Kullanılacak Genie Aracısı'nı tanımlayan ayarlar. Bkz. app.resources.genie_space. |
job |
Map | Kullanılacak iş kaynağını tanımlayan ayarlar. Bkz . app.resources.job. |
name |
String | Uygulama kaynağının adı. |
postgres |
Map | Kullanılacak Lakebase Otomatik Ölçeklendirme veritabanını tanımlayan ayarlar. Bkz . app.resources.postgres. |
secret |
Map | Kullanılacak Azure Databricks gizli dizi kaynağını tanımlayan ayarlar. Bkz . app.resources.secret. |
serving_endpoint |
Map | Kullanılacak uç nokta kaynağını sunan modeli tanımlayan ayarlar. bkz. app.resources.serving_endpoint. |
sql_warehouse |
Map | Kullanılacak SQL ambarı kaynağını tanımlayan ayarlar. Bkz. app.resources.sql_warehouse. |
uc_securable |
Map | Unity Kataloğu'nu tanımlayan ve güvenli hale getirilebilen ayarlar. Bkz. app.resources.uc_securable. |
app.kaynaklar.veritabanı
Type: Map
Kullanılacak Lakebase veritabanını tanımlayan ayarlar.
| Key | Type | Description |
|---|---|---|
database_name |
String | Veritabanının adı. |
instance_name |
String | Veritabanı örneğinin adı. |
permission |
String | Veritabanının izin düzeyi. Geçerli değerler şunlardır: CAN_CONNECT_AND_CREATE. |
app.resources.experiment
Type: Map
Kullanılacak MLflow denemesini tanımlayan ayarlar.
| Key | Type | Description |
|---|---|---|
experiment_id |
String | MLflow denemesinin kimliği. |
permission |
String | Denemenin izin düzeyi. Geçerli değerler CAN_READ, CAN_EDIT, CAN_MANAGE. |
app.kaynaklar.genie_space
Type: Map
Kullanılacak Genie Aracısı'nı tanımlayan ayarlar.
| Key | Type | Description |
|---|---|---|
name |
String | Genie Aracısı'nın adı. |
permission |
String | Alanın izin düzeyi. Geçerli değerler , CAN_VIEW, CAN_EDIT, CAN_MANAGE. CAN_RUN |
space_id |
String | Genie Aracısı'nın kimliği, örneğin 550e8400-e29b-41d4-a716-999955440000. |
app.resources.job
Type: Map
Kullanılacak iş kaynağını tanımlayan ayarlar.
| Key | Type | Description |
|---|---|---|
id |
String | İşin ID'si. |
permission |
String | İş için yetki düzeyi. Geçerli değerler , CAN_VIEW, CAN_MANAGE_RUN, CAN_MANAGE. IS_OWNER |
app.resources.postgres
Type: Map
Kullanılacak Lakebase Otomatik Ölçeklendirme veritabanını tanımlayan ayarlar.
| Key | Type | Description |
|---|---|---|
branch |
String | Dalın adı, örneğin, projects/proj-abc123/branches/branch-xyz789. |
database |
String | Veritabanı örneğinin adı, örneğin, projects/proj-abc123/branches/branch-xyz789/databases/db-456. |
permission |
String | Veritabanının izin düzeyi. Geçerli değerler şunlardır: CAN_CONNECT_AND_CREATE. |
uygulama.kaynaklar.gizli
Type: Map
Kullanılacak Azure Databricks gizli dizi kaynağını tanımlayan ayarlar.
| Key | Type | Description |
|---|---|---|
key |
String | Gizli anahtar, izin vermek için kullanılır. |
permission |
String | Gizli için izin düzeyi. Geçerli değerler READ, WRITE, MANAGE. |
scope |
String | Gizli kapsamın adı. |
app.kaynaklar.servis_uç_noktası
Type: Map
Kullanılacak uç nokta kaynağını sunan modeli tanımlayan ayarlar.
| Key | Type | Description |
|---|---|---|
name |
String | Hizmet uç noktasının adı. |
permission |
String | Sunum uç noktası için izin düzeyi. Geçerli değerler CAN_QUERY, CAN_MANAGE, CAN_VIEW. |
uygulama.kaynaklar.sql_depo
Type: Map
Kullanılacak SQL ambarını tanımlayan ayarlar.
| Key | Type | Description |
|---|---|---|
id |
String | SQL depo kimliği. |
permission |
String | SQL ambarı için izin düzeyi. Geçerli değerler CAN_USE, CAN_MANAGE, IS_OWNER. |
app.resources.uc_securable
Type: Map
Unity Kataloğu'nu tanımlayan ve güvenli hale getirilebilen ayarlar. Uygulamalar birimleri, tabloları, işlevleri ve bağlantıları güvenli hale getirilebilir kaynaklar olarak destekler.
| Key | Type | Description |
|---|---|---|
permission |
String | Unity Kataloğu için güvenli hale getirilebilen izin düzeyi. Geçerli değerler aşağıdakine securable_typebağlıdır:
|
securable_full_name |
String | Unity Kataloğu'nun güvenliği sağlanabilir tam adı biçimindedir catalog.schema.name. Bağlantı için bağlantı adını kullanın. |
securable_type |
String | Unity Kataloğu'nun güvenli hale getirilebilen türü. Geçerli değerler VOLUME, TABLE, FUNCTIONve CONNECTION. |
Note
Birimler, tablolar ve işlevler için, uygulamanın hizmet sorumlusunun üst katalog ve USE CATALOG şema üzerindeki gereksinimleri ve ayrıcalıkları da vardırUSE SCHEMA. Azure Databricks, güvenli hale getirilebilir öğesini bir uygulama kaynağı olarak eklediğinizde bu ayrıcalıkları otomatik olarak verir.
app.telemetry_export_destinations
Type: Sequence
Uygulama için telemetri dışarı aktarma hedeflerinin listesi.
Databricks CLI sürüm 0.294.0'a eklendi
Listedeki her öğe bir AppTelemetryExportDestination:
| Key | Type | Description |
|---|---|---|
unity_catalog |
Map | OTEL telemetrisi dışarı aktarma için Unity Kataloğu Hedefleri. Databricks CLI sürüm 0.294.0'a eklendi |
Examples
Bir uygulamayı tanımlayan bir paket oluşturma konusunda yol gösteren bir öğretici için bkz. Bildirim temelli Otomasyon Paketlerini kullanarak Databricks uygulamalarını yönetme.
Aşağıdaki örnek temel bir uygulamayı tanımlar:
resources:
apps:
hello_world_app:
name: 'hello-world-app'
source_code_path: . # This assumes the app source code is at the root of the project.
description: 'A Databricks app'
Aşağıdaki örnek, paket tarafından oluşturulan bir işi yöneten adlı my_app bir uygulama oluşturur. Tam örnek için bkz. bundle-examples GitHub deposu.
resources:
jobs:
# Define a job in the bundle
hello_world:
name: hello_world
tasks:
- task_key: task
spark_python_task:
python_file: ../src/main.py
environment_key: default
environments:
- environment_key: default
spec:
environment_version: '2'
# Define an app that manages the job in the bundle
apps:
job_manager:
name: 'job_manager_app'
description: 'An app which manages a job created by this bundle'
# The location of the source code for the app
source_code_path: ../src/app
# The resources in the bundle which this app has access to. This binds the resource in the app with the bundle resource.
resources:
- name: 'app-job'
job:
id: ${resources.jobs.hello_world.id}
permission: 'CAN_MANAGE_RUN'
Buna karşılık gelen app.yaml , uygulamayı çalıştırma yapılandırmasını tanımlar:
command:
- flask
- --app
- app
- run
- --debug
env:
- name: JOB_ID
valueFrom: 'app-job'
Aşağıdaki örnek, paket tarafından oluşturulan bir MLflow denemesine erişimi olan bir uygulama oluşturur:
resources:
experiments:
# Define an MLflow experiment in the bundle
my_experiment:
name: /Users/${workspace.current_user.userName}/my-app-experiment
apps:
my_ml_app:
name: 'my-ml-app'
description: 'An app with access to an MLflow experiment'
source_code_path: ./app
# Grant the app access to the MLflow experiment
resources:
- name: 'app-experiment'
experiment:
experiment_id: ${resources.experiments.my_experiment.id}
permission: 'CAN_MANAGE'
Alternatif olarak, aşağıdaki örnek paket yapılandırmasında tanımlanan özel yapılandırmaya sahip bir uygulamayı tanımlar:
resources:
apps:
my_app:
name: my_app
description: my_app_description
source_code_path: ./app
config:
command: ['flask', '--app', 'app', 'run']
env:
- name: MY_ENV_VAR
value: test_value
- name: ANOTHER_VAR
value: another_value
Aşağıdaki örnek, Lakebase Otomatik Ölçeklendirme kaynağına sahip bir uygulamayı tanımlar:
resources:
apps:
my_app:
name: my-app
source_code_path: .
resources:
- name: lakebase-db
postgres:
branch: projects/my-app/branches/production
database: projects/my-app/branches/production/databases/db-xxxx-yyyyyyyy
permission: CAN_CONNECT_AND_CREATE
catalogs
Type: Map
Katalog kaynağı, katalogları (Unity Kataloğu) bir pakette tanımlamanızı sağlar.
Note
Katalogları tanımlamak için Bildirim temelli Otomasyon Paketlerinin kullanılması yalnızca doğrudan dağıtım altyapısını kullanıyorsanız desteklenir.
Databricks CLI sürüm 0.287.0'a eklendi
catalogs:
<catalog-name>:
<catalog-field-name>: <catalog-field-value>
| Key | Type | Description |
|---|---|---|
comment |
String | Kataloğun kullanıcı tarafından sağlanan serbest biçimli metin açıklaması. Databricks CLI sürüm 0.287.0'a eklendi |
connection_name |
String | Dış veri kaynağına bağlantının adı. Databricks CLI sürüm 0.287.0'a eklendi |
custom_max_retention_hours |
Integer | Katalog için özel maksimum saklama süresi, saat cinsinden. Databricks CLI sürüm 1.5.0'da eklendi |
grants |
Sequence | Katalogla ilişkili izinler. Bkz. grant. Databricks CLI sürüm 0.287.0'a eklendi |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 0.287.0'a eklendi |
managed_encryption_settings |
Map | Yönetilen katalog verileri için CMK şifrelemesini denetleme.
bkz. catalog.managed_encryption_settings. Databricks CLI sürüm 0.298.0'a eklendi |
name |
String | Gerekli. Kataloğun adı. Databricks CLI sürüm 0.287.0'a eklendi |
options |
Nesne | Güvenli hale getirilebilir öğeye eklenmiş anahtar-değer özelliklerinin haritası. Databricks CLI sürüm 0.287.0'a eklendi |
properties |
Nesne | Güvenli hale getirilebilir öğeye eklenmiş anahtar-değer özelliklerinin haritası. Databricks CLI sürüm 0.287.0'a eklendi |
provider_name |
String | OpenSharing sağlayıcısının adı. OpenSharing kataloğu, uzaktan paylaşım sunucusundaki OpenSharing paylaşımını temel alan bir katalogdur. Bkz. OpenSharing nedir?. Databricks CLI sürüm 0.287.0'a eklendi |
share_name |
String | Paylaşım sağlayıcısı altındaki paylaşımın adı. Databricks CLI sürüm 0.287.0'a eklendi |
storage_root |
String | Katalogdaki yönetilen tablolar için depolama kök URL'si. Databricks CLI sürüm 0.287.0'a eklendi |
Example
# databricks.yml
bundle:
name: catalogs-example
engine: direct # catalogs require the direct deployment engine
resources:
catalogs:
my_catalog:
name: my_catalog
comment: 'Catalog created by Declarative Automation Bundles'
properties:
purpose: 'Testing'
grants:
- principal: someone@example.com
privileges:
- USE_CATALOG
- CREATE_SCHEMA
schemas:
my_schema:
name: my_schema
catalog_name: ${resources.catalogs.my_catalog.name}
comment: 'Schema in custom catalog'
catalog.managed_encryption_settings
Type: Map
Yönetilen katalog verileri için şifreleme ayarları. Müşteri tarafından yönetilen anahtarı (CMK) yapılandırmak için kullanılır.
Databricks CLI sürüm 0.298.0'a eklendi
| Key | Type | Description |
|---|---|---|
azure_encryption_settings |
Map | İsteğe bağlı Azure ayarları — yalnızca Azure CMK kullanıldığında gereklidir. Databricks CLI sürüm 0.298.0'a eklendi |
azure_key_vault_key_id |
String | Azure içindeki AKV URL'si, aksi takdirde null. Databricks CLI sürüm 0.298.0'a eklendi |
customer_managed_key_id |
String | AWS ve GCP'de CMK UUID, aksi takdirde null. Databricks CLI sürüm 0.298.0'a eklendi |
kümesi
Type: Map
Küme kaynağı bir küme tanımlar.
clusters:
<cluster-name>:
<cluster-field-name>: <cluster-field-value>
| Key | Type | Description |
|---|---|---|
apply_policy_default_values |
Boolean | true olarak ayarlandığında, ilkedeki sabit ve varsayılan değerler atlanmış alanlar için kullanılır. false olarak ayarlandığında, yalnızca ilkedeki sabit değerler uygulanır. |
autoscale |
Map | Yüke göre kümelerin ölçeğini otomatik olarak büyütmek ve küçültmek için gereken parametreler. Bkz. otomatik ölçeklendirme. |
autotermination_minutes |
Integer | Küme, bu süre boyunca devre dışı olduktan sonra dakikalar içinde otomatik olarak sonlandırılır. Ayarlanmadıysa, bu küme otomatik olarak sonlandırılmaz. Belirtilirse, eşik 10 ile 10000 dakika arasında olmalıdır. Kullanıcılar otomatik sonlandırmayı açıkça devre dışı bırakmak için bu değeri 0 olarak da ayarlayabilir. |
aws_attributes |
Map | Amazon Web Services üzerinde çalışan kümelerle ilgili öznitelikler. Küme oluşturma sırasında belirtilmezse, bir varsayılan değerler kümesi kullanılır. Bkz. aws_attributes. |
azure_attributes |
Map | Microsoft Azure üzerinde çalışan kümelerle ilgili öznitelikler. Küme oluşturma sırasında belirtilmezse, bir varsayılan değerler kümesi kullanılır. Bkz. azure_attributes. |
cluster_log_conf |
Map | Spark günlüklerini uzun vadeli bir depolama hedefine teslim etme yapılandırması. bkz. cluster_log_conf. |
cluster_name |
String | Kullanıcı tarafından istenen küme adı. Bunun benzersiz olması gerekmez. Oluşturma sırasında belirtilmezse, küme adı boş bir dize olur. |
custom_tags |
Map | Küme kaynakları için ek etiketler. Databricks, tüm küme kaynaklarını (örneğin AWS örnekleri ve EBS birimleri) bunlara ek olarak default_tagsbu etiketlerle etiketleyecektir. |
data_security_mode |
String | Kümeden verilere erişirken kullanılacak veri idaresi modeli. Geçerli değerler DATA_SECURITY_MODE_AUTO, DATA_SECURITY_MODE_STANDARD, DATA_SECURITY_MODE_DEDICATEDve NONEdeğerleridir.
USER_ISOLATION ve SINGLE_USER için sırasıyla eski diğer adlardır DATA_SECURITY_MODE_STANDARDDATA_SECURITY_MODE_DEDICATED.
LEGACY_* Modlar Databricks Runtime 15.0'dan itibaren kullanım dışı bırakılmıştır. |
dependency_mode |
String | (Beta) Küme için bağımlılık yapılandırmasını kontrol eder. Geçerli değerler: DEPENDENCY_MODE_ENVIRONMENTS, DEPENDENCY_MODE_CLUSTER_LIBRARIES ve DEPENDENCY_MODE_AUTO.Databricks CLI sürüm 1.10.0'da eklendi |
docker_image |
Map | Özel docker görüntüsü. bkz. docker_image. |
driver_instance_pool_id |
String | Kümenin sürücüsünün bağlı olduğu örnek havuzunun isteğe bağlı kimliği. Sürücü havuzu atanmamışsa, havuz kümesi kimlikli örnek havuzunu (örnek*pool_id) kullanır. |
driver_node_type_flexibility |
Map | Sürücü düğümü için esnek düğüm türü yapılandırması.
Bkz. cluster.driver_node_type_flexibility. Databricks CLI sürüm 0.285.0'a eklendi |
driver_node_type_id |
String | Spark sürücüsünün düğüm türü. Bu alan isteğe bağlıdır. Ayar kaldırılırsa, sürücü düğümü türü değerine node_type_idayarlanır. Ayarlandıysanode_type_id, bu alan ile virtual_cluster_sizebirlikte ayarlanmamalıdır. her ikisi de driver_node_type_id, node_type_idve virtual_cluster_size belirtilirse driver_node_type_id ve node_type_id öncelik kazanır. |
enable_elastic_disk |
Boolean | Yerel DepolamaYı Otomatik Ölçeklendirme: Etkinleştirildiğinde, Spark çalışanlarının disk alanı azaldığında bu küme dinamik olarak ek disk alanı alır. Bu özelliğin düzgün çalışması için belirli AWS izinlerinin olması gerekir. Daha fazla ayrıntı için Kullanıcı Kılavuzu'na bakın. |
enable_local_disk_encryption |
Boolean | Küme VM'lerinin yerel disklerinde LUKS'nin etkinleştirilip etkinleştirilmeyileceği. |
gcp_attributes |
Map | Google Cloud Platform'da çalışan kümelerle ilgili öznitelikler. Küme oluşturma sırasında belirtilmezse, bir varsayılan değerler kümesi kullanılır. Bkz. gcp_attributes. |
init_scripts |
Sequence | Başlatma betiklerinin depolanması için yapılandırma. Herhangi bir sayıda hedef belirtilebilir. Komut dosyaları, sağlanan sırayla yürütülür. bkz. init_scripts. |
instance_pool_id |
String | Kümenin ait olduğu örnek havuzunun isteğe bağlı kimliği. |
is_single_node |
Boolean | Bu alan yalnızca olduğunda kind = CLASSIC_PREVIEWkullanılabilir. True olarak ayarlandığında Databricks otomatik olarak , ve custom_tagsile ilgili spark_confnum_workerstek düğüm ayarlar.Databricks CLI sürüm 0.237.0'a eklendi |
kind |
String | Bu hesaplama belgesi ile belirtilen hesaplama türü. Databricks CLI sürüm 0.237.0'a eklendi |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 0.268.0'a eklendi |
node_type_id |
String | Bu alan, bu kümedeki Spark düğümlerinin her biri için kullanılabilen kaynakları tek bir değer aracılığıyla kodlar. Örneğin Spark düğümleri bellek veya işlem yoğunluklu iş yükleri için sağlanabilir ve iyileştirilebilir. Kullanılabilir düğüm türlerinin listesi , Liste düğümü türleri API'sini kullanarak alınabilir. |
num_workers |
Integer | Bu kümenin sahip olması gereken çalışan düğümlerinin sayısı. Bir kümede toplam num_workers + 1 Spark düğümü için bir Spark Sürücüsü ve num_workers Yürütücüleri vardır. |
permissions |
Sequence | Küme izinleri. Bkz. izinler. |
policy_id |
String | Varsa kümeyi oluşturmak için kullanılan küme ilkesinin kimliği. |
remote_disk_throughput |
Integer | Saniye başına bayt cinsinden uzak disk aktarım hızı. Databricks CLI sürüm 0.257.0'a eklendi |
runtime_engine |
String | Kümenin çalışma zamanı altyapısını, ya STANDARD ya da PHOTON olarak belirler. |
single_user_name |
String | Data*security_mode ise tek kullanıcı adı.SINGLE_USER |
spark_conf |
Map | İsteğe bağlı, kullanıcı tarafından belirtilen Spark yapılandırma anahtarı-değer çiftleri kümesini içeren bir nesne. Kullanıcılar ayrıca, spark.driver.extraJavaOptions aracılığıyla sürücüye ve spark.executor.extraJavaOptions aracılığıyla yürütücülere fazladan JVM seçeneklerinden oluşan bir dize geçirebilir. |
spark_env_vars |
Map | İsteğe bağlı, kullanıcı tarafından belirtilen ortam değişkeni anahtar-değer çiftleri kümesini içeren bir nesne. |
spark_version |
String | Kümenin Spark sürümü, örneğin. 3.3.x-scala2.11 Kullanılabilir Spark sürümlerinin listesi Kullanılabilir Spark sürümlerini listeleme API'sini kullanarak alınabilir. |
ssh_public_keys |
Sequence | Bu kümedeki her Spark düğümüne eklenecek SSH ortak anahtar içeriği. İlgili özel anahtarlar, kullanıcı adı ubuntu ile 2200 bağlantı noktasında oturum açmak için kullanılabilir. En fazla 10 anahtar belirtilebilir. |
total_initial_remote_disk_size |
Integer | Bayt cinsinden toplam ilk uzak disk boyutu. Databricks CLI sürüm 0.257.0'a eklendi |
use_ml_runtime |
Boolean | Bu alan yalnızca olduğunda kind = CLASSIC_PREVIEWkullanılabilir.
effective_spark_version, spark_version (Databricks Runtime sürümü), bu alan use_ml_runtime ve node_type_id'ün bir gpu düğümü olup olmaması durumuna göre belirlenir.Databricks CLI sürüm 0.237.0'a eklendi |
worker_node_type_flexibility |
Map | Çalışan düğümleri için esnek düğüm türü yapılandırması.
Bkz. cluster.worker_node_type_flexibility. Databricks CLI sürüm 0.285.0'a eklendi |
workload_type |
Map | Küme iş yükü türleri için gösterilen Küme Öznitelikleri. bkz. workload_type. |
cluster.autoscale
Type: Map
Yüke göre kümeleri otomatik olarak yukarı ve aşağı ölçeklendirmeye yönelik parametreler.
| Key | Type | Description |
|---|---|---|
min_workers |
Integer | Az kullanıldığında kümenin ölçeğini azaltabileceği en az çalışan sayısı. Ayrıca, kümenin oluşturulduktan sonra sahip olacağı ilk çalışan sayısıdır. |
max_workers |
Integer | Aşırı yüklendiğinde kümenin ölçeğini artırabileceği en fazla çalışan sayısı.
max_workers kesinlikle değerinden min_workersbüyük olmalıdır. |
cluster.aws_özellikler
Type: Map
Amazon Web Services üzerinde çalışan kümelerle ilgili öznitelikler.
| Key | Type | Description |
|---|---|---|
zone_id |
String | Kümenin bulunduğu kullanılabilirlik alanının/veri merkezinin tanımlayıcısı. Bu dize us-west-2a şeklinde olacaktır. |
availability |
String |
first_on_demand birimlerinden sonra gelen tüm düğümler için kullanılacak kullanılabilirlik türü. Geçerli değerler , SPOT, ON_DEMANDSPOT_WITH_FALLBACK. Eğer first_on_demand sıfırsa, bu erişilebilirlik türü tüm küme için kullanılır. |
spot_bid_price_percent |
Integer | AWS spot örnekleri için en yüksek fiyat, karşılık gelen örnek türünün isteğe bağlı fiyatının yüzdesi olarak. |
instance_profile_arn |
String | Bu kümenin düğümleri yalnızca bu örnek profiline sahip AWS örneklerine yerleştirilir. |
first_on_demand |
Integer | Kümenin ilk first_on_demand düğümleri isteğe bağlı örneklere yerleştirilir. Küme sürücüsü düğümünün isteğe bağlı bir örneğe yerleştirildiğinden emin olmak için bu değer değerinden 0büyük olmalıdır. |
ebs_volume_type |
String | Bu kümeyle birlikte açılacak EBS birimlerinin türü. Geçerli değerler GENERAL_PURPOSE_SSD veya THROUGHPUT_OPTIMIZED_HDD. |
ebs_volume_count |
Integer | Her örnek için başlatılan birim sayısı. |
ebs_volume_size |
Integer | Her örnek için başlatılan her EBS biriminin (GiB cinsinden) boyutu. |
ebs_volume_iops |
Integer | EBS gp3 birimi başına IOPS sayısı. |
ebs_volume_throughput |
Integer | Saniyede MiB cinsinden EBS gp3 birimi başına aktarım hızı. |
cluster.azure_özellikleri
Type: Map
Microsoft Azure üzerinde çalışan kümelerle ilgili öznitelikler.
| Key | Type | Description |
|---|---|---|
first_on_demand |
Integer | Kümenin ilk first_on_demand düğümleri isteğe bağlı örneklere yerleştirilir. |
availability |
String |
first_on_demand birimlerinden sonra gelen tüm düğümler için kullanılacak kullanılabilirlik türü. Geçerli değerler , SPOT_AZURE, ON_DEMAND_AZURESPOT_WITH_FALLBACK_AZURE. Eğer first_on_demand sıfırsa, bu erişilebilirlik türü tüm küme için kullanılır. |
spot_bid_max_price |
Sayı | Azure spot örnekleri için en yüksek fiyat. En düşük fiyatı belirtmek için kullanın -1 . |
capacity_reservation_group |
String | VM'leri başlatmak için kullanılacak Azure kapasite rezervasyonu grup kaynak kimliği, formatında /subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.Compute/capacityReservationGroups/{capacityReservationGroupName}. Belirtildiğinde, VM'ler sağlanan kapasite rezervasyonu kullanılarak başlatılır.Kapasite rezervasyonları yalnızca çalışma alanı enjekte edilmiş bir VNet (Databricks tarafından yönetilmeyen müşteri tanımlı bir VNet) kullandığında belirtilebilir. Enterprise Uygulamasına databricks-login-prod aşağıdaki dört izin verilmelidir: Microsoft.Compute/capacityReservationGroups/read, Microsoft.Compute/capacityReservationGroups/deploy/action, Microsoft.Compute/capacityReservationGroups/capacityReservations/read, ve Microsoft.Compute/capacityReservationGroups/capacityReservations/deploy/action.Databricks CLI sürüm 1.5.0'da eklendi |
log_analytics_info |
Map | Azure Log Analytics aracısı yapılandırması. Bkz. log_analytics_info. |
cluster.azure_attributes.log_analytics_info
Type: Map
Azure Log Analytics aracısı yapılandırması.
| Key | Type | Description |
|---|---|---|
log_analytics_workspace_id |
String | Azure Log Analytics çalışma alanının kimliği. |
log_analytics_primary_key |
String | Azure Log Analytics çalışma alanının birincil anahtarı. |
küme.gcp_özellikleri
Type: Map
Google Cloud Platform'da çalışan kümelerle ilgili öznitelikler.
| Key | Type | Description |
|---|---|---|
use_preemptible_executors |
Boolean | Ön alabilir yürütücülerin kullanılıp kullanılmayacağı. Öncelikli yönetici işlemciler, GCE tarafından herhangi bir zamanda geri kazanılabilen öncelikli GCE örnekleridir. |
google_service_account |
String | Databricks kümesi VM örnekleri tarafından kullanılacak Google hizmet hesabı. |
local_ssd_count |
Integer | Kümedeki her düğüme eklenecek yerel SSD sayısı. Varsayılan değer şudur: 0. |
zone_id |
String | Kümenin bulunduğu kullanılabilirlik alanının/veri merkezinin tanımlayıcısı. |
availability |
String | Spark yürütücülerinin önemtirilebilir VM'lerde, isteğe bağlı VM'lerde veya talep üzeri VM'lerde veya talep üzeri VM'lere geri dönüp kullanılıp kullanılmadığını belirler. Geçerli değerler , PREEMPTIBLE_GCP, ON_DEMAND_GCPPREEMPTIBLE_WITH_FALLBACK_GCP. |
boot_disk_size |
Integer | Önyükleme diskinin GB cinsinden kapasitesi. Değerler genellikle 100 ile 1000 arasında değişir. |
cluster.cluster_log_conf
Spark günlüklerini uzun vadeli bir depolama hedefine teslim etme yapılandırması.
| Key | Type | Description |
|---|---|---|
dbfs |
Map | Küme günlüğü teslimi için DBFS konumu. Bkz. dbfs. |
s3 |
Map | Küme günlüğü teslimi için S3 konumu. Bkz. s3. |
volumes |
Map | Küme günlüğü teslimi için depolama birimlerinin konumu. Bkz. hacimler. |
cluster.cluster_log_conf.dbfs
Type: Map
Küme günlüğü teslimi için DBFS konumu.
| Key | Type | Description |
|---|---|---|
destination |
String | Küme günlüğü teslimi için DBFS yolu (örneğin, dbfs:/cluster-logs). |
cluster.cluster_log_conf.s3
Type: Map
Küme günlüğü teslimi için S3 konumu.
| Key | Type | Description |
|---|---|---|
destination |
String | Küme günlüğü teslimi için S3 URI'sini (örneğin, s3://my-bucket/cluster-logs). |
region |
String | S3 bucket'ının AWS bölgesi. |
endpoint |
String | S3 uç nokta URL'si (isteğe bağlı). |
enable_encryption |
Boolean | Küme günlükleri için şifrelemenin etkinleştirilip etkinleştirilmeyileceği. |
encryption_type |
String | Şifreleme türü. Geçerli değerler: SSE_S3, SSE_KMS. |
kms_key |
String | Şifreleme için KMS anahtarı ARN'si ( SSE_KMS kullanılırken). |
canned_acl |
String | Uygulanacak olan önceden tanımlı (canned) ACL, küme günlükleri içindir. |
cluster.cluster_log_conf. ciltler
Type: Map
Küme günlüğü teslimi için depolama birimlerinin konumu.
| Key | Type | Description |
|---|---|---|
destination |
String | Küme günlüğü tesliminin birim yolu (örneğin, /Volumes/catalog/schema/volume/cluster_log). |
cluster.docker_image (Docker imajı)
Type: Map
Özel Docker görüntü yapılandırması.
| Key | Type | Description |
|---|---|---|
url |
String | Docker görüntüsünün URL'si. |
basic_auth |
Map | Docker deposu için temel kimlik doğrulaması. bkz. basic_auth. |
cluster.docker_image.temel_kimlik_dogrulama
Type: Map
Docker deposu için temel kimlik doğrulaması.
| Key | Type | Description |
|---|---|---|
username |
String | Docker kayıt defteri kimlik doğrulamasının kullanıcı adı. |
password |
String | Docker kayıt defteri kimlik doğrulamasının parolası. |
küme.başlatma_betikleri
Type: Map
Başlatma betiklerinin depolanması için yapılandırma. En az bir konum türü belirtilmelidir.
| Key | Type | Description |
|---|---|---|
dbfs |
Map | Init betiğinin DBFS konumu. Bkz. dbfs. |
workspace |
Map | init betiğinin çalışma alanı konumu. Bkz . çalışma alanı. |
s3 |
Map | Init betiğinin S3 konumu. Bkz. s3. |
abfss |
Map | init betiğinin ABFSS konumu. Bkz. abfss. |
gcs |
Map | Init betiğinin GCS konumu. Bkz. gcs. |
volumes |
Map | Unity Kataloğu Birimleri init betiğinin konumu. Bkz. hacimler. |
cluster.init_scripts.dbfs
Type: Map
Init betiğinin DBFS konumu.
| Key | Type | Description |
|---|---|---|
destination |
String | Init betiğinin DBFS yolu. |
küme.init_komut_dosyaları.çalışma_alanı
Type: Map
init betiğinin çalışma alanı konumu.
| Key | Type | Description |
|---|---|---|
destination |
String | init betiğinin çalışma alanı yolu. |
cluster.init_scripts.s3
Type: Map
Init betiğinin S3 konumu.
| Key | Type | Description |
|---|---|---|
destination |
String | Başlangıç betiğine ait S3 URI'si. |
region |
String | S3 bucket'ının AWS bölgesi. |
endpoint |
String | S3 uç nokta URL'si (isteğe bağlı). |
cluster.init_scripts.abfss
Type: Map
init betiğinin ABFSS konumu.
| Key | Type | Description |
|---|---|---|
destination |
String | init betiğinin ABFSS yolu. |
cluster.init_scripts.gcs
Type: Map
Init betiğinin GCS konumu.
| Key | Type | Description |
|---|---|---|
destination |
String | Init betiğinin GCS yolu. |
cluster.init_scripts. ciltler
Type: Map
Init betiğinin birim konumu.
| Key | Type | Description |
|---|---|---|
destination |
String | Init betiğinin Unity Kataloğu Birimleri yolu. |
cluster.driver_node_type_flexibility
Type: Map
Sürücü düğümü için esnek düğüm türü yapılandırması.
Databricks CLI sürüm 0.285.0'a eklendi
| Key | Type | Description |
|---|---|---|
alternate_node_type_ids |
Sequence | Birincil düğüm türü kullanılamadığında geri dönüş olarak kullanılacak düğüm türü kimliklerinin listesi. Databricks CLI sürüm 0.285.0'a eklendi |
cluster.worker_node_type_flexibility
Type: Map
Çalışan düğümleri için esnek düğüm türü yapılandırması.
Databricks CLI sürüm 0.285.0'a eklendi
| Key | Type | Description |
|---|---|---|
alternate_node_type_ids |
Sequence | Birincil düğüm türü kullanılamadığında geri dönüş olarak kullanılacak düğüm türü kimliklerinin listesi. Databricks CLI sürüm 0.285.0'a eklendi |
küme.işyükü_türü
Type: Map
Küme iş yükü türlerini gösteren küme öznitelikleri.
| Key | Type | Description |
|---|---|---|
clients |
Map | Kümeyi ne tür istemcilerin kullanabileceğini tanımlar. Bakınız müşteriler. |
küme.iş_yükü_türü.müşteriler
Type: Map
Bu hesaplama iş yükü için istemci türü.
| Key | Type | Description |
|---|---|---|
jobs |
Boolean | Kümenin işleri çalıştırıp çalıştıramayacağını belirleyebilir misiniz? |
notebooks |
Boolean | Kümenin not defterlerini çalıştırıp çalıştıramayacağı. |
Examples
Aşağıdaki örnek, Databricks Runtime 15.4 LTS ve bir küme ilkesi ile geçerli kullanıcı için ayrılmış (tek kullanıcılı) bir küme oluşturur:
resources:
clusters:
my_cluster:
num_workers: 0
node_type_id: 'i3.xlarge'
driver_node_type_id: 'i3.xlarge'
spark_version: '15.4.x-scala2.12'
spark_conf:
'spark.executor.memory': '2g'
autotermination_minutes: 60
enable_elastic_disk: true
single_user_name: ${workspace.current_user.userName}
policy_id: '000128DB309672CA'
enable_local_disk_encryption: false
data_security_mode: SINGLE_USER
runtime_engine: STANDARD
Bu örnek basit bir küme my_cluster oluşturur ve bunu içinde not defterini my_jobçalıştırmak için kullanılacak küme olarak ayarlar:
bundle:
name: clusters
resources:
clusters:
my_cluster:
num_workers: 2
node_type_id: 'i3.xlarge'
autoscale:
min_workers: 2
max_workers: 7
spark_version: '13.3.x-scala2.12'
spark_conf:
'spark.executor.memory': '2g'
jobs:
my_job:
tasks:
- task_key: test_task
notebook_task:
notebook_path: './src/my_notebook.py'
existing_cluster_id: ${resources.clusters.my_cluster.id}
gösterge tablosu
Type: Map
Pano kaynağı, AI/BI panolarını bir pakette yönetmenizi sağlar. AI/BI panoları hakkında bilgi için bkz. Panolar.
Yerel ortamınızdan bir pano içeren bir paket dağıttıysanız ve ardından bu panoyu değiştirmek için kullanıcı arabirimini kullandıysanız, kullanarak bundle generateaçıkça güncelleştirmediğiniz sürece kullanıcı arabirimi aracılığıyla yapılan değişiklikler yerel paketteki pano JSON dosyasına uygulanmaz. Panodaki değişiklikleri sürekli yoklayıp almak için --watch seçeneğini kullanabilirsiniz. Bkz. databricks bundle generate.
Ayrıca, yerel ortamınızdan uzak çalışma alanında bulunandan farklı bir pano JSON dosyası içeren bir paket dağıtmaya çalışırsanız bir hata oluşur. Yerel çalışma alanındaki panoyu uzak çalışma alanına yükleyip üzerine yazmayı zorunlu kılmak için --force seçeneğini kullanın. Bkz. databricks paket dağıtımı.
Databricks CLI sürüm 0.232.0'a eklendi
Note
Bildirim temelli Otomasyon Paketleri'ni pano Git desteğiyle kullanırken, panoların dosya olarak eşitlenmesini dışlamak için eşitleme eşlemesini ekleyerek yinelenen panoların oluşturulmasını önleyin:
sync:
exclude:
- src/*.lvdash.json
dashboards:
<dashboard-name>:
<dashboard-field-name>: <dashboard-field-value>
| Key | Type | Description |
|---|---|---|
dataset_catalog |
String | Sorguda aksi belirtilmediyse panodaki tüm veri kümeleri tarafından kullanılan varsayılan katalog değeri. Bu alanı ayarlayan yapılandırma örneği için bkz. Pano kataloğu ve şema parametreleştirmesi. Databricks CLI sürüm 0.283.0'a eklendi |
dataset_schema |
String | Sorguda aksi belirtilmediyse panodaki tüm veri kümeleri tarafından kullanılan varsayılan şema değeri. Bu alanı ayarlayan yapılandırma örneği için bkz. Pano kataloğu ve şema parametreleştirmesi. Databricks CLI sürüm 0.283.0'a eklendi |
display_name |
String | Gösterge tablosunun görünen adı. Databricks CLI sürüm 0.232.0'a eklendi |
embed_credentials |
Boolean | Paket dağıtım kimliği kimlik bilgilerinin tüm pano görüntüleyicileri için sorgu yürütmek için kullanılıp kullanılmadığı. olarak ayarlanırsa false, görüntüleyicinin kimlik bilgileri kullanılır. Varsayılan değer şudur: false.Databricks CLI sürüm 0.232.0'a eklendi |
etag |
String | Panonun etag'i. Panonun son okumadan sonra değiştirilmediğinden emin olmak için güncelleştirmelerde isteğe bağlı olarak sağlanabilir. Databricks CLI sürüm 0.234.0'a eklendi |
file_path |
String | Dosya adı da dahil olmak üzere pano varlığının yerel yolu. Dışarı aktarılan panolarda her zaman dosya uzantısı .lvdash.jsonbulunur.Databricks CLI sürüm 0.232.0'a eklendi |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. |
parent_path |
String | Panoyu içeren klasörün çalışma alanı yolu. Baştaki eğik çizgiyi içerir ve sondaki eğik çizgi yoktur. Databricks CLI sürüm 0.232.0'a eklendi |
path |
String | Varlık adı da dahil olmak üzere pano varlığının çalışma alanı yolu. Databricks CLI sürüm 0.234.0'a eklendi |
permissions |
Sequence | Gösterge tablosu izinleri. Bkz. izinler. Databricks CLI sürüm 0.232.0'a eklendi |
serialized_dashboard |
Any | Panonun serileştirilmiş dize biçimindeki içeriği. Databricks CLI sürüm 0.232.0'a eklendi |
warehouse_id |
String | Gösterge panelini çalıştırmak için kullanılan depo kimliği. Databricks CLI sürüm 0.232.0'a eklendi |
Example
Aşağıdaki örnek örnek NYC Taxi Trip Analysis panosunu içerir ve Databricks çalışma alanına dağıtır.
resources:
dashboards:
nyc_taxi_trip_analysis:
display_name: 'NYC Taxi Trip Analysis'
file_path: ../src/nyc_taxi_trip_analysis.lvdash.json
warehouse_id: ${var.warehouse_id}
veri_tabanı_kataloğu
Type: Map
Veritabanı kataloğu kaynağı, bir paketteki veritabanı örneklerine karşılık gelen veritabanı katalogları tanımlamanızı sağlar. Veritabanı kataloğu, Unity Kataloğu kataloğu olarak kaydedilmiş bir Lakebase veritabanıdır.
Veritabanı katalogları hakkında bilgi için bkz. Katalog oluşturma.
Databricks CLI sürüm 0.265.0'a eklendi
database_catalogs:
<database_catalog-name>:
<database_catalog-field-name>: <database_catalog-field-value>
| Key | Type | Description |
|---|---|---|
create_database_if_not_exists |
Boolean | Veritabanı yoksa oluşturulup oluşturulmayacağı. Databricks CLI sürüm 0.265.0'a eklendi |
database_instance_name |
String | Veritabanını barındıran örneğin adı. Databricks CLI sürüm 0.265.0'a eklendi |
database_name |
String | Katalogla ilişkilendirilen veritabanının adı (örneğinde). Databricks CLI sürüm 0.265.0'a eklendi |
lifecycle |
Map | Kaynağın dağıtıldığında veya yok edildiğindeki davranışı dahil olmak üzere bir kaynağın yaşam döngüsü ayarlarını içerir. Bkz . yaşam döngüsü. Databricks CLI sürüm 0.265.0'a eklendi |
name |
String | Unity Kataloğu'ndaki kataloğun adı. Databricks CLI sürüm 0.265.0'a eklendi |
Example
Aşağıdaki örnek, ilgili veritabanı kataloğuna sahip bir veritabanı örneğini tanımlar:
resources:
database_instances:
my_instance:
name: my-instance
capacity: CU_1
database_catalogs:
my_catalog:
database_instance_name: ${resources.database_instances.my_instance.name}
name: example_catalog
database_name: my_database
create_database_if_not_exists: true
veritabanı_örneği
Type: Map
Veritabanı örneği kaynağı, veritabanı örneklerini bir pakette tanımlamanıza olanak tanır. Lakebase veritabanı örneği depolama ve işlem kaynaklarını yönetir ve kullanıcıların bağlanacakları uç noktaları sağlar.
Note
Kaynak tarafından database_instances oluşturulan yeni veritabanı örnekleri artık Lakebase Otomatik Ölçeklendirme projeleri olarak oluşturulur. Ayrıntılar için bkz. Varsayılan olarak otomatik ölçeklendirme . Yeni Lakebase çalışması için bunun yerine kaynağı kullanmanızı postgres_projects öneririz.
Önemli
Veritabanı örneğiyle bir paket dağıttığınızda örnek hemen çalışmaya başlar ve fiyatlandırmaya tabidir. Bkz. Lakebase fiyatlandırması.
Veritabanı örnekleri hakkında bilgi için bkz. Lakebase Sağlandı.
Databricks CLI sürüm 0.265.0'a eklendi
database_instances:
<database_instance-name>:
<database_instance-field-name>: <database_instance-field-value>
| Key | Type | Description |
|---|---|---|
capacity |
String | Örneğin sku'su. Geçerli değerler CU_1, CU_2, CU_4CU_8.Databricks CLI sürüm 0.265.0'a eklendi |
custom_tags |
Sequence | Örnekle ilişkilendirilmiş özel etiketleri belirten anahtar-değer çiftlerinin listesi. Databricks CLI sürüm 0.273.0'a eklendi |
enable_pg_native_login |
Boolean | Örneğin PG yerel parola oturum açma özelliğinin etkinleştirilip etkinleştirilmediği. Varsayılan olarak true değerini alır.Databricks CLI sürüm 0.267.0'a eklendi |
enable_readable_secondaries |
Boolean | İkincillerin salt okunur trafiğe hizmet vermesine izin verilip verilmeyeceği. Varsayılan olarak false değerini alır.Databricks CLI sürüm 0.265.0'a eklendi |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 0.268.0'a eklendi |
name |
String | Örneğin adı. Bu, örneğin benzersiz tanımlayıcısıdır. Databricks CLI sürüm 0.265.0'a eklendi |
node_count |
Integer | Örnekteki 1 birincil ve 0 veya daha fazla ikincilden oluşan düğüm sayısı. Varsayılan olarak 1 birincil ve 0 ikincil değere sahiptir. Databricks CLI sürüm 0.265.0'a eklendi |
parent_instance_ref |
Map | Ebeveyn örneğin bağlantısı. Bu yalnızca örnek alt örnekse kullanılabilir. Bkz. üst örnek. Databricks CLI sürüm 0.265.0'a eklendi |
permissions |
Sequence | Veritabanı örneğinin izinleri. Bkz. izinler. Databricks CLI sürüm 0.265.0'a eklendi |
retention_window_in_days |
Integer | Örneğin bekletme penceresi. Bu, geçmiş verilerin tutıldığı gün içindeki zaman penceresidir. Varsayılan değer 7 gündür. Geçerli değerler 2 ile 35 gündür. Databricks CLI sürüm 0.265.0'a eklendi |
stopped |
Boolean | Örneğin durdurulup durdurulmadığı. Databricks CLI sürüm 0.265.0'a eklendi |
usage_policy_id |
String | Örnekle ilişkilendirmek için istenen sunucusuz kullanım ilkesi. Databricks CLI sürüm 0.273.0'a eklendi |
veritabani_nesneleri.ebeveyn_nesne_baglanti_ref
Type: Map
Ebeveyn örneğin bağlantısı. Bu yalnızca örnek alt örnekse kullanılabilir.
| Key | Type | Description |
|---|---|---|
branch_time |
String | Referans veritabanı örneğinin dal zamanı. Üst öğe örneği için bu, örneğin oluşturulduğu üst öğede bulunan zaman noktasıdır. Bir alt başvuru örneği için bu, alt örneğin oluşturulduğu örnekteki zaman noktasıdır. |
lsn |
String | Referans veritabanı örneğinin kullanıcı tarafından belirtilen WAL LSN'si. |
name |
String | Referans veritabanı örneğinin adı. |
Example
Aşağıdaki örnek, ilgili veritabanı kataloğuna sahip bir veritabanı örneğini tanımlar:
resources:
database_instances:
my_instance:
name: my-instance
capacity: CU_1
database_catalogs:
my_catalog:
database_instance_name: ${resources.database_instances.my_instance.name}
name: example_catalog
database_name: my_database
create_database_if_not_exists: true
Bir veritabanı örneğinin ve buna karşılık gelen veritabanı kataloğunun nasıl tanımlandığını gösteren örnek bir paket için bkz. bundle-examples GitHub deposu.
deneyi
Type: Map
Deneme kaynağı, MLflow denemelerini bir pakette tanımlamanızı sağlar. MLflow denemeleri hakkında bilgi için bkz.MLflow denemeleriyle eğitim çalıştırmalarını düzenleme
experiments:
<experiment-name>:
<experiment-field-name>: <experiment-field-value>
| Key | Type | Description |
|---|---|---|
artifact_location |
String | Deneme yapıtlarının depolandığı konum. Konumun veya dbfs:gibi s3: bir URI şeması içermesi gerekir. Yapıtları bir Unity Kataloğu biriminde depolamak için (önerilen, MLflow 2.15.0 veya üzerini gerektirir), formun dbfs:/Volumes/<catalog>/<schema>/<volume>/<path>yolunu kullanın. Bkz. Çalışma alanından deneme oluşturma. |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 0.268.0'a eklendi |
name |
String | Denemeyi tanımlayan kullanıcı dostu ad. Databricks çalışma alanında bir deneme adı, örneğin /Workspace/Users/someone@example.com/my_experiment, mutlak bir yol olarak belirtilmelidir. |
permissions |
Sequence | Denemenin izinleri. Bkz. izinler. |
tags |
Sequence | Ek meta veri anahtar-değer çiftleri.
Etiketlere bakın. Denemenin açıklamasını ayarlamak için etiketini kullanın mlflow.note.content . Sunucusuz bütçe ilkesi eklemek için etiketini kullanın mlflow.workload_creation_policy_id . Bkz . Sunucusuz kullanım ilkeleriyle öznitelik kullanımı. |
Example
Aşağıdaki örnek, tüm kullanıcıların görüntüleyebileceği bir denemeyi tanımlar:
resources:
experiments:
experiment:
name: /Workspace/Users/someone@example.com/my_experiment
permissions:
- level: CAN_READ
group_name: users
tags:
- key: mlflow.note.content
value: MLflow experiment used to track runs
external_location (Unity Kataloğu)
Type: Map
Dış konum kaynağı, bir pakette dış konumları (Unity Kataloğu) tanımlamanızı sağlar.
Note
Dış konumları tanımlamak için Bildirim temelli Otomasyon Paketlerinin kullanılması yalnızca doğrudan dağıtım altyapısını kullanıyorsanız desteklenir.
Databricks CLI sürüm 0.289.0'a eklendi
external_locations:
<external-location-name>:
<external-location-field-name>: <external-location-field-value>
| Key | Type | Description |
|---|---|---|
comment |
String | Dış konumun kullanıcı tarafından sağlanan serbest biçimli metin açıklaması. Databricks CLI sürüm 0.289.0'a eklendi |
credential_name |
String | Gerekli. Bu konumla kullanılan depolama kimlik bilgilerinin adı. Databricks CLI sürüm 0.289.0'a eklendi |
enable_file_events |
Boolean | Bu dış konumda dosya olaylarının etkinleştirilip etkinleştirilmeyileceği. Varsayılan olarak true değerini alır. Gerçek uygulanan değer, sunucu tarafı varsayılanları nedeniyle farklılık gösterebilir. Geçerli durumu denetleyin effective_enable_file_events .Databricks CLI sürüm 0.289.0'a eklendi |
encryption_details |
Map | Bulut depolamaya bağlanan istemciler için geçerli olan şifreleme seçenekleri. Bkz . external_location.encryption_details. Databricks CLI sürüm 0.289.0'a eklendi |
fallback |
Boolean | Bu dış konum için geri dönüş modunun etkinleştirilip etkinleştirilmediğini gösterir. Geri dönüş modu etkinleştirildiğinde, Unity Kataloğu kimlik bilgileri yeterli değilse konuma erişim küme kimlik bilgilerine geri döner. Databricks CLI sürüm 0.289.0'a eklendi |
file_event_queue |
Map | Bu dış konum için dosya olay kuyruğu ayarları.
enable_file_eventsdeğilsefalse, bu anahtar tanımlanmalıdır ve belgelenmiş özelliklerden tam olarak birine sahip olmalıdır. Bkz . external_location.file_event_queue.Databricks CLI sürüm 0.289.0'a eklendi |
grants |
Sequence | Dış konumla ilişkili izinler. Bkz. grant. Databricks CLI sürüm 0.289.0'a eklendi |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 0.289.0'a eklendi |
name |
String | Gerekli. Dış konumun adı. Databricks CLI sürüm 0.289.0'a eklendi |
read_only |
Boolean | Dış konumun salt okunur bir durumda olup olmadığını belirtir. Databricks CLI sürüm 0.289.0'a eklendi |
skip_validation |
Boolean | Dış konumla ilişkili depolama kimlik bilgilerinin doğrulanması atlar. Databricks CLI sürüm 0.289.0'a eklendi |
url |
String | Gerekli. Dış konumun yol URL'si. Databricks CLI sürüm 0.289.0'a eklendi |
external_location.encryption_details
Type: Map
Bulut depolamaya bağlanan istemciler için geçerli olan şifreleme seçenekleri.
| Key | Type | Description |
|---|---|---|
sse_encryption_details |
Map | Amazon S3 ile iletişim kuran istemcilerin sunucu tarafı şifreleme özellikleri. |
external_location.file_event_queue
Type: Map
Bu dış konum için dosya olay kuyruğu ayarları.
| Key | Type | Description |
|---|---|---|
managed_aqs |
Map | Yönetilen Azure Kuyruk Depolama ayarları. |
managed_pubsub |
Map | Yönetilen Google Cloud Pub/Sub ayarları. |
managed_sqs |
Map | Yönetilen Amazon SQS ayarları. |
provided_aqs |
Map | Kullanıcı tarafından sağlanan Azure Kuyruk Depolama ayarları. |
provided_pubsub |
Map | Kullanıcı tarafından sağlanan Google Cloud Pub/Sub ayarları. |
provided_sqs |
Map | Kullanıcı tarafından sağlanan Amazon SQS ayarları. |
Example
# databricks.yml
bundle:
name: external-locations-example
engine: direct # External locations require the direct deployment engine
resources:
external_locations:
my_external_location:
name: my_external_location
url: 's3://my-bucket/my-path'
credential_name: my_storage_credential
comment: 'External location created by Databricks Asset Bundles'
grants:
- principal: someone@example.com
privileges:
- CREATE_EXTERNAL_TABLE
- READ_FILES
genie_space
Type: Map
Genie aracısı kaynağı, Genie aracılarını bir pakette tanımlamanızı sağlar. Genie aracıları hakkında daha fazla bilgi için bkz. Genie Agents.
Note
Genie aracılarını tanımlamak için Bildirim temelli Otomasyon Paketlerinin kullanılması yalnızca doğrudan dağıtım altyapısını kullanıyorsanız desteklenir.
Databricks CLI sürüm 1.3.0'a eklendi
genie_spaces:
<genie_space-name>:
<genie_space-field-name>: <genie_space-field-value>
| Key | Type | Description |
|---|---|---|
description |
String | Genie aracısı açıklaması. Databricks CLI sürüm 1.3.0'a eklendi |
file_path |
String | Girdi yerine sales_analytics.geniespace.json kullanılacak yerel dosyanın (örneğin, serialized_space) yolu. |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 1.3.0'a eklendi |
parent_path |
String | Genie aracısının kaydedileceği üst klasör yolu. Databricks CLI sürüm 1.3.0'a eklendi |
permissions |
Sequence | Genie aracısı izinleri. Bkz. izinler. Databricks CLI sürüm 1.3.0'a eklendi |
serialized_space |
String | Gerekli. Genie Aracısı'nın serileştirilmiş dize formundaki içeriği. Bu alan, alanın düzenini ve bileşenlerini temsil eden JSON dizesinin yapısını sağlar. belirtilirse file_path , üzerinde serialized_spacebir üstünlük alır.Databricks CLI sürüm 1.3.0'a eklendi |
title |
String | Genie aracısı için isteğe bağlı bir başlık geçersiz kılma. Databricks CLI sürüm 1.3.0'a eklendi |
warehouse_id |
String | Gerekli. Yeni alanla ilişkilendirilecek SQL ambarının kimliği. Databricks CLI sürüm 1.3.0'a eklendi |
Examples
Aşağıdaki örnek bir Genie aracısı kaynağını tanımlar:
# databricks.yml
bundle:
name: nyc-taxi-genie
engine: direct # genie_spaces require the direct deployment engine
resources:
genie_spaces:
nyc_taxi_genie:
title: 'NYC Taxi Trip Analysis'
description: 'Ask questions about NYC taxi trip data in natural language'
warehouse_id: <warehouse-id>
file_path: ./nyc_taxi_genie.geniespace.json
permissions:
- level: CAN_RUN
group_name: users
nyc_taxi_genie.geniespace.json İlgili dosya, veri kaynakları, yönergeler ve örnek sorular da dahil olmak üzere alanın serileştirilmiş tanımını tutar. Bunun yerine anahtarda YAML'de serialized_space de belirtilebilir.
// nyc_taxi_genie.geniespace.json
{
"version": 2,
"config": {
"sample_questions": [
{
"id": "11111111111111111111111111111111",
"question": ["What is the average fare per trip?"]
}
]
},
"data_sources": {
"tables": [
{
"identifier": "samples.nyctaxi.trips",
"column_configs": [
{ "column_name": "fare_amount" },
{ "column_name": "pickup_zip" },
{ "column_name": "tpep_pickup_datetime" },
{ "column_name": "trip_distance" }
]
}
]
},
"instructions": {
"text_instructions": [
{
"id": "22222222222222222222222222222222",
"content": ["Fare amounts are in USD. When asked about revenue, use SUM(fare_amount)."]
}
]
}
}
instance_pool
Type: Map
instance_pool kaynağı, bir pakette örnek havuzlarını tanımlamanıza olanak tanır. Bir örnek havuzu, havuza bağlı kümelerin daha hızlı başlayıp ölçeklenmesi için boşta ve kullanıma hazır bulut örnekleri setini tutar. Örnek havuzlar hakkında bilgi için bkz. Havuzlara Bağlı.
Note
Deklarative Automation Bundles kullanarak örnek havuzlarını tanımlamak yalnızca doğrudan dağıtım motoru kullanıyorsanız desteklenir.
Databricks CLI sürüm 1.9.0'a eklendi
instance_pools:
<instance_pool-name>:
<instance_pool-field-name>: <instance_pool-field-value>
| Key | Type | Description |
|---|---|---|
aws_attributes |
Map | Amazon Web Services'te çalışan örnek havuzlarıyla ilgili özellikler. Havuz oluşturulduğunda belirtilmediyse, varsayılan değerler seti kullanılır. Bkz. instance_pool.aws_attributes. Databricks CLI sürüm 1.9.0'a eklendi |
azure_attributes |
Map | Azure üzerinde çalışan örnek havuzlarıyla ilgili öznitelikler. Havuz oluşturulduğunda belirtilmediyse, varsayılan değerler seti kullanılır. Bkz. instance_pool.azure_attributes. Databricks CLI sürüm 1.9.0'a eklendi |
custom_tags |
Map | Havuz kaynakları için ek etiketler. Databricks, tüm havuz kaynaklarını (örneğin AWS örnekleri ve EBS hacimleri) bu etiketlerle etiketler.default_tags Databricks en fazla 45 özel etikete izin verir.Databricks CLI sürüm 1.9.0'a eklendi |
disk_spec |
Map | Tüm Spark konteynerlerine bağlanacak disklerin spesifikasyonu. Bkz. instance_pool.disk_spec. Databricks CLI sürüm 1.9.0'a eklendi |
enable_elastic_disk |
Boolean | Yerel depolamanın otomatik ölçeklendirilmesi: etkinleştirildiğinde, bu havuzdaki örnekler Spark çalışanlarının disk alanı azaldığında dinamik olarak ek disk alanı kazanır. AWS'de bu özellik doğru çalışması için özel AWS izinleri gerektirir. Databricks CLI sürüm 1.9.0'a eklendi |
gcp_attributes |
Map | Google Cloud Platform üzerinde çalışan örnek havuzlarıyla ilgili nitelikler. Havuz oluşturulduğunda belirtilmediyse, varsayılan değerler seti kullanılır. Bkz. instance_pool.gcp_attributes. Databricks CLI sürüm 1.9.0'a eklendi |
idle_instance_autotermination_minutes |
Integer | Havuzdaki ekstra örnekler, bu süre için etkin olmayan durumda olduktan sonra otomatik olarak birkaç dakika içinde sonlandırır, eğer gereksinim min_idle_instances zaten karşılanmışsa. Ayarlanmazsa, ekstra havuz örnekleri varsayılan zaman aşımından sonra otomatik olarak sonlandırılır. Belirtilmişse, eşik dakika ile 0 dakika arasında 10000 olmalıdır. Bu değeri 0 , minimum önbellek boyutu hâlâ tutulabiliyorsa boşta olan örnekleri önbellekten anında kaldıracak şekilde ayarlayın.Databricks CLI sürüm 1.9.0'a eklendi |
instance_pool_name |
String | Gerekli. Havuz adı. Havuz adı benzersiz olmalı ve uzunluğu 1 ile 100 karakter arasında olmalıdır. Databricks CLI sürüm 1.9.0'a eklendi |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 1.9.0'a eklendi |
max_capacity |
Integer | Havuzda tutulan maksimum açık örnekler sayısı, hem kümeler hem de boşta olanlar tarafından kullanılan örnekler dahil. Daha fazla örnek sağlama gerektiren kümeler, upsize talepleri sırasında başarısız olur. Databricks CLI sürüm 1.9.0'a eklendi |
min_idle_instances |
Integer | Instance havuzunda tutulacak minimum boşta instance sayısı. Databricks CLI sürüm 1.9.0'a eklendi |
node_type_flexibility |
Map | Havuz için esnek düğüm tipi yapılandırma.
Bkz. instance_pool.node_type_flexibility. Databricks CLI sürüm 1.9.0'a eklendi |
node_type_id |
String | Gerekli. Bu alan, bu havuzu kullanan kümelerdeki her bir Spark düğümüne sunulan kaynakları tek bir değer aracılığıyla kodlar. Örneğin Spark düğümleri bellek veya işlem yoğunluklu iş yükleri için sağlanabilir ve iyileştirilebilir. Kullanılabilir düğüm türlerinin listesi , Liste düğümü türleri API'sini kullanarak alınabilir. Databricks CLI sürüm 1.9.0'a eklendi |
permissions |
Sequence | Örnek havuzu izinleri. İzin verilen seviyeler CAN_MANAGE ve CAN_ATTACH_TO. Bkz. izinler.Databricks CLI sürüm 1.9.0'a eklendi |
preloaded_docker_images |
Sequence | Havuz örneklerine ön yükleme için özel Docker görüntüleri. Bkz. instance_pool.preloaded_docker_images. Databricks CLI sürüm 1.9.0'a eklendi |
preloaded_spark_versions |
Sequence | Havuz için en fazla bir ön yüklenmiş Spark görüntü versiyonunu içeren bir liste. Havuz destekli kümeler, önceden yüklenmiş Spark sürümüyle başlarken daha hızlı başlar. Kullanılabilir Spark sürümlerinin listesi Kullanılabilir Spark sürümlerini listeleme API'sini kullanarak alınabilir. Databricks CLI sürüm 1.9.0'a eklendi |
remote_disk_throughput |
Integer | Uzak disk için yapılandırılabilir veri ceri, saniyede MB cinsinden. Şu anda sadece GCP HYPERDISK_BALANCED tipleri için destekleniyor.Databricks CLI sürüm 1.9.0'a eklendi |
total_initial_remote_disk_size |
Integer | Uzak disklerin toplam başlangıç hacim boyutu, GB cinsinden. Şu anda sadece GCP HYPERDISK_BALANCED tipleri için destekleniyor.Databricks CLI sürüm 1.9.0'a eklendi |
instance_pool.aws_attributes
Type: Map
Amazon Web Services'te çalışan örnek havuzlarıyla ilgili özellikler. Havuz oluşturulduğunda belirtilmediyse, varsayılan değerler seti kullanılır.
Databricks CLI sürüm 1.9.0'a eklendi
| Key | Type | Description |
|---|---|---|
availability |
String | Spot düğümler için kullanılan kullanılabilirlik türü. Geçerli değerler: SPOT ve ON_DEMAND.Databricks CLI sürüm 1.9.0'a eklendi |
instance_profile_arn |
String | (Beta) Örnek havuzuna ait tüm AWS örnekleri bu örnek profiline sahiptir. Eğer atlanırsa, örnekler başlangıçta çalışma alanının varsayılan örnek profiliyle başlatılır. Tanımlanmışsa, havuzu kullanan kümeler örnek profilini devralır ve küme oluşturulduğunda veya güncellemede kendi örnek profillerini belirtmemelidir. Havuz bir örnek profili belirtmiyorsa, havuzu kullanan kümeler herhangi bir örnek profilini belirtebilir. Örnek profili, daha önce bir hesap yöneticisi tarafından Databricks ortamına eklenmiş olmalıdır. Bu özellik yalnızca belirli müşteri planları için mevcut olabilir. Databricks CLI sürüm 1.9.0'a eklendi |
spot_bid_price_percent |
Integer | AWS spot örnekleri için teklif fiyatını, ilgili örnek türünün talep üzerine fiyatının yüzdesi olarak hesaplar. Örneğin, bu alan ayarlanmışsa 50 ve havuz yeni r3.xlarge bir spot instance gerektiriyorsa, teklif fiyatı talep üzerine bir r3.xlarge örnekin yarısı kadar olur. Belirtilmezse, varsayılan değer olur 100. Bu alan ise .10000Databricks CLI sürüm 1.9.0'a eklendi |
zone_id |
String | Havuzun bulunduğu erişilebilirlik bölgesi/veri merkezi için tanımlayıcı, örneğin us-west-2a. Sağlanan erişilebilirlik bölgesi, Databricks dağıtımıyla aynı bölgede olmalıdır. Bu isteğe bağlı bir alan olup belirtilmediyse varsayılan bir bölge kullanılır. Mevcut bölgelerin listesi ve varsayılan değer, List zones API'si kullanılarak bulunabilir.Databricks CLI sürüm 1.9.0'a eklendi |
instance_pool.azure_attributes
Type: Map
Azure üzerinde çalışan örnek havuzlarıyla ilgili öznitelikler. Havuz oluşturulduğunda belirtilmediyse, varsayılan değerler seti kullanılır.
Databricks CLI sürüm 1.9.0'a eklendi
| Key | Type | Description |
|---|---|---|
availability |
String | Spot düğümler için kullanılan kullanılabilirlik türü. Geçerli değerler: SPOT_AZURE ve ON_DEMAND_AZURE.Databricks CLI sürüm 1.9.0'a eklendi |
capacity_reservation_group |
String | Bu havuzda VM'leri başlatmak için kullanılacak Azure kapasite rezervasyon grup kaynak kimliği. Belirtildiğinde, VM'ler sağlanan kapasite rezervasyonu kullanılarak başlatılır. Bu alanı çıkarmak, havuzdaki mevcut yapılandırılmış kapasite rezervasyon gruplarını temizler. Kapasite rezervasyonları yalnızca çalışma alanı enjekte edilmiş bir VNet (Databricks tarafından yönetilmeyen müşteri tanımlı bir VNet) kullandığında belirtilebilir. Kurumsal Uygulamaya databricks-login-prod aşağıdaki dört yetki verilmelidir:
/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.Compute/capacityReservationGroups/{capacityReservationGroupName} biçimini kullanın.Databricks CLI sürüm 1.9.0'a eklendi |
spot_bid_max_price |
Sayı | Azure spot örnekleri için maksimum fiyat, ABD doları (USD) cinsinden. Örneğin, değer 2 saatlik maksimum 2,00 USD fiyat belirler. Maksimum fiyatı -1 ayarlayın ki VM fiyata göre tahliye edilmesin. VM için fiyat, kapasite ve kota mevcut olduğu sürece spot fiyatı veya standart bir VM fiyatıdır; hangisi daha azdırsa.Databricks CLI sürüm 1.9.0'a eklendi |
instance_pool.disk_spec
Type: Map
Tüm Spark konteynerlerine bağlanacak disklerin spesifikasyonu.
Databricks CLI sürüm 1.9.0'a eklendi
| Key | Type | Description |
|---|---|---|
disk_count |
Integer | Her örnek için başlatılan disk sayısı. Bu özellik yalnızca desteklenen düğüm tipleri için etkinleştirilir ve düğüm tipinin desteklediği disklerin sınırına kadar seçim yapabilirsiniz. OS diski olmayan düğüm tipleri için en az bir disk belirtilmelidir, aksi takdirde küme oluşturma başarısız olur. Diskler bağlıysa, Databricks Spark'ı yalnızca çizik depolama için diskleri kullanacak şekilde yapılandırır, çünkü heterojen boyutlu çizme cihazları verimsiz disk kullanımına yol açabilir. Eğer hiç disk bağlanmadıysa, Databricks Spark'ı instance store disklerini kullanacak şekilde yapılandırır. Diskler belirtilmişse, Spark yapılandırması spark.local.dir geçersiz hale getirilir.Diskler AWS için , /ebs0, ve benzeri yerlere monte /ebs1edilir, /remote_volume0Azure için ise , /remote_volume1, ve bu şekilde devam eder.Databricks CLI sürüm 1.9.0'a eklendi |
disk_iops |
Integer | Her bağlı disk için sağlanacak IOPS sayısı. Databricks CLI sürüm 1.9.0'a eklendi |
disk_size |
Integer | Her disk boyutu, GiB'de, her örnek için başlatılır. Değerler, belirli bir örnek türü için desteklenen aralıkta olmalıdır. AWS için genel amaçlı SSD 100–4096 GiB, veri verimiyle optimize edilmiş HDD ise 500–4096 GiB'dir. Azure için, Premium LRS (SSD) 1–1023 GiB ve Standard LRS (HDD) 1–1023 GiB'dir. Databricks CLI sürüm 1.9.0'a eklendi |
disk_throughput |
Integer | Her bağlı disk için sağlanacak disk akış hızı, saniyede MB cinsinden. Databricks CLI sürüm 1.9.0'a eklendi |
disk_type |
Map | Havuz örnekleriyle başlatılacak disk türü. Ya azure_disk_volume_type (geçerli değerler PREMIUM_LRS ve STANDARD_LRS) ya ebs_volume_type da (geçerli değerler GENERAL_PURPOSE_SSD ve ) THROUGHPUT_OPTIMIZED_HDDile ayarlayın.Databricks CLI sürüm 1.9.0'a eklendi |
instance_pool.gcp_attributes
Type: Map
Google Cloud Platform üzerinde çalışan örnek havuzlarıyla ilgili nitelikler. Havuz oluşturulduğunda belirtilmediyse, varsayılan değerler seti kullanılır.
Databricks CLI sürüm 1.9.0'a eklendi
| Key | Type | Description |
|---|---|---|
gcp_availability |
String | Örnek havuzunun önemlenebilir VM'ler, talep üzerine VM'ler veya talep üzeri VM'ler içerip içermediğini, ilki mevcut değilse talep üzerine VM'lere geri dönüş seçeneği olduğunu belirler. Geçerli değerler: PREEMPTIBLE_GCP, ON_DEMAND_GCP ve PREEMPTIBLE_WITH_FALLBACK_GCP.Databricks CLI sürüm 1.9.0'a eklendi |
local_ssd_count |
Integer | Sağlanırsa, instance havuzundaki her düğümde bu sayıda yerel SSD bulunur. Her yerel SSD 375 GB boyutunda. Her örnek türü için desteklenen yerel SSD sayısı için GCP dokümantasyonuna bakınız. Databricks CLI sürüm 1.9.0'a eklendi |
zone_id |
String | Havuzun bulunduğu erişilebilirlik bölgesi/veri merkezi için tanımlayıcı, örneğin us-west1-a. Sağlanan erişilebilirlik bölgesi, Databricks çalışma alanı ile aynı bölgede olmalıdır. Bu isteğe bağlı bir alan olup belirtilmediyse varsayılan bir bölge kullanılır. Bu alanı HA yüksek erişilebilirlik için ayarlayın; bu da düğümleri Databricks dağıtım bölgesi için kullanılabilirlik bölgelerine veya makine türü ve bölgesi için mevcut bölgelerden birine yayar. Boşsa, Databricks bir kullanılabilirlik bölgesi seçer.Databricks CLI sürüm 1.9.0'a eklendi |
instance_pool.node_type_flexibility
Type: Map
Havuz için esnek düğüm tipi yapılandırma.
Databricks CLI sürüm 1.9.0'a eklendi
| Key | Type | Description |
|---|---|---|
alternate_node_type_ids |
Sequence | Birincil düğüm türü kullanılamadığında geri dönüş olarak kullanılacak düğüm türü kimliklerinin listesi. Databricks CLI sürüm 1.9.0'a eklendi |
instance_pool.preloaded_docker_images
Type: Sequence
Havuz örneklerine ön yükleme için özel Docker görüntüleri.
Databricks CLI sürüm 1.9.0'a eklendi
| Key | Type | Description |
|---|---|---|
basic_auth |
Map | Docker deposu için temel kimlik doğrulaması.
username ve password ayarlayın.Databricks CLI sürüm 1.9.0'a eklendi |
url |
String | Docker görselinin URL'si. Databricks CLI sürüm 1.9.0'a eklendi |
Example
Aşağıdaki örnek, bir örnek havuzunu ve bunu kullanan bir kümeyi tanımlar:
resources:
instance_pools:
my_pool:
instance_pool_name: my-pool
node_type_id: i3.xlarge
min_idle_instances: 2
max_capacity: 10
idle_instance_autotermination_minutes: 15
preloaded_spark_versions:
- '15.4.x-scala2.12'
clusters:
my_cluster:
cluster_name: my-cluster
instance_pool_id: ${resources.instance_pools.my_pool.id}
spark_version: '15.4.x-scala2.12'
num_workers: 2
görevi
Type: Map
İşler bildirim temelli Otomasyon Paketleri için Python desteklenir. Bkz. databricks.bundles.jobs.
İş kaynağı, paketlerinizde işleri ve buna karşılık gelen görevleri tanımlamanızı sağlar.
İşler hakkında bilgi için bkz. Lakeflow İşleri. İş oluşturmak için Bildirim temelli Otomasyon Paketleri şablonu kullanan bir öğretici için bkz. Bildirim temelli Otomasyon Paketleri ile iş geliştirme.
jobs:
<job-name>:
<job-field-name>: <job-field-value>
| Key | Type | Description |
|---|---|---|
budget_policy_id |
String | Bu iş için kullanılacak, kullanıcı tarafından belirlenen bütçe politikasının ID'si. Belirtilmezse, işi oluştururken veya değiştirirken varsayılan bir bütçe ilkesi uygulanabilir. Bu iş yükü tarafından kullanılan bütçe ilkesi için bkz effective_budget_policy_id .Databricks CLI sürüm 0.231.0'a eklendi |
continuous |
Map | Bu iş için isteğe bağlı bir sürekli özellik. Sürekli özelliği, her zaman bir çalıştırma yürütmesi olmasını sağlar.
schedule ve continuous'den yalnızca biri kullanılabilir. Bkz. sürekli. |
deployment |
Map | Dış kaynaklar tarafından yönetilen işler için dağıtım bilgileri. Bkz. dağıtım. |
description |
String | İş için isteğe bağlı bir açıklama. UTF-8 kodlamasında uzunluk üst sınırı 27700 karakterdir. |
email_notifications |
Map | Bu işin çalıştırmaları başladığında veya tamamlandığında ve bu iş silindiğinde bildirim alan isteğe bağlı bir e-posta adresleri kümesi. bkz. email_notifications. |
environments |
Sequence | Bu işin sunucusuz görevleri tarafından başvurulabilecek görev yürütme ortamı belirtimlerinin listesi. Sunucusuz görevler için bir ortamın mevcut olması gerekir. Sunucusuz not defteri görevleri için, ortama not defteri ortam panelinden erişilebilir. Diğer sunucusuz görevler için görev ortamının görev ayarlarındaki environment_key kullanılarak belirtilmesi gerekir. Bkz. ortamlar. |
format |
String | Deprecated. İşin biçimi. |
git_source |
Map | Görevler tarafından kullanılan kaynak kodunu içeren uzak Git deposu için isteğe bağlı belirtim.
Bkz. job.git_source. Önemli: git_source olarak ayarlanan source alanı ve GIT görev alanı paketler için önerilmez, çünkü yerel göreli yollar Git deposundaki aynı içeriğe işaret etmeyebilir ve paketler, dağıtılan işin, dağıtıldığı yerden alınan yerel kopyayla aynı içeriğe sahip olmasını bekler.Bunun yerine, depoyu yerel olarak kopyalayın ve paket projenizi bu depo içinde ayarlayın; böylece görevlerin kaynağı çalışma alanıdır. |
health |
Map | Bu görev için tanımlanabilen isteğe bağlı bir sağlık kuralları kümesi. Bkz. sağlık. |
job_clusters |
Sequence | Bu işin görevleri tarafından paylaşılabilen ve yeniden kullanılabilen iş kümesi belirtimlerinin listesi. Bkz. job_clusters. |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 0.268.0'a eklendi |
max_concurrent_runs |
Integer | Opsiyonel olarak izin verilen maksimum eşzamanlı iş yürütme sayısı. Aynı işin birden çok çalıştırmasını eşzamanlı olarak yürütebilmek istiyorsanız bu değeri ayarlayın. |
name |
String | İş için isteğe bağlı bir ad. UTF-8 kodlamasında uzunluk üst sınırı 4096 bayttır. |
notification_settings |
Map | Bu iş için email_notifications ve webhook_notifications her birine bildirim gönderirken kullanılan isteğe bağlı bildirim ayarları.
Bkz. notification_settings. |
parameters |
Sequence | İş düzeyi parametre tanımları. Bkz . job.parameters. |
performance_target |
String | Sunucusuz çalıştırmanın yürütülmesinin ne kadar yüksek performanslı veya maliyet açısından verimli olması gerektiğini tanımlar. Databricks CLI sürüm 0.241.0'a eklendi |
permissions |
Sequence | İşin yetkileri. Bkz. izinler. |
queue |
Map | İşin kuyruk ayarları. Bkz. kuyruk. |
run_as |
Map | İşin çalıştığı kullanıcı veya hizmet prensibi. Bu alan, iş için açık yapılandırmayı run_as gösterir. Belirtilmezse, iş, işi oluşturan kullanıcı olarak çalışır. veya user_nameservice_principal_name belirtilmelidir. Aksi takdirde bir hata oluşur. Bkz. run_as. |
schedule |
Map | Bu iş için isteğe bağlı bir düzenli zamanlama. Varsayılan davranış, işin yalnızca İşler kullanıcı arabiriminde "Şimdi Çalıştır" seçeneğine tıklayarak veya öğesine runNowbir API isteği göndererek tetiklendiğinde çalışmasıdır.
Bkz. zamanlama. |
tags |
Map | İşle ilişkili etiketlerin haritası. Bunlar, iş kümeleri için küme etiketleri olarak kümeye iletilir ve küme etiketleriyle aynı sınırlamalara tabidir. İşe en fazla 25 etiket eklenebilir. |
tasks |
Sequence | Bu işin gerçekleştireceği görev tanımlarının listesi. Bkz. Bildirim temelli Otomasyon Paketlerinde işlere görev ekleme. Databricks CLI sürüm 0.237.0'a eklendi |
timeout_seconds |
Integer | Her çalıştırmada bu işe isteğe bağlı bir zaman aşımı uygulanır. değeri 0 zaman aşımı olmadığı anlamına gelir. |
trigger |
Map | Belirli koşullar karşılandığında çalıştırmayı tetikleyen bir yapılandırma. Bkz. tetikleyici. |
usage_policy_id |
String | Bu iş için kullanılacak sunucusuz kullanım ilkesinin kimliği. Databricks CLI sürüm 0.273.0'a eklendi |
webhook_notifications |
Map | Bu işin çalıştırmaları başladığında veya tamamlandığında bildirimde bulunacak sistem bildirim kimlikleri koleksiyonu. Bkz. webhook_notifications. |
job.sürekli
Type: Map
Sürekli iş yürütme yapılandırması.
| Key | Type | Description |
|---|---|---|
pause_status |
String | Sürekli işin duraklatılıp duraklatılmadığı durumu. Geçerli değerler: PAUSED, UNPAUSED. |
task_retry_mode |
String | Devam eden işin görev düzeyi yeniden denemelerini nasıl uyguladığını belirtin. Geçerli değerler: NEVER ve ON_FAILURE. Varsayılan olarak NEVER değerini alır. |
iş.dağıtım
Type: Map
Dış kaynaklar tarafından yönetilen işler için dağıtım bilgileri.
| Key | Type | Description |
|---|---|---|
kind |
String | Dağıtım türü. Örneğin, BUNDLE. |
metadata_file_path |
String | Dağıtım için meta veri dosyasının yolu. |
iş.email_bildirimleri
Type: Map
İş çalıştırmaları için e-posta bildirim ayarları.
| Key | Type | Description |
|---|---|---|
on_start |
Sequence | Bir çalıştırma başlatıldığında bildirilmesi gereken e-posta adreslerinin listesi. |
on_success |
Sequence | Bir çalıştırma başarılı olduğunda bildirilmesi gereken e-posta adreslerinin listesi. |
on_failure |
Sequence | Çalıştırma başarısız olduğunda bildirilmesi gereken e-posta adreslerinin listesi. |
on_duration_warning_threshold_exceeded |
Sequence | Çalışma süresi uyarı eşiğini aştığında bildirilmesi gereken e-posta adreslerinin listesi. |
no_alert_for_skipped_runs |
Boolean | Atlanan çalıştırmalar için uyarı göndermeyi atlayıp atlamamayı seçin. |
on_streaming_backlog_exceeded |
Sequence | Herhangi bir akış için akış kapsamı eşikleri aşıldığında bildirilmesi gereken e-posta adreslerinin listesi. Akış kapsamı eşikleri, alanında şu ölçümler kullanılarak ayarlanabilir health : STREAMING_BACKLOG_BYTES, STREAMING_BACKLOG_RECORDS, STREAMING_BACKLOG_SECONDSveya STREAMING_BACKLOG_FILES. Uyarı, bu ölçümlerin 10 dakikalık ortalamasını temel alır. Sorun devam ederse bildirimler her 30 dakikada bir yeniden oluşturulur. |
iş.ortamları
Type: Sequence
Bir işin sunucusuz görevleri tarafından başvurulabilen görev yürütme ortamı belirtimlerinin listesi.
Listedeki her öğe bir JobEnvironment:
| Key | Type | Description |
|---|---|---|
environment_key |
String | Bir ortamın anahtarı. Bir iş içinde benzersiz olmalıdır. |
spec |
Map | Sunucusuz bir ortamı temsil eden varlık. Bkz . job.environments.spec. |
job.environments.spec
Type: Map
Sunucusuz bir ortamı temsil eden varlık.
| Key | Type | Description |
|---|---|---|
client |
String | Deprecated. İstemci sürümü. |
dependencies |
Sequence | Bu ortamda pip sürümü tarafından desteklenen pip bağımlılıklarının listesi. |
environment_version |
String | Gerekli. Ortam tarafından kullanılan ortam sürümü. Her sürüm belirli bir Python sürümü ve bir dizi Python paketiyle birlikte gelir. Sürüm, tamsayıdan oluşan bir dizedir. |
job.git_kaynağı
Type: Map
İş kaynak kodu için Git deposu yapılandırması.
| Key | Type | Description |
|---|---|---|
git_branch |
String | Bu iş tarafından kullanıma alınıp kullanılacak dalın adı. Bu alan veya git_tagile git_commit birlikte belirtilemez. |
git_commit |
String | Bu iş tarafından kullanıma alınması ve kullanılması için işleyin. Bu alan veya git_branchile git_tag birlikte belirtilemez. |
git_provider |
String | Git deposunu barındırmak için kullanılan hizmetin benzersiz tanımlayıcısı. Değer büyük/küçük harfe duyarlı değildir. Geçerli değerler: gitHub, bitbucketCloud, gitLab, azureDevOpsServices, gitHubEnterprise, bitbucketServer, gitLabEnterpriseEdition. |
git_snapshot |
Map | İşin çalıştırıldığı sırada uzak deponun salt okunur durumu. Bu alan yalnızca iş çalıştırmalarına dahil edilir. Bkz. git_snapshot. |
git_tag |
String | Bu iş tarafından kullanıma alınıp kullanılacak etiketin adı. Bu alan veya git_branchile git_commit birlikte belirtilemez. |
git_url |
String | Bu iş tarafından kopyalanacak deponun URL'si. |
sparse_checkout |
Map | Git deposu için seyrek kullanıma alma yapılandırması. Bkz . job.git_source.sparse_checkout. Databricks CLI sürüm 0.290.0'a eklendi |
job.git_source.sparse_checkout
Type: Map
Git deposu için seyrek kullanıma alma yapılandırması.
Databricks CLI sürüm 0.290.0'a eklendi
| Key | Type | Description |
|---|---|---|
patterns |
Sequence | Seyrek kullanıma alma için dahil edilen desenlerin listesi. Databricks CLI sürüm 0.290.0'a eklendi |
job.git_source.git_snapshot
Type: Map
Salt okunur taahhüt bilgisi anlık görüntüsü.
| Key | Type | Description |
|---|---|---|
used_commit |
String | Çalıştırmayı yürütmek için kullanılan işleme. Belirtildiyse git_branch, bu, çalıştırma sırasındaki dalın KAFASI'na işaret eder; belirtildiyse git_tag, etiketin işaret ettiği commit'e işaret eder. |
iş.sağlık
Type: Map
İş için sağlık izleme yapılandırması.
| Key | Type | Description |
|---|---|---|
rules |
Sequence | İş sağlığı kurallarının listesi. Her kural bir metric ve op (işleç) ve valueiçerir. Bkz. job.health.rules. |
iş.sağlık.kuralları
Type: Sequence
İş sağlığı kurallarının listesi.
Listedeki her öğe bir JobHealthRule:
| Key | Type | Description |
|---|---|---|
metric |
String | Belirli bir sağlık kuralı için değerlendirilen sağlık ölçümünü belirtir.
|
op |
String | Sistem durumu ölçüm değerini belirtilen eşikle karşılaştırmak için kullanılan işleci belirtir. |
value |
Integer | Sistem durumu ölçümünü sistem durumu kuralını karşılamak için uyması gereken eşik değerini belirtir. |
iş.görev_kümeleri
Type: Sequence
Bu işin görevleri tarafından paylaşılabilen ve yeniden kullanılabilen iş kümesi belirtimlerinin listesi. Kitaplıklar paylaşılan bir iş kümesinde bildirilemez. Görev ayarlarında bağımlı kitaplıkları bildirmeniz gerekir.
Listedeki her öğe bir JobCluster:
| Key | Type | Description |
|---|---|---|
job_cluster_key |
String | İş kümesi için benzersiz bir ad. Bu alan gereklidir ve proje içinde benzersiz olmalıdır.
JobTaskSettings görev yürütme için hangi kümenin başlatıldığını belirlemek için bu alana başvurabilir. |
new_cluster |
Map | new_cluster, her görev için oluşturulan kümenin açıklaması. Bkz. küme. |
iş. bildirim_ayarları
Type: Map
İş için tüm bildirimlere uygulanan bildirim ayarları.
| Key | Type | Description |
|---|---|---|
no_alert_for_skipped_runs |
Boolean | Atlanan çalıştırmalar için uyarı göndermeyi atlayıp atlamamayı seçin. |
no_alert_for_canceled_runs |
Boolean | İptal edilen çalıştırmalar için uyarı gönderme işleminin atlanıp atlanmayacağı. |
job.parametreler
Type: Sequence
İş parametresi tanımlarının listesi.
Listedeki her öğe bir JobParameter:
| Key | Type | Description |
|---|---|---|
default |
String | Gerekli. Parametrenin varsayılan değeri( örneğin, "kullanıcılar"). |
name |
String | Gerekli. Tanımlı parametrenin adı( örneğin, "tablo"). Geçerli değerler yalnızca , _ve -alfasayısal karakterler .içerir. |
iş.kuyruğu
Type: Map
İş için sıra ayarları.
| Key | Type | Description |
|---|---|---|
enabled |
Boolean | İş için kuyruğa alma özelliğinin etkinleştirilip etkinleştirilmeyileceği. |
iş.planı
Type: Map
Düzenli iş yürütme için yapılandırmayı zamanlayın.
| Key | Type | Description |
|---|---|---|
quartz_cron_expression |
String | Quartz söz dizimini kullanan bir Cron ifadesi, işin ne zaman çalıştırılacağını belirtir. Örneğin, 0 0 9 * * ? işi her gün 09:00 UTC'de çalıştırır. |
timezone_id |
String | Program için saat dilimi. Örneğin, America/Los_Angeles veya UTC. |
pause_status |
String | Programın duraklatılıp duraklatılmadığı konusunda bir durum var mı? Geçerli değerler: PAUSED, UNPAUSED. |
iş.tetikleyici
Type: Map
Olay temelli iş yürütme için tetikleyici yapılandırması.
| Key | Type | Description |
|---|---|---|
file_arrival |
Map | Dosya gelişine göre tetikleme. Bkz. file_arrival. |
table |
Map | Tabloya dayalı tetikleyici. Tabloya bakın. |
table_update |
Map | Tablo güncelleştirmelerini temel alan tetikleyici. Bkz. table_update. |
periodic |
Map | Periyodik tetikleyici. Bkz. periyodik. |
pause_status |
String | Tetikleyicinin duraklatılmış olup olmadığına bakar. Geçerli değerler: PAUSED, UNPAUSED. |
iş.tetikleyici.dosya_gelmesi
Type: Map
Dosya gelişine göre yapılandırmayı tetikleyin.
| Key | Type | Description |
|---|---|---|
url |
String | Yeni dosyalar için izlenecek dosya yolu. |
min_time_between_triggers_seconds |
Integer | Tetikleyici olayları arasındaki saniye cinsinden minimum süre. |
wait_after_last_change_seconds |
Integer | Tetiklemeden önce son dosya değişikliğinden sonraki saniye cinsinden bekleme süresi. |
iş.tetikleyici.tablo
Type: Map
Tabloyu temel alan yapılandırmayı tetikleme.
| Key | Type | Description |
|---|---|---|
table_names |
Sequence | İzlenecek tablo adlarının listesi. |
condition |
String | İşi tetikleyebilmek için karşılanması gereken SQL koşulu. |
iş.tetikleyici.tablo_güncelleme
Type: Map
Tablo güncelleştirmelerini temel alan yapılandırmayı tetikleyin.
| Key | Type | Description |
|---|---|---|
table_names |
Sequence | Güncelleştirmeler için izlenecek tablo adlarının listesi. |
condition |
String | İşi tetikleyebilmek için karşılanması gereken SQL koşulu. |
wait_after_last_change_seconds |
Integer | Tetiklemeden önce son tablo güncelleştirmesinin ardından saniye cinsinden bekleme süresi. |
iş.tetikleyici.periyodik
Type: Map
Periyodik tetikleyici yapılandırması.
| Key | Type | Description |
|---|---|---|
interval |
Integer | Periyodik tetikleyici için aralık değeri. |
unit |
String | Aralık için zaman birimi. Geçerli değerler: HOURS, DAYS, WEEKS. |
job.webhook_bildirimleri
Type: Map
İş çalıştırmaları için webhook bildirim ayarları.
| Key | Type | Description |
|---|---|---|
on_start |
Sequence | Çalıştırma başlatıldığında bildirilmesi gereken web kancası bildirim kimliklerinin listesi. |
on_success |
Sequence | Başarılı bir çalıştırma gerçekleştiğinde bildirilmesi gereken web kancası bildirim kimliklerinin listesi. |
on_failure |
Sequence | Çalışma (işlem) başarısız olduğunda bildirimde bulunulması gereken webhook bildirim kimliklerinin listesi. |
on_duration_warning_threshold_exceeded |
Sequence | Bir çalıştırma süresi uyarı eşiğini aştığında bildirilmesi gereken web kancası bildirim kimliklerinin listesi. |
on_streaming_backlog_exceeded |
Sequence | Herhangi bir akış için akış kapsamı eşikleri aşıldığında çağrılacak sistem bildirim kimliklerinin listesi. Akış kapsamı eşikleri, alanında şu ölçümler kullanılarak ayarlanabilir health : STREAMING_BACKLOG_BYTES, STREAMING_BACKLOG_RECORDS, STREAMING_BACKLOG_SECONDSveya STREAMING_BACKLOG_FILES. Uyarı, bu ölçümlerin 10 dakikalık ortalamasını temel alır. Sorun devam ederse bildirimler her 30 dakikada bir yeniden oluşturulur. En fazla 3 hedef belirtilebilir. |
Examples
Aşağıdaki örnek, bir not defteri göreviyle hello-job kaynak anahtarına sahip bir işi tanımlar:
resources:
jobs:
hello-job:
name: hello-job
tasks:
- task_key: hello-task
notebook_task:
notebook_path: ./hello.py
Aşağıdaki örnek, SQL not defterine sahip bir işi tanımlar:
resources:
jobs:
job_with_sql_notebook:
name: 'Job to demonstrate using a SQL notebook with a SQL warehouse'
tasks:
- task_key: notebook
notebook_task:
notebook_path: ./select.sql
warehouse_id: 799f096837fzzzz4
Ek iş yapılandırma örnekleri için bkz. İş yapılandırması.
İş görevlerini tanımlama ve iş ayarlarını geçersiz kılma hakkında bilgi için bkz:
job_run
Type: Map
job_run kaynağı, paket dağıtımının bir parçası olarak mevcut bir işi çalıştırır. İş tanımlayan bir işin aksine, bir iş çalıştırma işlemi var olan işi ID ile referans verir.
Note
İş çalıştırmalarını tanımlamak için Deklarative Automation Bundles kullanmak yalnızca doğrudan dağıtım motoru kullanıyorsanız desteklenir.
Databricks CLI sürüm 1.7.0'a eklendi
job_runs:
<job_run-name>:
<job_run-field-name>: <job_run-field-value>
| Key | Type | Description |
|---|---|---|
job_id |
Integer | Gerekli. Çalıştırılacak işin ID'si. Databricks CLI sürüm 1.7.0'a eklendi |
job_parameters |
Map | Çalışmada kullanılan iş seviyesi parametreleri, örneğin param: overriding_val.Databricks CLI sürüm 1.7.0'a eklendi |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 1.7.0'a eklendi |
only |
Sequence | İşin içinde çalıştırılacak görev anahtarlarının listesi. Bu alan sağlanmazsa, işteki tüm görevler çalıştırılır. Bir görev anahtarına yukarı akış görevlerini çalıştırmak için ile + önek, ya da aşağı akış görevlerini çalıştırmak için ek ekleyin + . Örneğin, +my_task koşular my_task ve yukarısındaki her şey, my_task+ koşular my_task ve aşağısındaki her şey, ikisi +my_task+ de çalışıyor. Görev anahtarı sadece o görevi çalıştırıyor.+Databricks CLI sürüm 1.7.0'a eklendi |
performance_target |
String | Sunucusuz bir işteki performans modu. Performans hedefi, çalışma için hesaplama performansı veya maliyet verimliliği seviyesini belirler ve iş seviyesinde tanımlanan performans hedefini geçersiz kılar. Geçerli değerler STANDARD, sunucusuz iş yüklerinin maliyet etkin bir şekilde yürütülmesini sağlar ve PERFORMANCE_OPTIMIZED, hızlı ölçeklendirme ve optimize küme performansı sayesinde hızlı başlatma ve yürütme sürelerini önceliklendirir.Databricks CLI sürüm 1.7.0'a eklendi |
pipeline_params |
Map | Bir boru hattı görevi için yenileme ayarları. Bkz. job_run.pipeline_params. Databricks CLI sürüm 1.7.0'a eklendi |
queue |
Map | Koşunun kuyruk ayarları. Koşu için kuyruk etkinleştirmek için ayarlandı enabledtrue .Databricks CLI sürüm 1.7.0'a eklendi |
job_run.pipeline_params
Type: Map
Bir boru hattı görevi için yenileme ayarları.
Databricks CLI sürüm 1.7.0'a eklendi
| Key | Type | Description |
|---|---|---|
full_refresh |
Boolean | Spark deklaratif boru hattında tam bir yenileme başlatıp başlatılmaması mı? Databricks CLI sürüm 1.7.0'a eklendi |
full_refresh_selection |
Sequence | (Beta) Tam yenilemeyle güncellenecek tablolar listesi. Databricks CLI sürüm 1.7.0'a eklendi |
refresh_flow_selection |
Sequence | (Beta) Akış isimleri seçici olarak yenilenir. Bunlar, diğer seçici yenileme seçenekleriyle refresh_selection birleştirilir ve full_refresh_selection, nihai yenilenecek akış setini belirlemek için.Databricks CLI sürüm 1.7.0'a eklendi |
refresh_selection |
Sequence | (Beta) Tam yenileme olmadan güncellenecek tabloların listesi. Databricks CLI sürüm 1.7.0'a eklendi |
reset_checkpoint_selection |
Sequence | (Beta) Veri temizlemeden kontrol noktalarını sıfırlayabileceğiniz akış akışlarının bir listesi. Databricks CLI sürüm 1.7.0'a eklendi |
Example
Aşağıdaki örnek, mevcut bir işi çalıştırmayı tetikler, bir iş parametresini geçersiz kılarak koşuyu tek bir görev ve onun üst akışındaki görevlerle sınırlar:
resources:
job_runs:
my_job_run:
job_id: 123456789
job_parameters:
catalog: main
only:
- +my_task
modeli (eski)
Type: Map
Model kaynağı, eski modelleri paketlerde tanımlamanızı sağlar. Databricks bunun yerine Unity Kataloğu kayıtlı modellerini kullanmanızı önerir.
model_dağıtım_uç_noktası
Type: Map
model_serving_endpoint kaynağı,uç noktaları sunan
model_serving_endpoints:
<model_serving_endpoint-name>:
<model_serving_endpoint-field-name>: <model_serving_endpoint-field-value>
| Key | Type | Description |
|---|---|---|
ai_gateway |
Map | Hizmet veren uç nokta için AI Gateway yapılandırması. NOT: Şu anda yalnızca dış model ve sağlanan aktarım hızı uç noktaları desteklenmektedir. Bkz. ai_gateway. Databricks CLI sürüm 0.230.0'a eklendi |
budget_policy_id |
String | Bu uç nokta için kullanılacak bütçe ilkesinin kimliği. Databricks CLI sürüm 0.244.0'a eklendi |
config |
Map | Sunum uç noktasının temel yapılandırması. Bkz. yapılandırma. |
description |
String | Sunum uç noktası için bir açıklama. Databricks CLI sürüm 0.260.0'a eklendi |
email_notifications |
Map | Sunum uç noktası için e-posta bildirimleri yapılandırması.
bkz. email_notifications. Databricks CLI sürüm 0.264.0'a eklendi |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 0.268.0'a eklendi |
name |
String | Hizmet uç noktasının adı. Bu alan gereklidir ve Databricks çalışma alanında benzersiz olmalıdır. Uç nokta adı alfasayısal karakterler, tireler ve alt çizgilerden oluşabilir. |
permissions |
Sequence | Uç nokta izinlerini sunan model. Bkz. izinler. |
rate_limits |
Sequence | Deprecated. Hizmet sunma uç noktasına uygulanacak hız sınırları. Hız sınırlarını yönetmek için AI Gateway'i kullanın. |
route_optimized |
Boolean | Hizmet veren uç nokta için yol iyileştirmeyi etkinleştirin. |
tags |
Sequence | Hizmet sunma uç noktasına eklenecek ve otomatik olarak faturalama günlüklerine yayılacak etiketler. |
telemetry_config |
Map | Unity Kataloğu tablolarına uç nokta telemetrisinin (loglar, izler ve metrikler) kalıcı olarak konfigürasyonu.
Bakışınız telemetry_config. Databricks CLI sürüm 1.6.0'da eklendi |
model_serving_endpoint.telemetry_config
Type: Map
Unity Kataloğu tablolarına uç nokta telemetrisinin (loglar, izler ve metrikler) kalıcı olarak konfigürasyonu.
Databricks CLI sürüm 1.6.0'da eklendi
| Key | Type | Description |
|---|---|---|
inference_table_config |
Map | Çıkarım tablosu yük kaydı için yapılandırma, örnekleme dahil. Databricks CLI sürüm 1.6.0'da eklendi |
table_names |
Map | Uç nokta telemetrisinin (loglar, izler ve metrikler) dışa aktarıldığı Unity Kataloğu tabloları. Verilen tablolardan uç nokta için yeni bir telemetri profili oluşturmak için bunu sağla. Databricks CLI sürüm 1.10.0'da eklendi |
telemetry_profile_id |
String | Bu uç noktaya uygulanacak mevcut bir telemetri profilinin kimliği. Bunu önceden oluşturulmuş bir telemetri profilini yeniden kullanmak için verin, belirtmek table_namesyerine.Databricks CLI sürüm 1.10.0'da eklendi |
model_serving_endpoint.email_notifications
Type: Map
Sunum uç noktası için e-posta bildirimleri yapılandırması.
| Key | Type | Description |
|---|---|---|
on_update_failure |
Sequence | Bir uç nokta yapılandırmasını veya durumunu güncelleştiremediğinde bildirilecek e-posta adreslerinin listesi. |
on_update_success |
Sequence | Bir uç nokta yapılandırmasını veya durumunu başarıyla güncelleştirdiğinde bildirilecek e-posta adreslerinin listesi. |
model_serving_endpoint.yapay_zeka_geçidi
Type: Map
Hizmet veren uç nokta için AI Gateway yapılandırması.
| Key | Type | Description |
|---|---|---|
fallback_config |
Map | Kullanılabilirliği artırmak için sunulan bir varlığa yönelik istek belirli hata kodlarıyla başarısız olursa diğer hizmet verilen varlıklara otomatik olarak geri dönüş yapan trafik geri dönüşü yapılandırması. Bkz. fallback_config. |
guardrails |
Map | Koruma yapılandırması. Korumalara bakın. |
inference_table_config |
Map | Unity Kataloğu tablolarında çıkarım günlüğü için yapılandırma. Bkz. inference_table_config. |
rate_limits |
Sequence | Hız sınırı yapılandırmaları. |
usage_tracking_config |
Map | Kullanım izleme yapılandırması. Bkz. usage_tracking_config. |
model_serving_endpoint.ai_gateway.fallback_config
Type: Map
Bir istek belirli hata kodlarıyla başarısız olursa diğer hizmet verilen varlıklara otomatik olarak geri dönüş yapan trafik geri dönüşü yapılandırması.
| Key | Type | Description |
|---|---|---|
enabled |
Boolean | Bu uç nokta için geri dönüşün etkinleştirilip etkinleştirilmediği. |
model_servis_sonu_noktası.ai_geçidi.korkuluklar
Type: Map
AI ağ geçidi sınırlandırmaları yapılandırması.
| Key | Type | Description |
|---|---|---|
input |
Map | Giriş korkulukları yapılandırması, safety ve pii gibi alanlarla yapılır. |
output |
Map | Çıktı koruma yapılandırması, safety, pii gibi alanları içerir. |
invalid_keywords |
Sequence | Engellenmesi gereken anahtar sözcüklerin listesi. |
model_sunma_ucu.yapayzeka_ağı_geçidi.çıkarım_tablo_yapılandırması
Type: Map
Unity Kataloğu tablolarında çıkarım günlüğü için yapılandırma.
| Key | Type | Description |
|---|---|---|
catalog_name |
String | Unity Kataloğu'ndaki kataloğun adı. |
schema_name |
String | Unity Kataloğu'ndaki şemanın adı. |
table_name_prefix |
String | Çıkarım tablosu adları için ön ek. |
enabled |
Boolean | Çıkarım tablosu günlüğünün etkinleştirilip etkinleştirilmediği. |
model_serving_endpoint.ai_geçidi.kullanım_takip_yapılandırması
Type: Map
Kullanımı izlemeye yönelik yapay zeka ağ geçidi yapılandırması.
| Key | Type | Description |
|---|---|---|
enabled |
Boolean | Kullanım izlemenin etkinleştirilip etkinleştirilmediği. |
model_serving_endpoint.config
Type: Map
Sunum uç noktasının temel yapılandırması.
| Key | Type | Description |
|---|---|---|
served_entities |
Sequence | Uç noktaya hizmet veren varlıkların listesi. Sunulan her varlık, entity_name, entity_version, workload_size, scale_to_zero_enabled, workload_type, environment_vars gibi alanlar içerir. |
served_models |
Sequence | (Kullanım dışı: bunun yerine kullanın served_entities ) Hizmet vermek üzere uç nokta için sunulan modellerin listesi. |
traffic_config |
Map | Hizmet veren uç noktaya çağrıların nasıl yönlendirilmesi gerektiğini tanımlayan trafik yapılandırması. bkz. traffic_config. |
model_servis_uc_noktası.konfigürasyon.trafik_yapılandırması
Type: Map
Hizmet veren uç noktaya çağrıların nasıl yönlendirilmesi gerektiğini tanımlayan trafik yapılandırması.
| Key | Type | Description |
|---|---|---|
routes |
Sequence | Trafik dağıtımı için yolların listesi. Her yol served_model_name ve traffic_percentage içerir. |
Example
Aşağıdaki örnek, uç nokta sunan bir Unity Kataloğu modelini tanımlar:
resources:
model_serving_endpoints:
uc_model_serving_endpoint:
name: 'uc-model-endpoint'
config:
served_entities:
- entity_name: 'myCatalog.mySchema.my-ads-model'
entity_version: '10'
workload_size: 'Small'
scale_to_zero_enabled: 'true'
traffic_config:
routes:
- served_model_name: 'my-ads-model-10'
traffic_percentage: '100'
tags:
- key: 'team'
value: 'data science'
boru hattı
Type: Map
İşlem hatları bildirim temelli Otomasyon Paketleri için Python desteklenir. Bkz. databricks.bundles.pipelines.
İşlem hattı kaynağı, işlem hatları oluşturmanıza olanak tanır. İşlem hatları hakkında bilgi için bkz. Spark Bildirimli İşlem Hatları. İşlem hattı oluşturmak için Bildirim temelli Otomasyon Paketleri şablonunu kullanan bir öğretici için bkz. Bildirim temelli Otomasyon Paketleri ile işlem hatları geliştirme.
pipelines:
<pipeline-name>:
<pipeline-field-name>: <pipeline-field-value>
| Key | Type | Description |
|---|---|---|
allow_duplicate_names |
Boolean | Yanlış ise, ad başka bir işlem hattının adıyla çatışırsa dağıtım başarısız olur. Databricks CLI sürüm 0.261.0'a eklendi |
budget_policy_id |
String | Bu boru hattının bütçe politikası. Databricks CLI sürüm 0.230.0'a eklendi |
cascade_on_destroy |
Boolean | Pipeline'ın yok edilmesinin veri setlerini (maddeleştirilmiş görünümler, akış tabloları ve görünümler) de silmesi mu olur. Ayarlanmadığında, sunucu varsayılan olarak uygulanır. Veri setlerini yok ettiğinde saklamak için ayarlandı false . Doğrudan dağıtım motoruyla destekleniyor.Databricks CLI sürüm 1.12.0'da eklendi |
catalog |
String | Bu işlem hattından verileri yayımlamak için Unity Kataloğu'ndaki bir katalog. Eğer target belirtilirse, bu işlem hattındaki tablolar, target içinde bir catalog şemada yayımlanır (örneğin, catalog.target.table). Belirtilmezse target Unity Kataloğu'na hiçbir veri yayımlanmaz. |
channel |
String | Lakeflow işlem hatları, Lakeflow işlem hatlarının hangi sürümünün kullanılacağını belirten Yayın Kanalı'nı kullanır. |
clusters |
Sequence | Bu işlem hattı dağıtımı için küme ayarları. Bkz. küme. |
configuration |
Map | Bu işlem hattı yürütme yapılandırması. |
continuous |
Boolean | Boru hattının sürekli mi yoksa tetiklenmiş mi olduğu. Bu, triggerdeğiştirir. |
deployment |
Map | Bu işlem hattının dağıtım türü. Bkz. dağıtım. |
development |
Boolean | İşlem hattının geliştirme modunda olup olmadığı. Varsayılan değer false'tur. |
dry_run |
Boolean | İşlem hattının bir kuru çalıştırma işlem hattı olup olmadığı. |
edition |
String | İşlem hattı ürün sürümü. |
environment |
Map | Sunucusuz işlemde bağımlılıkları yüklemek için kullanılan bu işlem hattının ortam belirtimi. Bkz. ortam. Bu anahtar yalnızca Databricks CLI sürüm 0.258 ve üzerinde desteklenir. Databricks CLI sürüm 0.257.0'a eklendi |
event_log |
Map | Bu işlem hattı için olay günlüğü yapılandırması.
Bkz. event_log. Databricks CLI sürüm 0.246.0'a eklendi |
filters |
Map | Dağıtılan grafiğe hangi işlem hattı paketlerinin dahilleneceğini belirleyen filtreler. Bkz. filtreler. |
gateway_definition |
Map | Ağ geçidi işlem hattı yapılandırması. Bu ayarlar ayarlarla ingestion_definition kullanılamaz. |
id |
String | Bu işlem hattı için benzersiz tanımlayıcı. |
ingestion_definition |
Map | Yönetilen veri alma işlem hattı yapılandırması. Bu ayarlar, libraries, schema, target veya catalog ayarlarıyla kullanılamaz. Bkz. ingestion_definition. |
libraries |
Sequence | Bu dağıtım için gereken kitaplıkların veya kodun listesi. Bkz. pipeline.libraries. |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 0.268.0'a eklendi |
name |
String | Bu işlem hattı için anlaşılır bir ad. |
notifications |
Sequence | Bu işlem hattı için bildirim ayarları. Bildirimlere bakın. |
parameters |
Map | Boru hattı yürütme için kullanılacak varsayılan parametreler, her anahtar parametrenin adıdır ve değer parametre değeridir. Maksimum toplam boyut JSON formatında 10k karakterdir. |
permissions |
Sequence | İşlem hattının izinleri. Bkz. izinler. |
photon |
Boolean | Bu işlem hattı için Photon'un etkinleştirilip etkinleştirilmediği. olarak ayarlanırsa serverlesstruebu anahtar yoksayılır. |
restart_window |
Map | Bu işlem hattı için bir yeniden başlatma penceresi tanımlar. ardına düşmeden işlem hatları bu pencere içinde yeniden başlatılabilir. |
root_path |
String | Bu işlem hattının kök yolu. Bu, Databricks kullanıcı arabiriminde işlem hattını düzenlerken kök dizin olarak kullanılır ve işlem hattı yürütme sırasında Python kaynakları yürütürken sys.path dosyasına eklenir. Databricks CLI sürüm 0.253.0'a eklendi |
run_as |
Map | İşlem hattının çalıştığı kimlik. Belirtilmezse işlem hattı, işlem hattını oluşturan kullanıcı olarak çalışır. Yalnızca user_name veya service_principal_name belirtilebilir. Her ikisi de belirtilirse bir hata oluşur. Bkz. run_as.Databricks CLI sürüm 0.241.0'a eklendi |
schema |
String | Tabloların okunduğu veya yayımlandığı varsayılan şema (veritabanı). Databricks CLI sürüm 0.230.0'a eklendi |
serverless |
Boolean | Bu işlem hattı için sunucusuz işlemin etkinleştirilip etkinleştirilmediği. |
storage |
String | Denetim noktalarını ve tabloları depolamak için DBFS kök dizini. |
tags |
Map | İşlem hattıyla ilişkili etiketlerin haritası. Bunlar küme etiketleri olarak kümeye iletilir ve bu nedenle aynı sınırlamalara tabidir. İşlem hattına en fazla 25 etiket eklenebilir. Databricks CLI sürüm 0.256.0'a eklendi |
target |
String | Bu işlem hattında tabloların ekleneceği hedef şema (veritabanı). Tam olarak schema veya target'den biri belirtilmelidir. Unity Kataloğu'na yayımlamak için catalog de belirtin. Bu eski alan, schema alanı tercih edilerek işlem hattı oluşturmak için kullanım dışı bırakılmıştır. |
usage_policy_id |
String | Bu işlem hattı için kullanılacak sunucusuz kullanım ilkesinin kimliği. Databricks CLI sürüm 0.273.0'a eklendi |
pipeline.yayınlama
Type: Map
Boru hattı için dağıtım türü ayarları.
| Key | Type | Description |
|---|---|---|
kind |
String | Dağıtım türü. Örneğin, BUNDLE. |
metadata_file_path |
String | Dağıtım için meta veri dosyasının yolu. |
boruhattı.ortam
Type: Map
Sunucusuz işlemde bağımlılıkları yüklemeye yönelik ortam belirtimi.
| Key | Type | Description |
|---|---|---|
dependencies |
Sequence | Bu ortamda pip sürümü tarafından desteklenen pip bağımlılıklarının listesi. Her bağımlılık bir pip gereksinim dosyası satırıdır. |
environment_version |
String | (Beta) Örneğin, müşteri Python kodunu çalıştırmak için kullanılan sunucusuz Python ortamının ortam sürümü.4 Her ortam sürümü, belirli bir Python sürümü ve tanımlanmış sürümlere sahip önceden kurulu kütüphanelerden oluşan bir seti içerir; böylece kararlı ve tekrarlanabilir bir yürütme ortamı sağlar. Databricks, her ortam versiyonu için üç yıllık bir yaşam döngüsünü destekler. Mevcut sürümler ve dahil edilen paketler için Çevre sürümleri sayfasına bakınız.Databricks CLI sürüm 0.294.0'a eklendi |
pipeline.event_log
Type: Map
İşlem hattı için olay günlüğü yapılandırması.
| Key | Type | Description |
|---|---|---|
catalog |
String | Etkinlik günlüğünün yayımlandığı Unity Kataloğu. |
name |
String | Unity Kataloğu'nda olay günlüğünün yayımlandığı ad. |
schema |
String | Etkinlik günlüğünün yayımlandığı Unity Catalog şeması. |
işlem_hattı.filtreler
Type: Map
Dağıtılan grafta hangi işlem hattı paketlerinin dahilleneceğini belirleyen filtreler.
| Key | Type | Description |
|---|---|---|
include |
Sequence | Eklenecek paket adlarının listesi. |
exclude |
Sequence | Dışlanması gereken paket adlarının listesi. |
pipeline.ingestion_definition
Type: Map
Yönetilen bir veri yükleme işlem hattının yapılandırması. Bu ayarlar, libraries, schema, target veya catalog ayarlarıyla kullanılamaz.
| Key | Type | Description |
|---|---|---|
connection_name |
String | Alım için kullanılacak bağlantının adı. Yalnızca API kimlik doğrulamasını destekleyen bağlayıcılar için program aracılığıyla bağlantı oluşturmak için, önceden dağıtım betiğinde veya iş görevinde kullanın databricks connections create . Bkz. Dağıtım. |
connector_type |
String | Optional. Kaynaklar için bağlayıcı türü. Geçerli değerler: CDC ve QUERY_BASED.Databricks CLI sürüm 0.296.0'a eklendi |
data_staging_options |
Map | Optional. Aşamalı veri depolamanın konumu. Bu, ağ geçidi işlem hattı ile CDC yönetilen alım işlem hattından birleştirilmiş CDC yönetilen alım işlem hattına geçiş için gereklidir. Belirtilmezse, hazırlanan veriler için birim katalogda ve en üst düzey işlem hattı tanımında belirtilen şema/hedefte oluşturulur. Databricks CLI sürüm 0.296.0'a eklendi |
full_refresh_window |
Map | Optional. CDC'de anlık görüntü sorguları için zaman aralıkları kümesini belirten bir pencere. |
ingest_from_uc_foreign_catalog |
Boolean | Değişmez. True olarak ayarlanırsa işlem hattı, Unity Kataloğu bağlantısı veya alım ağ geçidi belirtmeye gerek kalmadan doğrudan Unity Kataloğu yabancı kataloglarından tabloları alır.
source_catalog IngestionConfig nesnelerindeki alanlar, alınacak Unity Kataloğu yabancı katalogları olarak yorumlanır.Databricks CLI sürüm 0.279.0'a eklendi |
ingestion_gateway_id |
String | Veri alımı ağ geçidinin kimliği. |
objects |
Sequence | Gerekli. Çoğaltılacak tabloları ve çoğaltılan tabloların hedefini belirten ayarlar. Her nesne SchemaSpec, TableSpec veya ReportSpec olabilir. |
source_type |
String | kullanılırken source_configurationsgereklidir. Bağlayıcı türünü belirtir (örneğin, , POSTGRESQLMYSQL). |
source_configurations |
Sequence | Katalog düzeyinde kaynak yapılandırma parametreleri. Bu alanı kullanırken de belirtmelisiniz source_type.
Bkz. source_configurations. |
table_configuration |
Map | Alma tabloları için yapılandırma. Bkz. table_configuration. |
SchemaSpec
Type: Map
Bir şemadan tüm tabloları almak için şema nesnesi belirtimi.
| Key | Type | Description |
|---|---|---|
source_schema |
String | Alınacak kaynak şemanın adı. |
destination_catalog |
String | Unity Kataloğu'nda hedef kataloğun adı. |
destination_schema |
String | Unity Kataloğu'nda hedef şemanın adı. |
table_configuration |
Map | Bu şemadaki tüm tablolara uygulanacak yapılandırma. Bakınız pipeline.ingestion_definition.table_configuration. |
Tablo Özellikleri (TableSpec)
Type: Map
Belirli bir tabloyu içeri aktarmak için tablo nesnesinin belirlenmesi.
| Key | Type | Description |
|---|---|---|
source_schema |
String | Tabloyu içeren kaynak şemanın adı. |
source_table |
String | Aktarılacak kaynak tablonun adı. |
destination_catalog |
String | Unity Kataloğu'nda hedef kataloğun adı. |
destination_schema |
String | Unity Kataloğu'nda hedef şemanın adı. |
destination_table |
String | Unity Kataloğu'ndaki hedef tablonun adı. |
table_configuration |
Map | Bu özgün tablo için yapılandırma. Bakınız pipeline.ingestion_definition.table_configuration. |
ReportSpec
Type: Map
Analiz raporlarını içselleştirmek için rapor nesnesi belirtimi.
| Key | Type | Description |
|---|---|---|
source_url |
String | Kaynak raporun URL'si. |
source_report |
String | Kaynak raporun adı veya tanımlayıcısı. |
destination_catalog |
String | Unity Kataloğu'nda hedef kataloğun adı. |
destination_schema |
String | Unity Kataloğu'nda hedef şemanın adı. |
destination_table |
String | Rapor verilerinin hedef tablosunun adı. |
table_configuration |
Map | Rapor tablosu için yapılandırma. Bakınız pipeline.ingestion_definition.table_configuration. |
pipeline.ingestion_definition.source_configurations
Type: Sequence
Kaynak için yapılandırma. Dizideki her öğe, katalog düzeyi yapılandırmayı içeren bir Harita'dır.
| Key | Type | Description |
|---|---|---|
catalog |
Map | Katalog düzeyinde kaynak yapılandırma parametreleri. Bkz. katalog. |
pipeline.ingestion_definition.source_configurations.catalog
Type: Map
Katalog düzeyinde kaynak yapılandırma parametreleri
| Key | Type | Description |
|---|---|---|
postgres |
Map | Postgres'e özgü katalog düzeyi yapılandırma parametreleri. Mantıksal çoğaltma için kullanılacak Postgres yuvası yapılandırmasını temsil eden bir slot_config anahtarı Map içerir. |
source_catalog |
String | Kaynak katalog adı. |
pipeline.veri_yükleme_tanımı.tablo_konfigürasyonu
Type: Map
Alım tabloları için yapılandırma seçenekleri.
| Key | Type | Description |
|---|---|---|
exclude_columns |
Sequence | Veri alımı için hariç tutulacak sütun adlarının listesi. Belirtilmediğinde, include_columns hangi sütunların işleme alınacağını tamamen kontrol eder. Belirtildiğinde, gelecekteki sütunlar da dahil olmak üzere diğer tüm sütunlar veri alımı için otomatik olarak eklenir. Bu alan, include_columns ile birbirini dışlar. |
include_columns |
Sequence | Alım için dahil edilecek sütun adlarının listesi. Belirtilmediğinde, exclude_columns içindeki sütunlar hariç tüm sütunlar dahil edilir. Gelecekteki sütunlar otomatik olarak eklenir. Belirtildiğinde, gelecekteki diğer tüm sütunlar otomatik olarak alımın dışında tutulur. Bu alan, exclude_columns ile birbirini dışlar. |
primary_keys |
Sequence | Tablo için birincil anahtar olarak kullanılacak sütun adlarının listesi. |
sequence_by |
Sequence | Kaynak verilerdeki olayların mantıksal sırasını belirten sütun adları. Spark Bildirimli İşlem Hatları, sıra dışı gelen değişiklik olaylarını işlemek için bu sıralamayı kullanır. |
işlem_hattı.kütüphaneler
Type: Sequence
Bu işlem hattı için gereken kitaplıkların veya kodların listesini tanımlar.
Listedeki her öğe bir tanımdır:
| Key | Type | Description |
|---|---|---|
file |
Map | İşlem hattını tanımlayan ve Databricks Repos'de depolanan bir dosyanın yolu. Bkz pipeline.libraries.file. |
glob |
Map | Kaynak kodu dahil etmek için birleştirilmiş alan. Her girdi bir not defteri yolu, dosya yolu veya biten /**bir klasör yolu olabilir. Bu alan veya notebookile file birlikte kullanılamaz. Bkz. pipeline.libraries.glob. |
notebook |
Map | İşlem hattını tanımlayan ve Databricks çalışma alanında depolanan bir not defterinin yolu. Bkz. pipeline.libraries.notebook. |
whl |
String | Bu alan kullanım dışı bırakıldı |
pipeline.kütüphaneler.dosya
Type: Map
İşlem hattını tanımlayan ve Databricks Repos depolanan bir dosyanın yolu.
| Key | Type | Description |
|---|---|---|
path |
String | Kaynak kodun mutlak yolu. |
pipeline.libraries.glob
Type: Map
Kaynak kodu dahil etmek için birleştirilmiş alan. Her girdi bir not defteri yolu, dosya yolu veya biten /**bir klasör yolu olabilir. Bu alan veya notebookile file birlikte kullanılamaz.
| Key | Type | Description |
|---|---|---|
include |
String | Boru hatları için kaynak kodu ekleme |
boru hattı.kütüphaneler.not defteri
Type: Map
İşlem hattını tanımlayan ve Databricks çalışma alanında depolanan bir not defterinin yolu.
| Key | Type | Description |
|---|---|---|
path |
String | Kaynak kodun mutlak yolu. |
pipeline.notifications
Type: Sequence
Bu işlem hattı için bildirim ayarları. Dizideki her öğe bir bildirim yapılandırmasıdır.
| Key | Type | Description |
|---|---|---|
alerts |
Sequence | Bildirimleri tetikleyen uyarıların listesi. Geçerli değerler , on-update-success, on-update-failure, on-update-fatal-failure. on-flow-failure |
email_recipients |
Sequence | Yapılandırılmış bir uyarı tetiklendiğinde bildirilmesi gereken e-posta adreslerinin listesi. |
Example
Aşağıdaki örnek, hello-pipelinekaynak anahtarına sahip bir işlem hattını tanımlar:
resources:
pipelines:
hello-pipeline:
name: hello-pipeline
clusters:
- label: default
num_workers: 1
development: true
continuous: false
channel: CURRENT
edition: CORE
photon: false
libraries:
- notebook:
path: ./pipeline.py
Ek işlem hattı yapılandırma örnekleri için bkz. İşlem hattı yapılandırması.
postgres_branch
Önemli
Bu özellik Beta sürümündedir.
Type:Map
Postgres dal kaynağı, Lakebase dallarını bir pakette tanımlamanızı sağlar. Ayrıca karşılık gelen Postgres projelerini ve işlem uç noktalarını da tanımlamanız gerekir.
Databricks CLI sürüm 0.287.0'a eklendi
postgres_branches:
<postgres_branch-name>:
<postgres_branch-field-name>: <postgres_branches-field-value>
| Key | Type | Description |
|---|---|---|
branch_id |
String | Dal için kullanılacak kimlik. Bu, dalın kaynak adının son bileşeni olur. Kimlik gereklidir ve 1-63 karakter uzunluğunda olmalı, küçük harfle başlamalıdır ve yalnızca küçük harf, sayı ve kısa çizgi içermelidir. Örneğin development, projects/my-app/branches/development olur.Databricks CLI sürüm 0.287.0'a eklendi |
expire_time |
String | Mutlak süre sonu zaman damgası. Ayarlandığında, dalın süresi şu anda dolacaktır. Databricks CLI sürüm 0.287.0'a eklendi |
is_protected |
Boolean | true olarak ayarlandığında, dalı silme ve sıfırlamaya karşı korur. Dal korunurken ilişkili işlem uç noktaları ve proje silinemez. Databricks CLI sürüm 0.287.0'a eklendi |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 0.287.0'a eklendi |
no_expiry |
Boolean | Süre sonunu açıkça devre dışı bırakın. true olarak ayarlandığında dalın süresi dolmaz. false olarak ayarlanırsa istek geçersizdir; yerine ttl veya expire_time sağlayın. Databricks CLI sürüm 0.287.0'a eklendi |
parent |
String | Bu dalın oluşturulacağı proje. Biçim: projects/{project_id}Databricks CLI sürüm 0.287.0'a eklendi |
purge_on_delete |
Boolean | Dalın verileri silindiğinde onu silip temizlemek kararı. Databricks CLI sürüm 1.7.0'a eklendi |
replace_existing |
Boolean | Dağıtım sırasında aynı kimliği taşıyan mevcut bir dalın değiştirilip değiştirilmeyeceği. Databricks CLI sürüm 1.0.0'a eklendi |
source_branch |
String | Bu dalın oluşturulduğu kaynak dalın adı (belirli bir noktaya kurtarma için veri kökeni). Belirtilmezse, varsayılan olarak projenin varsayılan dalı kullanılır. Biçim: projects/{project_id}/branches/{branch_id}Databricks CLI sürüm 0.287.0'a eklendi |
source_branch_lsn |
String | Bu dalın oluşturulduğu kaynak daldaki Günlük Sırası Numarası (LSN). Databricks CLI sürüm 0.287.0'a eklendi |
source_branch_time |
String | Bu dalın oluşturulduğu kaynak daldaki zaman noktası. Databricks CLI sürüm 0.287.0'a eklendi |
ttl |
String | Göreli yaşam süresi. Ayarlandığında dalın süresi creation_time + ttl olarak dolar. Databricks CLI sürüm 0.287.0'a eklendi |
Example
postgres_catalog
Önemli
Bu özellik Beta sürümündedir.
Type: Map
Postgres katalog kaynağı, Lakebase Postgres kataloglarını bir pakette tanımlamanıza olanak tanır. Her katalog bir Unity Kataloğu kataloğunu Bir Lakebase Otomatik Ölçeklendirme dalındaki Postgres veritabanına bağlar.
Databricks CLI sürüm 1.0.0'a eklendi
postgres_catalogs:
<postgres_catalog-name>:
<postgres_catalog-field-name>: <postgres_catalog-field-value>
| Key | Type | Description |
|---|---|---|
branch |
String | Kataloğu destekleyen Lakebase Otomatik Ölçeklendirme dalı. Databricks CLI sürüm 1.0.0'a eklendi |
catalog_id |
String | Gerekli. Postgres veritabanına bağlanacak Unity Kataloğu kataloğunun kimliği. Databricks CLI sürüm 1.0.0'a eklendi |
create_database_if_missing |
Boolean | Postgres veritabanı yoksa oluşturulup oluşturulmayacağı. Databricks CLI sürüm 1.0.0'a eklendi |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 1.0.0'a eklendi |
postgres_database |
String | Gerekli. Kataloğa bağlanacak Postgres veritabanının adı. Databricks CLI sürüm 1.0.0'a eklendi |
Example
resources:
postgres_projects:
project:
project_id: test-pg-project
display_name: Test Postgres Project
postgres_catalogs:
catalog:
catalog_id: test_catalog
branch: ${resources.postgres_projects.project.name}/branches/production
postgres_database: appdb
create_database_if_missing: true
postgres_database
Önemli
Bu özellik Beta sürümündedir.
Type: Map
Postgres veritabanı kaynağı , Lakebase Postgres veritabanlarını bir pakette tanımlamanızı sağlar. Her veritabanı bir Lakebase Otomatik Ölçeklendirme dalında oluşturulur.
Databricks CLI sürüm 1.4.0'a eklendi
postgres_databases:
<postgres_database-name>:
<postgres_database-field-name>: <postgres_database-field-value>
| Key | Type | Description |
|---|---|---|
database_id |
String | Gerekli. Veritabanı için kullanılacak kimlik. Bu, veritabanının kaynak adının son bileşeni olur. Databricks CLI sürüm 1.4.0'a eklendi |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 1.4.0'a eklendi |
parent |
String | Gerekli. Bu veritabanının oluşturulduğu dal. Biçim: projects/{project_id}/branches/{branch_id}.Databricks CLI sürüm 1.4.0'a eklendi |
postgres_database |
String | Postgres veritabanının adı. Databricks CLI sürüm 1.4.0'a eklendi |
replace_existing |
Boolean | Dağıtım sırasında aynı kimlikle var olan bir veritabanının değiştirilip değiştirilmeyeceği. Databricks CLI sürüm 1.7.0'a eklendi |
role |
String | Oluşturmada gereklidir. Veritabanının sahibi olan Postgres rolünün kaynak adı. Biçim: projects/{project_id}/branches/{branch_id}/roles/{role_id}.Databricks CLI sürüm 1.4.0'a eklendi |
Examples
resources:
postgres_projects:
my_project:
project_id: test-pg-proj
display_name: 'Test Project for Database'
pg_version: 16
history_retention_duration: '604800s'
postgres_branches:
main:
parent: ${resources.postgres_projects.my_project.id}
branch_id: main
no_expiry: true
postgres_roles:
owner:
parent: ${resources.postgres_branches.main.id}
role_id: app-owner
postgres_role: app_owner
postgres_databases:
my_database:
parent: ${resources.postgres_branches.main.id}
database_id: my-database
postgres_database: app_db
# The live API requires `role`. Declare an explicit role so the bundle is
# portable across users (the auto-created project-owner role's id is
# derived from the creator's identity).
role: ${resources.postgres_roles.owner.id}
postgres_endpoint
Önemli
Bu özellik Beta sürümündedir.
Type: Map
Postgres uç noktası kaynağı, Lakebase hesaplama uç noktalarını bir pakette tanımlamanıza olanak tanır. Ayrıca ilgili Lakebase projelerini ve Lakebase dallarını da tanımlamanız gerekir.
Databricks CLI sürüm 0.287.0'a eklendi
postgres_endpoints:
<postgres_endpoint-name>:
<postgres_endpoint-field-name>: <postgres_endpoint-field-value>
| Key | Type | Description |
|---|---|---|
autoscaling_limit_max_cu |
Sayı | İşlem Birimi sayısı üst sınırı. En düşük değer 0,5'tir. Databricks CLI sürüm 0.287.0'a eklendi |
autoscaling_limit_min_cu |
Sayı | En az İşlem Birimi sayısı. En düşük değer 0,5'tir. Databricks CLI sürüm 0.287.0'a eklendi |
disabled |
Boolean | İşlem uç noktasına bağlantıların kısıtlanıp kısıtlanmayacağı. Bu seçeneğin etkinleştirilmesi işlem işlemini askıya alma işlemini zamanlar. Devre dışı bırakılmış bir işlem uç noktası bir bağlantı veya konsol eylemi tarafından etkinleştirilemez. Databricks CLI sürüm 0.287.0'a eklendi |
endpoint_id |
String | Uç Nokta için kullanılacak kimlik. Bu, uç noktanın kaynak adının son bileşeni olur. Kimlik gereklidir ve 1-63 karakter uzunluğunda olmalı, küçük harfle başlamalıdır ve yalnızca küçük harf, sayı ve kısa çizgi içermelidir. Örneğin primary, projects/my-app/branches/development/endpoints/primary olur.Databricks CLI sürüm 0.287.0'a eklendi |
endpoint_type |
String | Uç nokta türü. Bir dalda yalnızca bir READ_WRITE uç noktası olabilir. Olası değerler: ENDPOINT_TYPE_READ_WRITE, ENDPOINT_TYPE_READ_ONLY.Databricks CLI sürüm 0.287.0'a eklendi |
group |
Map | Uç nokta grubu yapılandırması. Bkz. postgres_endpoint.group. |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 0.287.0'a eklendi |
no_suspension |
Boolean | true olarak ayarlandığında, otomatik askıya alma özelliğini açıkça devre dışı bırakır (hiçbir zaman askıya alınmaz). Sağlandığında true olarak ayarlanmalıdır. Databricks CLI sürüm 0.287.0'a eklendi |
parent |
String | Bu Uç Noktanın oluşturulacağı dal. Biçim: projects/{project_id}/branches/{branch_id}Databricks CLI sürüm 0.287.0'a eklendi |
replace_existing |
Boolean | Dağıtım sırasında aynı kimlikle var olan bir işlem uç noktasının değiştirilip değiştirilmeyeceği. Databricks CLI sürüm 1.0.0'a eklendi |
settings |
Map | İşlem uç noktası için ayarlar koleksiyonu. Databricks CLI sürüm 0.287.0'a eklendi |
suspend_timeout_duration |
String | İşlem uç noktasının otomatik olarak askıya alındığı etkinlik dışı kalma süresi. Belirtildiyse 60 ile 604800 arasında olmalıdır (1 dakika ile 1 hafta arası). Databricks CLI sürüm 0.287.0'a eklendi |
postgres_endpoint.grup
Type: Map
Uç nokta grubu yapılandırması.
| Key | Type | Description |
|---|---|---|
enable_readable_secondaries |
Boolean | Okuma-yazma uç noktalarına salt okunur bağlantılara izin verilip verilmeyeceği. Yalnızca olduğu group.max > 1okuma-yazma uç noktaları için geçerlidir. |
max |
Integer | Gerekli. Uç nokta grubundaki işlem sayısı üst sınırı. Şu anda bunun değerine mineşit olması gerekir.
1 Yüksek Kullanılabilirliği (HA) devre dışı bırakmak için tek işlem uç noktaları için olarak ayarlayın. Bir uç nokta grubundaki tüm işlemleri el ile askıya almak için uç noktada olarak disabled ayarlayıntrue. |
min |
Integer | Gerekli. Uç nokta grubundaki minimum işlem sayısı. Şu anda bunun değerine maxeşit olması gerekir. Bu, değerinden büyük veya eşit 1olmalıdır. |
Example
postgres_project
Önemli
Bu özellik Beta sürümündedir.
Type: Map
Postgres proje kaynağı, Lakebase Otomatik Ölçeklendirme Postgres veritabanı projelerini bir pakette tanımlamanızı sağlar. Ayrıca karşılık gelen Postgres dallarını ve işlem uç noktalarını da tanımlamanız gerekir.
Databricks CLI sürüm 0.287.0'a eklendi
postgres_projects:
<postgres_project-name>:
<postgres_project-field-name>: <postgres_project-field-value>
| Key | Type | Description |
|---|---|---|
budget_policy_id |
String | Bu projenin bütçe ilkesi kimliği. |
custom_tags |
Sequence | Bu proje için özel etiketler. Bkz . postgres_project.custom_tags. |
default_branch |
String | Biçiminde projenin projects/{project_id}/branches/{branch_id}varsayılan dalı. |
default_endpoint_settings |
Map | İşlem uç noktası için ayarlar koleksiyonu. Bkz . postgres_project.default_endpoint_settings. Databricks CLI sürüm 0.287.0'a eklendi |
display_name |
String | İnsan tarafından okunabilen proje adı. Uzunluk 1 ile 256 karakter arasında olmalıdır. Databricks CLI sürüm 0.287.0'a eklendi |
enable_pg_native_login |
Boolean | Proje için yerel Postgres oturum açmanın etkinleştirilip etkinleştirilmeyileceği. Databricks CLI sürüm 0.294.0'a eklendi |
history_retention_duration |
String | Bu projedeki tüm dallar için belirli bir noktaya kurtarma için paylaşılan geçmişin korunacak saniye sayısı. Değer 0 ile 2592000 arasında olmalıdır (30 güne kadar). Databricks CLI sürüm 0.287.0'a eklendi |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 0.287.0'a eklendi |
permissions |
Sequence | Postgres projesinin izinleri. Bkz. izinler. Databricks CLI sürüm 0.292.0'a eklendi |
pg_version |
Integer | Ana Postgres sürüm numarası. Desteklenen sürümler 16 ve 17'dir. Databricks CLI sürüm 0.287.0'a eklendi |
project_id |
String | Project için kullanılacak kimlik. Bu, projenin kaynak adının son bileşeni olur. Kimlik gereklidir ve 1-63 karakter uzunluğunda olmalı, küçük harfle başlamalıdır ve yalnızca küçük harf, sayı ve kısa çizgi içermelidir. Örneğin my-app, projects/my-app olur.Databricks CLI sürüm 0.287.0'a eklendi |
purge_on_delete |
Boolean | Silindiğinde projenin verilerinin temizlenip temizlenmeyeceği. Databricks CLI sürüm 1.2.0'a eklendi |
Örneği
resources:
postgres_projects:
my_db:
project_id: test-prod-app
display_name: 'Production Database'
pg_version: 17
postgres_branches:
main:
parent: ${resources.postgres_projects.my_db.id}
branch_id: main
is_protected: false
no_expiry: true
postgres_endpoints:
primary:
parent: ${resources.postgres_branches.main.id}
endpoint_id: primary
endpoint_type: ENDPOINT_TYPE_READ_WRITE
autoscaling_limit_min_cu: 0.5
autoscaling_limit_max_cu: 4
postgres_project.custom_tags
Type: Sequence
Proje için özel etiketlerin listesi.
| Key | Type | Description |
|---|---|---|
key |
String | Özel etiketin anahtarı. |
value |
String | Özel etiketin değeri. |
postgres_project.default_endpoint_settings
Type: Map
| Key | Type | Description |
|---|---|---|
autoscaling_limit_max_cu |
Sayı | İşlem Birimi sayısı üst sınırı. En düşük değer 0,5'tir. |
autoscaling_limit_min_cu |
Sayı | En az İşlem Birimi sayısı. En düşük değer 0,5'tir. |
no_suspension |
Boolean | true olarak ayarlandığında, otomatik askıya alma özelliğini açıkça devre dışı bırakır (hiçbir zaman askıya alınmaz). Sağlandığında true olarak ayarlanmalıdır.
suspend_timeout_duration ile birbirini dışlar. Güncelleştirme sırasında update_mask kullanın spec.project_default_settings.suspension . |
pg_settings |
Map | Postgres ayarlarının ham gösterimi. |
suspend_timeout_duration |
String | İşlem uç noktasının otomatik olarak askıya alındığı etkinlik dışı kalma süresi. Belirtildiyse 60 ile 604800 arasında olmalıdır (1 dakika ile 1 hafta arası).
no_suspension ile birbirini dışlar. Güncelleştirme sırasında update_mask kullanın spec.project_default_settings.suspension . |
postgres_role
Önemli
Bu özellik Beta sürümündedir.
Type: Map
Postgres rol kaynağı, bir pakette Lakebase Postgres rollerini tanımlamanızı sağlar. Her rol bir Lakebase Otomatik Ölçeklendirme dalında oluşturulur.
Databricks CLI sürüm 1.4.0'a eklendi
postgres_roles:
<postgres_role-name>:
<postgres_role-field-name>: <postgres_role-field-value>
| Key | Type | Description |
|---|---|---|
attributes |
Map | Rolle ilişkilendirmek için istenen API tarafından kullanıma sunulan Postgres rol öznitelikleri. Bkz. postgres_role.attributes. Databricks CLI sürüm 1.4.0'a eklendi |
auth_method |
String | Postgres'e bağlanırken rolün kimliği nasıl doğrulanır? Belirtilmezse, dosyasından identity_typeanlamlı bir kimlik doğrulama yöntemi türetilir. Geçerli değerler , NO_LOGIN, PG_PASSWORD_SCRAM_SHA_256LAKEBASE_OAUTH_V1.Databricks CLI sürüm 1.4.0'a eklendi |
identity_type |
String | Bu rolün temsil ettiği Databricks yönetilen kimliğinin türü. Databricks kimliğiyle ilişkilendirilmemiş normal bir Postgres rolü oluşturmak için boş bırakın. Geçerli değerler , USER, SERVICE_PRINCIPALGROUP.Databricks CLI sürüm 1.4.0'a eklendi |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 1.4.0'a eklendi |
membership_roles |
Sequence | Bu rolün üyesi olduğu standart roller. Databricks CLI sürüm 1.4.0'a eklendi |
parent |
String | Gerekli. Bu rolün oluşturulduğu dal. Biçim: projects/{project_id}/branches/{branch_id}.Databricks CLI sürüm 1.4.0'a eklendi |
postgres_role |
String | Postgres rolünün adı. Rol oluşturulurken gereklidir. Yönetilen Databricks kimliği postgres_role tarafından desteklenen bir Postgres rolü oluşturmak için aşağıdakilerden biri olmalıdır:
Databricks CLI sürüm 1.4.0'a eklendi |
replace_existing |
Boolean | Dağıtım sırasında aynı kimliği taşıyan mevcut bir rolün değiştirilip değiştirilmeyeceği. Databricks CLI sürüm 1.7.0'a eklendi |
role_id |
String | Gerekli. Kullanıcı tarafından belirtilen rol kimliği; rolün kaynak adının son bileşeni haline gelir. 4-63 karakter, küçük harf, sayı ve kısa çizgi olmalıdır (RFC 1123). Databricks CLI sürüm 1.4.0'a eklendi |
postgres_role.attributes
Type: Map
Rolle ilişkilendirmek için istenen API tarafından kullanıma sunulan Postgres rol öznitelikleri.
Databricks CLI sürüm 1.4.0'a eklendi
| Key | Type | Description |
|---|---|---|
bypassrls |
Boolean | Rolün satır düzeyi güvenliği atlayıp atlamadığı. |
createdb |
Boolean | Rolün veritabanları oluşturup oluşturamayacağı. |
createrole |
Boolean | Rolün diğer rollerin güvenlik etiketini oluşturup oluşturamayacağı, değiştirebileceği, bırakabileceği, açıklama ekleyip değiştiremeyeceği. |
Examples
resources:
postgres_projects:
my_project:
project_id: my-pg-proj
display_name: 'Test Project for Role'
pg_version: 16
history_retention_duration: '604800s'
postgres_branches:
main:
parent: ${resources.postgres_projects.my_project.id}
branch_id: main
no_expiry: true
postgres_roles:
my_role:
parent: ${resources.postgres_branches.main.id}
role_id: my-role
postgres_role: app_role
attributes:
createdb: true
postgres_synced_table
Önemli
Bu özellik Beta sürümündedir.
Type: Map
Postgres eşitlenmiş tablo kaynağı , Lakebase Postgres eşitlenmiş tablolarını bir pakette tanımlamanızı sağlar. Eşitlenen her tablo, bir Unity Kataloğu Delta kaynak tablosunu sürekli olarak Lakebase Otomatik Ölçeklendirme örneğindeki postgres tablosuna çoğaltır.
Databricks CLI sürüm 1.0.0'a eklendi
postgres_synced_tables:
<postgres_synced_table-name>:
<postgres_synced_table-field-name>: <postgres_synced_table-field-value>
| Key | Type | Description |
|---|---|---|
branch |
String | Eşitlenen tablonun oluşturulduğu Lakebase Otomatik Ölçeklendirme dalı. Databricks CLI sürüm 1.0.0'a eklendi |
create_database_objects_if_missing |
Boolean | Eşitlenen tablonun mantıksal veritabanının ve şema kaynaklarının henüz mevcut değilse oluşturulup oluşturulmayacağı. Databricks CLI sürüm 1.0.0'a eklendi |
existing_pipeline_id |
String | Mevcut bir işlem hattının kimliği. Bu ayarlanırsa, eşitlenen tablo, başvuruda bulunılan mevcut işlem hattına paketlenir. Bu, yeni işlem hattı oluşturmayı önler ve mevcut işlem hattının paylaşılmasına izin verir. Bu durumda, scheduling_policy eşitlenen bu tablonun mevcut işlem hattının zamanlama ilkesiyle uyumlu olması gerekir.
existing_pipeline_id ve new_pipeline_spec'den en fazla biri tanımlanmalıdır.Databricks CLI sürüm 1.0.0'a eklendi |
extra_columns |
Sequence | Kaynak tablodan çoğaltılanların dışında, senkronize tabloya eklenecek ekstra PostgreSQL sütunları. Databricks CLI sürüm 1.10.0'da eklendi |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 1.0.0'a eklendi |
new_pipeline_spec |
Map | Yeni işlem hattının belirtimi. Bkz . postgres_synced_table.new_pipeline_spec.
existing_pipeline_id ve new_pipeline_spec'den en fazla biri tanımlanmalıdır.Databricks CLI sürüm 1.0.0'a eklendi |
postgres_database |
String | Eşitlenen tablo için hedef Postgres veritabanının adı. Databricks CLI sürüm 1.0.0'a eklendi |
primary_key_columns |
Sequence | Birincil anahtarı oluşturan sütun adlarının listesi. Databricks CLI sürüm 1.0.0'a eklendi |
scheduling_policy |
String | Eşitlenen tablonun temel işlem hattının zamanlama ilkesi. Geçerli değerler , CONTINUOUS, TRIGGEREDSNAPSHOT.Databricks CLI sürüm 1.0.0'a eklendi |
source_table_full_name |
String | biçimindeki catalog.schema.tablekaynak tablonun tam adı.Databricks CLI sürüm 1.0.0'a eklendi |
synced_table_id |
String | Gerekli. Eşitlenen tablo için kullanılacak kimlik. Databricks CLI sürüm 1.0.0'a eklendi |
timeseries_key |
String | Aynı birincil anahtara sahip satırları tekrarlardan arındırmak için zaman serisi anahtarı. Databricks CLI sürüm 1.0.0'a eklendi |
type_overrides |
Sequence | Belirli sütunlar için varsayılan Delta-to-PostgreSQL tip eşlemesini geçersiz kılar. Bkz. postgres_synced_table.type_overrides. Databricks CLI sürüm 1.5.0'da eklendi |
postgres_synced_table.new_pipeline_spec
Type: Map
Eşitlenen tablo tarafından kullanılan yeni işlem hattı belirtimi.
Databricks CLI sürüm 1.0.0'a eklendi
| Key | Type | Description |
|---|---|---|
budget_policy_id |
String | Yeni oluşturulan işlem hattında ayarlanacağı bütçe ilkesi. |
storage_catalog |
String | Denetim noktaları ve olay günlükleri gibi ara dosyaları depolamak için işlem hattının kataloğu. Bu, kullanıcının Delta tabloları oluşturma izinlerine sahip olduğu standart bir katalog olmalıdır. |
storage_schema |
String | Denetim noktaları ve olay günlükleri gibi ara dosyaları depolamak için işlem hattının şeması. Bunun, kullanıcının Delta tabloları oluşturma izinlerine sahip olduğu standart katalogda olması gerekir. |
postgres_synced_table.type_overrides
Type: Sequence
Tek bir sütun için varsayılan Delta-to-PostgreSQL tip eşlemesini geçersiz kılar.
Databricks CLI sürüm 1.5.0'da eklendi
| Key | Type | Description |
|---|---|---|
column_name |
String | Gerekli. (Beta) Hedef PostgreSQL tipinin geçersiz hale getirilmesi gereken kaynak sütunun adı. Databricks CLI sürüm 1.5.0'da eklendi |
pg_type |
String | Gerekli. (Beta) Sütun için kullanılacak PostgreSQL'e özgü hedef tip. Tek geçerli değer olur PG_SPECIFIC_TYPE_VECTOR.Databricks CLI sürüm 1.5.0'da eklendi |
size |
Integer | (Beta) Hedef tip için boyut parametresi, bir ölçü alan tipler için, örneğin vektör boyutu veya varchar uzunluğu. Seçilenin pg_type bir boyuta ihtiyacı olduğunda gereklidir.Databricks CLI sürüm 1.5.0'da eklendi |
Example
resources:
schemas:
pipeline_storage:
name: test_pipeline_storage
catalog_name: main
comment: 'Pipeline storage for the synced-table test'
postgres_projects:
my_project:
project_id: test-pg-proj
display_name: 'Test Project for Synced Table'
pg_version: 17
postgres_catalogs:
my_catalog:
catalog_id: lakebase_test
branch: ${resources.postgres_projects.my_project.id}/branches/production
postgres_database: appdb
create_database_if_missing: true
postgres_synced_tables:
my_table:
synced_table_id: ${resources.postgres_catalogs.my_catalog.catalog_id}.public.trips_synced
source_table_full_name: main.source_test.trips_source
primary_key_columns: ['tpep_pickup_datetime']
scheduling_policy: SNAPSHOT
postgres_database: appdb
branch: ${resources.postgres_projects.my_project.id}/branches/production
create_database_objects_if_missing: true
new_pipeline_spec:
storage_catalog: ${resources.schemas.pipeline_storage.catalog_name}
storage_schema: ${resources.schemas.pipeline_storage.name}
kalite_monitörü (Unity Kataloğu)
Type: Map
quality_monitor kaynağı, Unity Kataloğu tablo izleyicisi tanımlamanızı sağlar. İzleyiciler hakkında bilgi için bkz. Veri profili oluşturma.
quality_monitors:
<quality_monitor-name>:
<quality_monitor-field-name>: <quality_monitor-field-value>
| Key | Type | Description |
|---|---|---|
assets_dir |
String | İzleme varlıklarını depolayan dizin (örn. pano, ölçüm tabloları). |
baseline_table_name |
String | Kayma ölçümlerinin hesaplandığı temel tablonun adı. İzlenen tablodaki sütunlar da taban çizgisi tablosunda bulunmalıdır. |
custom_metrics |
Sequence | İzlenen tabloda hesaplanacak özelleştirilmiş ölçümler. Bunlar toplu ölçümler, türetilmiş ölçümler (zaten hesaplanan toplama ölçümlerinden) veya kayma ölçümleri (zaman pencerelerindeki ölçümleri karşılaştırma) olabilir. Bkz. custom_metrics. |
inference_log |
Map | Çıkarım günlüklerini izleme yapılandırması. Bkz. inference_log. |
latest_monitor_failure_msg |
String | İzleyici hatası için en son hata iletisi. Bu, bir izleyici başarısız olduğunda doldurulan salt okunur bir alandır. Databricks CLI sürüm 0.264.0'a eklendi |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 0.268.0'a eklendi |
notifications |
Map | Monitör için bildirim ayarları. Bildirimlere bakın. |
output_schema_name |
String | Çıktı ölçüm tablolarının oluşturulduğu şema. |
schedule |
Map | Ölçüm tablolarını otomatik olarak güncelleştirme ve yenileme zamanlaması. Bkz. zamanlama. |
skip_builtin_dashboard |
Boolean | Varsayılan veri kalite ölçümlerini özetleyen panonun oluşturulup oluşturulmayacağı? |
slicing_exprs |
Sequence | Hedeflenen analiz için verileri dilimlediğiniz sütun ifadelerinin listesi. Veriler her ifadeye göre bağımsız olarak gruplandırılır ve her koşul ve tamamlayıcıları için ayrı bir dilim elde edilir. Yüksek kardinalite sütunları için, yalnızca sıklığa göre ilk 100 benzersiz değer dilim oluşturur. |
snapshot |
Map | Anlık görüntü tablolarını izlemek için yapılandırma. Bkz. anlık görüntü. |
table_name |
String | Tablonun tam adı. Databricks CLI sürüm 0.235.0'a eklendi |
time_series |
Map | Zaman serisi tablolarını izlemek için yapılandırma. bkz. time_series. |
warehouse_id |
String | Gösterge paneli oluşturmak için ambarı belirtmek amacıyla isteğe bağlı bir bağımsız değişken. Belirtilmezse, çalışan ilk ambar kullanılır. |
quality_monitor.özel_metrikler
Type: Sequence
Özel ölçüm tanımlarının listesi.
Listedeki her öğe bir CustomMetric:
| Key | Type | Description |
|---|---|---|
definition |
String | Ölçümün nasıl hesaplandığını belirten bir SQL ifadesi için Jinja şablonu. Bkz . ölçüm tanımı oluşturma. |
input_columns |
Sequence | Ölçümün hesaplanması gereken giriş tablosundaki sütun adlarının listesi. Ölçümün birden çok sütundaki bilgilere ihtiyacı olduğunu belirtmek için kullanabilirsiniz :table . |
name |
String | Çıktı tablolarındaki ölçümün adı. |
output_data_type |
String | Özel ölçümün çıktı türü. |
type |
String | Yalnızca CUSTOM_METRIC_TYPE_AGGREGATE, CUSTOM_METRIC_TYPE_DERIVED veya CUSTOM_METRIC_TYPE_DRIFT olabilir.
CUSTOM_METRIC_TYPE_AGGREGATE ve CUSTOM_METRIC_TYPE_DERIVED ölçümleri tek bir tabloda hesaplanırkenCUSTOM_METRIC_TYPE_DRIFT, ölçümler taban çizgisi ve giriş tablosu arasında veya birbirini izleyen iki zaman penceresinde karşılaştırılır.
|
quality_monitor.inference_log
Type: Map
Çıkarım günlüklerini izleme yapılandırması.
| Key | Type | Description |
|---|---|---|
granularities |
Sequence | Çıkarım günlüklerini toplamaya yönelik zaman ayrıntı düzeyleri (örneğin, ["1 day"]). |
model_id_col |
String | Model kimliğini içeren sütunun adı. |
prediction_col |
String | Tahmini içeren sütunun adı. |
timestamp_col |
String | Zaman damgasını içeren sütunun adı. |
problem_type |
String | ML sorununun türü. Geçerli değerler: PROBLEM_TYPE_CLASSIFICATION, PROBLEM_TYPE_REGRESSION. |
label_col |
String | Etiketi içeren sütunun adı (temel gerçek). |
prediction_proba_col |
String | Tahmin olasılıklarını içeren sütunun adı. |
kalite_izleyici.bildirimleri
Type: Map
monitör için bildirim ayarları.
| Key | Type | Description |
|---|---|---|
on_failure |
Map | monitör başarısız olduğunda bildirim ayarları. Bkz. on_failure. |
on_new_classification_tag_detected |
Map | Yeni sınıflandırma etiketleri algılandığında bildirim ayarları. Bkz. on_new_classification_tag_detected. |
kalite_gözlemci.bildirimler.hata_durumunda
Type: Map
monitör başarısız olduğunda bildirim ayarları.
| Key | Type | Description |
|---|---|---|
email_addresses |
Sequence | İzleyici hatası durumunda bildirim gönderilecek e-posta adreslerinin listesi. |
kalite_izleyici.bildirimler.yeni_sınıflandırma_etiket_belirlediğinde
Type: Map
Yeni sınıflandırma etiketleri algılandığında bildirim ayarları.
| Key | Type | Description |
|---|---|---|
email_addresses |
Sequence | Yeni sınıflandırma etiketleri algılandığında bildirilmesi gereken e-posta adreslerinin listesi. |
kalite_izleyicisi.program
Type: Map
Ölçüm tablolarını otomatik olarak güncelleştirmek ve yenilemek için zamanlayın.
| Key | Type | Description |
|---|---|---|
quartz_cron_expression |
String | Quartz söz dizimi kullanan bir Cron ifadesi. Örneğin, 0 0 8 * * ? her gün 08:00'de çalışır. |
timezone_id |
String | Zamanlamanın saat dilimi (örneğin, , UTCAmerica/Los_Angeles). |
pause_status |
String | Zamanlamanın duraklatılıp duraklatılmadığı. Geçerli değerler: PAUSED, UNPAUSED. |
kalite_izleyici.anlık_görüntü
Type: Map
Anlık görüntü tablolarını izlemek için yapılandırma.
kalite_izleyici.zaman_serisi
Zaman serisi tablolarını izlemek için yapılandırma.
| Key | Type | Description |
|---|---|---|
granularities |
Sequence | Zaman serisi verilerini toplamaya yönelik zaman ayrıntı düzeyleri (örneğin, ["30 minutes"]). |
timestamp_col |
String | Zaman damgasını içeren sütunun adı. |
Examples
Aşağıdaki örnekler InferenceLog, TimeSeries ve Snapshot profil türleri için kalite izleyicilerini tanımlar.
# InferenceLog profile type
resources:
quality_monitors:
my_quality_monitor:
table_name: dev.mlops_schema.predictions
output_schema_name: ${bundle.target}.mlops_schema
assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
inference_log:
granularities: [1 day]
model_id_col: model_id
prediction_col: prediction
label_col: price
problem_type: PROBLEM_TYPE_REGRESSION
timestamp_col: timestamp
schedule:
quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
timezone_id: UTC
# TimeSeries profile type
resources:
quality_monitors:
my_quality_monitor:
table_name: dev.mlops_schema.predictions
output_schema_name: ${bundle.target}.mlops_schema
assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
time_series:
granularities: [30 minutes]
timestamp_col: timestamp
schedule:
quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
timezone_id: UTC
# Snapshot profile type
resources:
quality_monitors:
my_quality_monitor:
table_name: dev.mlops_schema.predictions
output_schema_name: ${bundle.target}.mlops_schema
assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
snapshot: {}
schedule:
quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
timezone_id: UTC
Aşağıdaki örnek, izleme temelinde bir kalite izleyicisi ve buna karşılık gelen model yeniden eğitme işini yapılandırmaktadır:
# Quality monitoring workflow
resources:
quality_monitors:
mlops_quality_monitor:
table_name: ${bundle.target}.mlops_demo.predictions
output_schema_name: ${bundle.target}.mlops_demo
assets_dir: /Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
inference_log:
granularities: [1 hour]
model_id_col: model_version
prediction_col: prediction
label_col: fare_amount
problem_type: PROBLEM_TYPE_REGRESSION
timestamp_col: inference_timestamp
schedule:
quartz_cron_expression: 57 0 14 * * ? # refresh monitoring metrics every day at 7 am PT
timezone_id: UTC
jobs:
retraining_job:
name: ${bundle.target}-mlops_demo-monitoring-retraining-job
tasks:
- task_key: monitored_metric_violation_check
notebook_task:
notebook_path: ../monitoring/notebooks/MonitoredMetricViolationCheck.py
base_parameters:
env: ${bundle.target}
table_name_under_monitor: ${bundle.target}.mlops_demo.predictions
metric_to_monitor: r2_score
metric_violation_threshold: 0.7
num_evaluation_windows: 24
num_violation_windows: 5 # 5 out of the past 24 windows have metrics lower than threshold
- task_key: is_metric_violated
depends_on:
- task_key: monitored_metric_violation_check
condition_task:
op: EQUAL_TO
left: '{{tasks.monitored_metric_violation_check.values.is_metric_violated}}'
right: 'true'
- task_key: trigger_retraining
depends_on:
- task_key: is_metric_violated
outcome: 'true'
run_job_task:
job_id: ${resources.jobs.model_training_job.id}
schedule:
quartz_cron_expression: '0 0 15 * * ?' # daily at 8 am PDT
timezone_id: UTC
# To get notifications, provide a list of emails to the on_failure argument.
#
# email_notifications:
# on_failure:
# - someone@example.com
kayıtlı_model (Unity Kataloğu)
Type: Map
Kayıtlı model kaynağı, Unity Kataloğu'nda modelleri tanımlamanızı sağlar. Unity Kataloğu kayıtlı modelleri hakkında bilgi için bkz. Unity Kataloğu'nda model yaşam döngüsünü yönetme.
registered_models:
<registered_model-name>:
<registered_model-field-name>: <registered_model-field-value>
| Key | Type | Description |
|---|---|---|
aliases |
Sequence | Kayıtlı modele bağlı takma adların listesi. Bkz. registered_model.aliases. Databricks CLI sürüm 0.273.0'a eklendi |
catalog_name |
String | Şemanın ve kayıtlı modelin bulunduğu kataloğun adı. |
comment |
String | Kayıtlı modele eklenen açıklama. |
created_at |
Integer | Unix devrinden bu yana milisaniye cinsinden kayıtlı modelin oluşturma zaman damgası. Databricks CLI sürüm 0.273.0'a eklendi |
created_by |
String | Kayıtlı modeli oluşturan kullanıcının tanımlayıcısı. Databricks CLI sürüm 0.273.0'a eklendi |
full_name |
String | Kayıtlı modelin üç düzeyli (tam olarak nitelenmiş) adı. Databricks CLI sürüm 0.273.0'a eklendi |
grants |
Sequence | Kayıtlı modelle ilişkili hibeler. Bkz. grant. |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 0.268.0'a eklendi |
metastore_id |
String | Meta veri deposunun benzersiz tanımlayıcısı. Databricks CLI sürüm 0.273.0'a eklendi |
name |
String | Kayıtlı modelin adı. |
owner |
String | Kayıtlı modelin sahibi olan kullanıcının tanımlayıcısı. Databricks CLI sürüm 0.273.0'a eklendi |
schema_name |
String | Kayıtlı modelin bulunduğu şemanın adı. |
storage_location |
String | Model sürüm veri dosyalarının bulutta saklandığı yer. |
updated_at |
String | Unix dönemlerinden bu yana milisaniye cinsinden kayıtlı modelin son güncelleştirme zaman damgası. Databricks CLI sürüm 0.273.0'a eklendi |
updated_by |
String | Kayıtlı modeli son kez güncelleştiren kullanıcının tanımlayıcısı. Databricks CLI sürüm 0.273.0'a eklendi |
registered_model.takma adlar
Type: Sequence
Kayıtlı modelle bağlantılı takma adların listesi.
Listedeki her öğe bir Alias:
| Key | Type | Description |
|---|---|---|
alias_name |
String | Takma adın adı, örneğin "şampiyon" veya "latest_stable" |
catalog_name |
String | Model sürümünü içeren kataloğun adı |
id |
String | Diğer adın benzersiz tanımlayıcısı |
model_name |
String | Model sürümünün ana kayıtlı modelinin adı, üst şemaya göre |
schema_name |
String | Üst kataloğa göre model sürümünü içeren şemanın adı |
version_num |
Integer | Bu diğer adın işaret ettiği model sürümünün tamsayı sürüm numarası. |
Example
Aşağıdaki örnek, Unity Kataloğu'nda kayıtlı bir modeli tanımlar:
resources:
registered_models:
model:
name: my_model
catalog_name: ${bundle.target}
schema_name: mlops_schema
comment: Registered model in Unity Catalog for ${bundle.target} deployment target
grants:
- privileges:
- EXECUTE
principal: account users
şeması (Unity Kataloğu)
Type: Map
Şemalar bildirim temelli Otomasyon Paketleri için Python desteklenir. Bkz. databricks.bundles.schemas.
Şema kaynak türü, bir paketin parçası olarak oluşturulan iş akışlarınızda ve işlem hatlarınızda tablolar ve diğer varlıklar için Unity Kataloğu
- Bir şema kaynağının sahibi her zaman dağıtım kullanıcısıdır ve değiştirilemez. Şayet
run_aspakette belirtilmişse, şema üzerindeki işlemler tarafından yoksayılacaktır. - Şema kaynağı için yalnızca ilgili Schemas nesnesi oluşturma API'sinin desteklediği alanlar kullanılabilir. Örneğin,
enable_predictive_optimizationyalnızca güncelleştirme API'sinde kullanılabilir olduğundan desteklenmez.
schemas:
<schema-name>:
<schema-field-name>: <schema-field-value>
| Key | Type | Description |
|---|---|---|
catalog_name |
String | Ana kataloğun adı. |
comment |
String | Kullanıcı tarafından sağlanan serbest biçimli metin açıklaması. |
custom_max_retention_hours |
Integer | Şema için özel maksimum saklama süresi, saat cinsinden. Databricks CLI sürüm 1.5.0'da eklendi |
grants |
Sequence | Şemayla ilişkili hibeler. Bkz. grant. |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 0.268.0'a eklendi |
name |
String | Üst katalogla ilişkili olarak şemanın adı. |
properties |
Map | Şemaya eklenmiş anahtar-değer özelliklerinin haritası. |
storage_root |
String | Şema içindeki yönetilen tablolar için depolama kök URL'si. |
Examples
Aşağıdaki örnek, hedef olarak anahtarla bir Unity Kataloğu şeması oluşturan kaynak anahtarına my_pipelinemy_schema sahip bir işlem hattını tanımlar. Bu örnekte değiştirmeler kullanılır.
resources:
pipelines:
my_pipeline:
name: test-pipeline
libraries:
- notebook:
path: ../src/nb.ipynb
- file:
path: ../src/range.sql
development: true
catalog: ${resources.schemas.my_schema.catalog_name}
target: ${resources.schemas.my_schema.id}
schemas:
my_schema:
name: test-schema
catalog_name: main
comment: This schema was created by Declarative Automation Bundles.
En üst düzey atama eşlemesi Bildirim temelli Otomasyon Paketleri tarafından desteklenmez, bu nedenle bir şema için izinler ayarlamak istiyorsanız, eşleme içinde schemas şema için izinleri tanımlayın. Daha fazla bilgi için Ayrıcalıkları gösterme, verme ve iptal etme bölümüne bakın.
Aşağıdaki örnek, grants içeren bir Unity Kataloğu şemasını tanımlar:
resources:
schemas:
my_schema:
name: test-schema
grants:
- principal: users
privileges:
- SELECT
- principal: my_team
privileges:
- MANAGE
catalog_name: main
gizli (Unity Catalog)
Type: Map
Gizli kaynak, Unity Kataloğunda saklanan bir sır tanımlamanızı sağlar. Sırlar, şifreler, tokenlar ve anahtarlar gibi hassas kimlik bilgilerini güvenli bir şekilde saklayan üç seviyeli isim alanı nesneleridir (catalog.schema.secret).
Note
Sırları tanımlamak için Deklarative Automation Bundles kullanmak yalnızca doğrudan dağıtım motoru kullanıyorsanız desteklenir.
Databricks CLI sürüm 1.12.0'da eklendi
secrets:
<secret-name>:
<secret-field-name>: <secret-field-value>
| Key | Type | Description |
|---|---|---|
catalog_name |
String | Gerekli. Şemanın ve sırrın bulunduğu kataloğun adı. Databricks CLI sürüm 1.12.0'da eklendi |
comment |
String | Kullanıcı tarafından sağlanan serbest metin açıklaması sırrın için. 1 ile 65536 karakter arasında olmalı. Databricks CLI sürüm 1.12.0'da eklendi |
expire_time |
String | Sırrın kullanıcı tarafından sağlanan son kullanma süresi. Bu alan, sırrın artık kullanılmaması gerektiğini belirtir ve arayüzde uyarı olarak görüntülenebilir. Tamamen bilgilendiricidir ve otomatik eylemleri tetiklemez veya sırrın yaşam döngüsünü etkilemez. Databricks CLI sürüm 1.12.0'da eklendi |
grants |
Sequence | Bu sırda başvurmak için hibeler. Bkz. grant. Databricks CLI sürüm 1.12.0'da eklendi |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 1.12.0'da eklendi |
name |
String | Gerekli. Sırrın adı, ana şemasına göre. Databricks CLI sürüm 1.12.0'da eklendi |
owner |
String | Sırrın sahibi. Yaratma ilkesi varsayılan olarak oluşturulma prensibesine geçer. Sırrın mülkiyetini başka bir yöneticiye aktarmak için güncellenebilir. Databricks CLI sürüm 1.12.0'da eklendi |
schema_name |
String | Gerekli. Sırrın bulunduğu şemanın adı. Databricks CLI sürüm 1.12.0'da eklendi |
value |
String | Gerekli. Saklanacak gizli değer. Bu alan yalnızca girdi için kullanılır ve yanıtlarda geri dönmez—gizli değeri okumak için effective_value alanı ( GetSecret ayarla include_valuetrue) kullanın. Maksimum boyut 60 KiB'dir (şifreleme öncesi). Kabul edilen içerik arasında şifreler, tokenlar, anahtarlar ve diğer hassas kimlik bilgileri bulunur. 1 ile 61440 karakter arasında olmalı.Databricks CLI sürüm 1.12.0'da eklendi |
Examples
Aşağıdaki örnek, değeri dağıtım zamanında bir bundle değişkeni tarafından sağlanan bir Unity Kataloğu gizliliğini tanımlar:
bundle:
name: my-bundle
variables:
my_secret_value:
description: 'Secret value passed at deploy time'
resources:
secrets:
my_secret:
catalog_name: main
schema_name: default
name: my_api_key
value: ${var.my_secret_value}
comment: 'API key for external service'
gizli_kapsam
Type: Map
secret_scope kaynağı, bir pakette gizli dizi kapsamları tanımlamanızı sağlar. Gizli kapsamlar hakkında bilgi için bkz. Gizli yönetim.
Databricks CLI sürüm 0.252.0'a eklendi
secret_scopes:
<secret_scope-name>:
<secret_scope-field-name>: <secret_scope-field-value>
| Key | Type | Description |
|---|---|---|
backend_type |
String | Kapsamın oluşturulacağı arka uç türü. Belirtilmezse, bu varsayılan olarak olur DATABRICKS.Databricks CLI sürüm 0.252.0'a eklendi |
keyvault_metadata |
Map | Eğer backend_type ise, gizli dizi kapsamının meta verileri AZURE_KEYVAULT.
Bkz. keyvault_metadata.Databricks CLI sürüm 0.252.0'a eklendi |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 0.268.0'a eklendi |
name |
String | Kullanıcı tarafından istenen kapsam adı. Kapsam adları benzersizdir. Databricks CLI sürüm 0.252.0'a eklendi |
permissions |
Sequence | Gizli alan kapsamına uygulanacak izinler. İzinler, gizli kapsam ACL'leri aracılığıyla yönetilir, bu nedenle her group_name, user_name, veya service_principal_name ACL'de bir principal alana çevrilir. İzin verilen seviyeler READ, WRITE, ve MANAGE. Bkz. izinler.Databricks CLI sürüm 0.252.0'a eklendi |
secret_scope.keyvault_metadata
Type: Map
Azure Key Vault destekli gizli dizi kapsamları için meta veriler.
| Key | Type | Description |
|---|---|---|
resource_id |
String | Key Vault Azure kaynak kimliği. |
dns_name |
String | Azure Key Vault DNS adı. |
Examples
Aşağıdaki örnek, bir anahtar kasası arka ucu kullanan bir gizli kapsam tanımlar:
resources:
secret_scopes:
secret_scope_azure:
name: test-secrets-azure-backend
backend_type: 'AZURE_KEYVAULT'
keyvault_metadata:
resource_id: my_azure_keyvault_id
dns_name: my_azure_keyvault_dns_name
Aşağıdaki örnek, gizli kapsamları ve izinleri kullanarak özel bir ACL örneği ayarlar:
resources:
secret_scopes:
my_secret_scope:
name: my_secret_scope
permissions:
- user_name: admins
level: WRITE
- user_name: users
level: READ
Bir gizli dizi kapsamının ve bir pakette ondan okunan bir görevle işin nasıl tanımlandığını gösteren örnek bir paket için bkz. bundle-examples GitHub deposu.
sql_warehouse
Type: Map
SQL ambarı kaynağı, bir pakette SQL ambarı tanımlamanızı sağlar. SQL ambarları hakkında bilgi için bkz. Azure Databricks üzerinde
Databricks CLI sürüm 0.260.0'a eklendi
sql_warehouses:
<sql-warehouse-name>:
<sql-warehouse-field-name>: <sql-warehouse-field-value>
| Key | Type | Description |
|---|---|---|
auto_stop_mins |
Integer | SQL ambarının otomatik olarak durdurulmadan önce boşta olması gereken dakika cinsinden süre (örneğin, çalışan sorgular olmadan). Geçerli değerler 0'dır, bu otomatik durdurma olmadığını gösterir, ya da 10'dan büyük veya eşittir (klasik/pro) veya 1'e eşittir (sunucusuz). Varsayılan 120 (klasik/pro) ve 10 (sunucusuz). Databricks CLI sürüm 0.260.0'a eklendi |
channel |
Map | Kanal ayrıntıları.
Kanala bakın. Databricks CLI sürüm 0.260.0'a eklendi |
cluster_size |
String | Bu ambar için ayrılan kümelerin boyutu. Spark kümesinin boyutunu artırmak, üzerinde daha büyük sorgular çalıştırmanıza olanak tanır. Eşzamanlı sorgu sayısını artırmak istiyorsanız max_num_clusters ayarlayın. Desteklenen değerler için bkz. cluster_size. Databricks CLI sürüm 0.260.0'a eklendi |
creator_name |
String | Ambarı oluşturan kullanıcının adı. Databricks CLI sürüm 0.260.0'a eklendi |
enable_photon |
Boolean | Depo Foton ile optimize edilmiş kümeleri kullanmalı mı? Varsayılan değer false'tur. Databricks CLI sürüm 0.260.0'a eklendi |
enable_serverless_compute |
Boolean | Ambarın sunucusuz işlem kullanıp kullanmayacağı belirlenmelidir. Databricks CLI sürüm 0.260.0'a eklendi |
instance_profile_arn |
String | Deprecated. IAM rolünü kümeye geçirmek için kullanılan örnek profili. Databricks CLI sürüm 0.260.0'a eklendi |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 0.268.0'a eklendi |
max_num_clusters |
Integer | Otomatik ölçeklendiricinin eşzamanlı sorguları işlemek için oluşturacağı en fazla küme sayısı. Değerler 30'a eşit veya ondan küçük ve değerinden büyük veya buna min_num_clusterseşit olmalıdır. Eğer ayarlanmamışsa, varsayılan olarak min_clusters kullanılır.Databricks CLI sürüm 0.260.0'a eklendi |
min_num_clusters |
Integer | Bu SQL ambarı için tutulacak kullanılabilir kümelerin en az sayısı. Bunu artırmak, daha fazla sayıda kümenin her zaman çalışır durumda olmasını garanti altına alır ve bu nedenle yeni sorgular için soğuk başlangıç süresini kısaltabilir. Bu, bir kaynak yöneticisindeki ayrılmış ve iptal edilebilir çekirdeklere benzer. Değerler 0'dan büyük ve min(max_num_clusters, 30) değerinden küçük veya buna eşit olmalıdır. Varsayılan değer 1'tir. Databricks CLI sürüm 0.260.0'a eklendi |
name |
String | Kümenin mantıksal adı. Ad bir kuruluş içinde benzersiz olmalı ve 100 karakterden az olmalıdır. Databricks CLI sürüm 0.260.0'a eklendi |
permissions |
Sequence | Depoya uygulanacak izinler. Bkz. izinler. Databricks CLI sürüm 0.260.0'a eklendi |
spot_instance_policy |
String | Spot instance kullanılıp kullanılmayacağı. Geçerli değerler , POLICY_UNSPECIFIED, COST_OPTIMIZEDRELIABILITY_OPTIMIZED. Varsayılan değer: COST_OPTIMIZED.Databricks CLI sürüm 0.260.0'a eklendi |
tags |
Map | Ambar için bir dizi özel etiket. Bkz. sql_warehouse.tags. Databricks CLI sürüm 0.260.0'a eklendi |
warehouse_type |
String | Ambar türü. Geçerli değerler: PRO ve CLASSIC. Sunucusuz işlem kullanmak istiyorsanız, bu alanı olarak PRO ve alanını enable_serverless_computetrueolarak da ayarlayın.Databricks CLI sürüm 0.260.0'a eklendi |
sql_warehouse.channel
Type: Map
SQL ambarı için kanal yapılandırması.
| Key | Type | Description |
|---|---|---|
name |
String | Kanalın adı. Geçerli değerler CHANNEL_NAME_CURRENT, CHANNEL_NAME_PREVIEW, CHANNEL_NAME_CUSTOM. |
dbsql_version |
String | Özel kanallar için DBSQL sürümü. |
sql_warehouse.etiketler
Type: Map
SQL ambarı için özel etiketler.
| Key | Type | Description |
|---|---|---|
custom_tags |
Sequence | Bu SQL ambarıyla ilişkili tüm kaynaklardaki (örneğin AWS örnekleri ve EBS birimleri) etiketleri tanımlayan anahtar-değer çiftleri kümesi. Etiket sayısı 45'ten az olmalıdır. |
Example
Aşağıdaki örnek bir SQL ambarını tanımlar:
resources:
sql_warehouses:
my_sql_warehouse:
name: my_sql_warehouse
cluster_size: X-Large
enable_serverless_compute: true
max_num_clusters: 3
min_num_clusters: 1
auto_stop_mins: 60
warehouse_type: PRO
tags:
custom_tags:
- key: 'bizunit'
value: 'commercial'
- key: 'area'
value: 'marketing'
senkronize_edilmiş_veritabanı_tablosu
Type: Map
Eşitlenen veritabanı tablosu kaynağı , Lakebase veritabanı tablolarını bir pakette tanımlamanıza olanak tanır.
Eşitlenen veritabanı tabloları hakkında bilgi için bkz. Lakebase Sağlandı.
Databricks CLI sürüm 0.266.0'a eklendi
synced_database_tables:
<synced_database_table-name>:
<synced_database_table-field-name>: <synced_database_table-field-value>
| Key | Type | Description |
|---|---|---|
database_instance_name |
String | Hedef veritabanı örneğinin adı. Bu, standart kataloglarda eşitlenmiş veritabanı tabloları oluştururken gereklidir. Bu, kayıtlı kataloglarda senkronize veritabanı tabloları oluşturulduğunda isteğe bağlıdır; Bu durumda belirtilirse, veritabanı örneği adı kayıtlı katalogla eşleşmelidir, aksi takdirde talep reddedilir. Databricks CLI sürüm 0.266.0'a eklendi |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 0.268.0'a eklendi |
logical_database_name |
String | Bu tablo için hedef Postgres veritabanı nesnesinin (mantıksal veritabanı) adı. Kayıtlı bir Postgres kataloğunda senkronize bir tablo oluşturulduğunda, hedef Postgres veritabanı adı kayıtlı katalogun adı olarak çıkarılır. Bu durumda bu alan belirtilirse, Postgres veritabanı adı kayıtlı katalogla eşleşmelidir, aksi takdirde talep reddedilir. Standart bir katalogda senkronize bir tablo oluşturulurken bu alan gereklidir ve belirtmek isteğe değer bir Postgres veritabanını hedeflemeyi sağlar. Bunun içindeki create_database_objects_if_missingalan için sonuçları spec olduğunu unutmayın.Databricks CLI sürüm 0.266.0'a eklendi |
name |
String | Gerekli. Formda catalog.schema.tabletablonun tam adı.Databricks CLI sürüm 0.266.0'a eklendi |
spec |
Map | Veritabanı tablosu belirtimi. Bkz. eşitlenmiş veritabanı tablosu belirtimi. Databricks CLI sürüm 0.266.0'a eklendi |
senkronize_veri_tabanı_tablosu.spec
Type: Map
Veritabanı tablosu belirtimi.
Databricks CLI sürüm 0.266.0'a eklendi
| Key | Type | Description |
|---|---|---|
create_database_objects_if_missing |
Boolean | Eşitlenen tablonun mantıksal veritabanının ve şema kaynaklarının henüz mevcut değilse oluşturulup oluşturulmayacağı. |
existing_pipeline_id |
String | Mevcut bir işlem hattının kimliği. Bu ayarlanırsa, eşitlenen tablo, başvuruda bulunılan mevcut işlem hattına paketlenir. Bu, yeni işlem hattı oluşturmayı önler ve mevcut işlem hattının paylaşılmasına izin verir. Bu durumda, scheduling_policy eşitlenen bu tablonun mevcut işlem hattının zamanlama ilkesiyle uyumlu olması gerekir.
existing_pipeline_id ve new_pipeline_spec'den en fazla biri tanımlanmalıdır. |
new_pipeline_spec |
Map | Yeni işlem hattının belirtimi.
Bkz. new_pipeline_spec.
existing_pipeline_id ve new_pipeline_spec'den en fazla biri tanımlanmalıdır. |
primary_key_columns |
Sequence | Birincil anahtarı oluşturan sütun adlarının listesi. |
scheduling_policy |
String | Eşitleme için zamanlama ilkesi. Geçerli değerler SNAPSHOT, CONTINUOUS, TRIGGERED. |
source_table_full_name |
String | biçimindeki catalog.schema.tablekaynak tablonun tam adı. |
timeseries_key |
String | Aynı birincil anahtara sahip satırları tekrarlardan arındırmak için zaman serisi anahtarı. |
synced_database_table.spec.new_pipeline_spec
Type: Map
Eşitlenmiş veritabanı tablosu tarafından kullanılan yeni işlem hattının şartnamesi.
| Key | Type | Description |
|---|---|---|
budget_policy_id |
String | Yeni oluşturulan işlem hattı üzerinde ayarlanacak bütçe politikasının kimliği. |
storage_catalog |
String | Denetim noktaları ve olay günlükleri gibi ara dosyaları depolamak için işlem hattının kataloğu. Bu, kullanıcının Delta tabloları oluşturma izinlerine sahip olduğu standart bir katalog olmalıdır. |
storage_schema |
String | Denetim noktaları ve olay günlükleri gibi ara dosyaları depolamak için işlem hattının şeması. Bunun, kullanıcının Delta tabloları oluşturma izinlerine sahip olduğu standart katalogda olması gerekir. |
Examples
Aşağıdaki örnek, ilgili veritabanı kataloğunda eşitlenmiş bir veritabanı tablosunu tanımlar:
resources:
database_instances:
my_instance:
name: my-instance
capacity: CU_1
database_catalogs:
my_catalog:
database_instance_name: my-instance
database_name: 'my_database'
name: my_catalog
create_database_if_not_exists: true
synced_database_tables:
my_synced_table:
name: ${resources.database_catalogs.my_catalog.name}.${resources.database_catalogs.my_catalog.database_name}.my_destination_table
database_instance_name: ${resources.database_catalogs.my_catalog.database_instance_name}
logical_database_name: ${resources.database_catalogs.my_catalog.database_name}
spec:
source_table_full_name: 'my_source_table'
scheduling_policy: SNAPSHOT
primary_key_columns:
- my_pk_column
new_pipeline_spec:
storage_catalog: 'my_delta_catalog'
storage_schema: 'my_delta_schema'
Aşağıdaki örnek, standart bir katalog içinde eşitlenmiş bir veritabanı tablosu tanımlar:
resources:
synced_database_tables:
my_synced_table:
name: 'my_standard_catalog.public.synced_table'
# database_instance_name is required for synced tables created in standard catalogs.
database_instance_name: 'my-database-instance'
# logical_database_name is required for synced tables created in standard catalogs:
logical_database_name: ${resources.database_catalogs.my_catalog.database_name}
spec:
source_table_full_name: 'source_catalog.schema.table'
scheduling_policy: SNAPSHOT
primary_key_columns:
- my_pk_column
create_database_objects_if_missing: true
new_pipeline_spec:
storage_catalog: 'my_delta_catalog'
storage_schema: 'my_delta_schema'
Bu örnek, eşitlenmiş bir veritabanı tablosu oluşturur ve bunun için işlem hattı zamanlamasını özelleştirir. Zaten sahip olduğunuz varsayılır:
- adlı bir veritabanı örneği
my-database-instance - Adlı standart bir katalog
my_standard_catalog - Standart katalogda
defaultadlı bir şema - Birincil anahtarı
source_delta.schema.customerolanc_custkeyadlı bir kaynak delta tablosu
resources:
synced_database_tables:
my_synced_table:
name: 'my_standard_catalog.default.my_synced_table'
database_instance_name: 'my-database-instance'
logical_database_name: 'test_db'
spec:
source_table_full_name: 'source_delta.schema.customer'
scheduling_policy: SNAPSHOT
primary_key_columns:
- c_custkey
create_database_objects_if_missing: true
new_pipeline_spec:
storage_catalog: 'source_delta'
storage_schema: 'schema'
jobs:
sync_pipeline_schedule_job:
name: sync_pipeline_schedule_job
description: 'Job to schedule synced database table pipeline.'
tasks:
- task_key: synced-table-pipeline
pipeline_task:
pipeline_id: ${resources.synced_database_tables.my_synced_table.data_synchronization_status.pipeline_id}
schedule:
quartz_cron_expression: '0 0 0 * * ?'
vector_search_endpoint
Type: Map
vector_search_endpoint kaynağı, bir pakette Yapay Zeka Arama uç noktalarını tanımlamanızı sağlar. AI Search hakkında bilgi için bkz. Databricks AI Search.
Note
Vektör arama uç noktalarını tanımlamak için Bildirim temelli Otomasyon Paketlerinin kullanılması yalnızca doğrudan dağıtım altyapısını kullanıyorsanız desteklenir.
Databricks CLI sürüm 0.298.0'a eklendi
vector_search_endpoints:
<vector_search_endpoint-name>:
<vector_search_endpoint-field-name>: <vector_search_endpoint-field-value>
| Key | Type | Description |
|---|---|---|
budget_policy_id |
String | Bu uç nokta için kullanılacak bütçe ilkesinin kimliği. Databricks CLI sürüm 0.298.0'a eklendi |
endpoint_type |
String | Uç noktanın türü. Geçerli değerler: STORAGE_OPTIMIZED ve STANDARD.Databricks CLI sürüm 0.298.0'a eklendi |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 0.298.0'a eklendi |
name |
String | AI Arama uç noktasının adı. Databricks CLI sürüm 0.298.0'a eklendi |
permissions |
Sequence | AI Arama uç noktasına uygulanacak izinler. İzin verilen seviyeler CAN_CREATE, CAN_MANAGE, ve CAN_USE. Bkz. izinler.Databricks CLI sürüm 0.298.0'a eklendi |
target_qps |
Integer | AI Arama uç noktası için saniye başına hedef sorgular.
num_replicas ile birbirini dışlar. Gerçek replika sayısı, bu değere göre endeks oluşturma veya senkronizasyon zamanı hesaplanır. Bu en iyi şekilde yapılan bir hedeftir; sistem bu QPS'nin sağlanacağını garanti etmez.Databricks CLI sürüm 0.299.2 içinde eklendi |
Example
Aşağıdaki örnek bir Yapay Zeka Arama uç noktasını tanımlar:
# databricks.yml
bundle:
name: vector-search-example
engine: direct # Vector Search requires the direct deployment engine
resources:
vector_search_endpoints:
my_vector_search_endpoint:
name: my_vector_search_endpoint
endpoint_type: STANDARD
vector_search_index
Type: Map
vector_search_index kaynağı, bir pakette vektör arama dizinleri tanımlamanızı sağlar. Vektör araması hakkında bilgi için bkz. Databricks AI Search.
Databricks CLI sürüm 1.1.0'a eklendi
vector_search_indexes:
<vector_search_index-name>:
<vector_search_index-field-name>: <vector_search_index-field-value>
| Key | Type | Description |
|---|---|---|
delta_sync_index_spec |
Map | Delta Eşitleme Dizini belirtimi. ise index_type gereklidir DELTA_SYNC. Bkz . vector_search_index.delta_sync_index_spec.Databricks CLI sürüm 1.1.0'a eklendi |
direct_access_index_spec |
Map | Doğrudan Vektör Erişim Dizini belirtimi. ise index_type gereklidir DIRECT_ACCESS. Bkz . vector_search_index.direct_access_index_spec.Databricks CLI sürüm 1.1.0'a eklendi |
endpoint_name |
String | Gerekli. Dizine hizmet vermek için kullanılacak uç noktanın adı. Databricks CLI sürüm 1.1.0'a eklendi |
grants |
Sequence | Vektör arama diziniyle ilişkili izinler. Bkz. grant. Databricks CLI sürüm 1.1.0'a eklendi |
index_subtype |
String | (Beta) Dizinin alt türü. Geçerli değerler: HYBRID ve FULL_TEXT.
VECTOR desteklenmez.Databricks CLI sürüm 1.1.0'a eklendi |
index_type |
String | Gerekli. İndeksin türü. Geçerli değerler şunlardır:
|
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 1.1.0'a eklendi |
name |
String | Gerekli. Dizinin adı. Databricks CLI sürüm 1.1.0'a eklendi |
primary_key |
String | Gerekli. Dizinin birincil anahtarı. Databricks CLI sürüm 1.1.0'a eklendi |
vector_search_index.delta_sync_index_spec
Type: Map
Delta Eşitleme Dizini belirtimi.
Databricks CLI sürüm 1.1.0'a eklendi
| Key | Type | Description |
|---|---|---|
columns_to_index |
Sequence | Optional. Diğer ad için columns_to_sync. Vektör dizinine eklenecek sütunları seçin. Bu alan boşsa, kaynak tablodaki tüm sütunlar eklenir. Birincil anahtar sütunu ve ekleme kaynak sütunu veya ekleme vektör sütunu her zaman eklenir. Yalnızca biri columns_to_sync veya columns_to_index biri belirtilebilir. |
columns_to_sync |
Sequence | Optional. Vektör diziniyle eşitlenecek sütunları seçin. Bu alan boşsa, kaynak tablodaki tüm sütunlar dizinle eşitlenir. Birincil anahtar sütunu ile gömme kaynak sütunu veya gömme vektör sütunu sürekli olarak senkronize edilir. |
embedding_source_columns |
Sequence | Ekleme kaynağını içeren sütunlar. |
embedding_vector_columns |
Sequence | Ekleme vektörlerini içeren sütunlar. |
embedding_writeback_table |
String | Optional. Vektör dizini içeriğini ve hesaplanan eklemeleri eşitlenecek Delta tablosunun adı. |
pipeline_type |
String | İşlem hattı yürütme modu. Geçerli değerler şunlardır:
|
source_table |
String | Kaynak tablonun adı. |
vector_search_index.direct_access_index_spec
Type: Map
Doğrudan Vektör Erişim Dizini belirtimi.
Databricks CLI sürüm 1.1.0'a eklendi
| Key | Type | Description |
|---|---|---|
embedding_source_columns |
Sequence | Ekleme kaynağını içeren sütunlar. Biçimi olmalıdır array[double]. |
embedding_vector_columns |
Sequence | Ekleme vektörlerini içeren sütunlar. Biçimi olmalıdır array[double]. |
schema_json |
String | JSON biçiminde dizinin şeması. Desteklenen türler : integer, long, float, double, boolean, , string, date. timestamp Vektör sütunları için desteklenen türler: array<float>, array<double>. |
Example
Aşağıdaki örnek bir Delta Sync vektör arama dizinini tanımlar:
resources:
vector_search_endpoints:
my_endpoint:
name: my-endpoint
endpoint_type: STANDARD
vector_search_indexes:
my_index:
name: main.default.my_index
endpoint_name: ${resources.vector_search_endpoints.my_endpoint.name}
primary_key: id
index_type: DELTA_SYNC
delta_sync_index_spec:
source_table: main.default.source
pipeline_type: TRIGGERED
grants:
- principal: data-engineers
privileges: [SELECT]
hacim (Unity Kataloğu)
Type: Map
Birimler bildirim temelli Otomasyon Paketleri için Python desteklenir. Bkz. databricks.bundles.volumes.
Birim kaynak türü, Unity Kataloğu birimlerini bir paketin parçası olarak tanımlamanıza ve oluşturmanıza olanak tanır. Tanımlanmış bir birim içeren bir paket dağıtırken şunları unutmayın:
- Çalışma alanında var olana kadar bir hacme, paketin
artifact_path'ında başvurulamaz. Bu nedenle, birimi oluşturmak için Bildirim temelli Otomasyon Paketleri'ni kullanmak istiyorsanız, önce birimi pakette tanımlamanız, birimi oluşturmak için dağıtmanız ve ardından sonraki dağıtımlardaartifact_pathbuna başvurmanız gerekir. - Dağıtım hedefi
dev_${workspace.current_user.short_name}yapılandırıldığında, paket içindeki birimlermode: developmentön eki ile eklenmez. Ancak, bu ön eki el ile yapılandırabilirsiniz. Bkz. Özel ön ayarlar.
Databricks CLI sürüm 0.236.0'a eklendi
volumes:
<volume-name>:
<volume-field-name>: <volume-field-value>
| Key | Type | Description |
|---|---|---|
catalog_name |
String | Şema ve birimin kataloğunun adı. Databricks CLI sürüm 0.236.0'a eklendi |
comment |
String | Hacme iliştirilen açıklama. Databricks CLI sürüm 0.236.0'a eklendi |
grants |
Sequence | Hacimle ilişkili bağışlar. Bkz. grant. Databricks CLI sürüm 0.236.0'a eklendi |
lifecycle |
Map | Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler. Bkz . yaşam döngüsü. Databricks CLI sürüm 0.268.0'a eklendi |
name |
String | Birimin adı. Databricks CLI sürüm 0.236.0'a eklendi |
schema_name |
String | Hacmin bulunduğu şemanın adı. Databricks CLI sürüm 0.236.0'a eklendi |
storage_location |
String | Bulut üzerindeki depolama konumu. Databricks CLI sürüm 0.236.0'a eklendi |
volume_type |
String | Hacim türü, ya EXTERNAL ya da MANAGED. Harici birim belirtilen lokasyonda bulunur. Yönetilen birim, üst şema, üst katalog veya meta veri deposu tarafından belirtilen varsayılan konumda bulunur. Bkz. Yönetilen ve dış birimler. |
Example
Aşağıdaki örnek, anahtar my_volume_idile bir Unity Kataloğu birimi oluşturur:
resources:
volumes:
my_volume_id:
catalog_name: main
name: my_volume
schema_name: my_schema
Unity Kataloğu birimindeki bir dosyaya yazan bir işi çalıştıran örnek bir paket için bkz. bundle-examples GitHub deposu.
Ortak nesneler
izin vermek
Type: Map
Bahsi geçen özneyi ve bu özneye tanınacak ayrıcalıkları tanımlar. Daha fazla bilgi için Ayrıcalıkları gösterme, verme ve iptal etme bölümüne bakın.
| Key | Type | Description |
|---|---|---|
principal |
String | Ayrıcalık verilecek sorumlunun adı. Bu bir kullanıcı, grup veya hizmet sorumlusu olabilir. |
privileges |
Sequence | Belirtilen varlığa verilmelidir ayrıcalıklar. Geçerli değerler kaynak türüne bağlıdır (örneğin, SELECT, MODIFY, CREATE, USAGE, READ_FILES, WRITE_FILES, EXECUTE, ). ALL_PRIVILEGES |
Example
Aşağıdaki örnek, grants içeren bir Unity Kataloğu şemasını tanımlar:
resources:
schemas:
my_schema:
name: test-schema
grants:
- principal: users
privileges:
- SELECT
- principal: my_team
privileges:
- MANAGE
catalog_name: main
yaşam döngüsü
Type: Map
Bir kaynağın yaşam döngüsü ayarlarını içerir. Dağıtıldığında veya yok edildiğinde kaynağın davranışını denetler.
Databricks CLI sürüm 0.268.0'a eklendi
| Key | Type | Description |
|---|---|---|
prevent_destroy |
Boolean | Kaynağın yok edilmesini önlemek için yaşam döngüsü ayarı. Databricks CLI sürüm 0.268.0'a eklendi |
started |
Boolean | Kaynağı başlangıç modunda dağıtmak için yaşam döngüsü ayarı. Yalnızca doğrudan dağıtım modunda uygulamalar, kümeler ve sql_warehouses için desteklenir. Databricks CLI sürüm 0.297.0'a (uygulamalar) eklendi Databricks CLI sürüm 1.1.0'a (kümeler) eklendi Databricks CLI sürüm 1.2.0'a (sql_warehouses) eklendi |