Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Pakiety deklaratywne automatyzacji (wcześniej znane jako pakiety zasobów usługi Databricks) umożliwiają określenie informacji o zasobach Azure Databricks używanych przez pakiet w mapowaniu resources w konfiguracji pakietu. Zobacz dokumentację zasobów.
Ta strona zawiera informacje o konfiguracji dla wszystkich obsługiwanych typów zasobów dla pakietów oraz zawiera szczegółowe informacje i przykład dla każdego obsługiwanego typu. Aby uzyskać dodatkowe przykłady, zobacz przykłady konfiguracji pakietu .
Schemat JSON dla pakietów używanych do sprawdzania poprawności konfiguracji YAML znajduje się w Repozytorium interfejsu wiersza polecenia usługiDatabricks GitHub.
Tip
Aby wygenerować kod YAML dla dowolnego istniejącego zasobu, użyj polecenia databricks bundle generate. Zobacz generowanie pakietu usługi databricks.
Obsługiwane zasoby
W poniższej tabeli wymieniono obsługiwane typy zasobów dla pakietów (YAML i Python, jeśli ma to zastosowanie). Niektóre zasoby można utworzyć, definiując je w pakiecie i wdrażając pakiet, a niektóre zasoby można utworzyć tylko przez odwołanie do istniejącego zasobu do uwzględnienia w pakiecie.
Konfiguracja zasobu definiuje obiekt usługi Databricks odpowiadający obiektowi interfejsu API REST usługi Databricks . Obsługiwane pola żądania tworzenia obiektu interfejsu API REST wyrażone jako YAML są obsługiwanymi kluczami zasobu. Linki do dokumentacji dla każdego odpowiedniego zasobu znajdują się w poniższej tabeli.
Tip
Polecenie databricks bundle validate zwraca ostrzeżenia, jeśli w plikach konfiguracji pakietu znajdują się nieznane właściwości zasobu.
alert
Type: Map
Zasób alertu definiuje alert SQL (wersja 2).
Powiadomienia są obsługiwane w Python dla pakietów automatyzacji deklaratywnej. Zobacz databricks.bundles.alerts.
Dodano w Databricks CLI w wersji 0.279.0
alerts:
<alert-name>:
<alert-field-name>: <alert-field-value>
| Key | Typ | Description |
|---|---|---|
custom_description |
String | Opcjonalny. Niestandardowy opis alertu. Interpretowane według .custom_template_formatDodano w Databricks CLI w wersji 0.279.0 |
custom_summary |
String | Opcjonalny. Niestandardowe podsumowanie alertu. Interpretowane według .custom_template_formatDodano w Databricks CLI w wersji 0.279.0 |
custom_template_format |
String | (Beta) Format używany do interpretacji szablonów custom_summary i custom_description Prawidłowe wartości to:
Jeśli nie są ustawione, oba szablony są renderowane jako HTML. Dodano w Databricks CLI w wersji 1.21.0 |
display_name |
String | To jest wymagane. Nazwa wyświetlana alertu, na przykład Example alert.Dodano w Databricks CLI w wersji 0.279.0 |
evaluation |
Map | To jest wymagane. Konfiguracja oceny alertu. Zobacz alert.evaluation. Dodano w Databricks CLI w wersji 0.279.0 |
file_path |
String | Lokalna ścieżka pliku zasobu alertu. Dodano w Databricks CLI w wersji 0.282.0 |
lifecycle |
Map | Zawiera ustawienia cyklu życia zasobu. Steruje zachowaniem zasobu podczas wdrażania lub zniszczenia. Zobacz cykl życia. Dodano w Databricks CLI w wersji 0.279.0 |
parent_path |
String | Opcjonalny. Ścieżka folderu w przestrzeni roboczej zawierającego alert. Można ustawić tylko przy tworzeniu i nie można tego zaktualizować. Przykład: /Users/someone@example.com.Dodano w Databricks CLI w wersji 0.279.0 |
permissions |
Sequence | Uprawnienia alertu. Zobacz uprawnienia. Dodano w Databricks CLI w wersji 0.279.0 |
query_text |
String | To jest wymagane. Tekst zapytania do uruchomienia, na przykład SELECT 1.Dodano w Databricks CLI w wersji 0.279.0 |
run_as |
Map | Opcjonalny. Określa tożsamość, która będzie używana do uruchamiania alertu. To pole umożliwia skonfigurowanie alertów do uruchamiania jako określony użytkownik lub jednostka usługi. Zobacz run_as.
Dodano w Databricks CLI w wersji 0.279.0 |
schedule |
Map | To jest wymagane. Konfiguracja harmonogramu dla alertu. Zobacz alert.schedule. Dodano w Databricks CLI w wersji 0.279.0 |
warehouse_id |
String | To jest wymagane. Identyfikator usługi SQL Warehouse dołączonej do alertu, na przykład a7066a8ef796be84.Dodano w Databricks CLI w wersji 0.279.0 |
alert.evaluation
Type: Map
Konfiguracja oceny alertu.
| Key | Typ | Description |
|---|---|---|
comparison_operator |
String | Operator używany do porównania przy przeprowadzaniu oceny alarmu. |
empty_result_state |
String | Stan alertu, jeśli wynik jest pusty. Unikaj ustawiania tego pola na UNKNOWN, ponieważ stan UNKNOWN ma zostać wycofany. |
notification |
Map | Użytkownik lub inne miejsce docelowe do powiadamiania o wyzwoleniu alertu. Zobacz alert.evaluation.notification. |
source |
Map | Kolumna źródłowa wyniku używana do oceny alertu. Zobacz alert.evaluation.source. |
threshold |
Map | Próg do użycia na potrzeby oceny alertów. Może to być kolumna lub wartość. Zobacz alert.evaluation.threshold. |
alert.evaluation.notification
Type: Map
Użytkownik lub inne miejsce docelowe do powiadamiania o wyzwoleniu alertu.
| Key | Typ | Description |
|---|---|---|
notify_on_ok |
logiczny | Opcjonalny. Czy powiadamiać subskrybentów alertów o powrocie alertu z powrotem do normalnego. |
retrigger_seconds |
Integer | Opcjonalny. Liczba sekund, przez którą alert czeka po wyzwoleniu, zanim będzie możliwe wysłanie kolejnego powiadomienia. Jeśli zostanie ustawiona 0 wartość lub pominięta, alert nie będzie wysyłać żadnych dalszych powiadomień po pierwszym wyzwalaczu. Ustawienie tej wartości na 1 umożliwia alertowi wysyłanie powiadomienia przy każdej ocenie, w której warunek jest spełniony, co skutkuje tym, że alert jest zawsze ponownie wyzwalany dla celów powiadamiania. |
subscriptions |
Sequence | Opcjonalny. Nieurządkowana lista subskrypcji powiadomień. Zobacz alert.evaluation.notification.subscriptions. |
alert.evaluation.notification.subscriptions
Type: Sequence
Nieurządkowana lista subskrypcji powiadomień.
Każdy element na liście to AlertSubscription:
| Key | Typ | Description |
|---|---|---|
destination_id |
String | Identyfikator miejsca docelowego powiadomienia. |
user_email |
String | Adres e-mail użytkownika, który ma być powiadamiany. |
alert.evaluation.source
Type: Map
Kolumna źródłowa z wyniku do użycia w celu oceny alertu.
| Key | Typ | Description |
|---|---|---|
aggregation |
String | Metoda agregacji, która ma być stosowana do kolumny źródłowej. Prawidłowe wartości to SUM, , COUNTCOUNT_DISTINCT, AVGMEDIAN, , MIN, , , MAXSTDDEV |
display |
String | Nazwa wyświetlana kolumny źródłowej. |
name |
String | Nazwa kolumny źródłowej z wyniku zapytania. |
alert.evaluation.threshold
Type: Map
Próg używany do oceny alertów może być kolumną lub wartością.
| Key | Typ | Description |
|---|---|---|
column |
Map | Odwołanie do kolumny, które ma być używane jako próg. Zobacz alert.evaluation.source. |
value |
Map | Stała wartość do użycia jako próg. Zobacz alert.evaluation.threshold.value. |
alert.evaluation.threshold.value
Type: Map
Stała wartość do użycia jako próg. Określ jeden z następujących typów wartości.
| Key | Typ | Description |
|---|---|---|
bool_value |
logiczny | Opcjonalny. Wartość logiczna progu, na przykład true. |
double_value |
Double | Opcjonalny. Wartość liczbowa progu, na przykład 1.25. |
string_value |
String | Opcjonalny. Wartość ciągu dla progu, na przykład test. |
alert.schedule
Type: Map
Konfiguracja harmonogramu dla alertu.
| Key | Typ | Description |
|---|---|---|
pause_status |
String | Opcjonalny. Czy ten harmonogram jest wstrzymany, czy nie. Prawidłowe wartości: UNPAUSED, PAUSED. Wartość domyślna: UNPAUSED. |
quartz_cron_schedule |
String | To jest wymagane. Wyrażenie cron używające syntaksu Quartz określające harmonogram dla tego przepływu pracy. Format kwarcowy jest opisany w formacie harmonogramu kwarcowego. |
timezone_id |
String | To jest wymagane. Identyfikator strefy czasowej Java. Harmonogram zostanie rozwiązany przy użyciu tej strefy czasowej. Zostanie ona połączona z elementem quartz_cron_schedule w celu ustalenia harmonogramu. Zobacz SET TIME ZONE , aby uzyskać szczegółowe informacje. |
Examples
Poniższa przykładowa konfiguracja definiuje alert z prostą oceną:
resources:
alerts:
my_alert:
display_name: my_alert
evaluation:
comparison_operator: EQUAL
source:
name: '1'
threshold:
value:
double_value: 2
query_text: select 2
schedule:
quartz_cron_schedule: '44 19 */1 * * ?'
timezone_id: Europe/Amsterdam
warehouse_id: 799f096837fzzzz4
Poniższa przykładowa konfiguracja definiuje alert z uprawnieniami, które oceniają użycie agregacji i wysyła powiadomienia:
resources:
alerts:
my_alert:
permissions:
- level: CAN_MANAGE
user_name: someone@example.com
custom_summary: 'My alert'
display_name: 'My alert'
evaluation:
comparison_operator: 'EQUAL'
notification:
notify_on_ok: false
retrigger_seconds: 1
source:
aggregation: 'MAX'
display: '1'
name: '1'
threshold:
value:
double_value: 2
query_text: 'select 2'
schedule:
pause_status: 'UNPAUSED'
quartz_cron_schedule: '44 19 */1 * * ?'
timezone_id: 'Europe/Amsterdam'
warehouse_id: 799f096837fzzzz4
aplikacja
Type: Map
Zasób aplikacji definiuje aplikację Databricks. Aby uzyskać informacje na temat usługi Databricks Apps, zobacz Aplikacje usługi Databricks.
Aplikacje są obsługiwane w Python dla pakietów deklaratywnej automatyzacji. Zobacz databricks.bundles.apps.
Aby dodać aplikację, określ ustawienia do zdefiniowania aplikacji, w tym wymagane source_code_path.
Tip
Pakiet można zainicjować za pomocą aplikacji Streamlit Databricks przy użyciu następującego polecenia:
databricks bundle init https://github.com/databricks/bundle-examples --template-dir contrib/templates/streamlit-app
Dodano w Databricks CLI w wersji 0.239.0
apps:
<app-name>:
<app-field-name>: <app-field-value>
| Key | Typ | Description |
|---|---|---|
budget_policy_id |
String | Identyfikator zasad budżetu dla aplikacji. Dodano w Databricks CLI w wersji 0.243.0 |
compute_max_instances |
Integer | Maksymalna liczba instancji aplikacji, do których aplikacja jest skonfigurowana. Musi być ustawiony razem z .compute_min_instancesDodano w Databricks CLI w wersji 1.2.0 |
compute_min_instances |
Integer | Minimalna liczba instancji aplikacji, do których aplikacja jest skonfigurowana. Musi być ustawiony razem z .compute_max_instancesDodano w Databricks CLI w wersji 1.2.0 |
compute_size |
String | Rozmiar obliczeniowy aplikacji. Prawidłowe wartości to MEDIUM, LARGElub XLARGE , ale zależą od konfiguracji obszaru roboczego.Dodano w Databricks CLI w wersji 0.273.0 |
config |
Map | Polecenia konfiguracji aplikacji i zmienne środowiskowe. Zobacz app.config. Dodano w Databricks CLI w wersji 0.283.0 |
description |
String | Opis aplikacji. Dodano w Databricks CLI w wersji 0.239.0 |
git_repository |
Map | Konfiguracja repozytorium Git dla wdrożeń aplikacji. Po określeniu wdrożenia mogą odwoływać się do kodu z tego repozytorium, podając tylko odwołanie git (gałąź, tag lub zatwierdzenie). Zobacz app.git_repository. Dodano w Databricks CLI w wersji 0.283.0 |
git_source |
Map | Konfiguracja źródła usługi Git dla wdrożeń aplikacji. Określa, które odwołanie usługi Git (gałąź, tag lub zatwierdzenie) ma być używane podczas wdrażania aplikacji. Używany w połączeniu z narzędziem git_repository do wdrażania kodu bezpośrednio z repozytorium git.
source_code_path Wewnątrz git_source określa ścieżkę względną do kodu aplikacji w repozytorium. Zobacz app.git_source.Dodano w Databricks CLI w wersji 0.290.0 |
lifecycle |
Map | Zachowanie zasobu w momencie wdrażania lub niszczenia. Zobacz cykl życia. Dodano w Databricks CLI w wersji 0.268.0 |
name |
String | Nazwa aplikacji. Nazwa musi zawierać tylko małe litery alfanumeryczne i łączniki. Musi być unikatowa w obszarze roboczym. Dodano w Databricks CLI w wersji 0.239.0 |
permissions |
Sequence | Uprawnienia aplikacji. Zobacz uprawnienia. Dodano w Databricks CLI w wersji 0.239.0 |
resources |
Sequence | Zasoby obliczeniowe aplikacji. Zobacz app.resources. Dodano w Databricks CLI w wersji 0.239.0 |
source_code_path |
String | Ścieżka lokalna ./app kodu źródłowego aplikacji usługi Databricks.Dodano w Databricks CLI w wersji 0.239.0 |
space |
String | (Beta) Nazwa przestrzeni, do której należy ta aplikacja. Dodano w Databricks CLI w wersji 0.290.0 |
telemetry_export_destinations |
Sequence | Miejsca docelowe eksportu danych telemetrycznych dla aplikacji. Zobacz app.telemetry_export_destinations. Dodano w Databricks CLI w wersji 0.294.0 |
usage_policy_id |
String | Identyfikator zasad użycia bezserwerowych do użycia dla tej aplikacji. Dodano w Databricks CLI w wersji 0.283.0 |
user_api_scopes |
Sequence | Zakresy interfejsu API użytkownika. Dodano w Databricks CLI w wersji 0.246.0 |
app.config
Polecenia konfiguracji aplikacji i zmienne środowiskowe. Zobacz Konfigurowanie wykonywania aplikacji usługi Databricks za pomocą polecenia app.yaml.
| Key | Typ | Description |
|---|---|---|
command |
Sequence | Polecenia do uruchamiania aplikacji, na przykład ["streamlit", "run", "app.py"] |
env |
Sequence | Lista name par i value określających zmienne środowiskowe aplikacji do ustawienia w środowisku uruchomieniowym aplikacji. Spowoduje to zastąpienie zmiennych środowiskowych określonych w pliku app.yaml. Aby uzyskać informacje na temat domyślnych zmiennych środowiskowych aplikacji, zobacz Środowisko usługi Databricks Apps.Zmienne środowiskowe nie są ustawiane do momentu uruchomienia aplikacji. |
app.git_repository
Type: Map
Konfiguracja repozytorium Git określająca lokalizację repozytorium.
| Key | Typ | Description |
|---|---|---|
auto_deploy |
logiczny | Gdy to prawda, automatycznie wdraża aplikację na zdarzenia push do gałęzi skonfigurowanej git_sourcew aplikacji .Dodano w Databricks CLI w wersji 1.14.0 |
caller_credential_id |
Integer | Identyfikator osobistego tokena dostępu Git należącego do dzwoniącego i używany do udzielenia głównej usługi aplikacji dostępu do tego repozytorium. Dodano w Databricks CLI w wersji 1.14.0 |
provider |
String | To jest wymagane. Dostawca usługi Git. Bez uwzględniania wielkości liter. Obsługiwane wartości: gitHub, , gitHubEnterprisebitbucketCloud, bitbucketServerazureDevOpsServices, , gitLab, gitLabEnterpriseEdition, . awsCodeCommitDodano w Databricks CLI w wersji 0.283.0 |
url |
String | To jest wymagane. Adres URL repozytorium Git. Dodano w Databricks CLI w wersji 0.283.0 |
app.git_source
Type: Map
Konfiguracja źródła usługi Git dla wdrożeń aplikacji.
| Key | Typ | Description |
|---|---|---|
branch |
String | Gałąź git do wyewidencjonowania. |
commit |
String | Sha zatwierdzenia usługi Git do wyewidencjonowania. |
source_code_path |
String | Względna ścieżka do kodu źródłowego aplikacji w repozytorium Git. Jeśli nie zostanie określony, zostanie użyty katalog główny repozytorium. |
tag |
String | Tag Git do wyewidencjonowania. |
app.resources
Type: Sequence
Lista zasobów obliczeniowych dla aplikacji.
Każdy element na liście to AppResource:
| Key | Typ | Description |
|---|---|---|
app |
Map | Nazwa aplikacji i uprawnienia |
description |
String | Opis zasobu aplikacji. |
database |
Map | Ustawienia identyfikujące bazę danych Aprowizacji w usłudze Lakebase do użycia. Zobacz app.resources.database. |
experiment |
Map | Ustawienia identyfikujące eksperyment MLflow do użycia. Zobacz app.resources.experiment. |
genie_space |
Map | Ustawienia identyfikujące agenta Genie do użycia. Zobacz app.resources.genie_space. |
job |
Map | Ustawienia identyfikujące zasób zadania do użycia. Zobacz app.resources.job. |
name |
String | Nazwa zasobu aplikacji. |
postgres |
Map | Ustawienia identyfikujące bazę danych skalowania automatycznego lakebase do użycia. Zobacz app.resources.postgres. |
secret |
Map | Ustawienia identyfikujące zasób wpisu tajnego Azure Databricks do użycia. Zobacz app.resources.secret. |
serving_endpoint |
Map | Ustawienia identyfikujące model obsługujący zasób punktu końcowego do użycia. Zobacz app.resources.serving_endpoint. |
sql_warehouse |
Map | Ustawienia identyfikujące zasób usługi SQL Warehouse do użycia. Zobacz app.resources.sql_warehouse. |
uc_securable |
Map | Ustawienia identyfikujące zabezpieczanie wykazu aparatu Unity do użycia. Zobacz app.resources.uc_securable. |
app.resources.database
Type: Map
Ustawienia identyfikujące bazę danych Lakebase do użycia.
| Key | Typ | Description |
|---|---|---|
database_name |
String | Nazwa bazy danych. |
instance_name |
String | Nazwa wystąpienia bazy danych. |
permission |
String | Poziom uprawnień dla bazy danych. Prawidłowe wartości to CAN_CONNECT_AND_CREATE. |
app.resources.experiment
Type: Map
Ustawienia identyfikujące eksperyment MLflow do użycia.
| Key | Typ | Description |
|---|---|---|
experiment_id |
String | Identyfikator eksperymentu MLflow. |
permission |
String | Poziom uprawnień dla eksperymentu. Prawidłowe wartości to CAN_READ, , CAN_EDITCAN_MANAGE. |
app.resources.genie_space
Type: Map
Ustawienia identyfikujące agenta Genie do użycia.
| Key | Typ | Description |
|---|---|---|
name |
String | Nazwa agenta Genie. |
permission |
String | Poziom uprawnień dla miejsca. Prawidłowe wartości to CAN_VIEW, , CAN_EDITCAN_MANAGE, CAN_RUN. |
space_id |
String | Identyfikator agenta Genie, na przykład 550e8400-e29b-41d4-a716-999955440000. |
app.resources.job
Type: Map
Ustawienia identyfikujące zasób zadania do użycia.
| Key | Typ | Description |
|---|---|---|
id |
String | Identyfikator zadania. |
permission |
String | Poziom uprawnień dla zadania. Prawidłowe wartości to CAN_VIEW, , CAN_MANAGE_RUNCAN_MANAGE, IS_OWNER. |
app.resources.postgres
Type: Map
Ustawienia identyfikujące bazę danych skalowania automatycznego lakebase do użycia.
| Key | Typ | Description |
|---|---|---|
branch |
String | Nazwa gałęzi, na przykład projects/proj-abc123/branches/branch-xyz789. |
database |
String | Nazwa wystąpienia bazy danych, na przykład projects/proj-abc123/branches/branch-xyz789/databases/db-456. |
permission |
String | Poziom uprawnień dla bazy danych. Prawidłowe wartości to CAN_CONNECT_AND_CREATE. |
app.resources.secret
Type: Map
Ustawienia identyfikujące zasób wpisu tajnego Azure Databricks do użycia.
| Key | Typ | Description |
|---|---|---|
key |
String | Klucz tajny do udzielenia uprawnień. |
permission |
String | Poziom uprawnień dla tajemnicy. Prawidłowe wartości to READ, , WRITEMANAGE. |
scope |
String | Nazwa tajnego zakresu. |
app.resources.serving_endpoint
Type: Map
Ustawienia identyfikujące model obsługujący zasób punktu końcowego do użycia.
| Key | Typ | Description |
|---|---|---|
name |
String | Nazwa obsługującego punktu końcowego. |
permission |
String | Poziom uprawnień dla punktu końcowego obsługującego. Prawidłowe wartości to CAN_QUERY, , CAN_MANAGECAN_VIEW. |
app.resources.sql_magazyn
Type: Map
Ustawienia identyfikujące magazyn SQL do użycia.
| Key | Typ | Description |
|---|---|---|
id |
String | Identyfikator usługi SQL Warehouse. |
permission |
String | Poziom uprawnień dla usługi SQL Warehouse. Prawidłowe wartości to CAN_USE, , CAN_MANAGEIS_OWNER. |
app.resources.uc_securable
Type: Map
Ustawienia identyfikujące zabezpieczanie wykazu aparatu Unity do użycia. Aplikacje obsługują woluminy, tabele, funkcje, połączenia i usługi modelowe jako zabezpieczone zasoby.
| Key | Typ | Description |
|---|---|---|
permission |
String | Poziom uprawnień dla zabezpieczalnego katalogu Unity. Prawidłowe wartości zależą od elementu securable_type:
|
securable_full_name |
String | Pełna nazwa zabezpieczanego wykazu aparatu Unity w formacie catalog.schema.name. W przypadku połączenia użyj nazwy połączenia. |
securable_type |
String | Typ zabezpieczalnego elementu Unity Catalog. Prawidłowe wartości to VOLUME, , TABLEFUNCTION, CONNECTION, i MODEL_SERVICE. |
Note
W przypadku woluminów, tabel i funkcji jednostka usługi aplikacji potrzebuje USE CATALOG również uprawnień i USE SCHEMA uprawnień w katalogu nadrzędnym i schemacie. Azure Databricks automatycznie udziela tych uprawnień po dodaniu zabezpieczania jako zasobu aplikacji.
app.telemetry_export_destinations
Type: Sequence
Lista lokalizacji docelowych eksportu danych telemetrycznych dla aplikacji.
Dodano w Databricks CLI w wersji 0.294.0
Każdy element na liście to AppTelemetryExportDestination:
| Key | Typ | Description |
|---|---|---|
unity_catalog |
Map | Miejsca docelowe wykazu aparatu Unity dla eksportu danych telemetrycznych OTEL. Dodano w Databricks CLI w wersji 0.294.0 |
Examples
Aby zapoznać się z samouczkiem przedstawiającym tworzenie pakietu definiującego aplikację, zobacz Zarządzanie aplikacjami usługi Databricks przy użyciu pakietów deklaratywnej automatyzacji.
W poniższym przykładzie zdefiniowano podstawową aplikację:
resources:
apps:
hello_world_app:
name: 'hello-world-app'
source_code_path: . # This assumes the app source code is at the root of the project.
description: 'A Databricks app'
Poniższy przykład tworzy aplikację o nazwie my_app , która zarządza zadaniem utworzonym przez pakiet. Aby zapoznać się z kompletnym przykładem, zobacz bundle-examples GitHub repozytorium.
resources:
jobs:
# Define a job in the bundle
hello_world:
name: hello_world
tasks:
- task_key: task
spark_python_task:
python_file: ../src/main.py
environment_key: default
environments:
- environment_key: default
spec:
environment_version: '2'
# Define an app that manages the job in the bundle
apps:
job_manager:
name: 'job_manager_app'
description: 'An app which manages a job created by this bundle'
# The location of the source code for the app
source_code_path: ../src/app
# The resources in the bundle which this app has access to. This binds the resource in the app with the bundle resource.
resources:
- name: 'app-job'
job:
id: ${resources.jobs.hello_world.id}
permission: 'CAN_MANAGE_RUN'
app.yaml Odpowiednia konfiguracja określa uruchamianie aplikacji:
command:
- flask
- --app
- app
- run
- --debug
env:
- name: JOB_ID
valueFrom: 'app-job'
Poniższy przykład tworzy aplikację, która ma dostęp do eksperymentu MLflow utworzonego przez pakiet:
resources:
experiments:
# Define an MLflow experiment in the bundle
my_experiment:
name: /Users/${workspace.current_user.userName}/my-app-experiment
apps:
my_ml_app:
name: 'my-ml-app'
description: 'An app with access to an MLflow experiment'
source_code_path: ./app
# Grant the app access to the MLflow experiment
resources:
- name: 'app-experiment'
experiment:
experiment_id: ${resources.experiments.my_experiment.id}
permission: 'CAN_MANAGE'
Alternatywnie w poniższym przykładzie zdefiniowano aplikację z konfiguracją niestandardową zdefiniowaną w konfiguracji pakietu:
resources:
apps:
my_app:
name: my_app
description: my_app_description
source_code_path: ./app
config:
command: ['flask', '--app', 'app', 'run']
env:
- name: MY_ENV_VAR
value: test_value
- name: ANOTHER_VAR
value: another_value
W poniższym przykładzie zdefiniowano aplikację z zasobem skalowania automatycznego w usłudze Lakebase:
resources:
apps:
my_app:
name: my-app
source_code_path: .
resources:
- name: lakebase-db
postgres:
branch: projects/my-app/branches/production
database: projects/my-app/branches/production/databases/db-xxxx-yyyyyyyy
permission: CAN_CONNECT_AND_CREATE
catalogs
Type: Map
Zasób wykazu umożliwia definiowanie katalogów (wykazu aparatu Unity) w pakiecie.
Katalogi są obsługiwane w Python dla pakietów deklaratywnej automatyzacji. Zobacz databricks.bundles.catalogs.
Note
Definiowanie katalogów przy użyciu pakietów automatyzacji deklaratywnej jest obsługiwane tylko wtedy, gdy używasz aparatu wdrażania bezpośredniego.
Dodano w Databricks CLI w wersji 0.287.0
catalogs:
<catalog-name>:
<catalog-field-name>: <catalog-field-value>
| Key | Typ | Description |
|---|---|---|
comment |
String | Podany przez użytkownika dowolny tekst opisu wykazu. Dodano w Databricks CLI w wersji 0.287.0 |
connection_name |
String | Nazwa połączenia z zewnętrznym źródłem danych. Dodano w Databricks CLI w wersji 0.287.0 |
custom_max_retention_hours |
Integer | Niestandardowy maksymalny okres retencji katalogu, w godzinach. Dodano w Databricks CLI w wersji 1.5.0 |
grants |
Sequence | Granty skojarzone z wykazem. Zobacz przyznanie. Dodano w Databricks CLI w wersji 0.287.0 |
lifecycle |
Map | Zawiera ustawienia cyklu życia zasobu. Steruje zachowaniem zasobu podczas wdrażania lub zniszczenia. Zobacz cykl życia. Dodano w Databricks CLI w wersji 0.287.0 |
managed_encryption_settings |
Map | Kontrolowanie szyfrowania CMK dla danych wykazu zarządzanego. Zobacz catalog.managed_encryption_settings. Dodano w Databricks CLI w wersji 0.298.0 |
name |
String | To jest wymagane. Nazwa wykazu. Dodano w Databricks CLI w wersji 0.287.0 |
options |
Object | Mapa właściwości klucz-wartość dołączona do zabezpieczanej. Dodano w Databricks CLI w wersji 0.287.0 |
properties |
Object | Mapa właściwości klucz-wartość dołączona do zabezpieczanej. Dodano w Databricks CLI w wersji 0.287.0 |
provider_name |
String | Nazwa dostawcy openSharing. Wykaz openSharing jest katalogiem opartym na udziale OpenSharing na serwerze udostępniania zdalnego. Zobacz Co to jest usługa OpenSharing?. Dodano w Databricks CLI w wersji 0.287.0 |
share_name |
String | Nazwa udziału w ramach dostawcy udziałów. Dodano w Databricks CLI w wersji 0.287.0 |
storage_root |
String | Główny adres URL magazynu dla tabel zarządzanych w wykazie. Dodano w Databricks CLI w wersji 0.287.0 |
Example
# databricks.yml
bundle:
name: catalogs-example
engine: direct # catalogs require the direct deployment engine
resources:
catalogs:
my_catalog:
name: my_catalog
comment: 'Catalog created by Declarative Automation Bundles'
properties:
purpose: 'Testing'
grants:
- principal: someone@example.com
privileges:
- USE_CATALOG
- CREATE_SCHEMA
schemas:
my_schema:
name: my_schema
catalog_name: ${resources.catalogs.my_catalog.name}
comment: 'Schema in custom catalog'
catalog.managed_encryption_settings
Type: Map
Ustawienia szyfrowania dla danych wykazu zarządzanego. Służy do konfigurowania klucza zarządzanego przez klienta (CMK).
Dodano w Databricks CLI w wersji 0.298.0
| Key | Typ | Description |
|---|---|---|
azure_encryption_settings |
Map | Opcjonalne ustawienia Azure — wymagane tylko w przypadku użycia klucza cmK Azure. Dodano w Databricks CLI w wersji 0.298.0 |
azure_key_vault_key_id |
String | Adres URL usługi AKV w Azure, w przeciwnym razie ma wartość null. Dodano w Databricks CLI w wersji 0.298.0 |
customer_managed_key_id |
String | Identyfikator UUID zestawu CMK na platformach AWS i GCP, w przeciwnym razie ma wartość null. Dodano w Databricks CLI w wersji 0.298.0 |
klaster
Type: Map
Zasób klastra definiuje klaster.
Klastry są obsługiwane w Python dla pakietów deklaratywnej automatyzacji. Zobacz databricks.bundles.clusters.
clusters:
<cluster-name>:
<cluster-field-name>: <cluster-field-value>
| Key | Typ | Description |
|---|---|---|
apply_policy_default_values |
logiczny | Gdy wartość true jest ustawiona, wartości stałe i domyślne z polityki będą używane dla pól, które są pominięte. Jeśli ustawiono na false, zostaną zastosowane tylko stałe wartości z zasad. |
autoscale |
Map | Parametry potrzebne do automatycznego skalowania klastrów w górę i w dół na podstawie obciążenia. Zobacz autoskalowanie. |
autotermination_minutes |
Integer | Automatycznie wyłącza klaster po upływie ustawionego czasu nieaktywności, wyrażonego w minutach. Jeśli nie zostanie ustawiona, ten klaster nie zostanie automatycznie zakończony. Jeśli zostanie określony, próg musi należeć do zakresu od 10 do 10000 minut. Użytkownicy mogą również ustawić tę wartość na 0, aby jawnie wyłączyć automatyczne kończenie. |
aws_attributes |
Map | Atrybuty związane z klastrami uruchomionymi w usługach Amazon Web Services. Jeśli nie zostanie określony podczas tworzenia klastra, zostanie użyty zestaw wartości domyślnych. Zobacz aws_attributes. |
azure_attributes |
Map | Atrybuty związane z klastrami uruchomionymi w Microsoft Azure. Jeśli nie zostanie określony podczas tworzenia klastra, zostanie użyty zestaw wartości domyślnych. Zobacz azure_attributes. |
cluster_log_conf |
Map | Konfiguracja dostarczania logów Spark do długoterminowego magazynu docelowego. Zobacz cluster_log_conf. |
cluster_name |
String | Nazwa klastra żądana przez użytkownika. Nie musi to być unikatowe. Jeśli nie zostanie określony podczas tworzenia, nazwa klastra będzie pustym ciągiem. |
custom_tags |
Map | Dodatkowe tagi dla zasobów klastra. Usługa Databricks oznaczy wszystkie zasoby klastra (np. instancje AWS i woluminy EBS) za pomocą tych tagów, oprócz default_tags. |
data_security_mode |
String | Model zarządzania danymi stosowany podczas uzyskiwania dostępu do danych z klastra. Prawidłowe wartości obejmują DATA_SECURITY_MODE_AUTO, DATA_SECURITY_MODE_STANDARD, DATA_SECURITY_MODE_DEDICATEDi NONE.
USER_ISOLATION oraz SINGLE_USER są aliasami dziedziczonymi odpowiednio dla DATA_SECURITY_MODE_STANDARD i DATA_SECURITY_MODE_DEDICATED. Tryby LEGACY_* są przestarzałe, począwszy od środowiska Databricks Runtime 15.0. |
dependency_mode |
String | (Beta) Kontroluje konfigurację zależności klastra. Prawidłowe wartości to DEPENDENCY_MODE_ENVIRONMENTS, DEPENDENCY_MODE_CLUSTER_LIBRARIES i DEPENDENCY_MODE_AUTO.Dodano w Databricks CLI w wersji 1.10.0 |
docker_image |
Map | Niestandardowy obraz Dockera. Zobacz docker_image. |
driver_instance_pool_id |
String | Opcjonalny identyfikator puli wystąpień, do której należy sterownik klastra. Klaster puli używa puli wystąpień o identyfikatorze (wystąpienie*pool_id), jeśli pula sterowników nie jest przypisana. |
driver_node_type_flexibility |
Map | Elastyczna konfiguracja typu węzła dla węzła sterownika. Zobacz cluster.driver_node_type_flexibility. Dodano w Databricks CLI w wersji 0.285.0 |
driver_node_type_id |
String | Typ węzła sterownika Spark. To pole jest opcjonalne. Jeśli parametr nie zostanie ustawiony, typ węzła sterownika jest ustawiony na wartość node_type_id. |
enable_elastic_disk |
logiczny | Autoskalowanie magazynu lokalnego: po włączeniu ten klaster będzie dynamicznie uzyskiwać dodatkowe miejsce na dysku, gdy procesy robocze Spark mają mało miejsca na dysku. Ta funkcja wymaga określonych uprawnień platformy AWS do poprawnego działania — zapoznaj się z podręcznikiem użytkownika, aby uzyskać więcej informacji. |
enable_local_disk_encryption |
logiczny | Czy włączyć LUKS na dyskach lokalnych maszyn wirtualnych klastrów. |
gcp_attributes |
Map | Atrybuty związane z klastrami uruchomionymi na platformie Google Cloud Platform. Jeśli nie zostanie określony podczas tworzenia klastra, zostanie użyty zestaw wartości domyślnych. Zobacz gcp_attributes. |
init_scripts |
Sequence | Konfiguracja przechowywania skryptów inicjowania. Można określić dowolną liczbę miejsc docelowych. Skrypty są wykonywane sekwencyjnie w podanej kolejności. Zobacz init_scripts. |
instance_pool_id |
String | Opcjonalny identyfikator puli wystąpień, do której należy klaster. |
is_single_node |
logiczny | To pole może być używane tylko wtedy, gdy kind = CLASSIC_PREVIEW. Po ustawieniu wartości true usługa Databricks automatycznie ustawi jednowęźle powiązane z elementami custom_tags, spark_confi num_workers.Dodano w Databricks CLI wersja 0.237.0 |
kind |
String | Rodzaj obliczeń opisany przez tę specyfikację obliczeniową. Dodano w Databricks CLI wersja 0.237.0 |
libraries |
Sequence | Lista bibliotek do zainstalowania na klastrze. Zainstalowane przez API Libraries po utworzeniu klastra. Zobacz cluster.libraries. Dodano w Databricks CLI w wersji 1.19.0 |
lifecycle |
Map | Zawiera ustawienia cyklu życia zasobu. Steruje zachowaniem zasobu podczas wdrażania lub zniszczenia. Zobacz cykl życia. Dodano w Databricks CLI w wersji 0.268.0 |
node_type_id |
String | To pole koduje za pomocą jednej wartości zasoby dostępne dla każdego z węzłów platformy Spark w tym klastrze. Na przykład węzły platformy Spark można aprowizować i optymalizować pod kątem obciążeń intensywnie korzystających z pamięci lub obliczeń. Listę dostępnych typów węzłów można pobrać przy użyciu interfejsu API Typów węzłów listy. |
num_workers |
Integer | Liczba węzłów roboczych, które powinien mieć ten klaster. Klaster ma jeden sterownik Spark i num_workers funkcje wykonawcze dla łącznie num_workers + 1 węzłów Spark. |
permissions |
Sequence | Uprawnienia klastra. Zobacz uprawnienia. |
policy_id |
String | Identyfikator zasad klastra użytych do utworzenia klastra, jeśli ma to zastosowanie. |
remote_disk_throughput |
Integer | Przepływność dysku zdalnego w bajtach na sekundę. Dodano w Databricks CLI w wersji 0.257.0 |
runtime_engine |
String | Określa aparat środowiska uruchomieniowego klastra, albo STANDARD, albo PHOTON. |
single_user_name |
String | Nazwa pojedynczego użytkownika, jeśli dane*security_mode to SINGLE_USER. |
spark_conf |
Map | Obiekt zawierający zestaw opcjonalnych par klucz-wartość konfiguracji Spark określonych przez użytkownika. Użytkownicy mogą również przekazać ciąg dodatkowych opcji JVM do sterownika i funkcji wykonawczych odpowiednio za pośrednictwem spark.driver.extraJavaOptions i spark.executor.extraJavaOptions . |
spark_env_vars |
Map | Obiekt zawierający zestaw opcjonalnych par klucz-wartość zmiennej środowiskowej określonej przez użytkownika. |
spark_version |
String | Wersja Spark używana w klastrze, np. 3.3.x-scala2.11. Listę dostępnych wersji platformy Spark można pobrać przy użyciu interfejsu API list dostępnych wersji platformy Spark. |
ssh_public_keys |
Sequence | Zawartość klucza publicznego SSH, która zostanie dodana do każdego węzła Spark w tym klastrze. Odpowiednie klucze prywatne mogą służyć do logowania się przy użyciu nazwy ubuntu użytkownika na porcie 2200. Można określić maksymalnie 10 kluczy. |
total_initial_remote_disk_size |
Integer | Jeśli jest ustawiony, jaki powinien być całkowity początkowy rozmiar woluminu (w GB) zdalnych dysków. Obsługiwane dla GCP. Dodano w Databricks CLI w wersji 0.257.0 |
use_ml_runtime |
logiczny | To pole może być używane tylko wtedy, gdy kind = CLASSIC_PREVIEW.
effective_spark_version jest określane przez spark_version (Databricks Runtime release), to pole use_ml_runtimeoraz czy node_type_id jest węzłem GPU, czy nie.Dodano w Databricks CLI wersja 0.237.0 |
worker_node_type_flexibility |
Map | Elastyczna konfiguracja typu węzła dla węzłów roboczych. Zobacz cluster.worker_node_type_flexibility. Dodano w Databricks CLI w wersji 0.285.0 |
workload_type |
Map | Atrybuty klastra wyświetlane dla typów obciążeń klastrów. Zobacz workload_type. |
cluster.libraries
Type: Sequence
Lista bibliotek do zainstalowania na klastrze. Zainstalowane przez API Libraries po utworzeniu klastra.
Dodano w Databricks CLI w wersji 1.19.0
Każdy element na liście to Library:
| Key | Typ | Description |
|---|---|---|
cran |
Map | Specyfikacja biblioteki CRAN do zainstalowania jako część biblioteki. Dodano w Databricks CLI w wersji 0.229.0 |
jar |
String | Identyfikator URI biblioteki JAR do zainstalowania. Obsługiwane URI obejmują ścieżki Workspace, ścieżki Unity Catalog Volumes oraz URI S3. Na przykład: { "jar": "/Workspace/path/to/library.jar" }, { "jar" : "/Volumes/path/to/library.jar" }lub { "jar": "s3://my-bucket/library.jar" }. Jeśli używasz S3, upewnij się, że klaster ma dostęp do odczytu w bibliotece. Może być konieczne uruchomienie klastra z rolą IAM, aby uzyskać dostęp do URI S3.Dodano w Databricks CLI w wersji 0.229.0 |
maven |
Map | Specyfikacja biblioteki Maven do zainstalowania. Przykład: { "coordinates": "org.jsoup:jsoup:1.7.2" }.Dodano w Databricks CLI w wersji 0.229.0 |
pypi |
Map | Specyfikacja biblioteki PyPI do zainstalowania. Przykład: { "package": "simplejson" }.Dodano w Databricks CLI w wersji 0.229.0 |
requirements |
String | Identyfikator URI pliku requirements.txt do zainstalowania. Obsługiwane są tylko ścieżki obszaru roboczego i ścieżki woluminów wykazu aparatu Unity. Na przykład: { "requirements": "/Workspace/path/to/requirements.txt" } lub { "requirements" : "/Volumes/path/to/requirements.txt" }.Dodano w Databricks CLI w wersji 0.229.0 |
whl |
String | Identyfikator URI biblioteki wheel do zainstalowania. Obsługiwane URI obejmują ścieżki Workspace, ścieżki Unity Catalog Volumes oraz URI S3. Na przykład: { "whl": "/Workspace/path/to/library.whl" }, { "whl" : "/Volumes/path/to/library.whl" }lub { "whl": "s3://my-bucket/library.whl" }. Jeśli używasz S3, upewnij się, że klaster ma dostęp do odczytu w bibliotece. Może być konieczne uruchomienie klastra z rolą IAM, aby uzyskać dostęp do URI S3.Dodano w Databricks CLI w wersji 0.229.0 |
cluster.autoscale
Type: Map
Parametry automatycznego skalowania klastrów w górę i w dół na podstawie obciążenia.
| Key | Typ | Description |
|---|---|---|
min_workers |
Integer | Minimalna liczba procesów roboczych, do których klaster może być skalowany w dół, gdy nie jest wykorzystywana. Jest to również początkowa liczba procesów roboczych, które klaster będzie miał po utworzeniu. |
max_workers |
Integer | Maksymalna liczba procesów roboczych, do których klaster może być skalowany w górę po przeciążeniu.
max_workers musi być ściśle większe niż min_workers. |
cluster.aws_attributes
Type: Map
Atrybuty związane z klastrami uruchomionymi w usługach Amazon Web Services.
| Key | Typ | Description |
|---|---|---|
zone_id |
String | Identyfikator strefy dostępności/centrum danych, w którym znajduje się klaster. Ten ciąg będzie mieć postać taką jak us-west-2a. |
availability |
String | Typ dostępności używany dla wszystkich kolejnych węzłów obok first_on_demand tych. Prawidłowe wartości to SPOT, , ON_DEMANDSPOT_WITH_FALLBACK. Jeśli first_on_demand wynosi zero, ten typ dostępności jest używany dla całego klastra. |
spot_bid_price_percent |
Integer | Maksymalna cena instancji typu spot na platformie AWS wyrażona jako procent ceny dla instancji na żądanie odpowiadającego typu. |
instance_profile_arn |
String | Węzły dla tego klastra będą umieszczane tylko na wystąpieniach AWS z tym profilem wystąpienia. |
first_on_demand |
Integer | Pierwsze węzły first_on_demand klastra zostaną umieszczone na instancjach na żądanie. Ta wartość powinna być większa niż 0, aby upewnić się, że węzeł sterownika klastra zostanie umieszczony w instancji na żądanie. |
ebs_volume_type |
String | Typ woluminów EBS, które będą uruchomione wraz z tym klastrem. Prawidłowe wartości to GENERAL_PURPOSE_SSD lub THROUGHPUT_OPTIMIZED_HDD. |
ebs_volume_count |
Integer | Liczba uruchomionych woluminów dla każdego wystąpienia. |
ebs_volume_size |
Integer | Rozmiar każdego woluminu EBS (w GiB) przydzielony dla każdego wystąpienia. |
ebs_volume_iops |
Integer | Liczba operacji we/wy na sekundę na wolumin GPS GP3. |
ebs_volume_throughput |
Integer | Przepustowość na wolumin EBS gp3, w MiB na sekundę. |
cluster.azure_attributes
Type: Map
Atrybuty związane z klastrami uruchomionymi w Microsoft Azure.
| Key | Typ | Description |
|---|---|---|
first_on_demand |
Integer | Pierwsze węzły first_on_demand klastra zostaną umieszczone na instancjach na żądanie. |
availability |
String | Typ dostępności używany dla wszystkich kolejnych węzłów obok first_on_demand tych. Prawidłowe wartości to SPOT_AZURE, , ON_DEMAND_AZURESPOT_WITH_FALLBACK_AZURE. Jeśli first_on_demand wynosi zero, ten typ dostępności jest używany dla całego klastra. |
spot_bid_max_price |
Number | Maksymalna cena wystąpień typu spot Azure. Użyj -1, aby określić najniższą cenę. |
capacity_reservation_group |
String | Identyfikator grupy rezerwacji zdolności Azure do uruchamiania maszyn wirtualnych, w formacie /subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.Compute/capacityReservationGroups/{capacityReservationGroupName}. Gdy jest to wskazane, maszyny wirtualne są uruchamiane z wykorzystaniem zapewnionej rezerwacji pojemności.Rezerwacje pojemności mogą być określone tylko wtedy, gdy przestrzeń robocza korzysta z wtryskiwanego VNetu (VNet definiowanego przez klienta, niezarządzanego przez Databricks). Aplikacja Enterprise musi otrzymać databricks-login-prod następujące cztery uprawnienia: Microsoft.Compute/capacityReservationGroups/read, Microsoft.Compute/capacityReservationGroups/deploy/action, , Microsoft.Compute/capacityReservationGroups/capacityReservations/readoraz Microsoft.Compute/capacityReservationGroups/capacityReservations/deploy/action.Dodano w Databricks CLI w wersji 1.5.0 |
log_analytics_info |
Map | Konfiguracja agenta Azure Log Analytics. Zobacz log_analytics_info. |
cluster.azure_attributes.log_analytics_info
Type: Map
Konfiguracja agenta Azure Log Analytics.
| Key | Typ | Description |
|---|---|---|
log_analytics_workspace_id |
String | Identyfikator obszaru roboczego Azure Log Analytics. |
log_analytics_primary_key |
String | Klucz podstawowy dla obszaru roboczego Azure Log Analytics. |
cluster.gcp_attributes
Type: Map
Atrybuty związane z klastrami uruchomionymi na platformie Google Cloud Platform.
| Key | Typ | Description |
|---|---|---|
use_preemptible_executors |
logiczny | Czy używać wywłaszczalnych egzekutorów. Wywłaszczalne wykonawce to wywłaszczalne wystąpienia GCE, które mogą zostać odzyskane przez GCE w dowolnym momencie. |
google_service_account |
String | Konto usługi Google, które ma być użyte przez instancje maszyn wirtualnych klastra Databricks. |
local_ssd_count |
Integer | Liczba lokalnych dysków SSD do dołączenia do każdego węzła w klastrze. Domyślna wartość to 0. |
zone_id |
String | Identyfikator strefy dostępności/centrum danych, w którym znajduje się klaster. |
availability |
String | Określa, czy wykonawcy Spark są zaplanowane do działania na maszynach wirtualnych z wyłączeniem (preemptable), VM na żądanie lub na maszynach z możliwością przejęcia na żądanie, jeśli ta pierwsza jest niedostępna. Prawidłowe wartości to PREEMPTIBLE_GCP, , ON_DEMAND_GCPPREEMPTIBLE_WITH_FALLBACK_GCP. |
boot_disk_size |
Integer | Rozmiar dysku rozruchowego w GB. Wartości zazwyczaj wahają się od 100 do 1000. |
cluster.cluster_log_conf
Konfiguracja dostarczania dzienników Spark do miejsca długoterminowego przechowywania.
| Key | Typ | Description |
|---|---|---|
dbfs |
Map | Lokalizacja systemu plików DBFS na potrzeby dostarczania dziennika klastra. Zobacz dbfs. |
s3 |
Map | Lokalizacja S3 dla dostarczania logów klastra. Zobacz s3. |
volumes |
Map | Lokalizacja woluminów na potrzeby dostarczania dziennika klastra. Zobacz woluminy. |
cluster.cluster_log_conf.dbfs
Type: Map
Lokalizacja systemu plików DBFS na potrzeby dostarczania dziennika klastra.
| Key | Typ | Description |
|---|---|---|
destination |
String | Ścieżka DBFS do dostarczenia dziennika klastra (na przykład dbfs:/cluster-logs). |
cluster.cluster_log_conf.s3
Type: Map
Lokalizacja S3 dla dostarczania logów klastra.
| Key | Typ | Description |
|---|---|---|
destination |
String | Identyfikator URI S3 na potrzeby dostarczania dziennika klastra (na przykład s3://my-bucket/cluster-logs). |
region |
String | Region AWS kubełka S3. |
endpoint |
String | Adres URL punktu końcowego S3 (opcjonalnie). |
enable_encryption |
logiczny | Czy włączyć szyfrowanie dzienników klastra. |
encryption_type |
String | Typ szyfrowania. Prawidłowe wartości to SSE_S3, SSE_KMS. |
kms_key |
String | ARN klucza KMS do szyfrowania (w przypadku korzystania z SSE_KMS). |
canned_acl |
String | Predefiniowana lista ACL do zastosowania w dziennikach klastra. |
cluster.cluster_log_conf. tomy
Type: Map
Lokalizacja woluminów na potrzeby dostarczania dziennika klastra.
| Key | Typ | Description |
|---|---|---|
destination |
String | Ścieżka woluminu do dostarczenia logów klastra (na przykład /Volumes/catalog/schema/volume/cluster_log). |
cluster.docker_image
Type: Map
Niestandardowa konfiguracja obrazu platformy Docker.
| Key | Typ | Description |
|---|---|---|
url |
String | Adres URL obrazu platformy Docker. |
basic_auth |
Map | Uwierzytelnianie podstawowe dla repozytorium platformy Docker. Zobacz basic_auth. |
cluster.docker_image.basic_auth
Type: Map
Uwierzytelnianie podstawowe dla repozytorium platformy Docker.
| Key | Typ | Description |
|---|---|---|
username |
String | Nazwa użytkownika do uwierzytelniania w rejestrze Docker. |
password |
String | Hasło do uwierzytelniania rejestru platformy Docker. |
cluster.init_scripts
Type: Map
Konfiguracja przechowywania skryptów inicjowania. Należy określić co najmniej jeden typ lokalizacji.
| Key | Typ | Description |
|---|---|---|
dbfs |
Map | Lokalizacja skryptu inicjalizacyjnego DBFS. Zobacz dbfs. |
workspace |
Map | Lokalizacja obszaru roboczego skryptu inicjowania. Zobacz obszar roboczy. |
s3 |
Map | Lokalizacja S3 skryptu inicjalizującego. Zobacz s3. |
abfss |
Map | Lokalizacja skryptu inicjalizacyjnego ABFSS. Zobacz abfss. |
gcs |
Map | Lokalizacja GCS skryptu inicjalizacyjnego. Zobacz gcs. |
volumes |
Map | Lokalizacja woluminów wykazu aparatu Unity skryptu inicjowania. Zobacz woluminy. |
cluster.init_scripts.dbfs
Type: Map
Lokalizacja skryptu inicjalizacyjnego DBFS.
| Key | Typ | Description |
|---|---|---|
destination |
String | Ścieżka DBFS skryptu inicjalizacji. |
cluster.init_scripts.workspace
Type: Map
Lokalizacja obszaru roboczego skryptu inicjowania.
| Key | Typ | Description |
|---|---|---|
destination |
String | Ścieżka obszaru roboczego skryptu inicjowania. |
cluster.init_scripts.s3
Type: Map
Lokalizacja S3 skryptu inicjalizującego.
| Key | Typ | Description |
|---|---|---|
destination |
String | Identyfikator URI S3 skryptu inicjalizacyjnego. |
region |
String | Region AWS kubełka S3. |
endpoint |
String | Adres URL punktu końcowego S3 (opcjonalnie). |
cluster.init_scripts.abfss
Type: Map
Lokalizacja skryptu inicjalizacyjnego ABFSS.
| Key | Typ | Description |
|---|---|---|
destination |
String | Ścieżka ABFSS skryptu inicjalizacyjnego. |
cluster.init_scripts.gcs
Type: Map
Lokalizacja GCS skryptu inicjalizacyjnego.
| Key | Typ | Description |
|---|---|---|
destination |
String | Ścieżka GCS skryptu inicjalizacji. |
cluster.init_scripts. Tomy
Type: Map
Lokalizacja woluminów skryptu init.
| Key | Typ | Description |
|---|---|---|
destination |
String | Ścieżka woluminów wykazu aparatu Unity skryptu inicjowania. |
cluster.driver_node_type_flexibility
Type: Map
Elastyczna konfiguracja typu węzła dla węzła sterownika.
Dodano w Databricks CLI w wersji 0.285.0
| Key | Typ | Description |
|---|---|---|
alternate_node_type_ids |
Sequence | Lista identyfikatorów typu węzła, które mają być używane jako rezerwowe, gdy typ węzła podstawowego jest niedostępny. Dodano w Databricks CLI w wersji 0.285.0 |
aws_context_id |
String | Kontekstowy identyfikator AWS dla floty EC2. Po ustawieniu (niepusty), wartość jest przekazywana do AWS CreateFleet API, aby utworzyć flotę EC2. Dodano w Databricks CLI w wersji 1.16.0 |
cluster.worker_node_type_flexibility
Type: Map
Elastyczna konfiguracja typu węzła dla węzłów roboczych.
Dodano w Databricks CLI w wersji 0.285.0
| Key | Typ | Description |
|---|---|---|
alternate_node_type_ids |
Sequence | Lista identyfikatorów typu węzła, które mają być używane jako rezerwowe, gdy typ węzła podstawowego jest niedostępny. Dodano w Databricks CLI w wersji 0.285.0 |
aws_context_id |
String | Kontekstowy identyfikator AWS dla floty EC2. Po ustawieniu (niepusty), wartość jest przekazywana do AWS CreateFleet API, aby utworzyć flotę EC2. Dodano w Databricks CLI w wersji 1.16.0 |
cluster.workload_type
Type: Map
Atrybuty klastra przedstawiające typy obciążeń klastra.
| Key | Typ | Description |
|---|---|---|
clients |
Map | Określa, jakiego typu klienci mogą używać klastra. Zobacz klienci. |
cluster.workload_type.klienci
Type: Map
Typ klientów dla tego obciążenia obliczeniowego.
| Key | Typ | Description |
|---|---|---|
jobs |
logiczny | Czy klaster może obsługiwać zadania? |
notebooks |
logiczny | Czy klaster może uruchamiać notebooki. |
Examples
Poniższy przykład tworzy dedykowany (pojedynczy użytkownik) klaster dla bieżącego użytkownika z usługą Databricks Runtime 15.4 LTS i zasadami klastra:
resources:
clusters:
my_cluster:
num_workers: 0
node_type_id: 'i3.xlarge'
driver_node_type_id: 'i3.xlarge'
spark_version: '15.4.x-scala2.12'
spark_conf:
'spark.executor.memory': '2g'
autotermination_minutes: 60
enable_elastic_disk: true
single_user_name: ${workspace.current_user.userName}
policy_id: '000128DB309672CA'
enable_local_disk_encryption: false
data_security_mode: SINGLE_USER
runtime_engine: STANDARD
W tym przykładzie tworzony jest prosty klaster my_cluster i jest on ustawiany jako klaster do uruchomienia notatnika w my_job.
bundle:
name: clusters
resources:
clusters:
my_cluster:
num_workers: 2
node_type_id: 'i3.xlarge'
autoscale:
min_workers: 2
max_workers: 7
spark_version: '13.3.x-scala2.12'
spark_conf:
'spark.executor.memory': '2g'
jobs:
my_job:
tasks:
- task_key: test_task
notebook_task:
notebook_path: './src/my_notebook.py'
existing_cluster_id: ${resources.clusters.my_cluster.id}
cluster_policy
Type: Map
Zasób polityki klastra definiuje politykę klastra , która ogranicza możliwość konfigurowania klastrów na podstawie zestawu reguł.
Polityki klastrów są obsługiwane w Python dla pakietów deklaratywnej automatyzacji. Zobacz databricks.bundles.cluster_policies.
Note
Używanie Deklarative Automation Bundles do definiowania polityk klastrowych jest obsługiwane tylko wtedy, gdy korzystasz z silnika bezpośredniego wdrożenia.
Dodano w Databricks CLI w wersji 1.14.0
cluster_policies:
<cluster_policy-name>:
<cluster_policy-field-name>: <cluster_policy-field-value>
| Key | Typ | Description |
|---|---|---|
definition |
String | Dokument definicji polityki wyrażony w języku Databricks Cluster Policy Definition Language. Dodano w Databricks CLI w wersji 1.14.0 |
description |
String | Dodatkowy czytelny dla człowieka opis zasad klastra. Dodano w Databricks CLI w wersji 1.14.0 |
libraries |
Sequence | Lista bibliotek do zainstalowania przy kolejnym restarcie klastra korzystającym z tej polityki. Maksymalna liczba bibliotek to 500. Zobacz cluster_policy.biblioteki. Dodano w Databricks CLI w wersji 1.14.0 |
lifecycle |
Map | Zawiera ustawienia cyklu życia zasobu. Steruje zachowaniem zasobu podczas wdrażania lub zniszczenia. Zobacz cykl życia. Dodano w Databricks CLI w wersji 1.14.0 |
max_clusters_per_user |
Integer | Maksymalna liczba klastrów na użytkownika, które mogą być aktywne przy użyciu tych zasad. Jeśli nie ma ich obecnego, nie ma maksymalnego limitu. Dodano w Databricks CLI w wersji 1.14.0 |
name |
String | Nazwa zasad klastra żądana przez użytkownika. To musi być coś wyjątkowego. Długość musi zawierać się od 1 do 100 znaków. Dodano w Databricks CLI w wersji 1.14.0 |
permissions |
Sequence | Uprawnienia polityki klastra. Polityki klastrów obsługują CAN_USE tylko poziom uprawnień. Zobacz uprawnienia.Dodano w Databricks CLI w wersji 1.14.0 |
policy_family_definition_overrides |
String | Definicja polityki Dokument JSON wyrażony w języku definicji polityk Databricks. Dokument JSON musi być przekazany jako ciąg i nie może być osadzony w żądaniach. Możesz użyć tego do personalizacji definicji polisy odziedziczonej z rodziny polis. Zasady polityki opisane tutaj zostały włączone do definicji polityki dziedzicznej. Dodano w Databricks CLI w wersji 1.14.0 |
policy_family_id |
String | Identyfikator rodziny polityk. Definicja polityki klastra dziedziczy definicję polityki rodziny polityk. Nie można używać z definition. Zamiast tego użyj do policy_family_definition_overrides dostosowania definicji polityki.Dodano w Databricks CLI w wersji 1.14.0 |
cluster_policy. biblioteki
Type: Sequence
Lista bibliotek do zainstalowania przy kolejnym restarcie klastra korzystającym z tej polityki. Maksymalna liczba bibliotek to 500.
Każdy element na liście to Library:
| Key | Typ | Description |
|---|---|---|
cran |
Map | Specyfikacja biblioteki CRAN do zainstalowania jako część biblioteki. Dodano w Databricks CLI w wersji 0.229.0 |
jar |
String | Identyfikator URI biblioteki JAR do zainstalowania. Obsługiwane URI obejmują ścieżki Workspace, ścieżki Unity Catalog Volumes oraz URI S3. Na przykład: { "jar": "/Workspace/path/to/library.jar" }, { "jar" : "/Volumes/path/to/library.jar" }lub { "jar": "s3://my-bucket/library.jar" }. Jeśli używasz S3, upewnij się, że klaster ma dostęp do odczytu w bibliotece. Może być konieczne uruchomienie klastra z rolą IAM, aby uzyskać dostęp do URI S3.Dodano w Databricks CLI w wersji 0.229.0 |
maven |
Map | Specyfikacja biblioteki Maven do zainstalowania. Przykład: { "coordinates": "org.jsoup:jsoup:1.7.2" }.Dodano w Databricks CLI w wersji 0.229.0 |
pypi |
Map | Specyfikacja biblioteki PyPI do zainstalowania. Przykład: { "package": "simplejson" }.Dodano w Databricks CLI w wersji 0.229.0 |
requirements |
String | Identyfikator URI pliku requirements.txt do zainstalowania. Obsługiwane są tylko ścieżki obszaru roboczego i ścieżki woluminów wykazu aparatu Unity. Na przykład: { "requirements": "/Workspace/path/to/requirements.txt" } lub { "requirements" : "/Volumes/path/to/requirements.txt" }.Dodano w Databricks CLI w wersji 0.229.0 |
whl |
String | Identyfikator URI biblioteki wheel do zainstalowania. Obsługiwane URI obejmują ścieżki Workspace, ścieżki Unity Catalog Volumes oraz URI S3. Na przykład: { "whl": "/Workspace/path/to/library.whl" }, { "whl" : "/Volumes/path/to/library.whl" }lub { "whl": "s3://my-bucket/library.whl" }. Jeśli używasz S3, upewnij się, że klaster ma dostęp do odczytu w bibliotece. Może być konieczne uruchomienie klastra z rolą IAM, aby uzyskać dostęp do URI S3.Dodano w Databricks CLI w wersji 0.229.0 |
Example
Poniższy przykład definiuje politykę klastra i udziela grupie prawa do jej użycia:
# databricks.yml
bundle:
name: cluster-policies-example
engine: direct # Cluster policies require the direct deployment engine
resources:
cluster_policies:
my_policy:
name: my-cluster-policy
description: Standard policy for team clusters
max_clusters_per_user: 5
definition: |
{
"spark_version": {
"type": "fixed",
"value": "15.4.x-scala2.12"
},
"autotermination_minutes": {
"type": "range",
"maxValue": 120
}
}
permissions:
- level: CAN_USE
group_name: data-engineers
Pulpit
Type: Map
Zasób umożliwia zarządzanie dashboardami AI/BI w pakiecie. Aby uzyskać informacje na temat pulpitów nawigacyjnych AI/BI, zobacz Dashboards.
Dashboardy są obsługiwane w Python dla pakietów automatyki deklaratywnej. Zobacz databricks.bundles.dashboards.
Jeśli wdrożono pakiet zawierający pulpit nawigacyjny ze środowiska lokalnego, a następnie użyjesz interfejsu użytkownika do zmodyfikowania tego pulpitu nawigacyjnego, modyfikacje wprowadzone za pośrednictwem interfejsu użytkownika nie zostaną zastosowane do pliku JSON pulpitu nawigacyjnego w pakiecie lokalnym, chyba że jawnie zaktualizujesz go przy użyciu polecenia bundle generate. Możesz użyć opcji --watch, aby stale sprawdzać zmiany i pobierać je z pulpitu nawigacyjnego. Zobacz generowanie pakietu usługi databricks.
Ponadto w przypadku próby wdrożenia pakietu ze środowiska lokalnego zawierającego plik JSON pulpitu nawigacyjnego, który różni się od tego w zdalnym obszarze roboczym, wystąpi błąd. Aby wymusić wdrożenie i zastąpienie pulpitu nawigacyjnego w zdalnym obszarze roboczym jego lokalną wersją, użyj opcji --force. Zobacz wdrażanie pakietu usługi databricks.
Dodano w Databricks CLI w wersji 0.232.0
Note
W przypadku korzystania z pakietów deklaratywnej automatyzacji z obsługą pulpitu nawigacyjnego Git zapobiegaj generowaniu zduplikowanych pulpitów nawigacyjnych przez dodanie mapowania synchronizacji w celu wykluczenia pulpitów nawigacyjnych z synchronizacji jako plików:
sync:
exclude:
- src/*.lvdash.json
dashboards:
<dashboard-name>:
<dashboard-field-name>: <dashboard-field-value>
| Key | Typ | Description |
|---|---|---|
dataset_catalog |
String | Domyślna wartość wykazu używana przez wszystkie zestawy danych na pulpicie nawigacyjnym, jeśli nie określono inaczej w zapytaniu. Na przykład konfiguracja, która ustawia to pole, zobacz Katalog pulpitów nawigacyjnych i parametryzacja schematu. Dodano w Databricks CLI w wersji 0.283.0 |
dataset_schema |
String | Domyślna wartość schematu używana przez wszystkie zestawy danych na pulpicie nawigacyjnym, jeśli nie określono inaczej w zapytaniu. Na przykład konfiguracja, która ustawia to pole, zobacz Katalog pulpitów nawigacyjnych i parametryzacja schematu. Dodano w Databricks CLI w wersji 0.283.0 |
display_name |
String | Nazwa pulpitu nawigacyjnego. Dodano w Databricks CLI w wersji 0.232.0 |
embed_credentials |
logiczny | Określa, czy poświadczenia tożsamości wdrożenia pakietu są używane do wykonywania zapytań dla wszystkich osób przeglądających pulpit nawigacyjny. Jeśli ustawiona jest wartość false, używane są poświadczenia użytkownika. Domyślna wartość to false.Dodano w Databricks CLI w wersji 0.232.0 |
etag |
String | Etag dla konsoli. Można opcjonalnie podać podczas aktualizacji, aby upewnić się, że pulpit nawigacyjny nie został zmodyfikowany od czasu ostatniego odczytu. Dodano w Databricks CLI w wersji 0.234.0 |
file_path |
String | Lokalna ścieżka zasobu pulpitu nawigacyjnego, w tym nazwa pliku. Wyeksportowane pulpity nawigacyjne zawsze mają rozszerzenie .lvdash.jsonpliku .Dodano w Databricks CLI w wersji 0.232.0 |
lifecycle |
Map | Zawiera ustawienia cyklu życia zasobu. Steruje zachowaniem zasobu podczas wdrażania lub zniszczenia. Zobacz cykl życia. |
parent_path |
String | Ścieżka obszaru roboczego folderu zawierającego pulpit nawigacyjny. Zawiera wiodący ukośnik i bez ukośnika końcowego. Dodano w Databricks CLI w wersji 0.232.0 |
path |
String | Ścieżka obszaru roboczego zasobu pulpitu nawigacyjnego, w tym nazwa zasobu. Dodano w Databricks CLI w wersji 0.234.0 |
permissions |
Sequence | Uprawnienia pulpitu nawigacyjnego. Zobacz uprawnienia. Dodano w Databricks CLI w wersji 0.232.0 |
serialized_dashboard |
Any | Zawartość pulpitu nawigacyjnego w postaci serializowanego ciągu. Dodano w Databricks CLI w wersji 0.232.0 |
warehouse_id |
String | Identyfikator magazynu używany do uruchamiania pulpitu nawigacyjnego. Dodano w Databricks CLI w wersji 0.232.0 |
Example
Na poniższym przykładzie przedstawiono sposób wdrożenia przykładowego pulpitu nawigacyjnego NYC Taxi Trip Analysis w obszarze roboczym usługi Databricks.
resources:
dashboards:
nyc_taxi_trip_analysis:
display_name: 'NYC Taxi Trip Analysis'
file_path: ../src/nyc_taxi_trip_analysis.lvdash.json
warehouse_id: ${var.warehouse_id}
database_catalog
Type: Map
Zasób wykazu baz danych umożliwia definiowanie katalogów baz danych odpowiadających wystąpieniom bazy danych w pakiecie. Wykaz baz danych to baza danych Lakebase zarejestrowana jako wykaz wykazu aparatu Unity.
Dla nowych obciążeń Databricks poleca ten postgres_catalogs zasób.
Katalogi baz danych są obsługiwane w Python dla pakietów automatyzacji deklaratywnej. Zobacz databricks.bundles.database_catalogs.
Aby uzyskać informacje o katalogach baz danych, zobacz Rejestruj bazę danych.
Dodano w Databricks CLI w wersji 0.265.0
database_catalogs:
<database_catalog-name>:
<database_catalog-field-name>: <database_catalog-field-value>
| Key | Typ | Description |
|---|---|---|
create_database_if_not_exists |
logiczny | Czy utworzyć bazę danych, jeśli nie istnieje. Dodano w Databricks CLI w wersji 0.265.0 |
database_instance_name |
String | Nazwa wystąpienia, w ramach których jest używana baza danych. Dodano w Databricks CLI w wersji 0.265.0 |
database_name |
String | Nazwa bazy danych (w danym przypadku) powiązana z katalogiem. Dodano w Databricks CLI w wersji 0.265.0 |
lifecycle |
Map | Zawiera ustawienia cyklu życia zasobu, w tym zachowanie zasobu podczas wdrażania lub zniszczenia. Zobacz cykl życia. Dodano w Databricks CLI w wersji 0.265.0 |
name |
String | Nazwa wykazu w wykazie aparatu Unity. Dodano w Databricks CLI w wersji 0.265.0 |
Example
W poniższym przykładzie zdefiniowano wystąpienie bazy danych z odpowiednim wykazem baz danych:
resources:
database_instances:
my_instance:
name: my-instance
capacity: CU_1
database_catalogs:
my_catalog:
database_instance_name: ${resources.database_instances.my_instance.name}
name: example_catalog
database_name: my_database
create_database_if_not_exists: true
database_instance
Type: Map
Zasób wystąpienia bazy danych umożliwia definiowanie wystąpień bazy danych w pakiecie . Wystąpienie bazy danych usługi Lakebase zarządza zasobami magazynu i zasobów obliczeniowych oraz udostępnia punkty końcowe, z którymi użytkownicy się łączą.
Instancje baz danych są obsługiwane w Python dla pakietów deklaratywnej automatyzacji. Zobacz databricks.bundles.database_instances.
Note
Nowe wystąpienia bazy danych utworzone przez database_instances zasób są teraz tworzone jako projekty skalowania automatycznego w usłudze Lakebase. Aby uzyskać szczegółowe informacje, zobacz Autoskalowanie domyślnie . Do nowych prac Lakebase Databricks poleca postgres_projects ten zasób.
Ważne
Po wdrożeniu pakietu z wystąpieniem bazy danych wystąpienie natychmiast zacznie działać i podlega cenom. Zobacz Cennik usługi Lakebase.
Aby uzyskać informacje na temat wystąpień bazy danych, zobacz Lakebase Provisioned (Aprowizuj obsługę administracyjną usługi Lakebase).
Dodano w Databricks CLI w wersji 0.265.0
database_instances:
<database_instance-name>:
<database_instance-field-name>: <database_instance-field-value>
| Key | Typ | Description |
|---|---|---|
capacity |
String | Jednostka SKU wystąpienia. Prawidłowe wartości to CU_1, CU_2, CU_4, CU_8.Dodano w Databricks CLI w wersji 0.265.0 |
custom_tags |
Sequence | Lista par klucz-wartość określająca tagi niestandardowe skojarzone z wystąpieniem. Dodano w Databricks CLI w wersji 0.273.0 |
enable_pg_native_login |
logiczny | Czy wystąpienie ma włączone natywne logowanie przy użyciu hasła PG. Wartość domyślna to true.Dodano w Databricks CLI w wersji 0.267.0 |
enable_readable_secondaries |
logiczny | Czy umożliwić usługom pomocniczym obsługę ruchu tylko do odczytu. Wartość domyślna to false.Dodano w Databricks CLI w wersji 0.265.0 |
lifecycle |
Map | Zawiera ustawienia cyklu życia zasobu. Steruje zachowaniem zasobu podczas wdrażania lub zniszczenia. Zobacz cykl życia. Dodano w Databricks CLI w wersji 0.268.0 |
name |
String | Nazwa wystąpienia. Jest to unikatowy identyfikator wystąpienia. Dodano w Databricks CLI w wersji 0.265.0 |
node_count |
Integer | Liczba węzłów w wystąpieniu składająca się z 1 podstawowych i 0 lub większej liczby sekund. Wartość domyślna to 1 podstawowy i 0 sekund. Dodano w Databricks CLI w wersji 0.265.0 |
parent_instance_ref |
Map | Odwołanie do wystąpienia nadrzędnego. Jest to dostępne tylko wtedy, gdy wystąpienie jest wystąpieniem podrzędnym. Zobacz wystąpienie nadrzędne. Dodano w Databricks CLI w wersji 0.265.0 |
permissions |
Sequence | Uprawnienia wystąpienia bazy danych. Zobacz uprawnienia. Dodano w Databricks CLI w wersji 0.265.0 |
retention_window_in_days |
Integer | Okno przechowywania dla wystąpienia. Jest to przedział czasu w dniach, dla których są przechowywane dane historyczne. Wartość domyślna to 7 dni. Prawidłowe wartości to od 2 do 35 dni. Dodano w Databricks CLI w wersji 0.265.0 |
stopped |
logiczny | Czy wystąpienie zostało zatrzymane. Dodano w Databricks CLI w wersji 0.265.0 |
usage_policy_id |
String | Żądane zasady użycia bezserwerowe do skojarzenia z wystąpieniem. Dodano w Databricks CLI w wersji 0.273.0 |
database_instance.parent_instance_ref
Type: Map
Odwołanie do wystąpienia nadrzędnego. Jest to dostępne tylko wtedy, gdy wystąpienie jest wystąpieniem podrzędnym.
| Key | Typ | Description |
|---|---|---|
branch_time |
String | Czas tworzenia gałęzi instancji bazy danych ref. W przypadku odwołania do nadrzędnego wystąpienia, jest to moment w czasie na wystąpieniu nadrzędnym, z którego utworzono dane wystąpienie. Dla instancji odwołania podrzędnego jest to moment w czasie, w którym ta instancja została utworzona. |
lsn |
String | Określony przez użytkownika WAL LSN wystąpienia bazy danych referencyjnej. |
name |
String | Nazwa instancji bazy danych "ref". |
Example
W poniższym przykładzie zdefiniowano wystąpienie bazy danych z odpowiednim wykazem baz danych:
resources:
database_instances:
my_instance:
name: my-instance
capacity: CU_1
database_catalogs:
my_catalog:
database_instance_name: ${resources.database_instances.my_instance.name}
name: example_catalog
database_name: my_database
create_database_if_not_exists: true
Przykładowy pakiet, który demonstruje sposób definiowania wystąpienia bazy danych i odpowiedniego wykazu baz danych, zobacz bundle-examples GitHub repozytorium.
eksperyment
Type: Map
Zasób do eksperymentów umożliwia zdefiniowanie eksperymentów MLflow w ramach pakietu. Aby uzyskać informacje na temat eksperymentów MLflow, zobacz Organizowanie przebiegów trenowania za pomocą eksperymentów MLflow.
Eksperymenty są obsługiwane w Python dla pakietów automatyki deklaratywnej. Zobacz databricks.bundles.experiments.
experiments:
<experiment-name>:
<experiment-field-name>: <experiment-field-value>
| Key | Typ | Description |
|---|---|---|
artifact_location |
String | Lokalizacja, w której są przechowywane artefakty eksperymentu. Lokalizacja musi zawierać schemat identyfikatora URI, taki jak dbfs: lub s3:. Aby przechowywać artefakty w woluminie wykazu aparatu Unity (zalecane, wymaga biblioteki MLflow 2.15.0 lub nowszej), użyj ścieżki formularza dbfs:/Volumes/<catalog>/<schema>/<volume>/<path>. Zobacz Tworzenie eksperymentu z obszaru roboczego. |
lifecycle |
Map | Zawiera ustawienia cyklu życia zasobu. Steruje zachowaniem zasobu podczas wdrażania lub zniszczenia. Zobacz cykl życia. Dodano w Databricks CLI w wersji 0.268.0 |
name |
String | Przyjazna nazwa identyfikująca eksperyment. Nazwa eksperymentu musi być ścieżką bezwzględną w obszarze roboczym usługi Databricks, na przykład /Workspace/Users/someone@example.com/my_experiment. |
permissions |
Sequence | Uprawnienia eksperymentu. Zobacz uprawnienia. |
tags |
Sequence | Dodatkowe pary klucz-wartość metadanych. Zobacz tagi. Aby ustawić opis eksperymentu, użyj tagu mlflow.note.content . Aby dołączyć bezserwerowe zasady budżetu, użyj tagu mlflow.workload_creation_policy_id . Zobacz Użycie atrybutów z zasadami użycia bezserwerowymi. |
Example
W poniższym przykładzie zdefiniowano eksperyment, który może wyświetlać wszyscy użytkownicy:
resources:
experiments:
experiment:
name: /Workspace/Users/someone@example.com/my_experiment
permissions:
- level: CAN_READ
group_name: users
tags:
- key: mlflow.note.content
value: MLflow experiment used to track runs
external_location (Katalog Unity)
Type: Map
Zasób lokalizacji zewnętrznej umożliwia definiowanie lokalizacji zewnętrznych (wykazu aparatu Unity) w pakiecie.
Zewnętrzne lokalizacje są obsługiwane w Python dla pakietów deklaratywnej automatyzacji. Zobacz databricks.bundles.external_locations.
Note
Definiowanie lokalizacji zewnętrznych przy użyciu pakietów automatyzacji deklaratywnej jest obsługiwane tylko wtedy, gdy używasz aparatu wdrażania bezpośredniego.
Dodano w Databricks CLI w wersji 0.289.0
external_locations:
<external-location-name>:
<external-location-field-name>: <external-location-field-value>
| Key | Typ | Description |
|---|---|---|
comment |
String | Podany przez użytkownika dowolny tekst opisu lokalizacji zewnętrznej. Dodano w Databricks CLI w wersji 0.289.0 |
credential_name |
String | To jest wymagane. Nazwa poświadczenia magazynu używanego w tej lokalizacji. Dodano w Databricks CLI w wersji 0.289.0 |
enable_file_events |
logiczny | Czy włączyć zdarzenia plików w tej lokalizacji zewnętrznej. Wartość domyślna to true. Rzeczywista zastosowana wartość może się różnić z powodu domyślnych ustawień po stronie serwera. Sprawdź effective_enable_file_events stan skuteczny.Dodano w Databricks CLI w wersji 0.289.0 |
encryption_details |
Map | Opcje szyfrowania stosowane do klientów łączących się z magazynem w chmurze. Zobacz external_location.encryption_details. Dodano w Databricks CLI w wersji 0.289.0 |
fallback |
logiczny | Wskazuje, czy dla tej lokalizacji zewnętrznej jest włączony tryb rezerwowy. Po włączeniu trybu rezerwowego dostęp do lokalizacji powraca do poświadczeń klastra, jeśli poświadczenia wykazu aparatu Unity nie są wystarczające. Dodano w Databricks CLI w wersji 0.289.0 |
file_event_queue |
Map | Ustawienia kolejki zdarzeń pliku dla tej lokalizacji zewnętrznej. Jeśli enable_file_events nie falsejest , ten klucz musi być zdefiniowany i mieć dokładnie jedną z udokumentowanych właściwości. Zobacz external_location.file_event_queue.Dodano w Databricks CLI w wersji 0.289.0 |
grants |
Sequence | Granty skojarzone z lokalizacją zewnętrzną. Zobacz przyznanie. Dodano w Databricks CLI w wersji 0.289.0 |
lifecycle |
Map | Zawiera ustawienia cyklu życia zasobu. Steruje zachowaniem zasobu podczas wdrażania lub zniszczenia. Zobacz cykl życia. Dodano w Databricks CLI w wersji 0.289.0 |
name |
String | To jest wymagane. Nazwa lokalizacji zewnętrznej. Dodano w Databricks CLI w wersji 0.289.0 |
read_only |
logiczny | Wskazuje, czy lokalizacja zewnętrzna jest tylko do odczytu. Dodano w Databricks CLI w wersji 0.289.0 |
skip_validation |
logiczny | Pomija walidację poświadczeń magazynowych skojarzonych z zewnętrzną lokalizacją. Dodano w Databricks CLI w wersji 0.289.0 |
url |
String | To jest wymagane. Adres URL ścieżki lokalizacji zewnętrznej. Dodano w Databricks CLI w wersji 0.289.0 |
external_location.encryption_details
Type: Map
Opcje szyfrowania stosowane do klientów łączących się z magazynem w chmurze.
| Key | Typ | Description |
|---|---|---|
sse_encryption_details |
Map | Właściwości szyfrowania po stronie serwera dla klientów komunikujących się z usługą Amazon S3. |
external_location.file_event_queue
Type: Map
Ustawienia kolejki zdarzeń pliku dla tej lokalizacji zewnętrznej.
| Key | Typ | Description |
|---|---|---|
managed_aqs |
Map | Ustawienia zarządzane Azure Queue Storage. |
managed_pubsub |
Map | Ustawienia zarządzanego pubu/podrzędnego usługi Google Cloud. |
managed_sqs |
Map | Zarządzane ustawienia usługi Amazon SQS. |
provided_aqs |
Map | Ustawienia Azure Queue Storage udostępniane przez użytkownika. |
provided_pubsub |
Map | Ustawienia usługi Google Cloud Pub/Sub udostępniane przez użytkownika. |
provided_sqs |
Map | Ustawienia usługi Amazon SQS udostępniane przez użytkownika. |
Example
# databricks.yml
bundle:
name: external-locations-example
engine: direct # External locations require the direct deployment engine
resources:
external_locations:
my_external_location:
name: my_external_location
url: 's3://my-bucket/my-path'
credential_name: my_storage_credential
comment: 'External location created by Declarative Automation Bundles'
grants:
- principal: someone@example.com
privileges:
- CREATE_EXTERNAL_TABLE
- READ_FILES
Cechy
Type: Map
Zasób cech pozwala definiować widoki cech w pakiecie. Widok cech deklaruje, jak cecha jest obliczana ze źródła danych. Aby uzyskać informacje o widokach cech, zobacz Widoki cech.
Widok cech to tylko definicja. Nie oblicza nic, dopóki materialization_set nie nazwie tego imienia. Aby obejrzeć samouczek definiujący widoki cech i je materializując, zobacz Zarządzanie widokami cech za pomocą pakietów automatyzacji deklaratywnej.
Funkcje są obsługiwane w Python dla pakietów deklaratywnej automatyzacji. Zobacz databricks.bundles.features.
Note
Ten zasób wymaga silnika wdrożenia bezpośredniego. Zobacz Kompatybilność zasobów.
Dodano w Databricks CLI w wersji 1.22.0
features:
<feature-name>:
<feature-field-name>: <feature-field-value>
| Key | Typ | Description |
|---|---|---|
description |
String | Opis widoku cech. To jedyne pole, które można zmienić bez ponownego tworzenia widoku cech. Dodano w Databricks CLI w wersji 1.22.0 |
entities |
Sequence | Kolumny encji, na których przypisywana jest cecha. Wartości cech są generowane dla każdej odrębnej kombinacji tych kolumn. Nie ustawione dla widoku cech na .request_source Zobacz feature.entities.Dodano w Databricks CLI w wersji 1.22.0 |
full_name |
String | To jest wymagane. Trzypoziomowa nazwa Katalogu Unity widoku cech, w formie <catalog-name>.<schema-name>.<feature-name>.Dodano w Databricks CLI w wersji 1.22.0 |
function |
Map | To jest wymagane. Obliczenie, które generuje wartość cechy. Zobacz feature.function. Dodano w Databricks CLI w wersji 1.22.0 |
lifecycle |
Map | Zawiera ustawienia cyklu życia zasobu. Steruje zachowaniem zasobu podczas wdrażania lub zniszczenia. Zobacz cykl życia. Dodano w Databricks CLI w wersji 1.22.0 |
lineage_context |
Map | Kontekst zapisany względem widoku cech dla pochodzenia. Akceptowane podczas zapisu i nie zwracane podczas odczytu. Dodano w Databricks CLI w wersji 1.22.0 |
source |
Map | To jest wymagane. Dane, na podstawie których obliczana jest cecha. Zobacz feature.source. Dodano w Databricks CLI w wersji 1.22.0 |
timeseries_column |
Map | Kolumna źródłowa, która porządkuje wiersze w czasie. Wymagane dla agregacji czasowych i nie ustawione dla widoku cech na .request_source Zobacz feature.timeseries_column.Dodano w Databricks CLI w wersji 1.22.0 |
cechy.encje
Type: Sequence
Kolumny encji, na których przypisywana jest cecha.
Dodano w Databricks CLI w wersji 1.22.0
Każdy element na liście ma następujący klucz:
| Key | Typ | Description |
|---|---|---|
name |
String | To jest wymagane. Nazwa kolumny podmiotu. Dla źródła Kafki lub Strumienia zaadresuj pole w kluczu lub wartości rekordu za pomocą notacji kropkowej, na przykład value.user_id lub key.partition_key. Dla pola zagnieżdżonego zmaterializowane tabele zawierają nazwę liścia, na przykład user_id dla value.trip_details.user_id, i jest to nazwa używana podczas zapytania. Notacja dwukropkowa, taka jak value:user_id, jest obsługiwana ze względu na kompatybilność wsteczną, ale jest wycofana. Zamiast tego używaj notacji kropek.Dodano w Databricks CLI w wersji 1.22.0 |
funkcja.cecha
Type: Map
Obliczenie, które generuje wartość cechy. Ustaw dokładnie jeden typ funkcji.
Dodano w Databricks CLI w wersji 1.22.0
| Key | Typ | Description |
|---|---|---|
aggregation_function |
Map | Agregacja w określonym oknie czasowym. Przyjmuje jeden z approx_count_distinct, approx_percentile, avg, firstmaxmincount_functionsumlaststddev_popvar_popstddev_samplub var_samp, razem z , rollingtime_windowtumbling, sliding, lub .sawtooth Czas trwania okna znajdziesz w sekcji Określanie czasu trwania okna, źródła lub funkcji.Dodano w Databricks CLI w wersji 1.22.0 |
column_selection |
Map | Najnowsza wartość pojedynczej kolumny źródłowej na klucz encji, bez agregacji. Przyjmuje wymaganą column, nazwę kolumny źródłowej. Funkcja pojawia się tylko w sklepach column_selection internetowych. Zobacz materializację ColumnSelection.Dodano w Databricks CLI w wersji 1.22.0 |
custom_udf |
Map | (Podgląd prywatny) Funkcja zdefiniowana przez użytkownika w katalogu Unity.
custom_udf Cechy nie można zmaterializować.Dodano w Databricks CLI w wersji 1.22.0 |
feature.source
Type: Map
Dane, na podstawie których obliczany jest widok cech. Ustaw dokładnie jeden typ źródła, opcjonalnie lateness.
Dodano w Databricks CLI w wersji 1.22.0
| Key | Typ | Description |
|---|---|---|
delta_table_source |
Map | Tabela Delta w Katalogu Unity, zidentyfikowana przez full_name. Opcjonalnie przyjmuje filter_condition, transformation_sql, oraz dataframe_schema.
dataframe_schema jest wymagany zawsze, gdy transformation_sql jest ustawiony. Zadeklaruj kolumny klucza i czasu na własnych kolumnach entities widoku cech oraz timeseries_column.Dodano w Databricks CLI w wersji 1.22.0 |
feature_view_source |
Map | (Podgląd prywatny) Inne widoki funkcji, wymienione pod feature_references. Funkcja na tym źródle nie może zostać zmaterializowana.Dodano w Databricks CLI w wersji 1.22.0 |
kafka_source |
Map | Źródło Kafki, identyfikowane przez name, które nazywa konfigurację Kafki do odczytu i może różnić się od nazwy tematu. Opcjonalnie przyjmuje filter_condition. Zadeklaruj kolumny klucza i czasu na własnych polach entities adresujących w widoku cech oraz timeseries_column, w rekordzie z notacją kropkową, taką jak value.user_id.Dodano w Databricks CLI w wersji 1.22.0 |
lateness |
Map | Jak długo czekać na wiersze źródłowe poza kolejnością, jako .settling_delay Nie obsługiwane dla widoku cech z sawtooth oknem. Zobacz Określanie czasu trwania okna, źródła lub funkcji.Dodano w Databricks CLI w wersji 1.22.0 |
request_source |
Map | Dane dostarczane w żądaniu w czasie serwowania, a nie odczytywane z pamięci, opisane przez flat_schema pola typu skalarnego. Funkcja na tym źródle nie może zostać zmaterializowana.Dodano w Databricks CLI w wersji 1.22.0 |
stream_source |
Map | Strumień zarejestrowany w katalogu Unity, zidentyfikowany przez full_name. Opcjonalnie przyjmuje filter_condition. Strumień nie jest zasobem pakietowym. Utwórz go najpierw i odwołaj się do niego po nazwie. Zobacz Konfiguracja strumienia.Dodano w Databricks CLI w wersji 1.22.0 |
feature.timeseries_column
Type: Map
Kolumna źródłowa porządkująca wiersze w czasie, używana do łączenia punktu w czasie, uzupełnień i agregacji.
Dodano w Databricks CLI w wersji 1.22.0
| Key | Typ | Description |
|---|---|---|
name |
String | To jest wymagane. Nazwa kolumny z seriami czasowymi. Dla źródła Kafki lub strumienia, zaadresuj pole w rekordzie notacją kropkową, na przykład .value.event_timestamp Dla pola zagnieżdżonego zmaterializowane tabele zawierają nazwę liścia, na przykład event_timestamp dla value.event_details.event_timestamp, i jest to nazwa używana podczas zapytania. Notacja dwukropkowa, taka jak value:event_timestamp, jest obsługiwana ze względu na kompatybilność wsteczną, ale jest wycofana. Zamiast tego używaj notacji kropek.Dodano w Databricks CLI w wersji 1.22.0 |
Określanie czasu trwania okna, źródła lub funkcji
Type: String
Pole w widoku cech, które trwa określony czas, jest określane jako liczba sekund z s sufiksem, czyli 604800s przez siedem dni. Obejmuje window_durationto , slide_duration, delay, oraz offset na time_window, oraz settling_delay na feature.source.
sawtooth Okno nie obsługuje delay, a widok cech z oknem sawtooth nie obsługuje lateness.
Zmiana widoku funkcji
description to jedyny klucz, który API może zmienić na miejscu. Zmiana innego klucza zastępuje widok cech. Pakiet usuwa go i tworzy nowy, raportując databricks bundle plan akcję jako recreate.
databricks bundle deploy prosi o potwierdzenie przed zastąpieniem lub usunięciem widoku funkcji i nie kontynuuje bez Twojej zgody lub --auto-approve.
Widok cech, w którym zbiór materializacji nadal się materializuje, nie może zostać zastąpiony, ponieważ jego usunięcie jest odrzucane, gdy cechy są zmaterializowane. Aby ją zmienić, usuń jej zmaterializowane cechy z zestawu i wdroż, następnie zmień widok cech, dodaj zmaterializowane cechy z powrotem i wdroż ponownie. Dodanie ich z powrotem zastępuje zbiór, więc każda zmaterializowana cecha w zestawie jest przeliczana.
Example
Poniższy przykład definiuje widok funkcji, który liczy transakcje na użytkownika w ciągu ostatnich siedmiu dni, obliczane codziennie.
YAML
resources:
features:
transaction_count:
full_name: ${var.catalog}.${var.schema}.transaction_count_7d
description: Transactions per user over a trailing seven days
source:
delta_table_source:
full_name: ${var.source_table}
function:
aggregation_function:
count_function:
input: transaction_id
time_window:
sliding:
window_duration: 604800s
slide_duration: 86400s
entities:
- name: user_id
timeseries_column:
name: transaction_time
Python
def load_resources(bundle: Bundle) -> Resources:
resources = Resources()
resources.add_feature(
'transaction_count',
Feature(
full_name='${var.catalog}.${var.schema}.transaction_count_7d',
description='Transactions per user over a trailing seven days',
source=DataSource(
delta_table_source=DeltaTableSource(full_name='${var.source_table}')
),
function=Function(
aggregation_function=AggregationFunction(
count_function=CountFunction(input='transaction_id'),
time_window=TimeWindow(
sliding=SlidingWindow(window_duration='604800s', slide_duration='86400s')
),
)
),
entities=[EntityColumn(name='user_id')],
timeseries_column=TimeseriesColumn(name='transaction_time'),
),
)
return resources
feature_spec
Ważne
Ta funkcja jest dostępna w prywatnej wersji zapoznawczej. Aby ją wypróbować, skontaktuj się z osobą kontaktową usługi Azure Databricks.
Type: Map
Zasób feature_spec pozwala zdefiniować FeatureSpecs w wiązce. A to funkcja Katalogu Unity, która wymienia FeatureSpec cechy do obsługi z punktem końcowym Feature Serving lub do wykorzystania w treningu modelu. Informacje o FeatureSpecs znajdziesz w sekcji Tabele funkcji serwowania.
Aby obsłużyć , FeatureSpeczadeklaruj model_serving_endpoint, którego served_entities wpis jest ustawiony entity_name na .name Samouczek deklarujący oba te elementy znajdziesz w sekcji Widoki funkcji serwowania za pomocą pakietów automatyzacji deklaratywnej.
FeatureSpecs są obsługiwane w Python dla pakietów Deklarative Automation Bundles. Zobacz databricks.bundles.feature_specs.
Note
Ten zasób wymaga silnika wdrożenia bezpośredniego. Zobacz Kompatybilność zasobów.
Dodano w Databricks CLI w wersji 1.26.0
feature_specs:
<feature_spec-name>:
<feature_spec-field-name>: <feature_spec-field-value>
| Key | Typ | Description |
|---|---|---|
exclude_columns |
Sequence | Nazwy kolumn wyjściowe, które należy pominąć w .FeatureSpec Porządek nie ma znaczenia.Dodano w Databricks CLI w wersji 1.26.0 |
extra_pip_requirements |
Map | Dodatkowe wymagania dotyczące pipów do instalacji w pojemniku do serwowania. Zobacz feature_spec.extra_pip_requirements. Dodano w Databricks CLI w wersji 1.26.0 |
features |
Sequence | To jest wymagane. Funkcje, które służy.FeatureSpec Zobacz feature_spec.features.Dodano w Databricks CLI w wersji 1.26.0 |
grants |
Sequence | Dotacje związane z .FeatureSpec A FeatureSpec jest funkcją Unity Catalog, więc uprawnienia to uprawnienia funkcji, takie jak EXECUTE. Zobacz przyznanie.Dodano w Databricks CLI w wersji 1.26.0 |
lifecycle |
Map | Zawiera ustawienia cyklu życia zasobu. Steruje zachowaniem zasobu podczas wdrażania lub zniszczenia. Zobacz cykl życia. Dodano w Databricks CLI w wersji 1.26.0 |
name |
String | To jest wymagane. Trzypoziomowa nazwa FeatureSpeckatalogu Unity , w formie <catalog-name>.<schema-name>.<feature-spec-name>.Dodano w Databricks CLI w wersji 1.26.0 |
feature_spec. cechy
Type: Sequence
Funkcje, które służy.FeatureSpec Każdy wpis ustawia dokładnie jeden z następujących kluczy.
| Key | Typ | Description |
|---|---|---|
declarative_feature |
Map | Widok funkcji do obsługi. Jego jeden klucz, feature, jest wymagany i zawiera trzypoziomową nazwę widoku cechy, na przykład ${resources.features.<feature-name>.full_name}.Dodano w Databricks CLI w wersji 1.26.0 |
feature_function |
Map | Funkcja, którą funkcja zdefiniowana przez użytkownika w Python (UDF) oblicza na podstawie innych funkcji. Zobacz feature_spec.features.feature_function. Dodano w Databricks CLI w wersji 1.26.0 |
feature_lookup |
Map | Wyszukiwanie cech z tabeli cech. Zobacz feature_spec.features.feature_lookup. Dodano w Databricks CLI w wersji 1.26.0 |
feature_spec.features.feature_lookup
Type: Map
Wyszukiwanie cech z tabeli cech.
| Key | Typ | Description |
|---|---|---|
default_values |
Sequence | Domyślne wartości dla cech. Każdy element ma feature wymagany klucz, który nazywa cechę nazwą wyjściową, jeśli zostanie zmieniona, lub jej nazwę w tabeli cech w przeciwnym razie, oraz klucz.default_value Porządek nie ma znaczenia.Dodano w Databricks CLI w wersji 1.26.0 |
feature_names |
Sequence | Nazwy cech do sprawdzenia. Jeśli jest pusty, każda cecha w tabeli jest sprawdzana. Dodano w Databricks CLI w wersji 1.26.0 |
lookback_window |
String | Okno wsteczne dla wyszukiwania w określonym punkcie czasowym, jako czas trwania w sekundach, taki jak 86400s. Wymaga timestamp_lookup_keys.Dodano w Databricks CLI w wersji 1.26.0 |
lookup_keys |
Sequence | To jest wymagane. Klucze do łączenia z tabelą cech. Dodano w Databricks CLI w wersji 1.26.0 |
rename_outputs |
Sequence | Nazwy wypisów dla cech, zamiast ich nazw w tabeli cech. Każdy element ma feature wymagany klucz i wymagany output klucz. Porządek nie ma znaczenia.Dodano w Databricks CLI w wersji 1.26.0 |
table |
String | To jest wymagane. Trzypoziomowa nazwa tabeli cech. Dodano w Databricks CLI w wersji 1.26.0 |
timestamp_lookup_keys |
Sequence | Klucze do wyszukiwania punktu w czasie. Dodano w Databricks CLI w wersji 1.26.0 |
feature_spec.features.feature_function
Type: Map
Cecha, którą Python UDF oblicza na podstawie innych funkcji.
| Key | Typ | Description |
|---|---|---|
input_bindings |
Sequence | Powiązania parametrów UDF z cechami. Każdy element ma parameter wymagany klucz, który nazywa parametr UDF, oraz wymagany bound_feature klucz, który nadaje funkcję z nim powiązaną. Porządek nie ma znaczenia.Dodano w Databricks CLI w wersji 1.26.0 |
output |
String | Nazwa wyjściowa cechy, którą oblicza UDF. Dodano w Databricks CLI w wersji 1.26.0 |
udf |
String | To jest wymagane. Trzypoziomowa nazwa UDF Python. Dodano w Databricks CLI w wersji 1.26.0 |
feature_spec.extra_pip_requirements
Type: Map
Dodatkowe wymagania pip do instalacji w kontenerze serwującym, oprócz domyślnych i tych rozwiązanych przez funkcje.
| Key | Typ | Description |
|---|---|---|
requirements |
Sequence | To jest wymagane. Każdy element jest specyfikatorem pakietu PEP 508 lub ścieżką pliku koła w woluminie Katalogu Unity (/Volumes/...). Porządek nie ma znaczenia.Dodano w Databricks CLI w wersji 1.26.0 |
Zasady, które musi spełniać FeatureSpec
Żądanie tworzenia jest odrzucane, chyba że spełnione są wszystkie następujące warunki:
-
featuresma co najmniej jeden wpis, a każdy wpis ustawia dokładnie jeden zdeclarative_feature,feature_lookup, lubfeature_function. - A
FeatureSpecz wpisami wfeaturesnie ma anifeature_lookupfeature_functionelementów i nie ustawiaexclude_columnsdeclarative_feature. - Każdy widok cechy, który wpis nazywa,
declarative_featurema zmaterializowaną cechę online. W przeciwnym razie tworzenie kończy się niepowodzeniem zNo online materialized feature found for features: <names>. - Zbiór materializacji, który materializuje każdy z tych Widoków Cech, jest tworzony przed .
FeatureSpecReferencja jest uporządkowana${resources.features...}FeatureSpecdopiero po widoku cech, więc gdy zestaw jest w tym samym pakiecie, dodaj dla niego wpis.lifecycle.depends_onWiązka następnie tworzy plikFeatureSpecpo zbiorze i usuwa go przed zestawem. Zobacz cykl życia. - Żaden element w
rename_outputs, nie mainput_bindingsnazwy tej samej cechy lub parametru, żadenrename_outputselement nie zachowuje własnej nazwy cechy, a żadna kolumna nie pojawia się dwukrotnie w .exclude_columnsdefault_values -
extra_pip_requirements.requirements, gdy jest ustawiona, ma co najmniej jeden element.
Gdy widok cech jest materializowany w trybie wsadowym, jego tabela online istnieje dopiero po pierwszym uruchomieniu zbioru materializacji. Punkt końcowy Feature Serding, który obsługuje i FeatureSpec jest wdrażany przed niepowodzeniem tego uruchomienia. Uruchom databricks bundle deploy ponownie po pierwszym uruchomieniu, a wdrożenie ponownie utworzy uszkodzony punkt końcowy.
Zmiana specyfikacji funkcji
Zmiana dowolnego klawisza zastępuje .FeatureSpec Pakiet usuwa go i tworzy nowy, raportując databricks bundle plan akcję jako recreate.
databricks bundle deploy najpierw prosi o potwierdzenie i przyznaje, że FeatureSpec pakiet nie deklaruje straty. Zmiana kolejności exclude_columns, extra_pip_requirements.requirements, lub wpisu default_valuesrename_outputs, lub input_bindings nie jest zmianą. Zmiana kolejności features, czyli feature_lookupfeature_names, lookup_keyslub timestamp_lookup_keys, jest .
Działający punkt końcowy Feature Serving nadal obsługuje funkcje, z którymi został zbudowany, gdy zostanie zastąpiony FeatureSpec , ale zachowuje swoją nazwę. Aby zmienić to, co obsługuje punkt końcowy, nadaj nowemu FeatureSpecname. Punkt końcowy, którego entity_name odwołania się do 'sname, FeatureSpecjest aktualizowany w tym samym wdrożeniu. Dla przykładu roboczym zobacz Zmiana nazwy FeatureSpec.
Usuwanie widoku funkcji, którego nazwa nie FeatureSpec jest zablokowana i pozostawia status nieaktualny FeatureSpec .
Examples
Poniższy przykład definiuje , FeatureSpec który obsługuje dwa widoki cech, oraz punkt końcowy Feature Serving, który obsługuje .FeatureSpec Zależy od FeatureSpecevent_features zbioru serving_onlinematerializacji , który materializuje zarówno widoki events_90m cech, jak i amount_sum_90m, do sklepu internetowego.
YAML
resources:
feature_specs:
event_features:
name: ${var.catalog}.${var.schema}.event_features
features:
- declarative_feature:
feature: ${resources.features.events_90m.full_name}
- declarative_feature:
feature: ${resources.features.amount_sum_90m.full_name}
lifecycle:
depends_on:
- resource: materialization_sets.serving_online
model_serving_endpoints:
event_endpoint:
name: event-features
config:
served_entities:
- entity_name: ${resources.feature_specs.event_features.name}
workload_size: Small
scale_to_zero_enabled: true
Python
def load_resources(bundle: Bundle) -> Resources:
resources = Resources()
resources.add_feature_spec(
'event_features',
FeatureSpec(
name='${var.catalog}.${var.schema}.event_features',
features=[
Features(
declarative_feature=DeclarativeFeature(
feature='${resources.features.events_90m.full_name}'
)
),
Features(
declarative_feature=DeclarativeFeature(
feature='${resources.features.amount_sum_90m.full_name}'
)
),
],
lifecycle=Lifecycle(
depends_on=[DependsOn(resource='materialization_sets.serving_online')]
),
),
)
resources.add_model_serving_endpoint(
'event_endpoint',
ModelServingEndpoint(
name='event-features',
config=EndpointCoreConfigInput(
served_entities=[
ServedEntityInput(
entity_name='${resources.feature_specs.event_features.name}',
workload_size='Small',
scale_to_zero_enabled=True,
)
]
),
),
)
return resources
Poniższy przykład definiuje , FeatureSpec które wyszukuje dwie cechy z tabeli cech i oblicza trzecią za pomocą Python UDF. Tabela cech i UDF nie są zasobami pakietu, więc utwórz je poza pakietem przed wdrożeniem pakietu. Zobacz Stwórz .FeatureSpec
YAML
resources:
feature_specs:
user_features_spec:
name: ${var.catalog}.${var.schema}.user_features_spec
features:
- feature_lookup:
table: ${var.catalog}.${var.schema}.user_features
lookup_keys: [user_id]
feature_names: [age, country]
- feature_function:
udf: ${var.catalog}.${var.schema}.age_score
input_bindings:
- parameter: age
bound_feature: age
output: age_score
Python
def load_resources(bundle: Bundle) -> Resources:
resources = Resources()
resources.add_feature_spec(
'user_features_spec',
FeatureSpec(
name='${var.catalog}.${var.schema}.user_features_spec',
features=[
Features(
feature_lookup=FeatureLookup(
table='${var.catalog}.${var.schema}.user_features',
lookup_keys=['user_id'],
feature_names=['age', 'country'],
)
),
Features(
feature_function=FeatureFunction(
udf='${var.catalog}.${var.schema}.age_score',
input_bindings=[
FeatureFunctionInputBinding(parameter='age', bound_feature='age')
],
output='age_score',
)
),
],
),
)
return resources
genie_space
Type: Map
Zasób agenta Genie umożliwia zdefiniowanie agentów genie w pakiecie. Aby uzyskać więcej informacji na temat agentów Usługi Genie, zobacz Agenty genie.
Przestrzenie Genie są obsługiwane w Python dla pakietów automatyki deklaratywnej. Zobacz databricks.bundles.genie_spaces.
Note
Używanie pakietów deklaratywnej automatyzacji do definiowania agentów Genie jest obsługiwane tylko w przypadku korzystania z aparatu wdrażania bezpośredniego.
Dodano w Databricks CLI w wersji 1.3.0
genie_spaces:
<genie_space-name>:
<genie_space-field-name>: <genie_space-field-value>
| Key | Typ | Description |
|---|---|---|
description |
String | Opis agenta Genie. Dodano w Databricks CLI w wersji 1.3.0 |
file_path |
String | Ścieżka do pliku lokalnego (na przykład sales_analytics.geniespace.json), który będzie używany zamiast serialized_space wpisu. |
lifecycle |
Map | Zawiera ustawienia cyklu życia zasobu. Steruje zachowaniem zasobu podczas wdrażania lub zniszczenia. Zobacz cykl życia. Dodano w Databricks CLI w wersji 1.3.0 |
parent_path |
String | Ścieżka folderu nadrzędnego, w którym zostanie zarejestrowany agent Genie. Dodano w Databricks CLI w wersji 1.3.0 |
permissions |
Sequence | Uprawnienia agenta Genie. Zobacz uprawnienia. Dodano w Databricks CLI w wersji 1.3.0 |
serialized_space |
String | To jest wymagane. Zawartość agenta Genie w postaci serializowanego ciągu. To pole zawiera strukturę ciągu JSON reprezentującego układ i składniki spacji. Jeśli file_path parametr jest określony, przyjmuje precendence ponad serialized_space.Dodano w Databricks CLI w wersji 1.3.0 |
title |
String | Opcjonalne zastąpienie tytułu agenta Genie. Dodano w Databricks CLI w wersji 1.3.0 |
warehouse_id |
String | To jest wymagane. Identyfikator magazynu SQL, który ma być skojarzony z nowym miejscem. Dodano w Databricks CLI w wersji 1.3.0 |
Examples
W poniższym przykładzie zdefiniowano zasób agenta Genie:
# databricks.yml
bundle:
name: nyc-taxi-genie
engine: direct # genie_spaces require the direct deployment engine
resources:
genie_spaces:
nyc_taxi_genie:
title: 'NYC Taxi Trip Analysis'
description: 'Ask questions about NYC taxi trip data in natural language'
warehouse_id: <warehouse-id>
file_path: ./nyc_taxi_genie.geniespace.json
permissions:
- level: CAN_RUN
group_name: users
nyc_taxi_genie.geniespace.json Odpowiedni plik zawiera serializowaną definicję przestrzeni, w tym jej źródła danych, instrukcje i przykładowe pytania. Można go również określić w yaML w kluczu serialized_space .
// nyc_taxi_genie.geniespace.json
{
"version": 2,
"config": {
"sample_questions": [
{
"id": "11111111111111111111111111111111",
"question": ["What is the average fare per trip?"]
}
]
},
"data_sources": {
"tables": [
{
"identifier": "samples.nyctaxi.trips",
"column_configs": [
{ "column_name": "fare_amount" },
{ "column_name": "pickup_zip" },
{ "column_name": "tpep_pickup_datetime" },
{ "column_name": "trip_distance" }
]
}
]
},
"instructions": {
"text_instructions": [
{
"id": "22222222222222222222222222222222",
"content": ["Fare amounts are in USD. When asked about revenue, use SUM(fare_amount)."]
}
]
}
}
instance_pool
Type: Map
Zasób instance_pool pozwala zdefiniować pule instancji w pakiecie. Pula instancji utrzymuje zestaw bezczynnych, gotowych do użycia instancji chmurowych, dzięki czemu klastry powiązane z pulą zaczynają i skalują się szybciej. Aby uzyskać informacje o pulach instancji, zobacz Connect to pools.
Pule instancji są obsługiwane w Python dla pakietów deklaratywnej automatyzacji. Zobacz databricks.bundles.instance_pools.
Note
Używanie Deklarative Automation Bundles do definiowania pool instancji jest obsługiwane tylko wtedy, gdy korzystasz z silnika direct deployment.
Dodano w Databricks CLI w wersji 1.9.0
instance_pools:
<instance_pool-name>:
<instance_pool-field-name>: <instance_pool-field-value>
| Key | Typ | Description |
|---|---|---|
aws_attributes |
Map | Atrybuty związane z pulami instancji działającymi na Amazon Web Services. Jeśli nie jest to określone przy tworzeniu puli, używany jest zestaw wartości domyślnych. Zobacz instance_pool.aws_attributes. Dodano w Databricks CLI w wersji 1.9.0 |
azure_attributes |
Map | Atrybuty związane z pulami wystąpień uruchomionymi w Azure. Jeśli nie jest to określone przy tworzeniu puli, używany jest zestaw wartości domyślnych. Zobacz instance_pool.azure_attributes. Dodano w Databricks CLI w wersji 1.9.0 |
custom_tags |
Map | Dodatkowe tagi dotyczące zasobów pulowych. Databricks oznacza wszystkie zasoby puli (na przykład instancje AWS i wolumy EBS) tymi tagami oprócz .default_tags Databricks pozwala na maksymalnie 45 niestandardowych tagów.Dodano w Databricks CLI w wersji 1.9.0 |
disk_spec |
Map | Specyfikacja dysków do podłączenia do wszystkich kontenerów Spark. Zobacz instance_pool.disk_spec. Dodano w Databricks CLI w wersji 1.9.0 |
enable_elastic_disk |
logiczny | Automatyczne skalowanie lokalnej pamięci: po włączeniu instancje w tej puli dynamicznie zdobywają dodatkowe miejsce na dysku, gdy ich pracownicy Spark mają mało miejsca na dysku. W AWS ta funkcja wymaga określonych uprawnień, aby działać poprawnie. Dodano w Databricks CLI w wersji 1.9.0 |
gcp_attributes |
Map | Atrybuty związane z pulami instancji działającymi na Google Cloud Platform. Jeśli nie jest to określone przy tworzeniu puli, używany jest zestaw wartości domyślnych. Zobacz instance_pool.gcp_attributes. Dodano w Databricks CLI w wersji 1.9.0 |
idle_instance_autotermination_minutes |
Integer | Automatycznie kończy dodatkowe instancje w pamięci podręcznej puli po ich nieaktywności w ciągu kilku minut, jeśli wymaganie min_idle_instances jest już spełnione. Jeśli nie jest ustawiona, dodatkowe instancje puli są automatycznie kończone po domyślnym przemianie czasu. Jeśli jest to określone, próg musi wynosić czas między 0 a minutami 10000 . Ustaw tę wartość tak, 0 aby natychmiast usunąć bezczynne instancje z pamięci podręcznej, jeśli minimalny rozmiar pamięci podręcznej nadal jest możliwy.Dodano w Databricks CLI w wersji 1.9.0 |
instance_pool_name |
String | To jest wymagane. Nazwa puli. Nazwa puli musi być unikalna, a jej długość musi wynosić od 1 do 100 znaków. Dodano w Databricks CLI w wersji 1.9.0 |
lifecycle |
Map | Zawiera ustawienia cyklu życia zasobu. Steruje zachowaniem zasobu podczas wdrażania lub zniszczenia. Zobacz cykl życia. Dodano w Databricks CLI w wersji 1.9.0 |
max_capacity |
Integer | Maksymalna liczba nierozwiązanych instancji do zachowania w puli, obejmując zarówno instancje używane przez klastry, jak i bezczynne. Klastry wymagające dodatkowego udostępniania instancji zawodzą podczas żądań powiększenia. Dodano w Databricks CLI w wersji 1.9.0 |
min_idle_instances |
Integer | Minimalna liczba bezczynnych instancji, które należy zachować w puli instancji. Dodano w Databricks CLI w wersji 1.9.0 |
node_type_flexibility |
Map | Elastyczna konfiguracja typu węzła dla puli. Zobacz instance_pool.node_type_flexibility. Dodano w Databricks CLI w wersji 1.9.0 |
node_type_id |
String | To jest wymagane. To pole koduje, poprzez jedną wartość, zasoby dostępne dla każdego z węzłów Spark w klastrzach korzystających z tej puli. Na przykład węzły platformy Spark można aprowizować i optymalizować pod kątem obciążeń intensywnie korzystających z pamięci lub obliczeń. Listę dostępnych typów węzłów można pobrać przy użyciu interfejsu API Typów węzłów listy. Dodano w Databricks CLI w wersji 1.9.0 |
permissions |
Sequence | Uprawnienia do puli instancji. Dozwolone poziomy to CAN_MANAGE i CAN_ATTACH_TO. Zobacz uprawnienia.Dodano w Databricks CLI w wersji 1.9.0 |
preloaded_docker_images |
Sequence | Niestandardowe obrazy Dockera do wstępnego ładowania instancji puli. Zobacz instance_pool.preloaded_docker_images. Dodano w Databricks CLI w wersji 1.9.0 |
preloaded_spark_versions |
Sequence | Lista zawierająca maksymalnie jedną wstępnie załadowaną wersję obrazu Spark dla puli. Klastry wspierane przez pulę zaczynały się od wersji Spark z preloadingiem i zaczynały się szybciej. Listę dostępnych wersji platformy Spark można pobrać przy użyciu interfejsu API list dostępnych wersji platformy Spark. Dodano w Databricks CLI w wersji 1.9.0 |
remote_disk_throughput |
Integer | Konfigurowalna przepustowość, w MB na sekundę, dla dysku zdalnego. Obecnie obsługiwane tylko dla typów GCP HYPERDISK_BALANCED .Dodano w Databricks CLI w wersji 1.9.0 |
total_initial_remote_disk_size |
Integer | Całkowity początkowy rozmiar wolumin zdalnych płyt, w GB. Obecnie obsługiwane tylko dla typów GCP HYPERDISK_BALANCED .Dodano w Databricks CLI w wersji 1.9.0 |
instance_pool.aws_attributes
Type: Map
Atrybuty związane z pulami instancji działającymi na Amazon Web Services. Jeśli nie jest to określone przy tworzeniu puli, używany jest zestaw wartości domyślnych.
Dodano w Databricks CLI w wersji 1.9.0
| Key | Typ | Description |
|---|---|---|
availability |
String | Typ dostępności używany dla węzłów spot. Prawidłowe wartości to SPOT i ON_DEMAND.Dodano w Databricks CLI w wersji 1.9.0 |
instance_profile_arn |
String | (Beta) Wszystkie instancje AWS należące do puli instancji mają taki profil. Jeśli zostanie pominięty, instancje początkowo uruchamiane są z domyślnym profilem instancji przestrzeni roboczej. Jeśli jest to zdefiniowane, klastry korzystające z puli dziedziczą profil instancji i nie mogą określać własnego profilu instancji przy tworzeniu lub aktualizacji klastra. Jeśli pula nie określa profilu instancji, klastry korzystające z puli mogą określić dowolny profil instancji. Profil instancji musiał zostać wcześniej dodany do środowiska Databricks przez administratora konta. Ta funkcja może być dostępna tylko dla wybranych planów klientów. Dodano w Databricks CLI w wersji 1.9.0 |
spot_bid_price_percent |
Integer | Oblicza cenę ofertową dla spotowych instancji AWS jako procent ceny na żądanie odpowiedniego typu instancji. Na przykład, jeśli to pole jest ustawione na , 50 a pula potrzebuje nowej r3.xlarge instancji spot, to cena ofertowa jest o połowę niższa niż w przypadku instancji na żądanie r3.xlarge . Jeśli nie zostanie określony, wartość domyślna to 100. To ciało nie może być więcej niż 10000.Dodano w Databricks CLI w wersji 1.9.0 |
zone_id |
String | Identyfikator strefy dostępności/centrum danych, w którym znajduje się pula, na przykład us-west-2a. Dostarczona strefa dostępności musi znajdować się w tym samym regionie, co wdrożenie Databricks. Jest to pole opcjonalne, a jeśli nie jest to określone, używa się domyślnej strefy. Listę dostępnych stref oraz wartość domyślną można znaleźć za pomocą API Listy stref.Dodano w Databricks CLI w wersji 1.9.0 |
instance_pool.azure_attributes
Type: Map
Atrybuty związane z pulami wystąpień uruchomionymi w Azure. Jeśli nie jest to określone przy tworzeniu puli, używany jest zestaw wartości domyślnych.
Dodano w Databricks CLI w wersji 1.9.0
| Key | Typ | Description |
|---|---|---|
availability |
String | Typ dostępności używany dla węzłów spot. Prawidłowe wartości to SPOT_AZURE i ON_DEMAND_AZURE.Dodano w Databricks CLI w wersji 1.9.0 |
capacity_reservation_group |
String | ID zasobu grupy rezerwacji zdolności Azure do uruchamiania maszyn wirtualnych w tej puli. Gdy jest to wskazane, maszyny wirtualne są uruchamiane z wykorzystaniem zapewnionej rezerwacji pojemności. Pominięcie tego pola usuwa wszelkie istniejące skonfigurowane grupy rezerwacji pojemności w puli. Rezerwacje pojemności mogą być określone tylko wtedy, gdy przestrzeń robocza korzysta z wtryskiwanego VNetu (VNet definiowanego przez klienta, niezarządzanego przez Databricks). Aplikacja Enterprise musi otrzymać databricks-login-prod następujące cztery uprawnienia:
Użyj formatu /subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.Compute/capacityReservationGroups/{capacityReservationGroupName}.Dodano w Databricks CLI w wersji 1.9.0 |
spot_bid_max_price |
Number | Maksymalna cena dla instancji spot Azure, w dolarach amerykańskich (USD). Na przykład wartość 2 ta ustala maksymalną cenę 2,00 USD za godzinę. Ustaw maksymalną cenę -1 , żeby maszyna wirtualna nie była eksmitowana na podstawie ceny. Cena maszyny wirtualnej to aktualna cena za spot lub cena standardowej maszyny wirtualnej, w zależności od tego, która jest mniejsza, o ile jest dostępna pojemność i kwota.Dodano w Databricks CLI w wersji 1.9.0 |
instance_pool.disk_spec
Type: Map
Specyfikacja dysków do podłączenia do wszystkich kontenerów Spark.
Dodano w Databricks CLI w wersji 1.9.0
| Key | Typ | Description |
|---|---|---|
disk_count |
Integer | Liczba dysków uruchamianych dla każdej instancji. Ta funkcja jest włączona tylko dla obsługiwanych typów węzłów i możesz wybrać do limitu dysków obsługiwanych przez dany typ węzła. Dla typów węzłów bez dysku OS musi być określony co najmniej jeden dysk, w przeciwnym razie tworzenie klastra nie może się powiódć. Jeśli dyski są podłączone, Databricks konfiguruje Spark tak, aby używał wyłącznie dysków do przechowywania danych, ponieważ urządzenia o różnych rozmiarach mogą prowadzić do nieefektywnego wykorzystania dysku. Jeśli nie są podłączone żadne dyski, Databricks konfiguruje Spark do używania dysków pamięci instancji. Jeśli dyski są określone, konfiguracja spark.local.dir Spark jest nadpisana.Dyski montowane są w , /ebs0/ebs1, i tak dalej dla AWS, a przy /remote_volume0, /remote_volume1, i tak dalej dla Azure.Dodano w Databricks CLI w wersji 1.9.0 |
disk_iops |
Integer | Liczba IOPS do przydzielenia dla każdego podłączonego dysku. Dodano w Databricks CLI w wersji 1.9.0 |
disk_size |
Integer | Rozmiar każdego dysku, w GiB, uruchamiany dla każdej instancji. Wartości muszą mieszczać się w zakresie wspieranym dla danego typu instancji. W AWS SSD ogólnego przeznaczenia to 100–4096 GiB, a HDD zoptymalizowany pod przepustowość to 500–4096 GiB. Dla Azure Premium LRS (SSD) to 1–1023 GiB, a standardowy LRS (HDD) to 1–1023 GiB. Dodano w Databricks CLI w wersji 1.9.0 |
disk_throughput |
Integer | Przepustowość dysku do zapewnienia dla każdego podłączonego dysku w MB na sekundę. Dodano w Databricks CLI w wersji 1.9.0 |
disk_type |
Map | Typ dysków do uruchamiania z instancjami puli. Ustaw albo azure_disk_volume_type (poprawne wartości to PREMIUM_LRS i STANDARD_LRS), albo ebs_volume_type (poprawne wartości to GENERAL_PURPOSE_SSD i THROUGHPUT_OPTIMIZED_HDD).Dodano w Databricks CLI w wersji 1.9.0 |
instance_pool.gcp_attributes
Type: Map
Atrybuty związane z pulami instancji działającymi na Google Cloud Platform. Jeśli nie jest to określone przy tworzeniu puli, używany jest zestaw wartości domyślnych.
Dodano w Databricks CLI w wersji 1.9.0
| Key | Typ | Description |
|---|---|---|
gcp_availability |
String | Określa, czy pula instancji zawiera maszyny wirtualne wyprzedzające, maszyny wirtualne na żądanie lub maszyny wirtualne wyprzedzające, z możliwością przejścia na żądanie, jeśli ta pierwsza jest niedostępna. Prawidłowe wartości to PREEMPTIBLE_GCP, ON_DEMAND_GCP i PREEMPTIBLE_WITH_FALLBACK_GCP.Dodano w Databricks CLI w wersji 1.9.0 |
local_ssd_count |
Integer | Jeśli jest to zapewnione, każdy węzeł w puli instancji ma przypisaną liczbę lokalnych dysków SSD. Każdy lokalny dysk SSD ma rozmiar 375 GB. Obsługiwaną liczbę lokalnych dysków SSD dla każdego typu instancji można znaleźć w dokumentacji GCP. Dodano w Databricks CLI w wersji 1.9.0 |
zone_id |
String | Identyfikator strefy dostępności/centrum danych, w którym znajduje się pula, na przykład us-west1-a. Udostępniona strefa dostępności musi znajdować się w tym samym regionie co przestrzeń robocza Databricks. Jest to pole opcjonalne, a jeśli nie jest to określone, używa się domyślnej strefy. Ustaw to pole na HA dla wysokiej dostępności, co rozprasza węzły na strefy dostępności dla regionu wdrożenia Databricks lub do jednej z dostępnych stref dla typu i regionu maszyny. Jeśli jest pusty, Databricks wybiera strefę dostępności.Dodano w Databricks CLI w wersji 1.9.0 |
instance_pool.type_node_flexibility
Type: Map
Elastyczna konfiguracja typu węzła dla puli.
Dodano w Databricks CLI w wersji 1.9.0
| Key | Typ | Description |
|---|---|---|
alternate_node_type_ids |
Sequence | Lista identyfikatorów typu węzła, które mają być używane jako rezerwowe, gdy typ węzła podstawowego jest niedostępny. Dodano w Databricks CLI w wersji 1.9.0 |
aws_context_id |
String | Kontekstowy identyfikator AWS dla floty EC2. Po ustawieniu (niepusty), wartość jest przekazywana do AWS CreateFleet API, aby utworzyć flotę EC2. Dodano w Databricks CLI w wersji 1.16.0 |
instance_pool.preloaded_docker_images
Type: Sequence
Niestandardowe obrazy Dockera do wstępnego ładowania instancji puli.
Dodano w Databricks CLI w wersji 1.9.0
| Key | Typ | Description |
|---|---|---|
basic_auth |
Map | Podstawowe uwierzytelnianie repozytorium Docker. Ustaw username i password.Dodano w Databricks CLI w wersji 1.9.0 |
url |
String | URL obrazu Dockera. Dodano w Databricks CLI w wersji 1.9.0 |
Example
Poniższy przykład definiuje pulę instancji oraz klaster, który z niej korzysta:
resources:
instance_pools:
my_pool:
instance_pool_name: my-pool
node_type_id: i3.xlarge
min_idle_instances: 2
max_capacity: 10
idle_instance_autotermination_minutes: 15
preloaded_spark_versions:
- '15.4.x-scala2.12'
clusters:
my_cluster:
cluster_name: my-cluster
instance_pool_id: ${resources.instance_pools.my_pool.id}
spark_version: '15.4.x-scala2.12'
num_workers: 2
praca
Type: Map
Zasób pracy umożliwia zdefiniowanie prac i odpowiadających im zadań w pakiecie.
Jobs są obsługiwane w Python dla pakietów deklaratywnej automatyzacji. Zobacz databricks.bundles.jobs.
Aby uzyskać informacje o zadaniach, zobacz Zadania lakeflow. Aby zapoznać się z samouczkiem używającym szablonu Deklaratywnych pakietów automatyzacji do utworzenia zadania, zobacz Tworzenie zadania przy użyciu pakietów deklaratywnej automatyzacji.
jobs:
<job-name>:
<job-field-name>: <job-field-value>
| Key | Typ | Description |
|---|---|---|
budget_policy_id |
String | Identyfikator zasad budżetu określonych przez użytkownika do zastosowania dla tego zadania. Jeśli nie zostanie określony, podczas tworzenia lub modyfikowania zadania można zastosować domyślne zasady budżetu. Zobacz effective_budget_policy_id zasady budżetu używane przez to obciążenie.Dodano w Databricks CLI w wersji 0.231.0 |
continuous |
Map | Opcjonalna nieprzerwana właściwość dla tego zadania. Właściwość continuous gwarantuje, że zawsze jest wykonywane jedno uruchomienie. Można użyć tylko jednego z schedule elementów i continuous . Potoki uruchamiane przez ciągłe zadanie również działają nieprzerwanie, niezależnie od ich własnych ustawień trybu potoku. Zobacz ciągłe. |
deployment |
Map | Informacje o wdrażaniu zadań zarządzanych przez źródła zewnętrzne. Zobacz wdrażanie. |
description |
String | Opcjonalny opis zadania. Maksymalna długość wynosi 27700 znaków w kodowaniu UTF-8. |
email_notifications |
Map | Opcjonalny zestaw adresów e-mail, który jest powiadamiany o rozpoczęciu lub ukończeniu tego zadania, a także po usunięciu tego zadania. Zobacz email_notifications. |
environment_variables |
Sequence | (Beta) Nazwane wpisy zmiennych środowiskowych, do których zadania mogą się odwoływać za pomocą klucza. Każdy wpis zawiera spec zmienne w linii oraz .env opcjonalne pliki. Na zadanie można określić maksymalnie 10 wpisów, a zadanie może odnosić się do maksymalnie jednego wpisu. Zobacz environment_variables.Dodano w Databricks CLI w wersji 1.20.0 |
environments |
Sequence | Lista specyfikacji środowiska wykonawczego, które mogą być przywoływane przez funkcje bezserwerowe tego projektu. Środowisko musi być obecne w przypadku zadań bezserwerowych. W przypadku zadań notesu bezserwerowego środowisko jest dostępne w panelu środowiska notesu. W przypadku innych zadań bezserwerowych środowisko zadań jest wymagane do określenia przy użyciu environment_key w ustawieniach zadania. Zobacz środowiska. |
format |
String | Deprecated. Format zadania. |
git_source |
Map | Opcjonalna specyfikacja zdalnego repozytorium Git zawierającego kod źródłowy używany przez zadania. Zobacz job.git_source. Ważne: Pole git_source i pole zadania source ustawione na GIT nie są zalecane dla pakietów, ponieważ lokalne ścieżki względne mogą nie wskazywać na tę samą zawartość w repozytorium Git, a pakiety oczekują, że wdrożone zadanie ma taką samą zawartość jak lokalna kopia z miejsca, w którym zostało wdrożone.Zamiast tego sklonuj repozytorium lokalnie i skonfiguruj projekt pakietu w tym repozytorium, aby źródło zadań stanowił obszar roboczy. |
health |
Map | Opcjonalny zestaw reguł zdrowotnych, które można zdefiniować dla tego zadania. Zobacz kondycję. |
job_clusters |
Sequence | Lista specyfikacji klastra zadań, które mogą być współużytkowane i ponownie używane przez zadania tego zadania. Zobacz job_clusters. |
lifecycle |
Map | Zawiera ustawienia cyklu życia zasobu. Steruje zachowaniem zasobu podczas wdrażania lub zniszczenia. Zobacz cykl życia. Dodano w Databricks CLI w wersji 0.268.0 |
max_concurrent_runs |
Integer | Opcjonalnie maksymalna liczba współbieżnych uruchomień tego zadania. Ustaw tę wartość, jeśli chcesz mieć możliwość współbieżnego wykonywania wielu uruchomień tego samego zadania. |
name |
String | Opcjonalna nazwa zadania. Maksymalna długość to 4096 bajtów w kodowaniu UTF-8. |
notification_settings |
Map | Opcjonalne ustawienia powiadomień używane podczas wysyłania powiadomień do każdego z elementów email_notifications i webhook_notifications dla tego zadania. Zobacz notification_settings. |
parameters |
Sequence | Definicje parametrów na poziomie zadania. Zobacz job.parameters. |
performance_target |
String | Określa, jak wydajna lub ekonomiczna powinna być realizacja wykonania w trybie bezserwerowym. Dodano w Databricks CLI w wersji 0.241.0 |
permissions |
Sequence | Uprawnienia pracy. Zobacz uprawnienia. |
queue |
Map | Ustawienia kolejki zadania. Zobacz kolejkę. |
run_as |
Map | Tożsamość, pod którą polega praca. To pole wskazuje wyraźną konfigurację dla run_as zadania. Jeśli użytkownik nie zostanie określony, zadanie zostanie uruchomione za użytkownika, który utworzył zadanie. Określmy dokładnie jedno z user_name, service_principal_name, lub group_name. Jeśli podano więcej niż jeden, wyrzucany jest błąd. Zobacz Set Run as to a group (Ustaw uruchom jako na grupę). |
schedule |
Map | Opcjonalny harmonogram okresowy dla tego zadania. Domyślne zachowanie polega na tym, że zadanie jest uruchamiane tylko po wyzwoleniu, klikając 'Uruchom teraz' w panelu zadań albo wysyłając żądanie interfejsu API do runNow. Zobacz harmonogram. |
tags |
Map | Mapa tagów skojarzonych z zadaniem. Są one przekazywane do klastra jako tagi klastra dla klastrów zadań i podlegają tym samym ograniczeniom co tagi klastra. Do zadania można dodać maksymalnie 25 tagów. |
tasks |
Sequence | Lista specyfikacji zadań, które mają być wykonane w ramach tego zlecenia. Zobacz Dodawanie zadań do zadań w pakietach deklaratywnej automatyzacji. Dodano w Databricks CLI wersja 0.237.0 |
timeout_seconds |
Integer | Opcjonalny limit czasu stosowany do każdego uruchomienia tego zadania. Wartość oznacza brak limitu 0 czasu. |
trigger |
Map | Konfiguracja wyzwalania przebiegu po spełnieniu określonych warunków. Zobacz wyzwalacz. |
triggers |
Sequence | (Beta) Lista wyzwalaczy związanych z tą pracą. Run zaczyna się, gdy dowolny aktywny wyzwalacz wyjdzie na true. Nie można ustawić w tym samym żądaniu co w dziedzicznych schedulepolach , trigger, lub continuous polach. Zamknięte za podglądem funkcji "Wiele wyzwalaczy". Zobacz job.triggers.Dodano w Databricks CLI w wersji 1.13.0 |
usage_policy_id |
String | Identyfikator zasad użycia bezserwerowych do użycia dla tego zadania. Dodano w Databricks CLI w wersji 0.273.0 |
webhook_notifications |
Map | Kolekcja identyfikatorów powiadomień systemowych do powiadamiania o rozpoczęciu lub ukończeniu tego zadania. Zobacz webhook_notifications. |
job.continuous
Type: Map
Konfiguracja ciągłego wykonywania zadań.
| Key | Typ | Description |
|---|---|---|
maintenance_window |
Map | Określa, kiedy dla tego zadania może być przeprowadzona konserwacja inicjowana przez platformę. Jeśli nie jest to określone, konserwacja może być prowadzona w dowolnym momencie. Dodano w Databricks CLI w wersji 1.16.0 |
pause_status |
String | Czy ciągłe zadanie jest wstrzymane, czy nie. Prawidłowe wartości: PAUSED, UNPAUSED. |
task_retry_mode |
String | Wskaż, jak proces ciągły stosuje ponawianie prób na poziomie zadania. Prawidłowe wartości to NEVER i ON_FAILURE. Wartość domyślna to NEVER. |
zadanie.wdrożenie
Type: Map
Informacje o wdrażaniu zadań zarządzanych przez źródła zewnętrzne.
| Key | Typ | Description |
|---|---|---|
kind |
String | Rodzaj wdrożenia. Na przykład BUNDLE. |
metadata_file_path |
String | Ścieżka do pliku metadanych wdrożenia. |
job.email_notifications
Type: Map
Ustawienia powiadomień e-mail dla wykonywania zadań.
| Key | Typ | Description |
|---|---|---|
on_start |
Sequence | Lista adresów e-mail do powiadamiania, gdy rozpoczyna się uruchomienie. |
on_success |
Sequence | Lista adresów e-mail, które należy powiadomić o pomyślnym zakończeniu procesu. |
on_failure |
Sequence | Lista adresów e-mail, które mają być powiadamiane, gdy uruchomienie zakończy się niepowodzeniem. |
on_duration_warning_threshold_exceeded |
Sequence | Lista adresów e-mail do powiadamiania o przekroczeniu progu ostrzeżenia przez czas działania. |
no_alert_for_skipped_runs |
logiczny | Czy pominąć wysyłanie alertów dotyczących pominiętych uruchomień. |
on_streaming_backlog_exceeded |
Sequence | Lista adresów e-mail do powiadamiania o przekroczeniu progów listy prac przesyłania strumieniowego dla dowolnego strumienia. Progi listy prac przesyłania strumieniowego health można ustawić w polu przy użyciu następujących metryk: STREAMING_BACKLOG_BYTES, STREAMING_BACKLOG_RECORDS, STREAMING_BACKLOG_SECONDSlub STREAMING_BACKLOG_FILES. Alerty są oparte na średniej 10-minutowej tych metryk. Jeśli problem będzie się powtarzać, powiadomienia są wysyłane co 30 minut. |
on_maintenance_start |
Sequence | Lista adresów e-mail do powiadomienia, gdy rozpocznie się konserwacja inicjowana przez platformę dla ciągłego zadania. Dodano w Databricks CLI w wersji 1.20.0 |
on_maintenance_complete |
Sequence | Lista adresów e-mail do powiadomienia po zakończeniu konserwacji inicjowanej przez platformę dla ciągłego zadania. Dodano w Databricks CLI w wersji 1.20.0 |
job.environment_variables
Type: Sequence
(Beta) Nazwane wpisy zmiennych środowiskowych, do których zadania mogą się odwoływać kluczem z .environment_variables_key Na zadanie można określić maksymalnie 10 wpisów, a zadanie może odnosić się do maksymalnie jednego wpisu.
Dodano w Databricks CLI w wersji 1.20.0
Każdy element na liście to JobEnvironmentVariables:
| Key | Typ | Description |
|---|---|---|
environment_variables_key |
String | To jest wymagane. Identyfikator tego wpisu. Musi być wyjątkowy w ramach stanowiska environment_variables. Zadania odnoszą się do niego z zadania environment_variables_key.Dodano w Databricks CLI w wersji 1.20.0 |
spec |
Map | Specyfikacja zmiennej środowiskowej. Dodano w Databricks CLI w wersji 1.20.0 |
środowiska zadań
Type: Sequence
Lista specyfikacji środowiska wykonywania zadań, które mogą być przywoływane przez zadania bezserwerowe w środowisku zadania.
Każdy element na liście to JobEnvironment:
| Key | Typ | Description |
|---|---|---|
environment_key |
String | Klucz środowiska. Musi być unikatowa w ramach zadania. |
spec |
Map | Jednostka reprezentująca środowisko bezserwerowe. Zobacz job.environments.spec. |
job.environments.spec
Type: Map
Jednostka reprezentująca środowisko bezserwerowe.
| Key | Typ | Description |
|---|---|---|
client |
String | Deprecated. Wersja klienta. |
dependencies |
Sequence | Lista zależności obsługiwanych przez wersję narzędzia w tym środowisku. |
environment_version |
String | To jest wymagane. Wersja środowiska używana przez środowisko. Każda wersja zawiera określoną wersję Python i zestaw pakietów Python. Wersja jest ciągiem składającym się z liczby całkowitej. |
job.git_source
Type: Map
Konfiguracja repozytorium Git dla kodu źródłowego zadania.
| Key | Typ | Description |
|---|---|---|
git_branch |
String | Nazwa gałęzi, która ma być wyewidencjonowana i używana przez to zadanie. Nie można określić tego pola w połączeniu z git_tag lub git_commit. |
git_commit |
String | Zatwierdzenie do wyewidencjonowania i użycia przez to zadanie. Nie można określić tego pola w połączeniu z git_branch lub git_tag. |
git_provider |
String | Unikatowy identyfikator usługi używanej do hostowania repozytorium Git. Wartość jest niewrażliwa na wielkość liter. Prawidłowe wartości to gitHub, , bitbucketCloud, gitLabazureDevOpsServicesgitHubEnterprise, , , . bitbucketServergitLabEnterpriseEdition |
git_snapshot |
Map | Stan tylko do odczytu repozytorium zdalnego w momencie uruchomienia zadania. To pole jest uwzględniane tylko w uruchomieniach zadań. Zobacz git_snapshot. |
git_tag |
String | Nazwa tagu do wyewidencjonowania i użycia przez to zadanie. Nie można określić tego pola w połączeniu z git_branch lub git_commit. |
git_url |
String | Adres URL repozytorium, który ma zostać sklonowany przez to zadanie. |
sparse_checkout |
Map | Konfiguracja wyewidencjonowania rozrzedy dla repozytorium Git. Zobacz job.git_source.sparse_checkout. Dodano w Databricks CLI w wersji 0.290.0 |
job.git_source.sparse_checkout
Type: Map
Konfiguracja wyewidencjonowania rozrzedy dla repozytorium Git.
Dodano w Databricks CLI w wersji 0.290.0
| Key | Typ | Description |
|---|---|---|
patterns |
Sequence | Lista wzorców do uwzględnienia w przypadku wyewidencjonowania rozrzednego. Dodano w Databricks CLI w wersji 0.290.0 |
job.git_source.git_snapshot
Type: Map
Migawka danych o zatwierdzeniu tylko do odczytu.
| Key | Typ | Description |
|---|---|---|
used_commit |
String | Zatwierdzenie, które zostało użyte do wykonania przebiegu. Jeśli git_branch został określony, wskazuje to HEAD gałęzi w momencie uruchomienia; jeśli git_tag został określony, wskazuje to na zatwierdzenie, na które wskazuje tag. |
praca.zdrowie
Type: Map
Konfiguracja monitorowania stanu zdrowia zadania.
| Key | Typ | Description |
|---|---|---|
rules |
Sequence | Lista zasad zdrowotnych dla zadań Każda reguła zawiera metric, operator op oraz value. Zobacz job.health.rules. |
job.health.rules
Type: Sequence
Lista zasad zdrowotnych dla zadań
Każdy element na liście to JobHealthRule:
| Key | Typ | Description |
|---|---|---|
metric |
String | Określa miarę zdrowotną, która jest oceniana dla określonej zasady zdrowotnej.
|
op |
String | Określa operator używany do porównywania wartości metryki kondycji z określonym progiem. |
value |
Integer | Określa wartość progową, którą metryka kondycji powinna przestrzegać w celu spełnienia reguły kondycji. |
job.job_clusters
Type: Sequence
Lista specyfikacji klastra zadań, które mogą być współużytkowane i ponownie używane przez zadania tego zadania. Nie można zadeklarować bibliotek w klastrze zadań udostępnionych. Biblioteki zależne należy zadeklarować w ustawieniach zadań.
Każdy element na liście to JobCluster:
| Key | Typ | Description |
|---|---|---|
job_cluster_key |
String | Unikatowa nazwa klastra zadań. To pole jest wymagane i musi być unikatowe w ramach zadania.
JobTaskSettings Może odwołać się do tego pola, aby określić, który klaster uruchomić do wykonania zadania. |
new_cluster |
Map | Jeśli new_cluster, opis klastra utworzonego dla każdego zadania. Zobacz klaster. |
job.notification_settings
Type: Map
Ustawienia powiadomień, które mają zastosowanie do wszystkich powiadomień dotyczących zadania.
| Key | Typ | Description |
|---|---|---|
no_alert_for_skipped_runs |
logiczny | Czy pominąć wysyłanie alertów dotyczących pominiętych uruchomień. |
no_alert_for_canceled_runs |
logiczny | Czy należy pominąć wysyłanie alertów dla anulowanych operacji. |
parametry zadania
Type: Sequence
Lista definicji parametrów zadania.
Każdy element na liście to JobParameter:
| Key | Typ | Description |
|---|---|---|
default |
String | To jest wymagane. Wartość domyślna parametru, na przykład "users". |
name |
String | To jest wymagane. Nazwa zdefiniowanego parametru, na przykład "tabela". Prawidłowe wartości zawierają tylko znaki alfanumeryczne, _, -i .. |
job.queue
Type: Map
Konfiguracja kolejki dla zadania.
| Key | Typ | Description |
|---|---|---|
enabled |
logiczny | Czy włączyć kolejkowanie dla zadania. |
job.schedule
Type: Map
Konfiguracja harmonogramu okresowego wykonywania zadania.
| Key | Typ | Description |
|---|---|---|
quartz_cron_expression |
String | Wyrażenie Cron używające składni kwarcowej, które określa, kiedy zadanie jest uruchamiane. Na przykład 0 0 9 * * ? uruchamia zadanie codziennie o godzinie 9:00 czasu UTC. |
timezone_id |
String | Strefa czasowa harmonogramu. Na przykład: America/Los_Angeles lub UTC. |
pause_status |
String | Czy harmonogram jest zawieszony, czy nie? Prawidłowe wartości: PAUSED, UNPAUSED. |
job.trigger
Type: Map
Konfiguracja wyzwalacza na potrzeby wykonywania zadań sterowanych zdarzeniami.
| Key | Typ | Description |
|---|---|---|
file_arrival |
Map | Wyzwalacz po przybyciu pliku. Zobacz file_arrival. |
table |
Map | Wyzwalacz na podstawie tabeli. Zobacz tabelę. |
table_update |
Map | Wyzwalacz na podstawie aktualizacji tabeli. Zobacz table_update. |
periodic |
Map | Wyzwalacz okresowy. Zobacz okresowe. |
pause_status |
String | Niezależnie od tego, czy wyzwalacz jest wstrzymany, czy nie. Prawidłowe wartości: PAUSED, UNPAUSED. |
job.trigger.file_arrival
Type: Map
Konfiguracja aktywatora na bazie dostarczenia pliku.
| Key | Typ | Description |
|---|---|---|
url |
String | Ścieżka pliku do monitorowania nowych plików. |
min_time_between_triggers_seconds |
Integer | Minimalny czas w sekundach między zdarzeniami związanymi z wyzwalaniem. |
wait_after_last_change_seconds |
Integer | Czas oczekiwania w sekundach po ostatniej modyfikacji pliku przed aktywacją. |
job.trigger.table
Type: Map
Konfiguracja wyzwalana na podstawie tabeli.
| Key | Typ | Description |
|---|---|---|
table_names |
Sequence | Lista nazw tabel do monitorowania. |
condition |
String | Warunek SQL, który musi zostać spełniony, aby wyzwolić zadanie. |
job.trigger.table_update
Type: Map
Konfiguracja wyzwalacza na podstawie aktualizacji tabeli.
| Key | Typ | Description |
|---|---|---|
table_names |
Sequence | Lista nazw tabel do monitorowania aktualizacji. |
condition |
String | Warunek SQL, który musi zostać spełniony, aby wyzwolić zadanie. |
wait_after_last_change_seconds |
Integer | Czas oczekiwania w sekundach po ostatniej aktualizacji tabeli przed uruchomieniem. |
job.trigger.periodic
Type: Map
Konfiguracja wyzwalacza okresowego.
| Key | Typ | Description |
|---|---|---|
interval |
Integer | Wartość interwału dla wyzwalacza okresowego. |
unit |
String | Jednostka czasu dla interwału. Prawidłowe wartości: HOURS, , DAYSWEEKS. |
wyzwalacze zadań
Type: Sequence
Lista wyzwalaczy związanych z tą pracą. Run zaczyna się, gdy dowolny aktywny wyzwalacz wyjdzie na true. Na każdym elemencie musi być ustawiony dokładnie jeden typ wyzwalacza. Nie można ustawić w tym samym żądaniu co w dziedzicznych schedulepolach , trigger, lub continuous polach.
Dodano w Databricks CLI w wersji 1.13.0
Każdy element na liście jest wyzwalaczem:
| Key | Typ | Description |
|---|---|---|
continuous |
Map | (Beta) Konfiguracja ciągłego spustu. Dodano w Databricks CLI w wersji 1.13.0 |
file_arrival |
Map | (Beta) Konfiguracja wyzwalania przybycia pliku. Dodano w Databricks CLI w wersji 1.13.0 |
pause_status |
String | (Beta) Czy ten wyzwalacz jest wstrzymany. Domyślnie ustawia się na UNPAUSED gdy jest nieustawione. Prawidłowe wartości to UNPAUSED i PAUSED.Dodano w Databricks CLI w wersji 1.13.0 |
periodic |
Map | (Beta) Konfiguracja wyzwalacza okresowego. Dodano w Databricks CLI w wersji 1.13.0 |
schedule |
Map | (Beta) Konfiguracja wyzwalacza harmonogramu Crona. Dodano w Databricks CLI w wersji 1.13.0 |
table_update |
Map | (Beta) Konfiguracja wyzwalania aktualizacji tabeli. Dodano w Databricks CLI w wersji 1.13.0 |
job.webhook_notifications
Type: Map
Ustawienia powiadomień webhook dla przebiegów zadań.
| Key | Typ | Description |
|---|---|---|
on_start |
Sequence | Lista identyfikatorów powiadomień webhook do powiadamiania, gdy rozpoczyna się uruchomienie. |
on_success |
Sequence | Lista identyfikatorów powiadomień webhook do powiadamiania, gdy przebieg zakończy się sukcesem. |
on_failure |
Sequence | Lista identyfikatorów powiadomień webhook, które mają być użyte do powiadamiania w przypadku niepowodzenia uruchomienia. |
on_duration_warning_threshold_exceeded |
Sequence | Lista identyfikatorów powiadomień elementu webhook, które mają być powiadamiane, gdy czas trwania przebiegu przekracza próg ostrzeżenia. |
on_streaming_backlog_exceeded |
Sequence | Lista identyfikatorów powiadomień systemowych do wywołania w przypadku przekroczenia progów listy prac przesyłania strumieniowego dla dowolnego strumienia. Progi listy prac przesyłania strumieniowego health można ustawić w polu przy użyciu następujących metryk: STREAMING_BACKLOG_BYTES, STREAMING_BACKLOG_RECORDS, STREAMING_BACKLOG_SECONDSlub STREAMING_BACKLOG_FILES. Alerty są oparte na średniej 10-minutowej tych metryk. Jeśli problem będzie się powtarzać, powiadomienia są wysyłane co 30 minut. Można określić maksymalnie 3 miejsca docelowe. |
on_maintenance_start |
Sequence | Opcjonalna lista identyfikatorów powiadomień systemowych do wywołania, gdy rozpocznie się konserwacja inicjowana przez platformę dla ciągłego zadania. Można określić maksymalnie 3 miejsca docelowe dla właściwości on_maintenance_start.Dodano w Databricks CLI w wersji 1.20.0 |
on_maintenance_complete |
Sequence | Opcjonalna lista identyfikatorów powiadomień systemowych do wywołania po zakończeniu konserwacji inicjowanej przez platformę dla ciągłego zadania. Można określić maksymalnie 3 miejsca docelowe dla właściwości on_maintenance_complete.Dodano w Databricks CLI w wersji 1.20.0 |
Examples
W poniższym przykładzie zdefiniowano zadanie z kluczem zasobu hello-job z jednym zadaniem w notatniku:
resources:
jobs:
hello-job:
name: hello-job
tasks:
- task_key: hello-task
notebook_task:
notebook_path: ./hello.py
W poniższym przykładzie zdefiniowano zadanie za pomocą notesu SQL:
resources:
jobs:
job_with_sql_notebook:
name: 'Job to demonstrate using a SQL notebook with a SQL warehouse'
tasks:
- task_key: notebook
notebook_task:
notebook_path: ./select.sql
warehouse_id: 799f096837fzzzz4
Aby uzyskać dodatkowe przykłady konfiguracji zadań, zobacz Konfiguracja zadania.
Aby uzyskać informacje na temat definiowania zadań pracy i nadpisywania ustawień pracy, odwołaj się do:
- Dodawanie zadań do zadań w pakietach automatyzacji deklaratywnej
- Nadpisanie ustawień zadania zadaniowego
job_run
Type: Map
Zasób job_run uruchamia uruchomienie istniejącego zadania w ramach wdrażania pakietu. W przeciwieństwie do zadania, które definiuje zadanie, wykonanie zadania odnosi się do istniejącego zadania według ID.
Uruchamianie zadań jest obsługiwane w Python dla pakietów deklaratywnej automatyzacji. Zobacz databricks.bundles.job_runs.
Note
Używanie Declarative Automation Bundles do definiowania zadań jest obsługiwane tylko wtedy, gdy korzystasz z silnika bezpośredniego wdrożenia.
Dodano w Databricks CLI w wersji 1.7.0
job_runs:
<job_run-name>:
<job_run-field-name>: <job_run-field-value>
| Key | Typ | Description |
|---|---|---|
job_id |
Integer | To jest wymagane. Identyfikator zadania do uruchomienia. Dodano w Databricks CLI w wersji 1.7.0 |
job_parameters |
Map | Parametry na poziomie zadania używane w przebiegu, na przykład param: overriding_val.Dodano w Databricks CLI w wersji 1.7.0 |
lifecycle |
Map | Zawiera ustawienia cyklu życia zasobu. Steruje zachowaniem zasobu podczas wdrażania lub zniszczenia. Zobacz cykl życia. Dodano w Databricks CLI w wersji 1.7.0 |
only |
Sequence | Lista kluczy zadań do uruchomienia wewnątrz zadania. Jeśli to pole nie jest udostępnione, wszystkie zadania w zadaniu są wykonywane. Z dodatkiem do klucza zadania wykonuje + się również zadania w górnym biegu, lub z dodatkiem , + aby również uruchamiać zadania w dalszej fazie. Na przykład uruchamia +my_taskmy_task się i wszystko powyżej niej, my_task+my_task działa i wszystko poniżej niej, i +my_task+ działa oba. Klucz zadania bez wykonania + wykonuje tylko to zadanie.Dodano w Databricks CLI w wersji 1.7.0 |
performance_target |
String | Tryb wydajności zadania bezserwerowego. Cel wydajnościowy określa poziom wydajności obliczeniowej lub efektywności kosztowej dla danego uruchomienia i przewyższa cel wydajnościowy zdefiniowany na poziomie zadania. Poprawne wartości to STANDARD, co umożliwia efektywne kosztowo wykonywanie obciążeń serwerless, oraz PERFORMANCE_OPTIMIZED, które priorytetowo traktuje szybkie uruchamianie i wykonywanie dzięki szybkiemu skalowaniu i optymalizacji wydajności klastra.Dodano w Databricks CLI w wersji 1.7.0 |
pipeline_params |
Map | Ustawienia odświeżania dla zadania pipeline podczas uruchomienia. Zobacz job_run.pipeline_params. Dodano w Databricks CLI w wersji 1.7.0 |
queue |
Map | Ustawienia kolejki podczas rozgrywki. Ustaw enabled na true , aby włączyć kolejkę dla przebiegu.Dodano w Databricks CLI w wersji 1.7.0 |
job_run.pipeline_params
Type: Map
Ustawienia odświeżania dla zadania pipeline podczas uruchomienia.
Dodano w Databricks CLI w wersji 1.7.0
| Key | Typ | Description |
|---|---|---|
full_refresh |
logiczny | Czy wywołać pełne odświeżenie potoku deklaratywnego Sparka. Dodano w Databricks CLI w wersji 1.7.0 |
full_refresh_selection |
Sequence | Lista tabel do aktualizacji przy pełnym odświeżeniu. Dodano w Databricks CLI w wersji 1.7.0 |
refresh_flow_selection |
Sequence | Nazwy przepływów są selektywnie odświeżane. Są one łączone z innymi opcjami refresh_selection selektywnego odświeżania oraz full_refresh_selection, aby określić ostateczny zestaw przepływów do odświeżenia.Dodano w Databricks CLI w wersji 1.7.0 |
refresh_selection |
Sequence | Lista tabel do aktualizacji bez pełnego odświeżenia. Dodano w Databricks CLI w wersji 1.7.0 |
reset_checkpoint_selection |
Sequence | Lista przepływów strumieniowych, dla których można resetować punkty kontrolne bez czyszczenia danych. Dodano w Databricks CLI w wersji 1.7.0 |
Example
Poniższy przykład uruchamia uruchomienie istniejącego zadania, nadpisując jeden parametr zadania i ograniczając go do pojedynczego zadania oraz jego zadań w górnym biegu:
resources:
job_runs:
my_job_run:
job_id: 123456789
job_parameters:
catalog: main
only:
- +my_task
materialization_set
Ważne
Ta funkcja jest dostępna w prywatnej wersji zapoznawczej. Aby ją wypróbować, skontaktuj się z osobą kontaktową usługi Azure Databricks.
Type: Map
Zasób materialization_set pozwala definiować zbiory materializacji w wiązce. Zbiór materializacji generuje dane cech. Lista jest Widoków Cech do zmaterializowania oraz dla każdego z nich sklep offline lub online do zapisu. Azure Databricks tworzy i zarządza potokami Lakeflow, które wypełniają te magazyny. Aby uzyskać informacje o materializowaniu cech , zobacz Widoki cech materializacji.
Każdy wpis materialized_features to jeden z zmaterializowanych elementów zestawu. Widok cech wnosi jednego członka na miejsce docelowe, więc widok cech materializowany zarówno offline, jak i online jest deklarowany jako dwie zmaterializowane cechy. Widok cech z oknem sawtooth wnosi trzy. Zobacz Reguły muszą spełniać zbiór materializacji. Grupowanie członków w jednym zestawie informuje Azure Databricks, że mogą być obliczane razem, więc pakuje je w jak najmniej tabel i potoków Lakeflow, które je zawierają. Samouczek znajdziesz w sekcji Zarządzanie widokami cech za pomocą pakietów automatyzacji deklaratywnej.
Zestawy materializacji są obsługiwane w Python dla pakietów automatyzacji deklaratywnej. Zobacz databricks.bundles.materialization_sets.
Note
Ten zasób wymaga silnika wdrożenia bezpośredniego. Zobacz Kompatybilność zasobów.
Dodano w Databricks CLI w wersji 1.24.0
materialization_sets:
<materialization_set-name>:
materialized_features:
- <materialized_feature-field-name>: <materialized_feature-field-value>
| Key | Typ | Description |
|---|---|---|
lifecycle |
Map | Zawiera ustawienia cyklu życia zasobu. Steruje zachowaniem zasobu podczas wdrażania lub zniszczenia. Zobacz cykl życia. Dodano w Databricks CLI w wersji 1.24.0 |
materialized_features |
Sequence | To jest wymagane. Członkowie zestawu, po jednym na widok funkcji i cel. Zobacz materialization_set.materialized_features. Dodano w Databricks CLI w wersji 1.24.0 |
materialization_set.materialized_features
Type: Sequence
Jeden z członków zestawu: widok cech, do którego się materializuje, magazyn, do którego zapisywane są dane, oraz sposób ich odświeżania. Ustaw dokładnie jeden z offline_store_config lub online_store_config, a maksymalnie jeden wyzwalacz.
Dodano w Databricks CLI w wersji 1.24.0
| Key | Typ | Description |
|---|---|---|
budget_policy_id |
String | Polityka budżetowa, pipeline materializacji jest obciążona. Zobacz Użycie atrybutów z zasadami użycia bezserwerowymi. Dodano w Databricks CLI w wersji 1.24.0 |
cron_schedule_trigger |
Map | Odśwież członka według harmonogramu. Zobacz materialization_set.materialized_features.cron_schedule_trigger. Dodano w Databricks CLI w wersji 1.24.0 |
feature_name |
String | To jest wymagane. Trzypoziomowa nazwa Katalogu Unity widoku cech do zmaterializowania. Użyj odwołania do widoku cech zadeklarowanego w tym samym wiązce, na przykład ${resources.features.<feature-name>.full_name}, aby wiązka utworzyła widok cech przed zbiorem, który go materializuje.Dodano w Databricks CLI w wersji 1.24.0 |
offline_store_config |
Map | Zapisuj dane cech do tabel Katalogu Unity do trenowania i oceny wsadowej. Zobacz materialization_set.materialized_features.offline_store_config. Dodano w Databricks CLI w wersji 1.24.0 |
online_store_config |
Map | Zapisz dane cech do sklepu internetowego dla obsługi o niskim opóźnieniu. Zobacz materialization_set.materialized_features.online_store_config. Dodano w Databricks CLI w wersji 1.24.0 |
streaming_mode |
Map | Odświeżaj członka na bieżąco ze źródła strumieniowego. Zobacz materialization_set.materialized_features.streaming_mode. Dodano w Databricks CLI w wersji 1.24.0 |
table_trigger |
Map | Odśwież członka po zmianie jego tabeli źródłowej. Dodano w Databricks CLI w wersji 1.24.0 |
tags |
Map | Tagi zastosowane do zmaterializowanej cechy. Dodano w Databricks CLI w wersji 1.24.0 |
materialization_set.materialized_features.offline_store_config
Type: Map
Lokalizacja w katalogu Unity, do której zapisywane są tabele funkcji offline. Te klucze są akceptowane podczas zapisu i nie zwracane podczas odczytu.
Dodano w Databricks CLI w wersji 1.24.0
| Key | Typ | Description |
|---|---|---|
catalog_name |
String | To jest wymagane. Katalog do zapisu tabel offline. Dodano w Databricks CLI w wersji 1.24.0 |
schema_name |
String | To jest wymagane. Schemat zapisu tabel offline. Dodano w Databricks CLI w wersji 1.24.0 |
table_name_prefix |
String | To jest wymagane. Prefiks nazw wygenerowanych tabel. Azure Databricks dodaje sufiks, dzięki czemu tabela jest nazwana, <table_name_prefix>_<suffix> a nie <table_name_prefix>.Dodano w Databricks CLI w wersji 1.24.0 |
materialization_set.materialized_features.online_store_config
Type: Map
Do magazynu internetowego, do którego publikowane są dane cech. Informacje o sklepach internetowych znajdziesz w sekcji Databricks Online Feature Stores.
Dodano w Databricks CLI w wersji 1.24.0
| Key | Typ | Description |
|---|---|---|
catalog_name |
String | To jest wymagane. Katalog tabeli online. Akceptowane podczas zapisu i nie zwracane podczas odczytu. Dodano w Databricks CLI w wersji 1.24.0 |
online_store_name |
String | To jest wymagane. Nazwa sklepu internetowego, w którym chcesz publikować. Dodano w Databricks CLI w wersji 1.24.0 |
schema_name |
String | To jest wymagane. Schemat tabeli online. Akceptowane podczas zapisu i nie zwracane podczas odczytu. Dodano w Databricks CLI w wersji 1.24.0 |
table_name_prefix |
String | To jest wymagane. Prefiks generowanych nazw tabel online, do których Azure Databricks dodaje sufiks. Akceptowane podczas zapisu i nie zwracane podczas odczytu. Dodano w Databricks CLI w wersji 1.24.0 |
materialization_set.materialized_features.cron_schedule_trigger
Type: Map
Odświeża członka według harmonogramu.
Dodano w Databricks CLI w wersji 1.24.0
| Key | Typ | Description |
|---|---|---|
cron_expression |
String | Wyrażenie Quartz cron, takie jak 0 0 * * * ?. Wymagane, gdy mode jest , MANUALi nie może być ustawione, gdy mode jest .DERIVEDDodano w Databricks CLI w wersji 1.24.0 |
mode |
String | Prawidłowe wartości to MANUAL, które używają podanego cron_expression przez Ciebie, oraz DERIVED, gdzie Azure Databricks wybiera harmonogram z definicji funkcji. Databricks zaleca DERIVED, które uruchamia pipeline po tym, jak dane potrzebne dla każdego okna zostaną już dostarczone.
DERIVED nie jest obsługiwany dla column_selection funkcji na , sdp_sourceani dla last agregacji nad rolling oknem, które materializuje się tylko w sklepie internetowym. Te wymagają MANUAL.Dodano w Databricks CLI w wersji 1.24.0 |
timezone_id |
String | Strefa czasowa, w której harmonogram jest oceniany. Wartość domyślna to UTC. Gdy mode jest , DERIVEDtimezone_id musi być UTC, jeśli jest ustawione.Dodano w Databricks CLI w wersji 1.24.0 |
materialization_set.materialized_features.streaming_mode
Type: Map
Odświeża członka nieprzerwanie ze źródła strumieniowego. Członek z zestawem streaming_mode nie przyjmuje .cron_schedule_trigger
Dodano w Databricks CLI w wersji 1.24.0
| Key | Typ | Description |
|---|---|---|
freshness_target |
String | Jak bardzo zmaterializowane dane mogą się stać, jako czas trwania taki jak 60s.Dodano w Databricks CLI w wersji 1.24.0 |
mode |
String | Prawidłowe wartości dotyczą STREAMING_MODE_TYPE_RTM materializacji w czasie rzeczywistym oraz STREAMING_MODE_TYPE_MBM materializacji mikropartii.STREAMING_MODE_TYPE_MBM nie jest dostępny. Użyj STREAMING_MODE_TYPE_RTM.Dodano w Databricks CLI w wersji 1.24.0 |
Reguły, które zbiór materializacji musi spełniać
Żądanie tworzenia jest odrzucane, chyba że spełnione są wszystkie następujące warunki:
- Każdy widok cech w zestawie określa to samo miejsce docelowe offline oraz to samo miejsce docelowe online. Zestaw zapisuje się do jednego miejsca docelowego offline oraz opcjonalnie do jednego miejsca online, więc widoki funkcji z różnymi miejscami offline lub online należą do oddzielnych zestawów.
- Zestaw nie łączy widoków cech materializowanych partią z widokami cech materializowanych w trybie streamingowym. Widok funkcji strumieniowy z oknem
sawtoothjest wyjątkiem. Jego funkcje wsadowe i streamingowe należą do tego samego zestawu. - Konfiguracje miejsc docelowych offline i online w widoku funkcji różnią się co najmniej w jednej z
catalog_name,schema_name, lubtable_name_prefix. - Widok cech, którego agregacja korzysta z okna,
sawtoothwnosi dokładnie trzy zmaterializowane funkcje: funkcję zmaterializowaną offline, funkcję zmaterializowaną online oraz funkcję zmaterializowaną online. Funkcjecron_schedule_triggerpartii offline i partii online materializowanych muszą być ustawione naDERIVED, a funkcje materializowane partii online i streamingu muszą korzystać z tej samej konfiguracji docelowej online. Deklarowanie podzbioru trzech zmaterializowanych cech zostaje odrzucone.
Ponieważ widoki cech w wiązce są tworzone przed zbiorem materializacji, który je materializuje, zestaw odrzucony z jednego z tych powodów pozostawia swoje widoki cech na miejscu. Uruchom, databricks bundle destroy aby je usunąć, lub popraw zestaw i wdroż ponownie.
Zmiana zbioru materializacji
API rozwiązuje i stosuje zmianę dokonaną w dostarczonym zbiorze materializacji. Poniższa tabela opisuje, co robi każdy rodzaj zmiany konfiguracji na databricks bundle deploy, która prosi o potwierdzenie przed zastąpieniem lub usunięciem zestawu, i nie następuje bez Twojej zgody lub --auto-approve.
| Change | Result |
|---|---|
| Usuń wszystkie zmaterializowane cechy należące do tego samego widoku cech w zestawie | Zastosowano na miejscu. Pozostałe zmaterializowane cechy w zbiorze materializacji zachowują swoją tożsamość i zmaterializowane dane. |
| Usuń niektóre, ale nie wszystkie zmaterializowane elementy funkcji widoku cech w zestawie | Odrzucone. Usunięcie offline'owej zmaterializowanej funkcji widoku cech kaskaduje do jego zmaterializowanych cech online, więc wszystkie zmaterializowane cechy tego widoku cech muszą zostać usunięte razem. |
| Dodaj zmaterializowany element funkcji do istniejącego zestawu | Wymienia zestaw. Każda zmaterializowana cecha w nim jest niszczona i ponownie obliczana, włącznie z członkami, których konfiguracja się nie zmieniła. |
Zmień dowolny klucz dowolnego elementu cechy, w tym wyzwalacz tags, , lub budget_policy_id |
Wymienia zestaw. Każda zmaterializowana cecha w nim jest niszczona i ponownie obliczana, włącznie z członkami, których konfiguracja się nie zmieniła. |
| Ponowne wdrożenie bez zmiany konfiguracji | Brak akcji. |
Example
Poniższy przykład zmaterializuje jeden widok cech zarówno offline, jak i online. Odwołuje feature_name się do widoku cech zadeklarowanego w tym samym wiązce, co powoduje, że pakiet najpierw tworzy widok cech. Oba miejsca docelowe używają różnych prefiksów, których wymaga serwer.
YAML
resources:
materialization_sets:
transactions:
materialized_features:
- feature_name: ${resources.features.transaction_count.full_name}
offline_store_config:
catalog_name: ${var.catalog}
schema_name: ${var.schema}
table_name_prefix: transaction_count_offline
cron_schedule_trigger:
mode: DERIVED
- feature_name: ${resources.features.transaction_count.full_name}
online_store_config:
online_store_name: ${var.online_store}
catalog_name: ${var.catalog}
schema_name: ${var.schema}
table_name_prefix: transaction_count_online
cron_schedule_trigger:
mode: DERIVED
Python
def load_resources(bundle: Bundle) -> Resources:
resources = Resources()
resources.add_materialization_set(
'transactions',
MaterializationSet(
materialized_features=[
MaterializedFeature(
feature_name='${resources.features.transaction_count.full_name}',
offline_store_config=OfflineStoreConfig(
catalog_name='${var.catalog}',
schema_name='${var.schema}',
table_name_prefix='transaction_count_offline',
),
cron_schedule_trigger=CronSchedule(mode=CronScheduleMode.DERIVED),
),
MaterializedFeature(
feature_name='${resources.features.transaction_count.full_name}',
online_store_config=OnlineStoreConfig(
online_store_name='${var.online_store}',
catalog_name='${var.catalog}',
schema_name='${var.schema}',
table_name_prefix='transaction_count_online',
),
cron_schedule_trigger=CronSchedule(mode=CronScheduleMode.DERIVED),
),
]
),
)
return resources
mcp_service
Type: Map
Zasób usługi MCP pozwala zdefiniować usługi MCP w pakiecie. Usługa MCP rejestruje zewnętrzny serwer protokołu Model Context Protocol (MCP) za pośrednictwem połączenia Unity Catalog i udostępnia swoje narzędzia za pośrednictwem AI Gateway.
Usługi MCP są obsługiwane w Python dla pakietów deklaratywnej automatyzacji. Zobacz databricks.bundles.mcp_services.
Note
Używanie Deklarative Automation Bundles do definiowania usług MCP jest obsługiwane tylko wtedy, gdy korzystasz z silnika bezpośredniego wdrożenia.
Dodano w Databricks CLI w wersji 1.17.0
mcp_services:
<mcp_service-name>:
<mcp_service-field-name>: <mcp_service-field-value>
| Key | Typ | Description |
|---|---|---|
comment |
String | Komentarz lub opis usługi MCP. Dodano w Databricks CLI w wersji 1.17.0 |
config |
Map | Konfiguracja operacyjna dla usługi MCP. Grupuje referencje źródłowe, selektory narzędzi oraz limity szybkości, które konfigurują zachowanie usługi MCP w czasie wywołania. Zobacz mcp_service.config. Dodano w Databricks CLI w wersji 1.17.0 |
grants |
Sequence | Dotacje związane z usługą MCP. Zobacz przyznanie. Dodano w Databricks CLI w wersji 1.17.0 |
lifecycle |
Map | Zawiera ustawienia cyklu życia zasobu. Steruje zachowaniem zasobu podczas wdrażania lub zniszczenia. Zobacz cykl życia. Dodano w Databricks CLI w wersji 1.17.0 |
mcp_service_id |
String | To jest wymagane. ID do użycia dla usługi MCP. To staje się ostatnim składnikiem nazwy zasobu usługi. Dodano w Databricks CLI w wersji 1.17.0 |
parent |
String | To jest wymagane. Schemat katalogu Unity, w którym można utworzyć usługę MCP, w formacie schemas/{catalog}.{schema}.Dodano w Databricks CLI w wersji 1.17.0 |
mcp_service.config
Type: Map
Konfiguracja operacyjna dla usługi MCP. Grupuje referencje źródłowe, selektory narzędzi oraz limity szybkości, które konfigurują zachowanie usługi MCP w czasie wywołania.
Dodano w Databricks CLI w wersji 1.17.0
| Key | Typ | Description |
|---|---|---|
include_tool_selectors |
Sequence | Nazwy narzędzi lub wzorce prefiksów do udostępnienia z serwera MCP. Używaj dokładnych nazw narzędzi lub wzorców prefiksów, takich jak read_*. Pusta lista uwidacznia wszystkie narzędzia. Maksymalnie 1 024 selektorów może zawierać maksymalnie 256 znaków.Dodano w Databricks CLI w wersji 1.17.0 |
rate_limits |
Sequence | Limity szybkości wywołań narzędzi. Obsługiwane zakresy to użytkownik, grupa, podmiot usługi, całość usługi oraz każdy użytkownik domyślnie. Obsługiwane są limity żądań i tokenów. Puste, gdy nie ma ustawionego limitu cenowego. Dodano w Databricks CLI w wersji 1.17.0 |
source_connection |
Map | Połączenie z katalogiem Unity odwołujące się do serwera MCP. Wymagane podczas tworzenia. Dodano w Databricks CLI w wersji 1.17.0 |
Example
resources:
mcp_services:
my_mcp:
parent: schemas/main.default
mcp_service_id: test_mcp_1
comment: 'Points at a Unity Catalog connection hosting an MCP server'
config:
source_connection:
name: connections/main.default.mcp_conn_1
Model (Legacy)
Type: Map
Zasób dotyczący modelu pozwala na definiowanie starszych modeli w pakietach. Usługa Databricks zaleca zamiast tego korzystanie z zarejestrowanych modeli w Katalogu Unity.
model_provider_service
Type: Map
Zasób usługi dostawcy modeli pozwala zdefiniować usługi dostawcy modelu w pakiecie. Usługa dostawcy modelu konfiguruje uwierzytelnianie i routing do zewnętrznego dostawcy modeli, takiego jak OpenAI, Azure OpenAI, Anthropic czy Amazon Bedrock, za pośrednictwem AI Gateway.
Usługi dostawcy modeli są obsługiwane w Python dla pakietów automatyki deklaratywnej. Zobacz databricks.bundles.model_provider_services.
Note
Używanie Deklaratywnych Pakietów Automatyzacji do definiowania usług dostawców modeli jest obsługiwane tylko wtedy, gdy korzystasz z silnika bezpośredniego wdrożenia.
Dodano w Databricks CLI w wersji 1.17.0
model_provider_services:
<model_provider_service-name>:
<model_provider_service-field-name>: <model_provider_service-field-value>
| Key | Typ | Description |
|---|---|---|
comment |
String | Komentarz lub opis usługi dostawcy modeli. Dodano w Databricks CLI w wersji 1.17.0 |
config |
Map | Konfiguracja behawioralna dla usługi dostawcy modelu: uwierzytelnianie dostawcy i pola specyficzne dla dostawcy, katalog modeli, do których usługa może kierować tę usługę, oraz polityka przekazywania informacji, która reguluje, jak nagłówki żądań, parametry zapytań i niezarządzane podścieżki przekraczają granicę zaufania do dostawcy w górze. Zobacz model_provider_service.config. Dodano w Databricks CLI w wersji 1.17.0 |
grants |
Sequence | Dotacje związane z usługą modelowego dostawcy. Zobacz przyznanie. Dodano w Databricks CLI w wersji 1.17.0 |
lifecycle |
Map | Zawiera ustawienia cyklu życia zasobu. Steruje zachowaniem zasobu podczas wdrażania lub zniszczenia. Zobacz cykl życia. Dodano w Databricks CLI w wersji 1.17.0 |
model_provider_service_id |
String | To jest wymagane. ID do wykorzystania dla usługi dostawcy modeli. To staje się ostatnim składnikiem nazwy zasobu usługi. Dodano w Databricks CLI w wersji 1.17.0 |
parent |
String | To jest wymagane. Schemat katalogu Unity, w którym można utworzyć usługę dostawcy modeli, w formacie schemas/{catalog}.{schema}.Dodano w Databricks CLI w wersji 1.17.0 |
model_provider_service.config
Type: Map
Konfiguracja behawioralna dla usługi dostawcy modeli.
Dodano w Databricks CLI w wersji 1.17.0
| Key | Typ | Description |
|---|---|---|
allow_all_targets |
logiczny | Gdy jest prawdziwy, akceptuje dowolny model udostępniony przez dostawcę upstream; targets nie jest wymagany i nie ogranicza możliwości trasowania. Gdy jest fałszywe, routowalne są tylko modele wymienione w .targets Wartość domyślna to fałsz.Dodano w Databricks CLI w wersji 1.17.0 |
amazon_bedrock |
Map | Konfiguracja dostawcy Amazon Bedrock. Dodano w Databricks CLI w wersji 1.17.0 |
anthropic |
Map | Anthropic konfiguracja dostawcy. Dokładnie jedno z direct lub relayed musi być ustawione na create; oba są wzajemnie wykluczające się.Dodano w Databricks CLI w wersji 1.17.0 |
azure_openai |
Map | Konfiguracja dostawcy Azure OpenAI. Dodano w Databricks CLI w wersji 1.17.0 |
bedrock_mantle |
Map | Konfiguracja dostawcy Amazon Bedrock. Dodano w Databricks CLI w wersji 1.21.0 |
custom |
Map | Niestandardowa konfiguracja dostawcy kompatybilna z OpenAI. Dodano w Databricks CLI w wersji 1.17.0 |
forward_headers |
logiczny | Czy przekierować przychodzące nagłówki HTTP do dostawcy upstream. Domyślnie ustawia się na false i jest skonfigurowany dla całej usługi dostawcy, a nie dla każdego żądania. Uwierzytelnianie upstream jest konfigurowane oddzielnie w konfiguracji specyficznej dla operatora. Dodano w Databricks CLI w wersji 1.17.0 |
forward_query_parameters |
logiczny | Czy przekierować parametry zapytania przychodzącego do dostawcy upstream. Domyślnie ustawia się na false i jest skonfigurowany dla całej usługi dostawcy, a nie dla każdego żądania. Dodano w Databricks CLI w wersji 1.17.0 |
forward_unmanaged_paths |
logiczny | Czy zastąpić ścieżki proxy, których AI Gateway nie rozpoznaje jako skonfigurowane natywne typy API dla dostawcy. Wartość domyślna to fałsz. Gdy to prawda, te ścieżki są przekazywane bez zmian do dostawcy upstream. Gdy jest fałszywy, obsługiwane są tylko uznane ścieżki API. Umożliwienie tego poszerza powierzchnię API upstream udostępnioną przez usługę dostawcy. AI Gateway nie może oceniać polityk usług na nieprzejrzystych niezarządzanych żądaniach, dlatego żądania niezarządzane są odrzucane za każdym razem, gdy do tego zabezpieczenia dołączane są polityki usługowe. Dodano w Databricks CLI w wersji 1.17.0 |
gemini_enterprise |
Map | Konfiguracja dostawcy Gemini Enterprise. Dodano w Databricks CLI w wersji 1.17.0 |
inference_table |
Map | Konfiguracja logowania ładunku dla żądań wysyłanych bezpośrednio do tej usługi dostawcy. Żądania kierowane przez usługę modelu są przechwytywane przez tabelę wnioskowania tej usługi modelowej. Dodano w Databricks CLI w wersji 1.17.0 |
microsoft_foundry |
Map | Konfiguracja dostawcy Microsoft Foundry. Dodano w Databricks CLI w wersji 1.17.0 |
openai |
Map | Konfiguracja dostawcy OpenAI. Dodano w Databricks CLI w wersji 1.17.0 |
pricing |
Map | Konfiguracja cen dla tej usługi dostawcy. Zawiera default_discount_basis_points, korektę dla całego dostawcy do szacunków wydatków modelu zewnętrznego w punktach bazowych (na przykład 2000 jest 20% niczym i -2000 jest marżą 20%). Wyraźnie pusta konfiguracja jest zachowywana przy tworzeniu i aktualizacji i nie stosuje żadnych zmian.Dodano w Databricks CLI w wersji 1.21.0 |
provider_type |
String | Zewnętrzny dostawca modeli. Wymagane przy tworzeniu i niezmienne od tego momentu. Ustaw dopasowaną konfigurację specyficzną dla dostawcy, taką jak openai, azure_openai, lub amazon_bedrock. Prawidłowe wartości to EXTERNAL_MODEL_PROVIDER_TYPE_OPENAI, , EXTERNAL_MODEL_PROVIDER_TYPE_AZURE_OPENAI, EXTERNAL_MODEL_PROVIDER_TYPE_ANTHROPICEXTERNAL_MODEL_PROVIDER_TYPE_AMAZON_BEDROCKEXTERNAL_MODEL_PROVIDER_TYPE_CUSTOMEXTERNAL_MODEL_PROVIDER_TYPE_MICROSOFT_FOUNDRY, EXTERNAL_MODEL_PROVIDER_TYPE_GEMINI_ENTERPRISE, i .EXTERNAL_MODEL_PROVIDER_TYPE_BEDROCK_MANTLEDodano w Databricks CLI w wersji 1.17.0 |
rate_limits |
Sequence | Limity cen dla żądań wysyłanych bezpośrednio do tej usługi dostawcy. Żądania kierowane przez usługę modelową korzystają z limitów prędkości tej usługi modelowej. Dodano w Databricks CLI w wersji 1.17.0 |
targets |
Sequence | Modele i typy API natywnych dla dostawcy udostępniane przez tę usługę dostawcy. Każde zgłoszenie musi zawierać co najmniej jedną native_api_types wartość. Gdy allow_all_targets jest fałszywe, wymagany jest co najmniej jeden wpis, a miejsca docelowe usług modeli mogą odwoływać się tylko do wymienionych modeli. Gdy allow_all_targets jest prawdziwe, każdy model upstream jest routowalny; wpisy w tej liście dostarczają metadanych typu API bez ograniczania innych modeli.Dodano w Databricks CLI w wersji 1.17.0 |
Example
resources:
model_provider_services:
my_model_provider_service:
parent: schemas/main.myschema
model_provider_service_id: myservice
comment: comment1
config:
provider_type: EXTERNAL_MODEL_PROVIDER_TYPE_CUSTOM
targets:
- model: gpt-4o
native_api_types:
- openai/v1/chat/completions
custom:
direct:
base_url: https://api.example.com/v1
api_key:
plaintext: my-api-key
model_service
Type: Map
Zasób usługi modelu pozwala zdefiniować usługi modelu w pakietie. Usługa modelu to zarządzany punkt końcowy AI Gateway, który kieruje żądania do jednego lub więcej miejsc docelowych, takich jak usługa dostawcy modelu lub model bazowy Databricks.
Usługi modelowe są obsługiwane w Python dla pakietów automatyzacji deklaratywnej. Zobacz databricks.bundles.model_services.
Note
Używanie Deklarative Automation Bundles do definiowania usług modelu jest obsługiwane tylko wtedy, gdy korzystasz z silnika bezpośredniego wdrożenia.
Dodano w Databricks CLI w wersji 1.17.0
model_services:
<model_service-name>:
<model_service-field-name>: <model_service-field-value>
| Key | Typ | Description |
|---|---|---|
comment |
String | Komentarz lub opis modelu usługi. Dodano w Databricks CLI w wersji 1.17.0 |
config |
Map | Konfiguracja operacyjna otoczona wokół modelu zasobu usługowego. Zobacz model_service.config. Dodano w Databricks CLI w wersji 1.17.0 |
grants |
Sequence | Dotacje związane z modelową usługą. Zobacz przyznanie. Dodano w Databricks CLI w wersji 1.17.0 |
lifecycle |
Map | Zawiera ustawienia cyklu życia zasobu. Steruje zachowaniem zasobu podczas wdrażania lub zniszczenia. Zobacz cykl życia. Dodano w Databricks CLI w wersji 1.17.0 |
model_service_id |
String | To jest wymagane. ID do wykorzystania dla usługi modelowej. To staje się ostatnim składnikiem nazwy zasobu usługi. Dodano w Databricks CLI w wersji 1.17.0 |
parent |
String | To jest wymagane. Schemat katalogu Unity, w którym można utworzyć usługę modelową, w formacie schemas/{catalog}.{schema}.Dodano w Databricks CLI w wersji 1.17.0 |
model_service.config
Type: Map
Konfiguracja operacyjna otoczona wokół modelu zasobu usługowego.
Dodano w Databricks CLI w wersji 1.17.0
| Key | Typ | Description |
|---|---|---|
inference_table |
Map | Konfiguracja tabeli wnioskowania do logowania ładunku. Dodano w Databricks CLI w wersji 1.17.0 |
rate_limits |
Sequence | Limity prędkości były stosowane dla żądań kierowanych przez tę usługę modelową. Dodano w Databricks CLI w wersji 1.17.0 |
routing |
Map | Konfiguracja trasowania: miejsca docelowe i zapasowe. Dodano w Databricks CLI w wersji 1.17.0 |
Examples
resources:
model_services:
my_model_service:
parent: schemas/main.default
model_service_id: test_ms_1
comment: 'Routes chat traffic to a foundation model'
config:
routing:
destinations:
- name: primary
destination_type: DESTINATION_TYPE_PAY_PER_TOKEN_FOUNDATION_MODEL
pay_per_token_config:
model: models/system.ai.databricks-gpt-5
traffic_percentage: 100
model_serving_endpoint
Type: Map
Zasób model_serving_endpoint umożliwia zdefiniowanie modelu obsługującego punkty końcowe. Zobacz Zarządzanie modelem obsługującym punkty końcowe.
Endpointy obsługujące modele są obsługiwane w Python dla pakietów deklaratywnej automatyzacji. Zobacz databricks.bundles.model_serving_endpoints.
model_serving_endpoints:
<model_serving_endpoint-name>:
<model_serving_endpoint-field-name>: <model_serving_endpoint-field-value>
| Key | Typ | Description |
|---|---|---|
ai_gateway |
Map | Konfiguracja bramy sztucznej inteligencji dla punktu końcowego obsługującego. UWAGA: Obecnie obsługiwane są tylko zewnętrzne modele i punkty końcowe z konfigurowaną przepływnością. Zobacz ai_gateway. Dodano w Databricks CLI w wersji 0.230.0 |
budget_policy_id |
String | Identyfikator zasad budżetu do użycia dla tego punktu końcowego. Dodano w Databricks CLI w wersji 0.244.0 |
config |
Map | Podstawowa konfiguracja punktu końcowego obsługującego. Zobacz konfigurację. |
description |
String | Opis punktu końcowego obsługującego. Dodano w Databricks CLI w wersji 0.260.0 |
email_notifications |
Map | Konfiguracja powiadomień e-mail dla punktu końcowego obsługi. Zobacz email_notifications. Dodano w Databricks CLI w wersji 0.264.0 |
lifecycle |
Map | Zawiera ustawienia cyklu życia zasobu. Steruje zachowaniem zasobu podczas wdrażania lub zniszczenia. Zobacz cykl życia. Dodano w Databricks CLI w wersji 0.268.0 |
name |
String | Nazwa obsługującego punktu końcowego. To pole jest wymagane i musi być unikatowe w obszarze roboczym usługi Databricks. Nazwa punktu końcowego może zawierać znaki alfanumeryczne, kreski i podkreślenia. |
permissions |
Sequence | Model obsługujący uprawnienia punktu końcowego. Zobacz uprawnienia. |
rate_limits |
Sequence | Deprecated. Limity szybkości, które mają być stosowane do punktu końcowego obsługi. Użyj AI Gateway do zarządzania limitami ilościowymi. |
route_optimized |
logiczny | Włącz optymalizację tras dla punktu końcowego obsługi. |
tags |
Sequence | Tagi, które mają być dołączone do punktu końcowego obsługi i automatycznie propagowane do dzienników rozliczeniowych. |
telemetry_config |
Map | Konfiguracja utrwalania telemetrii punktów końcowych (logi, śledzenia i metryki) do tabel katalogu Unity. Zobacz telemetry_config. Dodano w Databricks CLI w wersji 1.6.0 |
model_serving_endpoint.telemetry_config
Type: Map
Konfiguracja utrwalania telemetrii punktów końcowych (logi, śledzenia i metryki) do tabel katalogu Unity.
Dodano w Databricks CLI w wersji 1.6.0
| Key | Typ | Description |
|---|---|---|
enabled_telemetry_features |
Sequence | Telemetria sygnalizuje umożliwiając ten punkt końcowy. Jeśli są puste lub pomijane, wszystkie sygnały są włączone; w przeciwnym razie włączane są tylko wymienione sygnały. Dodano w Databricks CLI w wersji 1.14.0 |
inference_table_config |
Map | Konfiguracja do logowania ładunków tabeli wnioskowania, w tym próbkowania. Dodano w Databricks CLI w wersji 1.6.0 |
table_names |
Map | Tabele katalogu Unity, do których eksportowana jest telemetria końcowa (logi, śledzenia i metryki). Udostępnij to, aby utworzyć nowy profil telemetryczny dla punktu końcowego z danych tabel. Dodano w Databricks CLI w wersji 1.10.0 |
telemetry_profile_id |
String | ID istniejącego profilu telemetrycznego do zastosowania do tego punktu końcowego. Udostępnij to, aby ponownie wykorzystać profil telemetryczny, który już został utworzony, zamiast określać table_names.Dodano w Databricks CLI w wersji 1.10.0 |
model_serving_endpoint.e-mail_notifications
Type: Map
Konfiguracja powiadomień e-mail dla punktu końcowego obsługi.
| Key | Typ | Description |
|---|---|---|
on_update_failure |
Sequence | Lista adresów e-mail, które mają być powiadamiane, gdy punkt końcowy nie zaktualizuje jego konfiguracji lub stanu. |
on_update_success |
Sequence | Lista adresów e-mail, które mają być powiadamiane o pomyślnym zaktualizowaniu konfiguracji lub stanu punktu końcowego. |
model_serving_endpoint.ai_gateway
Type: Map
Konfiguracja bramy sztucznej inteligencji dla punktu końcowego obsługującego.
| Key | Typ | Description |
|---|---|---|
fallback_config |
Map | Konfiguracja rezerwowego ruchu, który automatycznie wraca do innych obsługiwanych jednostek, jeśli żądanie do obsługiwanej jednostki kończy się niepowodzeniem z określonymi kodami błędów w celu zwiększenia dostępności. Zobacz fallback_config. |
guardrails |
Map | Konfiguracja poręczy. Zobacz zabezpieczenia. |
inference_table_config |
Map | Konfiguracja rejestrowania inferencji w tabelach Unity Catalog. Zobacz inference_table_config. |
rate_limits |
Sequence | Konfiguracje limitu szybkości. |
usage_tracking_config |
Map | Konfiguracja śledzenia użycia. Zobacz usage_tracking_config. |
model_serving_endpoint.ai_gateway.fallback_config
Type: Map
Konfiguracja rezerwowego ruchu, który automatycznie wraca do innych obsługiwanych jednostek, jeśli żądanie kończy się niepowodzeniem z określonymi kodami błędów.
| Key | Typ | Description |
|---|---|---|
enabled |
logiczny | Określa, czy dla tego punktu końcowego jest włączony rezerwowy. |
model_serving_endpoint.ai_gateway.guardrails
Type: Map
Konfiguracja barier zabezpieczających bramy sztucznej inteligencji.
| Key | Typ | Description |
|---|---|---|
input |
Map | Konfiguracja poręczy wejściowych z polami takimi jak safety, pii. |
output |
Map | Konfiguracja poręczy wyjściowych z polami takimi jak safety, pii. |
invalid_keywords |
Sequence | Lista słów kluczowych do zablokowania. |
model_serving_endpoint.ai_gateway.inference_table_config
Type: Map
Konfiguracja rejestrowania inferencji w tabelach Unity Catalog.
| Key | Typ | Description |
|---|---|---|
catalog_name |
String | Nazwa wykazu w wykazie aparatu Unity. |
schema_name |
String | Nazwa schematu w Unity Catalog. |
table_name_prefix |
String | Prefiks nazw tabel wnioskowania. |
enabled |
logiczny | Określa, czy rejestrowanie tabeli wnioskowania jest włączone. |
model_serving_endpoint.ai_gateway.usage tracking_config
Type: Map
Konfiguracja bramy AI do monitorowania użytkowania.
| Key | Typ | Description |
|---|---|---|
enabled |
logiczny | Określa, czy śledzenie użycia jest włączone. |
model_serving_endpoint.config
Type: Map
Podstawowa konfiguracja punktu końcowego obsługującego.
| Key | Typ | Description |
|---|---|---|
served_entities |
Sequence | Lista obsługiwanych jednostek dla punktu końcowego. Każda obsługiwana jednostka zawiera pola, takie jak entity_name, , entity_versionworkload_size, scale_to_zero_enabled, workload_type, environment_vars. |
served_models |
Sequence | (Przestarzałe: użyj served_entities zamiast tego) Lista obsługiwanych modeli dla punktu końcowego do obsługi. |
traffic_config |
Map | Konfiguracja ruchu definiująca sposób kierowania wywołań do punktu końcowego obsługującego. Zobacz traffic_config. |
model_serving_endpoint.config.traffic_config
Type: Map
Konfiguracja ruchu definiująca sposób kierowania wywołań do punktu końcowego obsługującego.
| Key | Typ | Description |
|---|---|---|
routes |
Sequence | Lista tras dystrybucji ruchu. Każda trasa zawiera served_model_name i traffic_percentage. |
Example
W poniższym przykładzie zdefiniowano punkt końcowy serwowania modelu w Katalogu Unity.
resources:
model_serving_endpoints:
uc_model_serving_endpoint:
name: 'uc-model-endpoint'
config:
served_entities:
- entity_name: 'myCatalog.mySchema.my-ads-model'
entity_version: '10'
workload_size: 'Small'
scale_to_zero_enabled: 'true'
traffic_config:
routes:
- served_model_name: 'my-ads-model-10'
traffic_percentage: '100'
tags:
- key: 'team'
value: 'data science'
rurociąg
Type: Map
Zasób potoku umożliwia tworzenie potoków.
Potoki są obsługiwane w Python dla pakietów deklaratywnej automatyzacji. Zobacz databricks.bundles.pipelines.
Informacje o rurociągach można znaleźć w artykule Spark Declarative Pipelines na Lakeflow. Aby zapoznać się z samouczkiem, który używa szablonu Deklaratywnych pakietów automatyzacji do utworzenia potoku, zobacz Tworzenie potoków przy użyciu pakietów deklaratywnej automatyzacji.
pipelines:
<pipeline-name>:
<pipeline-field-name>: <pipeline-field-value>
| Key | Typ | Description |
|---|---|---|
allow_duplicate_names |
logiczny | Jeśli ustawione na false, wdrożenie się nie powiedzie, jeśli nazwa będzie w konflikcie z innym potokiem. Dodano w Databricks CLI w wersji 0.261.0 |
budget_policy_id |
String | Polityka budżetowa tego pipeline. Dodano w Databricks CLI w wersji 0.230.0 |
cascade_on_destroy |
logiczny | Czy zniszczenie potoku powoduje także usunięcie jego zbiorów danych (zmaterializowane widoki, tabele strumieniowe i widoki). Gdy jest ustawiony, domyślny serwer jest ustawiony. Ustaw na false to zachować zbiory danych podczas zniszczenia. Wspierane przez silnik bezpośredniego wdrożenia.Dodano w Databricks CLI w wersji 1.12.0 |
catalog |
String | Katalog w Unity Catalog do publikowania danych z tego potoku. Jeśli target zostanie określony, tabele w tym potoku są publikowane w schemacie target w ramach catalog (na przykład catalog.target.table). Jeśli target nie zostanie określony, żadne dane nie zostaną opublikowane w Unity Catalog. |
channel |
String | Kanał wydania potoków Lakeflow określający wersję potoków lakeflow do użycia. |
clusters |
Sequence | Ustawienia konfiguracji klastra dla tego wdrożenia potoku. Dotyczy to klasycznych (nieserwerowych) potoków. Pomijamy to pole, gdy serverless jest .true Zobacz klaster. |
configuration |
Map | Konfiguracja tego wykonania potoku. |
deployment |
Map | Typ wdrożenia tego ciągu technologicznego. Zobacz wdrażanie. |
dry_run |
logiczny | Czy potok jest potokiem przebiegu suchego. |
edition |
String | Edycja produktu do zarządzania potokiem. |
environment |
Map | Specyfikacja środowiska użytego w tym potoku do instalacji zależności na platformie obliczeniowej bez serwera. Zobacz środowisko. Ten klucz jest obsługiwany tylko w interfejsie wiersza polecenia usługi Databricks w wersji 0.258 lub nowszej. Dodano w Databricks CLI w wersji 0.257.0 |
event_log |
Map | Konfiguracja dziennika zdarzeń dla tego potoku. Zobacz event_log. Dodano w Databricks CLI w wersji 0.246.0 |
filters |
Map | Filtry określające, które pakiety potoków mają zostać uwzględnione w wdrożonym grafie. Zobacz filtry. |
gateway_definition |
Map | Konfiguracja potoku bramy. Tych ustawień nie można używać z ustawieniami ingestion_definition . |
id |
String | Unikatowy identyfikator tego potoku. |
ingestion_definition |
Map | Konfiguracja zarządzanego potoku wprowadzania. Tych ustawień nie można używać z ustawieniami libraries, schema, targetlub catalog . Zobacz ingestion_definition. |
libraries |
Sequence | Lista bibliotek lub kodu wymaganych przez to wdrożenie. Zobacz pipeline.libraries. |
lifecycle |
Map | Zawiera ustawienia cyklu życia zasobu. Steruje zachowaniem zasobu podczas wdrażania lub zniszczenia. Zobacz cykl życia. Dodano w Databricks CLI w wersji 0.268.0 |
name |
String | Przyjazna nazwa tego pipeline'u. |
notifications |
Sequence | Ustawienia powiadomień dla tej pipelinii. Zobacz powiadomienia. |
parameters |
Map | Domyślne parametry do wykonania potoku, gdzie każdy klucz to nazwa parametru, a wartość parametru. Maksymalny całkowity rozmiar to 10 tys. znaków w formacie JSON. |
permissions |
Sequence | Uprawnienia potoku. Zobacz uprawnienia. |
photon |
logiczny | Określa, czy dla tego kanału włączono Photon. Ten klucz jest ignorowany, jeśli serverless jest ustawiony na truewartość . |
restart_window |
Map | Definiuje okno ponownego uruchamiania dla tego potoku. Potoki można ponownie uruchomić w tym oknie bez konieczności znajdowania się w tyle. |
root_path |
String | Ścieżka główna dla tego potoku. Jest on używany jako katalog główny podczas edytowania potoku w interfejsie użytkownika usługi Databricks i jest dodawany do pliku sys.path podczas wykonywania Python źródeł podczas wykonywania potoku. Dodano w Databricks CLI w wersji 0.253.0 |
run_as |
Map | Tożsamość, w ramach którego działa potok. Jeśli nie zostanie określone, pipeline jest uruchamiany przez użytkownika, który go utworzył. Określmy dokładnie jedno z user_name, service_principal_name, lub group_name. Jeśli podano więcej niż jeden, wyrzucany jest błąd. Zobacz Ustaw tożsamość run-as na grupę.Dodano w Databricks CLI w wersji 0.241.0 |
schema |
String | Domyślny schemat (baza danych), w którym tabele są odczytywane z lub publikowane. Dodano w Databricks CLI w wersji 0.230.0 |
serverless |
logiczny | Określa, czy dla tego potoku danych jest włączone przetwarzanie w trybie bezserwerowym. Databricks zaleca obliczenia bezserwerowe dla nowych rur. Ustaw to tak, true aby uruchamiał pipeline na serwerless compute. Dla potoków notatników lub plików pominięcie tego pola używa klasycznego systemu obliczeniowego skonfigurowanego przez clusters to pole. Gdy true, pomijam clusters. Photon jest zawsze włączony dla potoków serwerless. |
storage |
String | Katalog główny systemu plików DBFS do przechowywania punktów kontrolnych i tabel. |
tags |
Map | Mapa tagów związanych z potokiem danych. Są one przekazywane do klastra jako tagów klastra i dlatego podlegają tym samym ograniczeniom. Do potoku można dodać maksymalnie 25 tagów. Dodano w Databricks CLI w wersji 0.256.0 |
target |
String | Docelowy schemat (baza danych) do dodawania tabel w tej ścieżce przetwarzania. Należy określić dokładnie jeden z schema lub target. Aby opublikować w Unity Catalog, określ również wartość catalog. To starsze pole jest przestarzałe na potrzeby tworzenia potoku na rzecz pola schema. |
usage_policy_id |
String | Identyfikator zasad użycia bezserwerowych do użycia dla tego potoku. Dodano w Databricks CLI w wersji 0.273.0 |
pipeline.deployment
Type: Map
Konfiguracja typu wdrożenia dla potoku.
| Key | Typ | Description |
|---|---|---|
kind |
String | Rodzaj wdrożenia. Na przykład BUNDLE. |
metadata_file_path |
String | Ścieżka do pliku metadanych wdrożenia. |
pipeline.environment
Type: Map
Specyfikacja środowiska do instalowania zależności na obliczeniach bezserwerowych.
| Key | Typ | Description |
|---|---|---|
dependencies |
Sequence | Lista zależności pip obsługiwanych przez wersję pip w tym środowisku. Każda zależność jest linią w pliku wymagań pip. |
environment_version |
String | (Podgląd publiczny) Wersja środowiskowa środowiska bezserwerowego Python używana do wykonywania kodu Python klienta, na przykład 4. Każda wersja środowiska zawiera konkretną wersję Python oraz starannie przygotowany zestaw preinstalowanych bibliotek z definiowanymi wersjami, zapewniając stabilne i powtarzalne środowisko wykonawcze. Databricks obsługuje trzyletni cykl życia dla każdej wersji środowiska. Dostępne wersje i dołączone pakiety można znaleźć w artykule Wersje środowiskowe.Dodano w Databricks CLI w wersji 0.294.0 |
pipeline.event_log
Type: Map
Konfiguracja dziennika zdarzeń dla potoku.
| Key | Typ | Description |
|---|---|---|
catalog |
String | Katalog Unity Catalog, pod którym publikowany jest dziennik zdarzeń. |
name |
String | Nazwa, do której dziennik zdarzeń jest publikowany w Unity Catalog. |
schema |
String | Schemat Unity Catalog, pod którym jest publikowany dziennik zdarzeń. |
pipeline.filters
Type: Map
Filtry określające, które pakiety potoków mają zostać uwzględnione na wdrożonym grafie.
| Key | Typ | Description |
|---|---|---|
include |
Sequence | Lista nazw pakietów do uwzględnienia. |
exclude |
Sequence | Lista nazw pakietów do wykluczenia. |
pipeline.ingestion_definition
Type: Map
Konfiguracja zarządzanego potoku przetwarzania. Tych ustawień nie można używać z ustawieniami libraries, schema, targetlub catalog .
| Key | Typ | Description |
|---|---|---|
connection_name |
String | Nazwa połączenia do użycia do pozyskiwania. Aby programowo tworzyć połączenia dla łączników obsługujących uwierzytelnianie tylko interfejsu API, należy użyć databricks connections create w zadaniu lub zadaniu zadania przed wdrożeniem. Zobacz Wdrażanie. |
connector_type |
String | Opcjonalny. Typ łącznika dla źródeł. Prawidłowe wartości to CDC i QUERY_BASED.Dodano w Databricks CLI w wersji 0.296.0 |
data_staging_options |
Map | Opcjonalny. Lokalizacja magazynu danych etapowych. Jest to wymagane w przypadku migracji z potoku pozyskiwania zarządzanego przez usługę CDC z potokiem bramy do połączonego potoku pozyskiwania zarządzanego przez usługę CDC. Jeśli nie zostanie określony, wolumin dla danych etapowych zostanie utworzony w wykazie i schema/docelowym określonym w definicji potoku najwyższego poziomu. Dodano w Databricks CLI w wersji 0.296.0 |
full_refresh_window |
Map | Opcjonalny. Okno określające zestaw zakresów czasu dla zapytań migawek w usłudze CDC. |
ingest_from_uc_foreign_catalog |
logiczny | Niezmienne. Jeśli ustawiono wartość true, potok pozyska tabele z wykazów obcych wykazu aparatu Unity bezpośrednio bez konieczności określania połączenia wykazu aparatu Unity lub bramy pozyskiwania. Pola source_catalog w obiektach IngestionConfig są interpretowane jako wykaz obcy wykazu aparatu Unity do pozyskiwania z.Dodano w Databricks CLI w wersji 0.279.0 |
ingestion_gateway_id |
String | Identyfikator bramy wejściowej. |
objects |
Sequence | To jest wymagane. Ustawienia określające tabele do replikacji i miejsce docelowe dla replikowanych tabel. Każdy obiekt może być schemaSpec, TableSpec lub ReportSpec. |
source_type |
String | Wymagane w przypadku używania polecenia source_configurations. Określa typ łącznika (na przykład POSTGRESQL, MYSQL). |
source_configurations |
Sequence | Parametry konfiguracji źródła na poziomie katalogu. W przypadku korzystania z tego pola należy również określić wartość source_type. Zobacz source_configurations. |
table_configuration |
Map | Konfiguracja tabel importu. Zobacz table_configuration. |
SchemaSpec
Type: Map
Specyfikacja obiektu schematu do pozyskiwania wszystkich tabel ze schematu.
| Key | Typ | Description |
|---|---|---|
source_schema |
String | Nazwa schematu źródłowego do pobierania. |
destination_catalog |
String | Nazwa katalogu docelowego w Unity Catalog. |
destination_schema |
String | Nazwa docelowego schematu w Unity Catalog. |
table_configuration |
Map | Konfiguracja stosowania do wszystkich tabel w tym schemacie. Zobacz pipeline.ingestion_definition.table_configuration. |
TableSpec
Type: Map
Specyfikacja obiektu tabeli do wczytywania określonej tabeli.
| Key | Typ | Description |
|---|---|---|
source_schema |
String | Nazwa schematu źródłowego zawierającego tabelę. |
source_table |
String | Nazwa tabeli źródłowej do ingestowania. |
destination_catalog |
String | Nazwa katalogu docelowego w Unity Catalog. |
destination_schema |
String | Nazwa docelowego schematu w Unity Catalog. |
destination_table |
String | Nazwa tabeli docelowej w katalogu Unity. |
table_configuration |
Map | Konfiguracja tej konkretnej tabeli. Zobacz pipeline.ingestion_definition.table_configuration. |
Specyfikacja raportu
Type: Map
Specyfikacja obiektu raportu na potrzeby pobierania raportów analitycznych.
| Key | Typ | Description |
|---|---|---|
source_url |
String | Adres URL raportu źródłowego. |
source_report |
String | Nazwa lub identyfikator raportu źródłowego. |
destination_catalog |
String | Nazwa katalogu docelowego w Unity Catalog. |
destination_schema |
String | Nazwa docelowego schematu w Unity Catalog. |
destination_table |
String | Nazwa tabeli docelowej dla danych raportu. |
table_configuration |
Map | Konfiguracja tabeli raportów. Zobacz pipeline.ingestion_definition.table_configuration. |
pipeline.ingestion_definition.source_configurations
Type: Sequence
Konfiguracja źródła. Każdy element w sekwencji jest mapą zawierającą konfigurację na poziomie wykazu.
| Key | Typ | Description |
|---|---|---|
catalog |
Map | Parametry konfiguracji źródła na poziomie katalogu. Zobacz katalog. |
pipeline.ingestion_definition.source_configurations.catalog
Type: Map
Parametry konfiguracji źródła na poziomie wykazu
| Key | Typ | Description |
|---|---|---|
postgres |
Map | Parametry konfiguracji na poziomie wykazu specyficzne dla bazy danych Postgres. Zawiera jeden slot_config klucz reprezentujący konfigurację Map slotu Postgres do wykorzystania przy replikacji logicznej. |
source_catalog |
String | Nazwa katalogu źródłowego. |
pipeline.ingestion_definition.table_configuration
Type: Map
Opcje konfiguracji tabel do importu danych.
| Key | Typ | Description |
|---|---|---|
exclude_columns |
Sequence | Lista nazw kolumn, które mają być wykluczone z przyjmowania. Jeśli nie jest określone, include_columns całkowicie kontroluje, które kolumny mają być pobierane. Po określeniu wszystkie inne kolumny, w tym przyszłe, zostaną automatycznie dołączone do pozyskiwania. To pole jest wzajemnie wykluczające się z include_columns. |
include_columns |
Sequence | Lista nazw kolumn do importu. Kiedy nie jest określone, wszystkie kolumny oprócz tych w exclude_columns są uwzględniane. Przyszłe kolumny zostaną automatycznie dołączone. Po określeniu wszystkie inne przyszłe kolumny zostaną automatycznie wykluczone z pozyskiwania. To pole jest wzajemnie wykluczające się z exclude_columns. |
primary_keys |
Sequence | Lista nazw kolumn, które mają być używane jako klucze podstawowe dla tabeli. |
sequence_by |
Sequence | Nazwy kolumn określające logiczną kolejność zdarzeń w danych źródłowych. Potoki deklaratywne Spark wykorzystują to sekwencjonowanie do obsługi zdarzeń zmiany, które przychodzą w niewłaściwej kolejności. |
biblioteki pipeline
Type: Sequence
Definiuje listę bibliotek lub kodu wymaganego przez tę ścieżkę.
Każdy element na liście jest definicją:
| Key | Typ | Description |
|---|---|---|
file |
Map | Ścieżka do pliku, który definiuje potok i jest przechowywany w usłudze Databricks Repos. Zobacz pipeline.libraries.file. |
glob |
Map | Ujednolicone pole do uwzględnienia kodu źródłowego. Każdy wpis może być ścieżką notesu, ścieżką pliku lub ścieżką folderu, która kończy się /**. Tego pola nie można używać razem z notebook lub file. Zobacz pipeline.libraries.glob. |
notebook |
Map | Ścieżka do notesu, który definiuje potok i jest przechowywany w obszarze roboczym usługi Databricks. Zobacz pipeline.libraries.notebook. |
whl |
String | To pole jest wycofane |
plik pipeline.libraries.file
Type: Map
Ścieżka do pliku, który definiuje potok i jest przechowywany w Repos usługi Databricks.
| Key | Typ | Description |
|---|---|---|
path |
String | Ścieżka bezwzględna kodu źródłowego. |
pipeline.libraries.glob
Type: Map
Ujednolicone pole do uwzględnienia kodu źródłowego. Każdy wpis może być ścieżką notesu, ścieżką pliku lub ścieżką folderu, która kończy się /**. Tego pola nie można używać razem z notebook lub file.
| Key | Typ | Description |
|---|---|---|
include |
String | Kod źródłowy do uwzględnienia dla potoków |
pipe.libraries.notebook
Type: Map
Ścieżka do notesu, który definiuje potok i jest przechowywany w obszarze roboczym usługi Databricks.
| Key | Typ | Description |
|---|---|---|
path |
String | Ścieżka bezwzględna kodu źródłowego. |
Powiadomienia potokowe
Type: Sequence
Ustawienia powiadomień dla tej pipelinii. Każdy element w sekwencji jest konfiguracją powiadomień.
| Key | Typ | Description |
|---|---|---|
alerts |
Sequence | Lista alertów wyzwalających powiadomienia. Prawidłowe wartości to on-update-success, , on-update-failureon-update-fatal-failure, on-flow-failure. |
email_recipients |
Sequence | Lista adresów e-mail do powiadamiania o wyzwoleniu skonfigurowanego alertu. |
Example
W poniższym przykładzie zdefiniowano rurkę o kluczu zasobu hello-pipeline:
resources:
pipelines:
hello-pipeline:
name: hello-pipeline
clusters:
- label: default
num_workers: 1
development: true
continuous: false
channel: CURRENT
edition: CORE
photon: false
libraries:
- notebook:
path: ./pipeline.py
Aby zapoznać się z dodatkowymi przykładami konfiguracji potoku, zobacz Konfiguracja potoku.
postgres_branch
Ważne
Ta funkcja jest dostępna w wersji beta.
Type:Map
Zasób gałęzi Postgres umożliwia definiowanie gałęzi lakebase w pakiecie. Należy również zdefiniować odpowiednie projekty Postgres i punkty końcowe obliczeniowe.
Dodano w Databricks CLI w wersji 0.287.0
postgres_branches:
<postgres_branch-name>:
<postgres_branch-field-name>: <postgres_branches-field-value>
| Key | Typ | Description |
|---|---|---|
branch_id |
String | Identyfikator do użycia dla gałęzi. Staje się to ostatnim składnikiem nazwy zasobu gałęzi. Identyfikator jest wymagany i musi mieć długość od 1 do 63 znaków, zaczynać się od małej litery i zawierać tylko małe litery, cyfry i łączniki. Na przykład, development staje się projects/my-app/branches/development.Dodano w Databricks CLI w wersji 0.287.0 |
expire_time |
String | Znacznik czasu wygaśnięcia bezwzględnego. Po ustawieniu gałąź wygaśnie w tej chwili. Dodano w Databricks CLI w wersji 0.287.0 |
is_protected |
logiczny | Po ustawieniu wartości true program chroni gałąź przed usunięciem i zresetowaniem. Skojarzone punkty końcowe obliczeń i nie można usunąć projektu, gdy gałąź jest chroniona. Dodano w Databricks CLI w wersji 0.287.0 |
lifecycle |
Map | Zawiera ustawienia cyklu życia zasobu. Steruje zachowaniem zasobu podczas wdrażania lub zniszczenia. Zobacz cykl życia. Dodano w Databricks CLI w wersji 0.287.0 |
no_expiry |
logiczny | Jawnie wyłącz wygaśnięcie. Po ustawieniu wartości true gałąź nie wygaśnie. Jeśli ustawiono wartość false, żądanie jest nieprawidłowe; podaj wartość ttl lub expire_time zamiast tego. Dodano w Databricks CLI w wersji 0.287.0 |
parent |
String | Projekt, w którym zostanie utworzona ta gałąź. Formatowanie: projects/{project_id}Dodano w Databricks CLI w wersji 0.287.0 |
purge_on_delete |
logiczny | Czy usunąć dane gałęzi po ich ususzczeniu. Dodano w Databricks CLI w wersji 1.7.0 |
replace_existing |
logiczny | Czy zastąpić istniejącą gałąź, która ma ten sam identyfikator podczas wdrażania. Dodano w Databricks CLI w wersji 1.0.0 |
source_branch |
String | Nazwa gałęzi źródłowej, z której została utworzona ta gałąź (pochodzenie danych dla odzyskiwania do punktu w czasie). Jeśli nie zostanie określony, domyślnie zostanie ustawiona domyślna gałąź projektu. Formatowanie: projects/{project_id}/branches/{branch_id}Dodano w Databricks CLI w wersji 0.287.0 |
source_branch_lsn |
String | Numer sekwencji dziennika (LSN) w gałęzi źródłowej, z której utworzono tę gałąź. Dodano w Databricks CLI w wersji 0.287.0 |
source_branch_time |
String | Punkt w czasie w gałęzi źródłowej, z której została utworzona ta gałąź. Dodano w Databricks CLI w wersji 0.287.0 |
source_snapshot |
String | Migawka z tego odgałęzienia została stworzona. Po ustawieniu dane gałęzi pochodzą z migawki, a nie z gałęzi źródłowej, więc source_branch, source_branch_lsn, i muszą source_branch_time być puste. Migawka musi być i AVAILABLE należeć do projektu tej gałęzi. Formatowanie: projects/{project_id}/snapshots/{snapshot_id}Dodano w Databricks CLI w wersji 1.16.0 |
ttl |
String | Względny czas trwania na żywo. Po ustawieniu gałąź wygaśnie o creation_time + czas wygaśnięcia. Dodano w Databricks CLI w wersji 0.287.0 |
Example
Zobacz przykład postgres_projects.
postgres_catalog
Ważne
Ta funkcja jest dostępna w wersji beta.
Type: Map
Zasób katalogu Postgres umożliwia definiowanie katalogów Postgres bazy danych Lakebase w pakiecie . Każdy wykaz wiąże wykaz aparatu Unity z bazą danych Postgres w gałęzi Skalowanie automatyczne w usłudze Lakebase.
Dodano w Databricks CLI w wersji 1.0.0
postgres_catalogs:
<postgres_catalog-name>:
<postgres_catalog-field-name>: <postgres_catalog-field-value>
| Key | Typ | Description |
|---|---|---|
branch |
String | Gałąź autoskalowania usługi Lakebase, która wspiera katalog. Dodano w Databricks CLI w wersji 1.0.0 |
catalog_id |
String | To jest wymagane. Identyfikator katalogu wykazu aparatu Unity, który ma być powiązany z bazą danych Postgres. Dodano w Databricks CLI w wersji 1.0.0 |
create_database_if_missing |
logiczny | Czy utworzyć bazę danych Postgres, jeśli jeszcze nie istnieje. Dodano w Databricks CLI w wersji 1.0.0 |
lifecycle |
Map | Zawiera ustawienia cyklu życia zasobu. Steruje zachowaniem zasobu podczas wdrażania lub zniszczenia. Zobacz cykl życia. Dodano w Databricks CLI w wersji 1.0.0 |
postgres_database |
String | To jest wymagane. Nazwa bazy danych Postgres, która ma być powiązana z wykazem. Dodano w Databricks CLI w wersji 1.0.0 |
Example
resources:
postgres_projects:
project:
project_id: test-pg-project
display_name: Test Postgres Project
postgres_catalogs:
catalog:
catalog_id: test_catalog
branch: ${resources.postgres_projects.project.name}/branches/production
postgres_database: appdb
create_database_if_missing: true
postgres_database
Ważne
Ta funkcja jest dostępna w wersji beta.
Type: Map
Zasób bazy danych Postgres umożliwia definiowanie baz danych Postgres bazy danych Lakebase w pakiecie. Każda baza danych jest tworzona w gałęzi skalowania automatycznego w usłudze Lakebase.
Dodano w Databricks CLI w wersji 1.4.0
postgres_databases:
<postgres_database-name>:
<postgres_database-field-name>: <postgres_database-field-value>
| Key | Typ | Description |
|---|---|---|
database_id |
String | To jest wymagane. Identyfikator używany dla bazy danych. Stanie się to ostatnim składnikiem nazwy zasobu bazy danych. Dodano w Databricks CLI w wersji 1.4.0 |
lifecycle |
Map | Zawiera ustawienia cyklu życia zasobu. Steruje zachowaniem zasobu podczas wdrażania lub zniszczenia. Zobacz cykl życia. Dodano w Databricks CLI w wersji 1.4.0 |
parent |
String | To jest wymagane. Gałąź, w której jest tworzona ta baza danych. Format: projects/{project_id}/branches/{branch_id}.Dodano w Databricks CLI w wersji 1.4.0 |
postgres_database |
String | Nazwa bazy danych Postgres. Dodano w Databricks CLI w wersji 1.4.0 |
replace_existing |
logiczny | Czy zastąpić istniejącą bazę danych o tym samym identyfikatorze podczas wdrażania. Dodano w Databricks CLI w wersji 1.7.0 |
role |
String | Wymagane podczas tworzenia. Nazwa zasobu roli Postgres, która jest właścicielem bazy danych. Format: projects/{project_id}/branches/{branch_id}/roles/{role_id}.Dodano w Databricks CLI w wersji 1.4.0 |
Examples
resources:
postgres_projects:
my_project:
project_id: test-pg-proj
display_name: 'Test Project for Database'
pg_version: 16
history_retention_duration: '604800s'
postgres_branches:
main:
parent: ${resources.postgres_projects.my_project.id}
branch_id: main
no_expiry: true
postgres_roles:
owner:
parent: ${resources.postgres_branches.main.id}
role_id: app-owner
postgres_role: app_owner
postgres_databases:
my_database:
parent: ${resources.postgres_branches.main.id}
database_id: my-database
postgres_database: app_db
# The live API requires `role`. Declare an explicit role so the bundle is
# portable across users (the auto-created project-owner role's id is
# derived from the creator's identity).
role: ${resources.postgres_roles.owner.id}
postgres_endpoint
Ważne
Ta funkcja jest dostępna w wersji beta.
Type: Map
Zasób punktów końcowych Postgres pozwala zdefiniować końcowe punkty obliczeniowe Lakebase w pakiecie. Należy również zdefiniować odpowiednie projekty lakebase i gałęzie usługi Lakebase.
Dodano w Databricks CLI w wersji 0.287.0
postgres_endpoints:
<postgres_endpoint-name>:
<postgres_endpoint-field-name>: <postgres_endpoint-field-value>
| Key | Typ | Description |
|---|---|---|
autoscaling_limit_max_cu |
Number | Maksymalna liczba jednostek obliczeniowych. Wartość minimalna to 0,5. Dodano w Databricks CLI w wersji 0.287.0 |
autoscaling_limit_min_cu |
Number | Minimalna liczba jednostek obliczeniowych. Wartość minimalna to 0,5. Dodano w Databricks CLI w wersji 0.287.0 |
disabled |
logiczny | Czy ograniczyć połączenia z punktem końcowym obliczeniowym. Włączenie tej opcji powoduje zaplanowanie wstrzymania operacji obliczeniowej. Wyłączonego punktu końcowego obliczeniowego nie można włączyć za pomocą akcji połączenia lub konsoli. Dodano w Databricks CLI w wersji 0.287.0 |
endpoint_id |
String | Identyfikator używany dla punktu końcowego. Stanie się to ostatnim składnikiem nazwy zasobu punktu końcowego. Identyfikator jest wymagany i musi mieć długość od 1 do 63 znaków, zaczynać się od małej litery i zawierać tylko małe litery, cyfry i łączniki. Na przykład, primary staje się projects/my-app/branches/development/endpoints/primary.Dodano w Databricks CLI w wersji 0.287.0 |
endpoint_type |
String | Typ punktu końcowego. Gałąź może mieć tylko jeden punkt końcowy READ_WRITE. Możliwe wartości: ENDPOINT_TYPE_READ_WRITE, ENDPOINT_TYPE_READ_ONLY.Dodano w Databricks CLI w wersji 0.287.0 |
group |
Map | Konfiguracja grupy punktów końcowych. Zobacz postgres_endpoint.group. |
lifecycle |
Map | Zawiera ustawienia cyklu życia zasobu. Steruje zachowaniem zasobu podczas wdrażania lub zniszczenia. Zobacz cykl życia. Dodano w Databricks CLI w wersji 0.287.0 |
no_suspension |
logiczny | Po ustawieniu wartości true jawnie wyłącza automatyczne zawieszenie (nigdy nie zawieszaj się). Jeśli zostanie podana wartość true, powinna być ustawiona wartość true. Dodano w Databricks CLI w wersji 0.287.0 |
parent |
String | Gałąź, w której zostanie utworzony ten punkt końcowy. Formatowanie: projects/{project_id}/branches/{branch_id}Dodano w Databricks CLI w wersji 0.287.0 |
replace_existing |
logiczny | Czy zastąpić istniejący punkt końcowy obliczeniowy, który ma ten sam identyfikator podczas wdrażania. Dodano w Databricks CLI w wersji 1.0.0 |
settings |
Map | Kolekcja ustawień punktu końcowego obliczeń. Dodano w Databricks CLI w wersji 0.287.0 |
suspend_timeout_duration |
String | Czas trwania braku aktywności, po którym punkt końcowy obliczeniowy jest automatycznie zawieszony. Jeśli określono wartość od 60 do 604800s (od 1 minuty do 1 tygodnia). Dodano w Databricks CLI w wersji 0.287.0 |
postgres_endpoint.grupa
Type: Map
Konfiguracja grupy punktów końcowych.
| Key | Typ | Description |
|---|---|---|
enable_readable_secondaries |
logiczny | Czy zezwalać na połączenia tylko do odczytu z punktami końcowymi odczytu i zapisu. Dotyczy tylko punktów końcowych odczytu i zapisu, w których group.max > 1. |
max |
Integer | To jest wymagane. Maksymalna liczba obliczeń w grupie punktów końcowych. Obecnie musi to być równe min. Ustaw wartość na 1 dla pojedynczych punktów końcowych obliczeniowych, aby wyłączyć wysoką dostępność (HA). Aby ręcznie wstrzymać wszystkie obliczenia w grupie punktów końcowych, ustaw wartość disabled na true wartość w punkcie końcowym. |
min |
Integer | To jest wymagane. Minimalna liczba obliczeń w grupie punktów końcowych. Obecnie musi to być równe max. Musi to być większe lub równe 1. |
Example
Zobacz przykład postgres_projects.
postgres_project
Ważne
Ta funkcja jest dostępna w wersji beta.
Type: Map
Zasób projektu Postgres umożliwia definiowanie projektów bazy danych Postgres Autoscaling Lakebase w pakiecie. Należy również zdefiniować odpowiednie gałęzie postgres i punkty końcowe obliczeniowe.
Dodano w Databricks CLI w wersji 0.287.0
postgres_projects:
<postgres_project-name>:
<postgres_project-field-name>: <postgres_project-field-value>
| Key | Typ | Description |
|---|---|---|
budget_policy_id |
String | Identyfikator zasad budżetu dla tego projektu. |
custom_tags |
Sequence | Tagi niestandardowe dla tego projektu. Zobacz postgres_project.custom_tags. |
default_branch |
String | Domyślna gałąź projektu w formacie projects/{project_id}/branches/{branch_id}. |
default_endpoint_settings |
Map | Kolekcja ustawień punktu końcowego obliczeń. Zobacz postgres_project.default_endpoint_settings. Dodano w Databricks CLI w wersji 0.287.0 |
display_name |
String | Nazwa projektu czytelna dla człowieka. Długość powinna mieć długość od 1 do 256 znaków. Dodano w Databricks CLI w wersji 0.287.0 |
enable_pg_native_login |
logiczny | Czy włączyć natywne logowanie postgres dla projektu. Dodano w Databricks CLI w wersji 0.294.0 |
history_retention_duration |
String | Liczba sekund przechowywania historii udostępnionej dla odzyskiwania do punktu w czasie dla wszystkich gałęzi w tym projekcie. Wartość powinna należeć do przedziału od 0 do 2592000s (do 30 dni). Dodano w Databricks CLI w wersji 0.287.0 |
lifecycle |
Map | Zawiera ustawienia cyklu życia zasobu. Steruje zachowaniem zasobu podczas wdrażania lub zniszczenia. Zobacz cykl życia. Dodano w Databricks CLI w wersji 0.287.0 |
permissions |
Sequence | Uprawnienia dla projektu Postgres. Zobacz uprawnienia. Dodano w Databricks CLI w wersji 0.292.0 |
pg_version |
Integer | Główny numer wersji bazy danych Postgres. Obsługiwane wersje to 16 i 17. Dodano w Databricks CLI w wersji 0.287.0 |
project_id |
String | Identyfikator do użycia dla Project. Staje się to ostatnim składnikiem nazwy zasobu projektu. Identyfikator jest wymagany i musi mieć długość od 1 do 63 znaków, zaczynać się od małej litery i zawierać tylko małe litery, cyfry i łączniki. Na przykład, my-app staje się projects/my-app.Dodano w Databricks CLI w wersji 0.287.0 |
purge_on_delete |
logiczny | Czy można przeczyścić dane projektu po jego usunięciu. Dodano w Databricks CLI w wersji 1.2.0 |
Przykład
resources:
postgres_projects:
my_db:
project_id: test-prod-app
display_name: 'Production Database'
pg_version: 17
postgres_branches:
main:
parent: ${resources.postgres_projects.my_db.id}
branch_id: main
is_protected: false
no_expiry: true
postgres_endpoints:
primary:
parent: ${resources.postgres_branches.main.id}
endpoint_id: primary
endpoint_type: ENDPOINT_TYPE_READ_WRITE
autoscaling_limit_min_cu: 0.5
autoscaling_limit_max_cu: 4
postgres_project.custom_tags
Type: Sequence
Lista tagów niestandardowych dla projektu.
| Key | Typ | Description |
|---|---|---|
key |
String | Klucz tagu niestandardowego. |
value |
String | Wartość tagu niestandardowego. |
postgres_project.default_endpoint_settings
Type: Map
| Key | Typ | Description |
|---|---|---|
autoscaling_limit_max_cu |
Number | Maksymalna liczba jednostek obliczeniowych. Wartość minimalna to 0,5. |
autoscaling_limit_min_cu |
Number | Minimalna liczba jednostek obliczeniowych. Wartość minimalna to 0,5. |
no_suspension |
logiczny | Po ustawieniu wartości true jawnie wyłącza automatyczne zawieszenie (nigdy nie zawieszaj się). Jeśli zostanie podana wartość true, powinna być ustawiona wartość true. Wzajemnie wykluczające się z suspend_timeout_duration. |
pg_settings |
Map | Nieprzetworzona reprezentacja ustawień bazy danych Postgres. |
suspend_timeout_duration |
String | Czas trwania braku aktywności, po którym punkt końcowy obliczeniowy jest automatycznie zawieszony. Jeśli określono wartość od 60 do 604800s (od 1 minuty do 1 tygodnia). Wzajemnie wykluczające się z no_suspension. |
postgres_role
Ważne
Ta funkcja jest dostępna w wersji beta.
Type: Map
Zasób roli Postgres umożliwia definiowanie ról bazy danych Lakebase Postgres w pakiecie. Każda rola jest tworzona w gałęzi Skalowanie automatyczne w usłudze Lakebase.
Dodano w Databricks CLI w wersji 1.4.0
postgres_roles:
<postgres_role-name>:
<postgres_role-field-name>: <postgres_role-field-value>
| Key | Typ | Description |
|---|---|---|
attributes |
Map | Żądane atrybuty roli Postgres uwidocznione przez interfejs API do skojarzenia z rolą. Zobacz postgres_role.attributes. Dodano w Databricks CLI w wersji 1.4.0 |
auth_method |
String | Sposób uwierzytelniania roli podczas nawiązywania połączenia z usługą Postgres. Jeśli nie określono, zrozumiała metoda uwierzytelniania pochodzi z klasy identity_type. Prawidłowe wartości to NO_LOGIN, , PG_PASSWORD_SCRAM_SHA_256LAKEBASE_OAUTH_V1.Dodano w Databricks CLI w wersji 1.4.0 |
identity_type |
String | Typ tożsamości zarządzanej usługi Databricks reprezentowanej przez tę rolę. Pozostaw wartość pustą, aby utworzyć zwykłą rolę Postgres, która nie jest skojarzona z tożsamością usługi Databricks. Prawidłowe wartości to USER, , SERVICE_PRINCIPALGROUP.Dodano w Databricks CLI w wersji 1.4.0 |
lifecycle |
Map | Zawiera ustawienia cyklu życia zasobu. Steruje zachowaniem zasobu podczas wdrażania lub zniszczenia. Zobacz cykl życia. Dodano w Databricks CLI w wersji 1.4.0 |
membership_roles |
Sequence | Role standardowe, do których należy ta rola. Dodano w Databricks CLI w wersji 1.4.0 |
parent |
String | To jest wymagane. Gałąź, w której jest tworzona ta rola. Format: projects/{project_id}/branches/{branch_id}.Dodano w Databricks CLI w wersji 1.4.0 |
postgres_role |
String | Nazwa roli Postgres. Wymagane podczas tworzenia roli. Aby utworzyć rolę Postgres wspieraną przez zarządzaną tożsamość usługi Databricks, postgres_role należy wykonać jedną z następujących czynności:
Dodano w Databricks CLI w wersji 1.4.0 |
replace_existing |
logiczny | Czy zastąpić istniejącą rolę, która ma ten sam identyfikator podczas wdrażania. Dodano w Databricks CLI w wersji 1.7.0 |
role_id |
String | To jest wymagane. Identyfikator roli określonej przez użytkownika; staje się ostatnim składnikiem nazwy zasobu roli. Musi zawierać od 4 do 63 znaków, małe litery, cyfry i łączniki (RFC 1123). Dodano w Databricks CLI w wersji 1.4.0 |
postgres_role.atrybuty
Type: Map
Żądane atrybuty roli Postgres uwidocznione przez interfejs API do skojarzenia z rolą.
Dodano w Databricks CLI w wersji 1.4.0
| Key | Typ | Description |
|---|---|---|
bypassrls |
logiczny | Określa, czy rola pomija zabezpieczenia na poziomie wiersza. |
createdb |
logiczny | Czy rola może tworzyć bazy danych. |
createrole |
logiczny | Określa, czy rola może tworzyć, zmieniać, usuwać, komentować i zmieniać etykietę zabezpieczeń innych ról. |
Examples
resources:
postgres_projects:
my_project:
project_id: my-pg-proj
display_name: 'Test Project for Role'
pg_version: 16
history_retention_duration: '604800s'
postgres_branches:
main:
parent: ${resources.postgres_projects.my_project.id}
branch_id: main
no_expiry: true
postgres_roles:
my_role:
parent: ${resources.postgres_branches.main.id}
role_id: my-role
postgres_role: app_role
attributes:
createdb: true
postgres_snapshot_schedule
Ważne
Ta funkcja jest dostępna w wersji beta.
Type: Map
Zasób Postgres o harmonogramie snapshotów pozwala definiować harmonogramy automatycznych snapshotów dla gałęzi projektu Autoscaling Lakebase w pakiecie.
Note
Używanie Declarative Automation Bundles do definiowania harmonogramów snapshot Postgres jest obsługiwane tylko wtedy, gdy korzystasz z silnika bezpośredniego wdrożenia.
Dodano w Databricks CLI w wersji 1.16.0
postgres_snapshot_schedules:
<postgres_snapshot_schedule-name>:
<postgres_snapshot_schedule-field-name>: <postgres_snapshot_schedule-field-value>
| Key | Typ | Description |
|---|---|---|
branch |
String | To jest wymagane. To gałąź, której automatyczny harmonogram migawkowy to zarządza. Format: projects/{project_id}/branches/{branch_id}.Dodano w Databricks CLI w wersji 1.16.0 |
lifecycle |
Map | Ustawienia kontrolujące cykl życia wdrożenia zasobu, takie jak zapobieganie jego zniszczeniu. Zobacz cykl życia. Dodano w Databricks CLI w wersji 1.16.0 |
schedule |
Sequence | Rytm, w którym wykonywane są automatyczne migawki. Pusty zestaw wyłącza automatyczne migawki. Gdy kilka kadencji wystrzeli razem, jedno zdjęcie jest wykonane i zatrzymywane przez najdłuższy czas ich retencji. Zobacz postgres_snapshot_schedule.harmonogram. Dodano w Databricks CLI w wersji 1.16.0 |
postgres_snapshot_schedule. harmonogram
Type: Sequence
Rytm, w którym wykonywane są automatyczne migawki.
Dodano w Databricks CLI w wersji 1.16.0
Każdy element określa jeden kadencję migawki (daily_schedule, , lub monthly_schedule) i jest onaretentionweekly_schedule:
| Key | Typ | Description |
|---|---|---|
daily_schedule |
Map | Zrób zdjęcie raz dziennie. Dodano w Databricks CLI w wersji 1.16.0 |
monthly_schedule |
Map | Zrób zdjęcie raz w miesiącu. Dodano w Databricks CLI w wersji 1.16.0 |
retention |
String | To jest wymagane. Jak długo przechowywane są migawki z tego rytmu przed automatycznym usunięciem. To musi być co najmniej godzina. Stosowane przy wykonaniu migawki; nie jest wsteczne, więc zmiana dotyczy tylko późniejszych migawek. Dodano w Databricks CLI w wersji 1.16.0 |
weekly_schedule |
Map | Zrób zdjęcie raz w tygodniu. Dodano w Databricks CLI w wersji 1.16.0 |
postgres_synced_table
Ważne
Ta funkcja jest dostępna w wersji beta.
Type: Map
Zasób tabeli zsynchronizowanej z bazą danych Postgres umożliwia zdefiniowanie zsynchronizowanych tabel usługi Lakebase Postgres w pakiecie. Każda zsynchronizowana tabela stale replikuje tabelę źródłową wykazu aparatu Unity do tabeli Postgres w wystąpieniu skalowania automatycznego bazy danych Lakebase.
Dodano w Databricks CLI w wersji 1.0.0
postgres_synced_tables:
<postgres_synced_table-name>:
<postgres_synced_table-field-name>: <postgres_synced_table-field-value>
| Key | Typ | Description |
|---|---|---|
branch |
String | Gałąź skalowania automatycznego usługi Lakebase, w której jest tworzona zsynchronizowana tabela. Dodano w Databricks CLI w wersji 1.0.0 |
create_database_objects_if_missing |
logiczny | Czy utworzyć logiczną bazę danych i zasoby schematu zsynchronizowanej tabeli, jeśli jeszcze nie istnieją. Dodano w Databricks CLI w wersji 1.0.0 |
existing_pipeline_id |
String | Identyfikator istniejącego rurociągu. Jeśli to zostanie ustawione, zsynchronizowana tabela zostanie spakowana do istniejącego potoku, do którego się odnosi. Pozwala to uniknąć tworzenia nowego potoku i umożliwia współdzielenie istniejących zasobów obliczeniowych. W takim przypadku, ta zsynchronizowana tabela scheduling_policy musi być zgodna z regułami harmonogramowania istniejącego potoku. Należy zdefiniować co najwyżej jeden z existing_pipeline_id i new_pipeline_spec.Dodano w Databricks CLI w wersji 1.0.0 |
extra_columns |
Sequence | Dodatkowe kolumny PostgreSQL do dodania do zsynchronizowanej tabeli, poza tymi replikowanymi z tabeli źródłowej. Dodano w Databricks CLI w wersji 1.10.0 |
lifecycle |
Map | Zawiera ustawienia cyklu życia zasobu. Steruje zachowaniem zasobu podczas wdrażania lub zniszczenia. Zobacz cykl życia. Dodano w Databricks CLI w wersji 1.0.0 |
new_pipeline_spec |
Map | Specyfikacja dla nowego rurociągu. Zobacz postgres_synced_table.new_pipeline_spec. Należy zdefiniować co najwyżej jeden z existing_pipeline_id i new_pipeline_spec.Dodano w Databricks CLI w wersji 1.0.0 |
postgres_database |
String | Nazwa docelowej bazy danych Postgres dla zsynchronizowanej tabeli. Dodano w Databricks CLI w wersji 1.0.0 |
primary_key_columns |
Sequence | Lista nazw kolumn, które tworzą klucz podstawowy. Dodano w Databricks CLI w wersji 1.0.0 |
scheduling_policy |
String | Zasady planowania bazowego potoku zsynchronizowanej tabeli. Prawidłowe wartości to CONTINUOUS, , TRIGGEREDSNAPSHOT.Dodano w Databricks CLI w wersji 1.0.0 |
source_table_full_name |
String | Pełna nazwa tabeli źródłowej w formacie catalog.schema.table.Dodano w Databricks CLI w wersji 1.0.0 |
synced_table_id |
String | To jest wymagane. Identyfikator do użycia dla zsynchronizowanej tabeli. Dodano w Databricks CLI w wersji 1.0.0 |
timeseries_key |
String | Klucz szeregów czasowych do deduplikowania wierszy z tym samym kluczem podstawowym. Dodano w Databricks CLI w wersji 1.0.0 |
type_overrides |
Sequence | Nadpisuje domyślne mapowanie typu Delta-do-PostgreSQL dla konkretnych kolumn. Zobacz postgres_synced_table.type_overrides. Dodano w Databricks CLI w wersji 1.5.0 |
postgres_synced_table.new_pipeline_spec
Type: Map
Specyfikacja nowego potoku używanego przez zsynchronizowaną tabelę.
Dodano w Databricks CLI w wersji 1.0.0
| Key | Typ | Description |
|---|---|---|
budget_policy_id |
String | Zasady budżetu ustawione w nowo utworzonym potoku. |
storage_catalog |
String | Katalog dla pipeline'u do przechowywania plików pośrednich, takich jak punkty kontrolne i dzienniki zdarzeń. Musi to być standardowy wykaz, w którym użytkownik ma uprawnienia do tworzenia tabel delty. |
storage_schema |
String | Schemat dla potoku do przechowywania plików pośrednich, takich jak punkty kontrolne i dzienniki zdarzeń. Musi to znajdować się w wykazie standardowym, w którym użytkownik ma uprawnienia do tworzenia tabel delty. |
postgres_synced_table.type_overrides
Type: Sequence
Nadpisuje domyślne mapowanie typu Delta-do-PostgreSQL dla jednej kolumny.
Dodano w Databricks CLI w wersji 1.5.0
| Key | Typ | Description |
|---|---|---|
column_name |
String | To jest wymagane. Nazwa kolumny źródłowej, której docelowy typ PostgreSQL powinna zostać nadpisana. Dodano w Databricks CLI w wersji 1.5.0 |
pg_type |
String | To jest wymagane. Specyficzny dla PostgreSQL typ docelowy do użycia dla kolumny. Prawidłowe wartości to PG_SPECIFIC_TYPE_VECTOR, PG_SPECIFIC_TYPE_HALFVEC i PG_SPECIFIC_TYPE_VARCHAR.Dodano w Databricks CLI w wersji 1.5.0 |
size |
Integer | Parametr rozmiaru dla typu docelowego, dla typów, które przyjmują jeden, takich jak wymiar wektorowy lub długość varchara. Wymagane, gdy wybrany pg_type potrzebuje rozmiaru.Dodano w Databricks CLI w wersji 1.5.0 |
Example
resources:
schemas:
pipeline_storage:
name: test_pipeline_storage
catalog_name: main
comment: 'Pipeline storage for the synced-table test'
postgres_projects:
my_project:
project_id: test-pg-proj
display_name: 'Test Project for Synced Table'
pg_version: 17
postgres_catalogs:
my_catalog:
catalog_id: lakebase_test
branch: ${resources.postgres_projects.my_project.id}/branches/production
postgres_database: appdb
create_database_if_missing: true
postgres_synced_tables:
my_table:
synced_table_id: ${resources.postgres_catalogs.my_catalog.catalog_id}.public.trips_synced
source_table_full_name: main.source_test.trips_source
primary_key_columns: ['tpep_pickup_datetime']
scheduling_policy: SNAPSHOT
postgres_database: appdb
branch: ${resources.postgres_projects.my_project.id}/branches/production
create_database_objects_if_missing: true
new_pipeline_spec:
storage_catalog: ${resources.schemas.pipeline_storage.catalog_name}
storage_schema: ${resources.schemas.pipeline_storage.name}
quality_monitor (Katalog Unity)
Type: Map
Zasób quality_monitor umożliwia zdefiniowanie monitora tabeli Unity Catalog. Aby uzyskać informacje o monitorach, zobacz Profilowanie danych.
Monitory jakości są obsługiwane w Python dla pakietów automatyzacji deklaratywnej. Zobacz databricks.bundles.quality_monitors.
quality_monitors:
<quality_monitor-name>:
<quality_monitor-field-name>: <quality_monitor-field-value>
| Key | Typ | Description |
|---|---|---|
assets_dir |
String | Katalog do przechowywania zasobów monitorowania (np. pulpit nawigacyjny, tabele metryk). |
baseline_table_name |
String | Nazwa tabeli bazowej, z której są obliczane metryki dryfu. Kolumny w monitorowanej tabeli powinny być również obecne w tabeli bazowej. |
custom_metrics |
Sequence | Niestandardowe metryki do obliczenia na monitorowanej tabeli. Mogą to być metryki zagregowane, metryki pochodne (pochodzące z metryk zagregowanych) lub metryki dryfu (porównujące metryki w różnych oknach czasowych). Zobacz custom_metrics. |
inference_log |
Map | Konfiguracja monitorowania dzienników wnioskowania. Zobacz inference_log. |
latest_monitor_failure_msg |
String | Najnowszy komunikat o błędzie dla błędu monitora. Jest to pole tylko do odczytu, które jest wypełniane, gdy monitor ulegnie awarii. Dodano w Databricks CLI w wersji 0.264.0 |
lifecycle |
Map | Zawiera ustawienia cyklu życia zasobu. Steruje zachowaniem zasobu podczas wdrażania lub zniszczenia. Zobacz cykl życia. Dodano w Databricks CLI w wersji 0.268.0 |
notifications |
Map | Ustawienia powiadomień dla monitora. Zobacz powiadomienia. |
output_schema_name |
String | Schemat, w którym są tworzone tabele metryk wyjściowych. |
schedule |
Map | Harmonogram automatycznego aktualizowania i odświeżania tabel metryk. Zobacz harmonogram. |
skip_builtin_dashboard |
logiczny | Czy pominąć tworzenie domyślnego pulpitu nawigacyjnego podsumowującego metryki jakości danych. |
slicing_exprs |
Sequence | Lista wyrażeń kolumn do podziału danych na potrzeby skupionej analizy. Dane są pogrupowane niezależnie od każdego wyrażenia, co powoduje utworzenie oddzielnego wycinka dla każdego predykatu i jego uzupełnień. W przypadku kolumn o wysokiej kardynalności tylko 100 pierwszych unikatowych wartości według częstotliwości spowoduje wygenerowanie wycinków. |
snapshot |
Map | Konfiguracja do monitorowania tabel migawek. Zobacz migawkę. |
table_name |
String | Pełna nazwa tabeli. Dodano w Databricks CLI w wersji 0.235.0 |
time_series |
Map | Konfiguracja monitorowania tabel szeregów czasowych. Zobacz time_series. |
warehouse_id |
String | Opcjonalny argument określający magazyn na potrzeby tworzenia pulpitu nawigacyjnego. Jeśli nie zostanie określony, zostanie użyty pierwszy uruchomiony magazyn. |
quality_monitor.custom_metrics
Type: Sequence
Lista niestandardowych definicji metryk.
Każdy element na liście to CustomMetric:
| Key | Typ | Description |
|---|---|---|
definition |
String | Szablon Jinja dla wyrażenia SQL, który określa sposób obliczania metryki. Zobacz tworzenie definicji metryki. |
input_columns |
Sequence | Lista nazw kolumn w tabeli wejściowej, dla których powinna zostać obliczona metryka. Można użyć :table, aby wskazać, że metryka potrzebuje danych z wielu kolumn. |
name |
String | Nazwa metryki w tabelach wyjściowych. |
output_data_type |
String | Typ danych wyjściowych metryki niestandardowej |
type |
String | Może być tylko jednym z CUSTOM_METRIC_TYPE_AGGREGATE, CUSTOM_METRIC_TYPE_DERIVED lub CUSTOM_METRIC_TYPE_DRIFT.
CUSTOM_METRIC_TYPE_AGGREGATE i CUSTOM_METRIC_TYPE_DERIVED Metryki są obliczane na jednej tabeli, podczas gdy CUSTOM_METRIC_TYPE_DRIFT metryki porównawcze porównują metryki między tabelą bazową a tabelą wejściową lub między dwoma kolejnymi oknami czasowymi.
|
quality_monitor.inference_log
Type: Map
Konfiguracja monitorowania dzienników wnioskowania.
| Key | Typ | Description |
|---|---|---|
granularities |
Sequence | Szczegółowość czasowa agregacji logów wnioskowania (na przykład ["1 day"]). |
model_id_col |
String | Nazwa kolumny zawierającej identyfikator modelu. |
prediction_col |
String | Nazwa kolumny zawierającej przewidywanie. |
timestamp_col |
String | Nazwa kolumny zawierającej znacznik czasu. |
problem_type |
String | Typ problemu uczenia maszynowego. Prawidłowe wartości to PROBLEM_TYPE_CLASSIFICATION, PROBLEM_TYPE_REGRESSION. |
label_col |
String | Nazwa kolumny zawierającej etykietę (rzeczywiste dane). |
prediction_proba_col |
String | Nazwa kolumny zawierającej prawdopodobieństwa przewidywania. |
quality_monitor. powiadomienia
Type: Map
Ustawienia powiadomień dla monitora.
| Key | Typ | Description |
|---|---|---|
on_failure |
Map | Ustawienia powiadomień, kiedy monitor ulegnie awarii. Zobacz on_failure. |
on_new_classification_tag_detected |
Map | Ustawienia powiadomień po wykryciu nowych tagów klasyfikacji. Zobacz on_new_classification_tag_detected. |
quality_monitor.notifications.on_failure
Type: Map
Ustawienia powiadomień, kiedy monitor ulegnie awarii.
| Key | Typ | Description |
|---|---|---|
email_addresses |
Sequence | Lista adresów e-mail do powiadamiania o niepowodzeniu monitorowania. |
quality_monitor.notifications.on_new_classification_tag_detected
Type: Map
Ustawienia powiadomień po wykryciu nowych tagów klasyfikacji.
| Key | Typ | Description |
|---|---|---|
email_addresses |
Sequence | Lista adresów e-mail do powiadamiania o wykryciu nowych tagów klasyfikacji. |
quality_monitor. Harmonogram
Type: Map
Zaplanuj automatyczne aktualizowanie i odświeżanie tabel metryk.
| Key | Typ | Description |
|---|---|---|
quartz_cron_expression |
String | Wyrażenie Cron używające składni kwarcowej. Na przykład 0 0 8 * * ? działa codziennie o godzinie 8:00 AM. |
timezone_id |
String | Strefa czasowa harmonogramu (na przykład UTC, America/Los_Angeles). |
pause_status |
String | Czy harmonogram jest wstrzymany. Prawidłowe wartości: PAUSED, UNPAUSED. |
quality_monitor.snapshot
Type: Map
Konfiguracja do monitorowania tabel migawek.
quality_monitor.time_series
Konfiguracja monitorowania tabel szeregów czasowych.
| Key | Typ | Description |
|---|---|---|
granularities |
Sequence | Granulacje czasu dla agregacji danych szeregów czasowych (na przykład ["30 minutes"]). |
timestamp_col |
String | Nazwa kolumny zawierającej znacznik czasu. |
Examples
W poniższych przykładach zdefiniowano monitory jakości dla InferenceLog, TimeSeriesi typy profilów migawki.
# InferenceLog profile type
resources:
quality_monitors:
my_quality_monitor:
table_name: dev.mlops_schema.predictions
output_schema_name: ${bundle.target}.mlops_schema
assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
inference_log:
granularities: [1 day]
model_id_col: model_id
prediction_col: prediction
label_col: price
problem_type: PROBLEM_TYPE_REGRESSION
timestamp_col: timestamp
schedule:
quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
timezone_id: UTC
# TimeSeries profile type
resources:
quality_monitors:
my_quality_monitor:
table_name: dev.mlops_schema.predictions
output_schema_name: ${bundle.target}.mlops_schema
assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
time_series:
granularities: [30 minutes]
timestamp_col: timestamp
schedule:
quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
timezone_id: UTC
# Snapshot profile type
resources:
quality_monitors:
my_quality_monitor:
table_name: dev.mlops_schema.predictions
output_schema_name: ${bundle.target}.mlops_schema
assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
snapshot: {}
schedule:
quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
timezone_id: UTC
Poniższy przykład umożliwia skonfigurowanie monitora jakości i odpowiedniego zadania ponownego trenowania modelu na podstawie monitorowania:
# Quality monitoring workflow
resources:
quality_monitors:
mlops_quality_monitor:
table_name: ${bundle.target}.mlops_demo.predictions
output_schema_name: ${bundle.target}.mlops_demo
assets_dir: /Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
inference_log:
granularities: [1 hour]
model_id_col: model_version
prediction_col: prediction
label_col: fare_amount
problem_type: PROBLEM_TYPE_REGRESSION
timestamp_col: inference_timestamp
schedule:
quartz_cron_expression: 57 0 14 * * ? # refresh monitoring metrics every day at 7 am PT
timezone_id: UTC
jobs:
retraining_job:
name: ${bundle.target}-mlops_demo-monitoring-retraining-job
tasks:
- task_key: monitored_metric_violation_check
notebook_task:
notebook_path: ../monitoring/notebooks/MonitoredMetricViolationCheck.py
base_parameters:
env: ${bundle.target}
table_name_under_monitor: ${bundle.target}.mlops_demo.predictions
metric_to_monitor: r2_score
metric_violation_threshold: 0.7
num_evaluation_windows: 24
num_violation_windows: 5 # 5 out of the past 24 windows have metrics lower than threshold
- task_key: is_metric_violated
depends_on:
- task_key: monitored_metric_violation_check
condition_task:
op: EQUAL_TO
left: '{{tasks.monitored_metric_violation_check.values.is_metric_violated}}'
right: 'true'
- task_key: trigger_retraining
depends_on:
- task_key: is_metric_violated
outcome: 'true'
run_job_task:
job_id: ${resources.jobs.model_training_job.id}
schedule:
quartz_cron_expression: '0 0 15 * * ?' # daily at 8 am PDT
timezone_id: UTC
# To get notifications, provide a list of emails to the on_failure argument.
#
# email_notifications:
# on_failure:
# - someone@example.com
registered_model (Katalog Unity)
Type: Map
Zasób zarejestrowanego modelu umożliwia definiowanie modeli w katalogu Unity. Aby uzyskać informacje na temat modeli zarejestrowanych w katalogu Unity, zobacz Zarządzanie cyklem życia modelu w katalogu Unity.
Zarejestrowane modele są obsługiwane w Python dla pakietów deklaratywnej automatyzacji. Zobacz databricks.bundles.registered_models.
registered_models:
<registered_model-name>:
<registered_model-field-name>: <registered_model-field-value>
| Key | Typ | Description |
|---|---|---|
aliases |
Sequence | Lista aliasów skojarzonych z zarejestrowanym modelem. Zobacz registered_model.aliases. Dodano w Databricks CLI w wersji 0.273.0 |
catalog_name |
String | Nazwa wykazu, w którym znajduje się schemat i zarejestrowany model. |
comment |
String | Komentarz dołączony do zarejestrowanego modelu. |
created_at |
Integer | Sygnatura czasowa utworzenia zarejestrowanego modelu w milisekundach od epoki systemu Unix. Dodano w Databricks CLI w wersji 0.273.0 |
created_by |
String | Identyfikator użytkownika, który utworzył zarejestrowany model. Dodano w Databricks CLI w wersji 0.273.0 |
full_name |
String | Trzypoziomowa (w pełni kwalifikowana) nazwa zarejestrowanego modelu. Dodano w Databricks CLI w wersji 0.273.0 |
grants |
Sequence | Dotacje powiązane z zarejestrowanym modelem. Zobacz przyznanie. |
lifecycle |
Map | Zawiera ustawienia cyklu życia zasobu. Steruje zachowaniem zasobu podczas wdrażania lub zniszczenia. Zobacz cykl życia. Dodano w Databricks CLI w wersji 0.268.0 |
metastore_id |
String | Unikatowy identyfikator magazynu metadanych. Dodano w Databricks CLI w wersji 0.273.0 |
name |
String | Nazwa zarejestrowanego modelu. |
owner |
String | Identyfikator użytkownika, który jest właścicielem zarejestrowanego modelu. Dodano w Databricks CLI w wersji 0.273.0 |
schema_name |
String | Nazwa schematu, w którym znajduje się zarejestrowany model. |
storage_location |
String | Lokalizacja w chmurze, w której są przechowywane pliki danych wersji modelu. |
updated_at |
String | Znacznik czasu ostatniej aktualizacji zarejestrowanego modelu w milisekundach od epoki systemu Unix. Dodano w Databricks CLI w wersji 0.273.0 |
updated_by |
String | Identyfikator użytkownika, który ostatni raz zaktualizował zarejestrowany model. Dodano w Databricks CLI w wersji 0.273.0 |
registered_model.aliasy
Type: Sequence
Lista aliasów skojarzonych z zarejestrowanym modelem.
Każdy element na liście to Alias:
| Key | Typ | Description |
|---|---|---|
alias_name |
String | Nazwa aliasu, np. "champion" lub "latest_stable" |
catalog_name |
String | Nazwa wykazu zawierającego wersję modelu |
id |
String | Unikatowy identyfikator aliasu |
model_name |
String | Nazwa nadrzędnego zarejestrowanego modelu wersji względem nadrzędnego schematu |
schema_name |
String | Nazwa schematu zawierającego wersję modelu w odniesieniu do katalogu głównego |
version_num |
Integer | Numer całkowity wersji modelu, na którą wskazuje ten alias. |
Example
W poniższym przykładzie zdefiniowano zarejestrowany model w katalogu Unity.
resources:
registered_models:
model:
name: my_model
catalog_name: ${bundle.target}
schema_name: mlops_schema
comment: Registered model in Unity Catalog for ${bundle.target} deployment target
grants:
- privileges:
- EXECUTE
principal: account users
schemat (Katalog Unity)
Type: Map
Typ zasobu schematu umożliwia zdefiniowanie schematów Unity Catalog dla tabel i innych zasobów w przepływach pracy i potokach tworzonych w ramach pakietu. Schemat, inny niż inne typy zasobów, ma następujące ograniczenia:
- Właściciel zasobu schematu jest zawsze użytkownikiem wdrożenia i nie można go zmienić. Jeśli
run_aszostanie określony w pakiecie, zostanie on zignorowany przez operacje w schemacie. - Dla zasobu schematu są dostępne tylko pola obsługiwane przez odpowiedni obiekt Schemas create API. Na przykład
enable_predictive_optimizationnie jest obsługiwany, ponieważ jest dostępny tylko w aktualizacji API .
Schematy są obsługiwane w Python dla pakietów automatyki deklaratywnej. Zobacz databricks.bundles.schemas.
schemas:
<schema-name>:
<schema-field-name>: <schema-field-value>
| Key | Typ | Description |
|---|---|---|
catalog_name |
String | Nazwa katalogu nadrzędnego. |
comment |
String | Opis tekstowy w formie dowolnej podany przez użytkownika. |
custom_max_retention_hours |
Integer | Niestandardowy maksymalny okres retencji w godzinach dla schematu. Dodano w Databricks CLI w wersji 1.5.0 |
grants |
Sequence | Dotacje związane ze schematem. Zobacz przyznanie. |
lifecycle |
Map | Zawiera ustawienia cyklu życia zasobu. Steruje zachowaniem zasobu podczas wdrażania lub zniszczenia. Zobacz cykl życia. Dodano w Databricks CLI w wersji 0.268.0 |
name |
String | Nazwa schematu względem katalogu nadrzędnego. |
properties |
Map | Mapa właściwości typu klucz-wartość dołączona do schematu. |
storage_root |
String | Główny adres URL magazynu dla tabel zarządzanych w schemacie. |
Examples
W poniższym przykładzie zdefiniowano potok z kluczem my_pipeline zasobu, który tworzy schemat wykazu aparatu Unity z kluczem my_schema jako elementem docelowym. W tym przykładzie użyto podstawień.
resources:
pipelines:
my_pipeline:
name: test-pipeline
libraries:
- notebook:
path: ../src/nb.ipynb
- file:
path: ../src/range.sql
development: true
catalog: ${resources.schemas.my_schema.catalog_name}
target: ${resources.schemas.my_schema.id}
schemas:
my_schema:
name: test-schema
catalog_name: main
comment: This schema was created by Declarative Automation Bundles.
Mapowanie dotacji najwyższego poziomu nie jest obsługiwane przez deklaratywne pakiety automatyzacji, więc jeśli chcesz ustawić dotacje dla schematu, zdefiniuj dotacje dla schematu schemas w ramach mapowania. Aby uzyskać więcej informacji na temat uprawnień, zobacz Pokazywanie, przyznawanie i cofanie przywilejów.
W poniższym przykładzie zdefiniowano schemat Unity Catalog z grantami.
resources:
schemas:
my_schema:
name: test-schema
grants:
- principal: users
privileges:
- SELECT
- principal: my_team
privileges:
- MANAGE
catalog_name: main
secret (Katalog Unity)
Type: Map
Tajny zasób pozwala zdefiniować sekret przechowywany w Unity Catalog. Sekrety to trójpoziomowe obiekty przestrzeni nazw (catalog.schema.secret), które bezpiecznie przechowują wrażliwe dane uwierzytelniające, takie jak hasła, tokeny i klucze.
Sekrety są obsługiwane w Python dla pakietów automatyzacji deklaratywnej. Zobacz databricks.bundles.secrets.
Note
Używanie Declarative Automation Bundles do definiowania sekretów jest obsługiwane tylko wtedy, gdy korzystasz z silnika bezpośredniego wdrożenia.
Dodano w Databricks CLI w wersji 1.12.0
secrets:
<secret-name>:
<secret-field-name>: <secret-field-value>
| Key | Typ | Description |
|---|---|---|
catalog_name |
String | To jest wymagane. Nazwa katalogu, w którym znajduje się schemat i sekret. Dodano w Databricks CLI w wersji 1.12.0 |
comment |
String | Opis sekretu w formie tekstowej dostarczony przez użytkownika. Musi mieć od 1 do 65536 znaków. Dodano w Databricks CLI w wersji 1.12.0 |
expire_time |
String | Czas wygaśnięcia sekretu podany przez użytkownika. To pole wskazuje, kiedy sekret nie powinien być już używany i może być wyświetlane jako ostrzeżenie w interfejsie użytkownika. Jest to wyłącznie informacyjne i nie uruchamia żadnych automatycznych działań ani nie wpływa na cykl życia sekretu. Dodano w Databricks CLI w wersji 1.12.0 |
grants |
Sequence | Granty na złożenie wniosku w tej tajemnicy. Zobacz przyznanie. Dodano w Databricks CLI w wersji 1.12.0 |
lifecycle |
Map | Zawiera ustawienia cyklu życia zasobu. Steruje zachowaniem zasobu podczas wdrażania lub zniszczenia. Zobacz cykl życia. Dodano w Databricks CLI w wersji 1.12.0 |
name |
String | To jest wymagane. Nazwa sekretu, względem jego schematu nadrzędnego. Dodano w Databricks CLI w wersji 1.12.0 |
owner |
String | Właściciel sekretu. Domyślnie stosuje zasadę tworzenia przy tworzeniu. Można go zaktualizować, aby przenieść własność sekretu na innego głównego. Dodano w Databricks CLI w wersji 1.12.0 |
schema_name |
String | To jest wymagane. Nazwa schematu, w którym znajduje się sekret. Dodano w Databricks CLI w wersji 1.12.0 |
value |
String | To jest wymagane. Sekretna wartość do zachowania. To pole jest tylko wejściowe i nie jest zwracane w odpowiedziach — użyj effective_value pola (via GetSecret z ustawionym include_value na true), aby odczytać wartość sekretu. Maksymalny rozmiar to 60 KiB (przed szyfrowaniem). Akceptowane treści obejmują hasła, tokeny, klucze i inne wrażliwe dane uwierzytelniające. Musi mieć od 1 do 61440 znaków.Dodano w Databricks CLI w wersji 1.12.0 |
Examples
Poniższy przykład definiuje sekret Katalogu Unity, którego wartość jest dostarczana przez zmienną pakietu w momencie wdrożenia:
bundle:
name: my-bundle
variables:
my_secret_value:
description: 'Secret value passed at deploy time'
resources:
secrets:
my_secret:
catalog_name: main
schema_name: default
name: my_api_key
value: ${var.my_secret_value}
comment: 'API key for external service'
secret_scope
Type: Map
Zasób secret_scope umożliwia definiowanie tajnych zakresów w pakiecie. Aby uzyskać informacje o zakresach wpisów tajnych, zobacz Zarządzanie wpisami tajnymi.
Obsługiwane są tajne zakresy w Python dla pakietów automatyzacji deklaratywnej. Zobacz databricks.bundles.secret_scopes.
Dodano w Databricks CLI w wersji 0.252.0
secret_scopes:
<secret_scope-name>:
<secret_scope-field-name>: <secret_scope-field-value>
| Key | Typ | Description |
|---|---|---|
backend_type |
String | Typ zaplecza technologicznego, za pomocą którego zostanie utworzony zakres. Jeśli nie zostanie określony, ta wartość domyślna to DATABRICKS.Dodano w Databricks CLI w wersji 0.252.0 |
keyvault_metadata |
Map | Metadane zakresu wpisu tajnego, jeśli element backend_type ma wartość AZURE_KEYVAULT. Zobacz keyvault_metadata.Dodano w Databricks CLI w wersji 0.252.0 |
lifecycle |
Map | Zawiera ustawienia cyklu życia zasobu. Steruje zachowaniem zasobu podczas wdrażania lub zniszczenia. Zobacz cykl życia. Dodano w Databricks CLI w wersji 0.268.0 |
name |
String | Nazwa zakresu żądana przez użytkownika. Nazwy zakresów są unikatowe. Dodano w Databricks CLI w wersji 0.252.0 |
permissions |
Sequence | Uprawnienia, które mają być zastosowane do zakresu tajnego. Uprawnienia są zarządzane za pomocą ACL tajnego zakresu, więc każde group_name, user_name, lub service_principal_name przekłada się na principal pole w ACL. Dozwolone poziomy to READ, WRITE, oraz MANAGE. Zobacz uprawnienia.Dodano w Databricks CLI w wersji 0.252.0 |
secret_scope.keyvault_metadata
Type: Map
Metadane dla zakresów wpisów tajnych opartych na Azure Key Vault.
| Key | Typ | Description |
|---|---|---|
resource_id |
String | Identyfikator zasobu Azure Key Vault. |
dns_name |
String | Nazwa DNS Azure Key Vault. |
Examples
W poniższym przykładzie zdefiniowano zakres wpisów tajnych, który używa zaplecza magazynu kluczy:
resources:
secret_scopes:
secret_scope_azure:
name: test-secrets-azure-backend
backend_type: 'AZURE_KEYVAULT'
keyvault_metadata:
resource_id: my_azure_keyvault_id
dns_name: my_azure_keyvault_dns_name
W poniższym przykładzie skonfigurowano niestandardową listę ACL przy użyciu zakresów sekretów i zezwoleń.
resources:
secret_scopes:
my_secret_scope:
name: my_secret_scope
permissions:
- user_name: admins
level: WRITE
- user_name: users
level: READ
Przykładowy pakiet, który pokazuje, jak zdefiniować zakres wpisu tajnego i zadanie z zadaniem odczytanym z niego w pakiecie, zobacz bundle-examples GitHub repozytorium.
sql_warehouse
Type: Map
Zasób usługi SQL Warehouse umożliwia zdefiniowanie magazynu SQL Warehouse w pakiecie. Aby uzyskać informacje o magazynach SQL, zobacz Dane magazynowanie w usłudze Azure Databricks.
Magazyny SQL są obsługiwane w Python dla pakietów deklaratywnej automatyzacji. Zobacz databricks.bundles.sql_warehouses.
Dodano w Databricks CLI w wersji 0.260.0
sql_warehouses:
<sql-warehouse-name>:
<sql-warehouse-field-name>: <sql-warehouse-field-value>
| Key | Typ | Description |
|---|---|---|
auto_stop_mins |
Integer | Czas w minutach, przez który usługa SQL Warehouse musi być bezczynna (na przykład bez uruchomionych zapytań), zanim zostanie automatycznie zatrzymana. Prawidłowe wartości to 0, co oznacza brak autostopu, lub większe lub równe 10 (classic/pro) lub 1 (bez serwera). Domyślne to 120 (classic/pro) i 10 (serwerless). Dodano w Databricks CLI w wersji 0.260.0 |
channel |
Map | Szczegóły kanału. Zobacz kanał. Dodano w Databricks CLI w wersji 0.260.0 |
cluster_size |
String | Rozmiar klastrów przydzielonych dla tego magazynu. Zwiększenie rozmiaru klastra Spark umożliwia uruchamianie na nim większych zapytań. Jeśli chcesz zwiększyć liczbę współbieżnych zapytań, dostosuj max_num_clusters. Aby uzyskać obsługiwane wartości, zobacz cluster_size. Dodano w Databricks CLI w wersji 0.260.0 |
creator_name |
String | Nazwa użytkownika, który utworzył magazyn. Dodano w Databricks CLI w wersji 0.260.0 |
enable_photon |
logiczny | Czy magazyn powinien używać klastrów zoptymalizowanych pod Photon. Wartość domyślna to fałsz. Dodano w Databricks CLI w wersji 0.260.0 |
enable_serverless_compute |
logiczny | Czy magazyn powinien używać bezserwerowych obliczeń. Dodano w Databricks CLI w wersji 0.260.0 |
instance_profile_arn |
String | Deprecated. Profil wystąpienia używany do przekazywania roli zarządzania dostępem i tożsamościami do klastra. Dodano w Databricks CLI w wersji 0.260.0 |
lifecycle |
Map | Zawiera ustawienia cyklu życia zasobu. Steruje zachowaniem zasobu podczas wdrażania lub zniszczenia. Zobacz cykl życia. Dodano w Databricks CLI w wersji 0.268.0 |
max_num_clusters |
Integer | Maksymalna liczba klastrów tworzonych przez moduł skalowania automatycznego w celu obsługi zapytań współbieżnych. Wartości muszą być mniejsze lub równe 30 i większe niż lub równe min_num_clusters. Wartość domyślna to min_clusters, jeśli nie jest ustawiona.Dodano w Databricks CLI w wersji 0.260.0 |
min_num_clusters |
Integer | Minimalna liczba dostępnych klastrów, które będą utrzymywane dla tego magazynu SQL. Zwiększenie tej wartości zapewni, że większa liczba klastrów zawsze działa i w związku z tym może skrócić czas zimnego startu nowych zapytań. Jest to podobne do zarezerwowanych i odwołalnych rdzeni w menedżerze zasobów. Wartości muszą być większe niż 0 i mniejsze lub równe min (max_num_clusters, 30). Wartość domyślna to 1. Dodano w Databricks CLI w wersji 0.260.0 |
name |
String | Nazwa logiczna klastra. Nazwa musi być unikatowa w organizacji i może zawierać mniej niż 100 znaków. Dodano w Databricks CLI w wersji 0.260.0 |
permissions |
Sequence | Uprawnienia, które mają być zastosowane w magazynie. Zobacz uprawnienia. Dodano w Databricks CLI w wersji 0.260.0 |
spot_instance_policy |
String | Czy używać wystąpień typu spot. Prawidłowe wartości to POLICY_UNSPECIFIED, , COST_OPTIMIZEDRELIABILITY_OPTIMIZED. Wartość domyślna to COST_OPTIMIZED.Dodano w Databricks CLI w wersji 0.260.0 |
statement_timeout |
Integer | (Beta) Czas na wygaśnięcie dla magazynu, za kilka sekund. Zobacz Limit czasu na poziomie magazynu. Dodano w Databricks CLI w wersji 1.21.0 |
tags |
Map | Zestaw tagów niestandardowych dla magazynu. Zobacz sql_warehouse.tags. Dodano w Databricks CLI w wersji 0.260.0 |
warehouse_type |
String | Typ magazynu. Prawidłowe wartości to PRO, CLASSIC i REALTIME. Jeśli chcesz używać bezserwerowych obliczeń, ustaw to pole na PRO, a także ustaw pole enable_serverless_compute na wartość true.Dodano w Databricks CLI w wersji 0.260.0 |
sql_warehouse.channel
Type: Map
Konfiguracja kanału dla usługi SQL Warehouse.
| Key | Typ | Description |
|---|---|---|
name |
String | Nazwa kanału. Prawidłowe wartości to CHANNEL_NAME_CURRENT, , CHANNEL_NAME_PREVIEWCHANNEL_NAME_CUSTOM. |
dbsql_version |
String | Wersja bazy danych DBSQL dla kanałów niestandardowych. |
sql_warehouse.tagi
Type: Map
Tagi niestandardowe dla usługi SQL Warehouse.
| Key | Typ | Description |
|---|---|---|
custom_tags |
Sequence | Zestaw par klucz-wartość identyfikujący tagi we wszystkich zasobach (na przykład wystąpienia usług AWS i woluminy EBS) skojarzony z tym magazynem SQL Warehouse. Liczba tagów musi być mniejsza niż 45. |
Example
W poniższym przykładzie zdefiniowano usługę SQL Warehouse:
resources:
sql_warehouses:
my_sql_warehouse:
name: my_sql_warehouse
cluster_size: X-Large
enable_serverless_compute: true
max_num_clusters: 3
min_num_clusters: 1
auto_stop_mins: 60
warehouse_type: PRO
tags:
custom_tags:
- key: 'bizunit'
value: 'commercial'
- key: 'area'
value: 'marketing'
synced_database_table
Type: Map
Zsynchronizowany zasób tabeli bazy danych umożliwia definiowanie tabel bazy danych Lakebase w pakiecie.
Dla nowych obciążeń Databricks poleca ten postgres_synced_tables zasób.
Synchronizowane tabele bazy danych są obsługiwane w Python dla pakietów deklaratywnej automatyzacji. Zobacz databricks.bundles.synced_database_tables.
Aby uzyskać informacje o zsynchronizowanych tabelach baz danych, zobacz Lakebase Provisioned (Aprowizuj aprowizowaną bazę danych lakebase).
Dodano w Databricks CLI w wersji 0.266.0
synced_database_tables:
<synced_database_table-name>:
<synced_database_table-field-name>: <synced_database_table-field-value>
| Key | Typ | Description |
|---|---|---|
database_instance_name |
String | Nazwa docelowego wystąpienia bazy danych. Jest to wymagane podczas tworzenia zsynchronizowanych tabel bazy danych w standardowych wykazach. Jest to opcjonalne przy tworzeniu zsynchronizowanych tabel baz danych w zarejestrowanych katalogach; jeśli jest to określone w takim przypadku, nazwa instancji bazy danych musi odpowiadać nazwie zarejestrowanego katalogu, w przeciwnym razie żądanie zostaje odrzucone. Dodano w Databricks CLI w wersji 0.266.0 |
lifecycle |
Map | Zawiera ustawienia cyklu życia zasobu. Steruje zachowaniem zasobu podczas wdrażania lub zniszczenia. Zobacz cykl życia. Dodano w Databricks CLI w wersji 0.268.0 |
logical_database_name |
String | Nazwa docelowego obiektu bazy danych Postgres (logicznej bazy danych) dla tej tabeli. Podczas tworzenia zsynchronizowanej tabeli w zarejestrowanym katalogu Postgres, docelowa nazwa bazy Postgres jest uznawana za nazwę zarejestrowanego katalogu. Jeśli to pole jest określone w takim przypadku, nazwa bazy Postgres musi odpowiadać nazwie zarejestrowanego katalogu, w przeciwnym razie żądanie zostaje odrzucone. Podczas tworzenia zsynchronizowanej tabeli w standardowym katalogu to pole jest wymagane, a jego określenie pozwala na celowanie w dowolną bazę Postgres. Należy zauważyć, że ma to implikacje dla create_database_objects_if_missing ciała w spec.Dodano w Databricks CLI w wersji 0.266.0 |
name |
String | To jest wymagane. Pełna nazwa tabeli w formularzu catalog.schema.table.Dodano w Databricks CLI w wersji 0.266.0 |
spec |
Map | Specyfikacja tabeli bazy danych. Zobacz specyfikację zsynchronizowanej tabeli bazy danych. Dodano w Databricks CLI w wersji 0.266.0 |
synced_database_table.spec
Type: Map
Specyfikacja tabeli bazy danych.
Dodano w Databricks CLI w wersji 0.266.0
| Key | Typ | Description |
|---|---|---|
create_database_objects_if_missing |
logiczny | Czy utworzyć logiczną bazę danych i zasoby schematu zsynchronizowanej tabeli, jeśli jeszcze nie istnieją. |
existing_pipeline_id |
String | Identyfikator istniejącego rurociągu. Jeśli to zostanie ustawione, zsynchronizowana tabela zostanie spakowana do istniejącego potoku, do którego się odnosi. Pozwala to uniknąć tworzenia nowego potoku i umożliwia współdzielenie istniejących zasobów obliczeniowych. W takim przypadku, ta zsynchronizowana tabela scheduling_policy musi być zgodna z regułami harmonogramowania istniejącego potoku. Należy zdefiniować co najwyżej jeden z existing_pipeline_id i new_pipeline_spec. |
new_pipeline_spec |
Map | Specyfikacja dla nowego rurociągu. Zobacz new_pipeline_spec. Należy zdefiniować co najwyżej jeden z existing_pipeline_id i new_pipeline_spec. |
primary_key_columns |
Sequence | Lista nazw kolumn, które tworzą klucz podstawowy. |
scheduling_policy |
String | Zasady planowania na potrzeby synchronizacji. Prawidłowe wartości to SNAPSHOT, , CONTINUOUSTRIGGERED. |
source_table_full_name |
String | Pełna nazwa tabeli źródłowej w formacie catalog.schema.table. |
timeseries_key |
String | Klucz szeregów czasowych do deduplikowania wierszy z tym samym kluczem podstawowym. |
synced_database_table.spec.new_pipeline_spec
Type: Map
Specyfikacja potoku danych wykorzystywanego przez zsynchronizowaną tabelę bazy danych.
| Key | Typ | Description |
|---|---|---|
budget_policy_id |
String | Identyfikator zasad budżetowych do ustawienia na nowo utworzonej pipeline. |
storage_catalog |
String | Katalog dla pipeline'u do przechowywania plików pośrednich, takich jak punkty kontrolne i dzienniki zdarzeń. Musi to być standardowy wykaz, w którym użytkownik ma uprawnienia do tworzenia tabel delty. |
storage_schema |
String | Schemat dla potoku do przechowywania plików pośrednich, takich jak punkty kontrolne i dzienniki zdarzeń. Musi to znajdować się w wykazie standardowym, w którym użytkownik ma uprawnienia do tworzenia tabel delty. |
Examples
W poniższym przykładzie zdefiniowano zsynchronizowaną tabelę bazy danych w odpowiednim wykazie baz danych:
resources:
database_instances:
my_instance:
name: my-instance
capacity: CU_1
database_catalogs:
my_catalog:
database_instance_name: my-instance
database_name: 'my_database'
name: my_catalog
create_database_if_not_exists: true
synced_database_tables:
my_synced_table:
name: ${resources.database_catalogs.my_catalog.name}.${resources.database_catalogs.my_catalog.database_name}.my_destination_table
database_instance_name: ${resources.database_catalogs.my_catalog.database_instance_name}
logical_database_name: ${resources.database_catalogs.my_catalog.database_name}
spec:
source_table_full_name: 'my_source_table'
scheduling_policy: SNAPSHOT
primary_key_columns:
- my_pk_column
new_pipeline_spec:
storage_catalog: 'my_delta_catalog'
storage_schema: 'my_delta_schema'
W poniższym przykładzie zdefiniowano zsynchronizowaną tabelę bazy danych wewnątrz wykazu standardowego:
resources:
synced_database_tables:
my_synced_table:
name: 'my_standard_catalog.public.synced_table'
# database_instance_name is required for synced tables created in standard catalogs.
database_instance_name: 'my-database-instance'
# logical_database_name is required for synced tables created in standard catalogs:
logical_database_name: ${resources.database_catalogs.my_catalog.database_name}
spec:
source_table_full_name: 'source_catalog.schema.table'
scheduling_policy: SNAPSHOT
primary_key_columns:
- my_pk_column
create_database_objects_if_missing: true
new_pipeline_spec:
storage_catalog: 'my_delta_catalog'
storage_schema: 'my_delta_schema'
W tym przykładzie tworzona jest zsynchronizowana tabela bazy danych, a także dostosowywany jest harmonogram potoku. Przyjęto założenie, że masz już:
- Wystąpienie bazy danych o nazwie
my-database-instance - Wykaz standardowy o nazwie
my_standard_catalog - Schemat w wykazie standardowym o nazwie
default - Źródłowa tabela delta o nazwie
source_delta.schema.customerz kluczem podstawowymc_custkey
resources:
synced_database_tables:
my_synced_table:
name: 'my_standard_catalog.default.my_synced_table'
database_instance_name: 'my-database-instance'
logical_database_name: 'test_db'
spec:
source_table_full_name: 'source_delta.schema.customer'
scheduling_policy: SNAPSHOT
primary_key_columns:
- c_custkey
create_database_objects_if_missing: true
new_pipeline_spec:
storage_catalog: 'source_delta'
storage_schema: 'schema'
jobs:
sync_pipeline_schedule_job:
name: sync_pipeline_schedule_job
description: 'Job to schedule synced database table pipeline.'
tasks:
- task_key: synced-table-pipeline
pipeline_task:
pipeline_id: ${resources.synced_database_tables.my_synced_table.data_synchronization_status.pipeline_id}
schedule:
quartz_cron_expression: '0 0 0 * * ?'
vector_search_endpoint
Type: Map
Zasób vector_search_endpoint umożliwia zdefiniowanie punktów końcowych wyszukiwania sztucznej inteligencji w pakiecie . Aby uzyskać informacje o wyszukiwaniu sztucznej inteligencji, zobacz Databricks AI Search (Wyszukiwanie sztucznej inteligencji w usłudze Databricks).
Endpointy wyszukiwania wektorowego są obsługiwane w Python dla pakietów automatyki deklaratywnej. Zobacz databricks.bundles.vector_search_endpoints.
Note
Definiowanie punktów końcowych wyszukiwania wektorów przy użyciu pakietów automatyzacji deklaratywnej jest obsługiwane tylko w przypadku korzystania z aparatu wdrażania bezpośredniego.
Dodano w Databricks CLI w wersji 0.298.0
vector_search_endpoints:
<vector_search_endpoint-name>:
<vector_search_endpoint-field-name>: <vector_search_endpoint-field-value>
| Key | Typ | Description |
|---|---|---|
budget_policy_id |
String | Identyfikator zasad budżetu do użycia dla tego punktu końcowego. Dodano w Databricks CLI w wersji 0.298.0 |
endpoint_type |
String | Typ punktu końcowego. Prawidłowe wartości to STORAGE_OPTIMIZED i STANDARD.Dodano w Databricks CLI w wersji 0.298.0 |
lifecycle |
Map | Zawiera ustawienia cyklu życia zasobu. Steruje zachowaniem zasobu podczas wdrażania lub zniszczenia. Zobacz cykl życia. Dodano w Databricks CLI w wersji 0.298.0 |
name |
String | Nazwa punktu końcowego wyszukiwania sztucznej inteligencji. Dodano w Databricks CLI w wersji 0.298.0 |
permissions |
Sequence | Uprawnienia do zastosowania do punktu końcowego wyszukiwania sztucznej inteligencji. Dozwolone poziomy to CAN_CREATE, CAN_MANAGE, oraz CAN_USE. Zobacz uprawnienia.Dodano w Databricks CLI w wersji 0.298.0 |
target_qps |
Integer | Zapytania docelowe na sekundę dla punktu końcowego wyszukiwania sztucznej inteligencji. Wzajemnie wykluczające się z num_replicas. Rzeczywista liczba replik jest obliczana w momencie tworzenia indeksu lub synchronizacji na podstawie tej wartości. To cel najlepszego wysiłku; system nie gwarantuje, że QPS zostanie osiągnięty.Dodano w Databricks CLI w wersji 0.299.2 |
Example
W poniższym przykładzie zdefiniowano punkt końcowy wyszukiwania sztucznej inteligencji:
# databricks.yml
bundle:
name: vector-search-example
engine: direct # Vector Search requires the direct deployment engine
resources:
vector_search_endpoints:
my_vector_search_endpoint:
name: my_vector_search_endpoint
endpoint_type: STANDARD
vector_search_index
Type: Map
Zasób vector_search_index umożliwia definiowanie indeksów wyszukiwania wektorów w pakiecie. Aby uzyskać informacje na temat wyszukiwania wektorów, zobacz Wyszukiwanie sztucznej inteligencji w usłudze Databricks.
Indeksy wyszukiwania wektorowego są obsługiwane w Python dla pakietów deklaratywnej automatyzacji. Zobacz databricks.bundles.vector_search_indexes.
Dodano w Databricks CLI w wersji 1.1.0
vector_search_indexes:
<vector_search_index-name>:
<vector_search_index-field-name>: <vector_search_index-field-value>
| Key | Typ | Description |
|---|---|---|
delta_sync_index_spec |
Map | Specyfikacja indeksu synchronizacji różnicowej. Wymagane, jeśli index_type ma wartość DELTA_SYNC. Zobacz vector_search_index.delta_sync_index_spec.Dodano w Databricks CLI w wersji 1.1.0 |
direct_access_index_spec |
Map | Specyfikacja indeksu dostępu wektorowego bezpośredniego. Wymagane, jeśli index_type ma wartość DIRECT_ACCESS. Zobacz vector_search_index.direct_access_index_spec.Dodano w Databricks CLI w wersji 1.1.0 |
endpoint_name |
String | To jest wymagane. Nazwa punktu końcowego, który ma być używany do obsługi indeksu. Dodano w Databricks CLI w wersji 1.1.0 |
grants |
Sequence | Granty skojarzone z indeksem wyszukiwania wektorowego. Zobacz przyznanie. Dodano w Databricks CLI w wersji 1.1.0 |
index_subtype |
String | (Wersja beta) Podtyp indeksu. Prawidłowe wartości to HYBRID i FULL_TEXT.
VECTOR nie jest wspierany.Dodano w Databricks CLI w wersji 1.1.0 |
index_type |
String | To jest wymagane. Rodzaj indeksu. Prawidłowe wartości to:
|
lifecycle |
Map | Zawiera ustawienia cyklu życia zasobu. Steruje zachowaniem zasobu podczas wdrażania lub zniszczenia. Zobacz cykl życia. Dodano w Databricks CLI w wersji 1.1.0 |
name |
String | To jest wymagane. Nazwa indeksu. Dodano w Databricks CLI w wersji 1.1.0 |
primary_key |
String | To jest wymagane. Klucz podstawowy indeksu. Dodano w Databricks CLI w wersji 1.1.0 |
vector_search_index.delta_sync_index_spec
Type: Map
Specyfikacja indeksu synchronizacji różnicowej.
Dodano w Databricks CLI w wersji 1.1.0
| Key | Typ | Description |
|---|---|---|
columns_to_index |
Sequence | Opcjonalny. Alias dla elementu columns_to_sync. Wybierz kolumny do uwzględnienia w indeksie wektorowym. Jeśli to pole jest puste, zostaną uwzględnione wszystkie kolumny z tabeli źródłowej. Kolumna klucza podstawowego i osadzanie kolumny źródłowej lub wektor osadzania są zawsze uwzględniane. Można określić tylko jeden z columns_to_sync lub columns_to_index . |
columns_to_sync |
Sequence | Opcjonalny. Wybierz kolumny do synchronizacji z indeksem wektorów. Jeśli to pole jest puste, wszystkie kolumny z tabeli źródłowej są synchronizowane z indeksem. Kolumna klucza podstawowego oraz kolumna źródłowa osadzania lub kolumna wektora osadzania są zawsze synchronizowane. |
embedding_source_columns |
Sequence | Kolumny zawierające źródło osadzania. |
embedding_vector_columns |
Sequence | Kolumny zawierające wektory osadzania. |
embedding_writeback_table |
String | Opcjonalny. Nazwa tabeli delty w celu zsynchronizowania zawartości indeksu wektorowego i obliczonych osadzeń. |
pipeline_type |
String | Tryb wykonywania potoku. Prawidłowe wartości to:
|
source_table |
String | Nazwa tabeli źródłowej. |
vector_search_index.direct_access_index_spec
Type: Map
Specyfikacja indeksu dostępu wektorowego bezpośredniego.
Dodano w Databricks CLI w wersji 1.1.0
| Key | Typ | Description |
|---|---|---|
embedding_source_columns |
Sequence | Kolumny zawierające źródło osadzania. Format powinien mieć wartość array[double]. |
embedding_vector_columns |
Sequence | Kolumny zawierające wektory osadzania. Format powinien mieć wartość array[double]. |
schema_json |
String | Schemat indeksu w formacie JSON. Obsługiwane typy to integer, , long, floatdoublebooleanstring, . datetimestamp Obsługiwane typy kolumn wektorów: array<float>, array<double>. |
Example
W poniższym przykładzie zdefiniowano indeks wyszukiwania wektorów usługi Delta Sync:
resources:
vector_search_endpoints:
my_endpoint:
name: my-endpoint
endpoint_type: STANDARD
vector_search_indexes:
my_index:
name: main.default.my_index
endpoint_name: ${resources.vector_search_endpoints.my_endpoint.name}
primary_key: id
index_type: DELTA_SYNC
delta_sync_index_spec:
source_table: main.default.source
pipeline_type: TRIGGERED
grants:
- principal: data-engineers
privileges: [SELECT]
tom (Katalog Unity)
Type: Map
Typ zasobu woluminu umożliwia definiowanie i tworzenie woluminów w Unity Catalog jako część pakietu. Podczas wdrażania pakietu z zdefiniowanym woluminem należy pamiętać, że:
- Nie można odwołać się do woluminu w
artifact_pathdla pakietu, dopóki nie będzie on istniał w obszarze roboczym. W związku z tym, jeśli chcesz użyć pakietów deklaratywnej automatyzacji do utworzenia woluminu, musisz najpierw zdefiniować wolumin w pakiecie, wdrożyć go w celu utworzenia woluminu, a następnie odwołać się do niego wartifact_pathkolejnych wdrożeniach. - Woluminy w pakiecie nie są poprzedzone prefiksem
dev_${workspace.current_user.short_name}, jeśli cel wdrożenia ma skonfigurowanymode: development. Można jednak ręcznie skonfigurować ten prefiks. Zobacz Niestandardowe ustawienia wstępne.
Wolumeny są obsługiwane w Python dla pakietów deklaratywnej automatyzacji. Zobacz databricks.bundles.volumes.
Dodano w Databricks CLI w wersji 0.236.0
volumes:
<volume-name>:
<volume-field-name>: <volume-field-value>
| Key | Typ | Description |
|---|---|---|
catalog_name |
String | Nazwa katalogu schematu i woluminu. Dodano w Databricks CLI w wersji 0.236.0 |
comment |
String | Komentarz dołączony do woluminu. Dodano w Databricks CLI w wersji 0.236.0 |
grants |
Sequence | Granty skojarzone z objętością. Zobacz przyznanie. Dodano w Databricks CLI w wersji 0.236.0 |
lifecycle |
Map | Zawiera ustawienia cyklu życia zasobu. Steruje zachowaniem zasobu podczas wdrażania lub zniszczenia. Zobacz cykl życia. Dodano w Databricks CLI w wersji 0.268.0 |
name |
String | Nazwa woluminu. Dodano w Databricks CLI w wersji 0.236.0 |
schema_name |
String | Nazwa schematu, w którym znajduje się wolumin. Dodano w Databricks CLI w wersji 0.236.0 |
storage_location |
String | Lokalizacja magazynu w chmurze. Dodano w Databricks CLI w wersji 0.236.0 |
volume_type |
String | Typ woluminu lub EXTERNALMANAGED. Wolumin zewnętrzny znajduje się w określonej lokalizacji zewnętrznej. Wolumin zarządzany znajduje się w domyślnej lokalizacji określonej przez schemat nadrzędny lub wykaz nadrzędny lub magazyn metadanych. Zobacz Zarządzane i zewnętrzne woluminy. |
Example
Poniższy przykład tworzy wolumin Unity Catalog o kluczu my_volume_id:
resources:
volumes:
my_volume_id:
catalog_name: main
name: my_volume
schema_name: my_schema
Przykładowy pakiet, który uruchamia zadanie zapisu w pliku w woluminie wykazu aparatu Unity, zobacz bundle-examples GitHub repozytorium.
Typowe obiekty
Grant
Type: Map
Definiuje główną jednostkę oraz przywileje, które mają być jej przyznane. Aby uzyskać więcej informacji na temat uprawnień, zobacz Pokazywanie, przyznawanie i cofanie przywilejów.
| Key | Typ | Description |
|---|---|---|
principal |
String | Nazwa głównego podmiotu, któremu zostaną przyznane uprawnienia. Może to być użytkownik, grupa lub jednostka usługi. |
privileges |
Sequence | Uprawnienia do przyznania określonemu podmiotowi. Prawidłowe wartości zależą od typu zasobu (na przykład SELECT, , MODIFY, CREATEUSAGE, READ_FILES, WRITE_FILES, EXECUTEALL_PRIVILEGES). |
Example
W poniższym przykładzie zdefiniowano schemat Unity Catalog z grantami.
resources:
schemas:
my_schema:
name: test-schema
grants:
- principal: users
privileges:
- SELECT
- principal: my_team
privileges:
- MANAGE
catalog_name: main
cykl życia
Type: Map
Zawiera ustawienia cyklu życia zasobu. Steruje zachowaniem zasobu podczas wdrażania lub zniszczenia.
Dodano w Databricks CLI w wersji 0.268.0
| Key | Typ | Description |
|---|---|---|
depends_on |
Sequence | Zasoby, które muszą zostać wdrożone przed tym zasobem i usunięte po nim. Każdy element ma wymagany resource klucz, który określa klucz zasobu, od którego ma zależeć, jako lub foojobs.foo. W przeciwieństwie do odniesień do zmiennych, wpływa to wyłącznie na kolejność.Dodano w Databricks CLI w wersji 1.23.0 |
prevent_destroy |
logiczny | Ustawienie cyklu życia, aby zapobiec niszczeniu zasobu. Dodano w Databricks CLI w wersji 0.268.0 |
started |
logiczny | Ustawienie cyklu życia umożliwiające wdrożenie zasobu w trybie uruchamiania. Obsługiwane tylko w przypadku aplikacji, klastrów i sql_warehouses w trybie wdrażania bezpośredniego. Dodano w Databricks CLI w wersji 0.297.0 (aplikacje) Dodano w Databricks CLI w wersji 1.1.0 (klastry) Dodano w Databricks CLI w wersji 1.2.0 (sql_warehouses) |
triggers |
Sequence | Warunki umożliwiające ponowne uruchomienie serii, a także zmiany konfiguracji. Obsługiwane tylko dla job_run.Dodano w Databricks CLI w wersji 1.13.0 |