Nuta
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować się zalogować lub zmienić katalog.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Note
Te informacje dotyczą interfejsu wiersza polecenia usługi Databricks w wersji 0.205 lub nowszej. Interfejs CLI Databricks jest w publicznej wersji testowej.
Korzystanie z interfejsu wiersza polecenia usługi Databricks podlega licencjom usługi Databricks i powiadomieniom o ochronie prywatności usługi Databricks, w tym wszelkim przepisom dotyczącym danych użycia.
Grupa bundle poleceń w interfejsie wiersza polecenia usługi Databricks zawiera polecenia do zarządzania pakietami zasobów usługi Databricks. Pakiety zasobów Databricks umożliwiają wyrażanie projektów jako kodu oraz programowe weryfikowanie, wdrażanie i uruchamianie przepływów pracy Azure Databricks, takich jak zadania, potoki deklaratywne platformy Lakeflow Spark oraz MLOps Stacks. Zobacz Co to są pakiety zasobów usługi Databricks?.
Note
Polecenia pakietu używają ustawień w databricks.yml do uwierzytelniania podczas uruchamiania wewnątrz folderu pakietu. Jeśli chcesz uruchomić polecenia pakietu z innym uwierzytelnianiem w folderze pakietu, określ profil konfiguracji przy użyciu --profile flagi (lub -p) i nie określ --target.
Alternatywnie, uruchom polecenia, które nie wymagają takiego samego uwierzytelniania jak pakiet, z miejsca poza folderem pakietu.
wdrażanie pakietu usługi databricks
Wdróż pakiet w zdalnym obszarze roboczym.
databricks bundle deploy [flags]
Element docelowy pakietu i tożsamość
Aby wdrożyć pakiet na określony cel, ustaw opcję -t (lub --target) zgodnie z nazwą określoną w plikach konfiguracyjnych pakietu. Jeśli nie określono żadnych opcji poleceń, zostanie użyty domyślny element docelowy zadeklarowany w plikach konfiguracji pakietu. Na przykład dla obiektu docelowego zadeklarowanego z nazwą dev:
databricks bundle deploy -t dev
Pakiet można wdrożyć w wielu obszarach roboczych, takich jak obszary robocze programistyczne, przejściowe i produkcyjne. Zasadniczo właściwość root_path to jest to, co określa unikatową tożsamość pakietu, która domyślnie wynosi ~/.bundle/${bundle.name}/${bundle.target}. W związku z tym tożsamość pakietu składa się z tożsamości narzędzia wdrażania, nazwy pakietu i nazwy docelowej pakietu. Jeśli są one identyczne w różnych pakietach, wdrożenie tych pakietów będzie przeszkadzać sobie nawzajem.
Ponadto wdrożenie pakietu śledzi zasoby tworzone w docelowym obszarze roboczym według ich identyfikatorów, które jako stan są przechowywane w systemie plików tego obszaru roboczego. Nazwy zasobów nie są używane do korelowania między wdrożeniem pakietu a instancją zasobu, więc:
- Jeśli zasób w konfiguracji pakietu nie istnieje w docelowym obszarze roboczym, zostanie utworzony.
- Jeśli w docelowym obszarze roboczym istnieje zasób w konfiguracji pakietu, zostanie on zaktualizowany w obszarze roboczym.
- Jeśli zasób zostanie usunięty z konfiguracji pakietu, zostanie on usunięty z docelowego obszaru roboczego, jeśli został wcześniej wdrożony.
- Skojarzenie zasobu z pakietem można zapomnieć tylko wtedy, gdy zmienisz nazwę pakietu, element docelowy pakietu lub obszar roboczy. Możesz uruchomić polecenie
bundle validate, aby wyświetlić podsumowanie zawierające te wartości.
Opcje
--auto-approve
Pomiń interaktywne zatwierdzenia, które mogą być wymagane do wdrożenia.
-c, --cluster-id string
Zastąpij klaster we wdrożeniu przy użyciu danego identyfikatora klastra.
--fail-on-active-runs
Niepowodzenie, jeśli w wdrożeniu są uruchomione zadania lub potoki.
--force
Wymuszanie zastępowania walidacji gałęzi git.
--force-lock
Wymuś przejęcie blokady wdrożenia.
Przykłady
Poniższy przykład umożliwia wdrożenie pakietu przy użyciu określonego identyfikatora klastra:
databricks bundle deploy --cluster-id 0123-456789-abcdef
wdrażanie pakietu usługi databricks
Polecenia związane z wdrażaniem.
databricks bundle deployment [command]
Dostępne polecenia
-
bind— Wiązanie zasobu zdefiniowanego w pakiecie z istniejącym zasobem w zdalnym obszarze roboczym. -
migrate— Migrowanie pakietu w celu użycia aparatu wdrażania bezpośredniego. -
unbind— Odłączanie zasobu zdefiniowanego w pakiecie z jego zasobu zdalnego.
powiązanie wdrożenia pakietu usługi databricks
Łączenie zasobów zdefiniowanych w pakiecie z istniejącymi zasobami w obszarze roboczym usługi Azure Databricks w celu zarządzania nimi przez pakiety zasobów usługi Databricks. Jeśli powiążesz zasób, to istniejący zasób usługi Azure Databricks w obszarze roboczym zostanie zaktualizowany na podstawie konfiguracji zdefiniowanej w pakiecie, do którego jest przypisany, po następnym bundle deploy.
databricks bundle deployment bind KEY RESOURCE_ID [flags]
Powiązanie nie tworzy ponownie danych. Na przykład, jeśli do potoku z danymi w katalogu zastosowano wiązanie, możesz go wdrożyć do tego potoku bez utraty istniejących danych. Ponadto nie trzeba ponownie komkompilować zmaterializowanego widoku, więc potoki nie muszą być uruchamiane ponownie.
Polecenie powiązania powinno być używane z flagą --target . Na przykład powiąż swoje wdrożenie produkcyjne z potokiem produkcyjnym za pomocą komendy databricks bundle deployment bind --target prod my_pipeline 7668611149d5709ac9-2906-1229-9956-586a9zed8929
Tip
Warto potwierdzić zasób w obszarze roboczym przed uruchomieniem powiązania.
Bind jest wspierany dla następujących zasobów:
- app
- cluster
- dashboard
- job
- model_serving_endpoint
- pipeline
- quality_monitor
- registered_model
- schema
- volume
W przypadku zasobów obsługiwanych przez polecenie bundle generate, automatycznie powiąż zasób po wygenerowaniu, używając opcji --bind.
Argumenty (w programowaniu)
KEY
Klucz zasobu do powiązania
RESOURCE_ID
Identyfikator istniejącego zasobu do powiązania z
Opcje
--auto-approve
Automatyczne zatwierdzanie powiązania zamiast monitowania
--force-lock
Wymuszenie uzyskania blokady wdrożeniowej
Przykłady
Następujące polecenie wiąże zasób hello_job ze swoim zdalnym odpowiednikiem w obszarze roboczym. Polecenie generuje różnicę i pozwala ci odmówić powiązania zasobów, ale jeśli zostanie to potwierdzone, wszelkie aktualizacje definicji zadania w pakiecie zostaną zastosowane do odpowiedniego zdalnego zadania, gdy pakiet zostanie ponownie wdrożony.
databricks bundle deployment bind hello_job 6565621249
Migrowanie wdrożenia pakietu Databricks
Important
Ta funkcja jest eksperymentalna.
Przeprowadź migrację pakietu z użycia silnika wdrażania Terraform na silnik wdrażania bezpośredniego. Zobacz Migrowanie do aparatu wdrażania bezpośredniego. Aby ukończyć migrację, należy wdrożyć pakiet.
Można zweryfikować, czy migracja zakończyła się pomyślnie, uruchamiając polecenie databricks bundle plan. Zobacz plan pakietu usługi databricks.
databricks bundle deployment migrate [flags]
Argumenty (w programowaniu)
Żaden
Opcje
Przykłady
Poniższy przykład przeprowadza migrację bieżącego pakietu w celu użycia aparatu wdrażania bezpośredniego:
databricks bundle deployment migrate
usuwanie powiązania wdrożenia pakietu usługi databricks
Usuń połączenie między zasobem w pakiecie i jego zdalnym odpowiednikiem w obszarze roboczym.
databricks bundle deployment unbind KEY [flags]
Argumenty (w programowaniu)
KEY
Klucz zasobu do rozłączenia
Opcje
--force-lock
Wymuś przejęcie blokady wdrożenia.
Przykłady
Poniższy przykład usuwa powiązanie hello_job zasobu:
databricks bundle deployment unbind hello_job
niszczenie pakietu usługi databricks
Warning
Zniszczenie pakietu skutkuje trwałym usunięciem wcześniej wdrożonych zadań, potoków i artefaktów związanych z tym pakietem. Nie można tego cofnąć.
Usuń zadania, potoki, inne zasoby i artefakty, które zostały wcześniej wdrożone.
databricks bundle destroy [flags]
Note
Tożsamość pakietu składa się z nazwy pakietu, elementu docelowego pakietu i obszaru roboczego. Jeśli zmieniono dowolny z tych elementów, a następnie spróbujesz zniszczyć pakiet przed wdrożeniem, wystąpi błąd.
Domyślnie zostaniesz poproszony o potwierdzenie trwałego usunięcia wcześniej wdrożonych zadań, potoków i artefaktów. Aby pominąć te monity i wykonać automatyczne trwałe usunięcie, dodaj opcję --auto-approve do polecenia bundle destroy.
Opcje
--auto-approve
Pomijanie interakcyjnych zatwierdzeń dotyczących usuwania zasobów i plików
--force-lock
Wymuś przejęcie blokady wdrożenia.
Przykłady
Następujące polecenie usuwa wszystkie wcześniej wdrożone zasoby i artefakty zdefiniowane w plikach konfiguracji pakietu:
databricks bundle destroy
generowanie pakietu usługi databricks
Wygeneruj konfigurację pakietu dla zasobu, który już istnieje w obszarze roboczym usługi Databricks. Obsługiwane są następujące zasoby: aplikacja, pulpit nawigacyjny, zadanie, potok.
Domyślnie to polecenie generuje *.yml plik dla zasobu w resources folderze pakietowego projektu, a także pobiera wszystkie pliki, takie jak notesy, wspomniane w konfiguracji.
Important
Polecenie bundle generate jest udostępniane jako wygoda automatycznego generowania konfiguracji zasobów. Jeśli jednak pakiet zawiera konfigurację zasobów i wdrożysz go, usługa Azure Databricks tworzy nowy zasób zamiast aktualizować istniejący. Aby zaktualizować istniejący zasób, należy użyć flagi --bind z bundle generate lub uruchomić bundle deployment bind przed wdrożeniem. Zobacz powiązanie wdrożenia pakietu usługi databricks.
databricks bundle generate [command]
Dostępne polecenia
-
app— Generuj konfigurację pakietu dla aplikacji usługi Databricks. -
dashboard— Generuj konfigurację pulpitu nawigacyjnego. -
job— Generuj konfigurację pakietu dla zadania. -
pipeline— Generuj konfigurację pakietu dla potoku.
Opcje
--key string
Klucz zasobu do użycia dla wygenerowanej konfiguracji
generowanie aplikacji w pakiecie usługi databricks
Wygeneruj konfigurację pakietu dla istniejącej aplikacji usługi Databricks w obszarze roboczym.
databricks bundle generate app [flags]
Opcje
--bind
Automatycznie powiąż wygenerowany zasób z istniejącym zasobem w obszarze roboczym.
-d, --config-dir string
Ścieżka katalogu, w której zostanie zapisana konfiguracja pakietu wyjściowego (domyślne "zasoby")
--existing-app-name string
Nazwa aplikacji do wygenerowania konfiguracji dla polecenia
-f, --force
Wymuszanie zastępowania istniejących plików w katalogu wyjściowym
-s, --source-dir string
Ścieżka katalogu, w której będą przechowywane pliki aplikacji (domyślna "src/app")
Przykłady
Poniższy przykład generuje konfigurację istniejącej aplikacji o nazwie my-app. Nazwę aplikacji można uzyskać na karcie Aplikacje obliczeniowe> w interfejsie użytkownika obszaru roboczego.
databricks bundle generate app --existing-app-name my-app
Następujące polecenie generuje nowy hello_world.app.yml plik w resources folderze projektu pakietu i pobiera pliki kodu aplikacji, takie jak plik app.yaml konfiguracji polecenia aplikacji i główny app.pyplik . Domyślnie pliki kodu są kopiowane do folderu pakietu src .
databricks bundle generate app --existing-app-name "hello_world"
# This is the contents of the resulting /resources/hello-world.app.yml file.
resources:
apps:
hello_world:
name: hello-world
description: A basic starter application.
source_code_path: ../src/app
pakiet usługi databricks generuje pulpit nawigacyjny
Wygeneruj konfigurację istniejącego pulpitu nawigacyjnego w obszarze roboczym.
databricks bundle generate dashboard [flags]
Tip
Aby zaktualizować plik .lvdash.json po wdrożeniu pulpitu nawigacyjnego, użyj opcji --resource podczas uruchamiania bundle generate dashboard, aby wygenerować ten plik dla istniejącego zasobu pulpitu nawigacyjnego. Aby stale sondować i pobierać aktualizacje do pulpitu nawigacyjnego, użyj opcji --force oraz --watch.
Opcje
--bind
Automatycznie powiąż wygenerowany zasób z istniejącym zasobem w obszarze roboczym.
-s, --dashboard-dir string
Katalog do zapisania reprezentacji pulpitu nawigacyjnego na wartość (domyślna "src")
--existing-id string
Identyfikator pulpitu nawigacyjnego do wygenerowania konfiguracji dla
--existing-path string
Ścieżka obszaru roboczego pulpitu nawigacyjnego do generowania konfiguracji dla
-f, --force
Wymuszanie zastępowania istniejących plików w katalogu wyjściowym
--resource string
Klucz zasobu pulpitu nawigacyjnego do obserwowana zmian
-d, --resource-dir string
Katalog do zapisania konfiguracji na wartość (domyślna "resources")
--watch
Poszukaj zmian na pulpicie nawigacyjnym i zaktualizuj konfigurację
Przykłady
Poniższy przykład generuje konfigurację według istniejącego identyfikatora pulpitu nawigacyjnego:
databricks bundle generate dashboard --existing-id abc123
Możesz również wygenerować konfigurację dla istniejącego pulpitu nawigacyjnego według ścieżki obszaru roboczego. Skopiuj ścieżkę obszaru roboczego pulpitu nawigacyjnego z interfejsu użytkownika obszaru roboczego.
Na przykład następujące polecenie generuje nowy baby_gender_by_county.dashboard.yml plik w resources folderze projektu pakietu zawierającym poniższy kod YAML i pobiera baby_gender_by_county.lvdash.json plik do src folderu projektu.
databricks bundle generate dashboard --existing-path "/Workspace/Users/someone@example.com/baby_gender_by_county.lvdash.json"
# This is the contents of the resulting baby_gender_by_county.dashboard.yml file.
resources:
dashboards:
baby_gender_by_county:
display_name: 'Baby gender by county'
warehouse_id: aae11o8e6fe9zz79
file_path: ../src/baby_gender_by_county.lvdash.json
generowanie zadania pakietu usługi databricks
Generowanie konfiguracji pakietu dla zadania.
Note
Obecnie to polecenie obsługuje tylko zadania notatnika.
databricks bundle generate job [flags]
Opcje
--bind
Automatycznie powiąż wygenerowany zasób z istniejącym zasobem w obszarze roboczym.
-d, --config-dir string
Ścieżka dir, w której będzie przechowywana konfiguracja wyjściowa (domyślna "resources")
--existing-job-id int
Identyfikator zadania do wygenerowania konfiguracji dla polecenia
-f, --force
Wymuszanie zastępowania istniejących plików w katalogu wyjściowym
-s, --source-dir string
Ścieżka dir, w której będą przechowywane pobrane pliki (domyślna "src")
Przykłady
Poniższy przykład generuje nowy hello_job.yml plik w resources folderze projektu pakietu zawierającym poniższy kod YAML i pobiera plik simple_notebook.py do src folderu projektu. Wiąże również wygenerowany zasób z istniejącym zadaniem w obszarze roboczym.
databricks bundle generate job --existing-job-id 6565621249 --bind
# This is the contents of the resulting hello_job.yml file.
resources:
jobs:
hello_job:
name: 'Hello Job'
tasks:
- task_key: run_notebook
email_notifications: {}
notebook_task:
notebook_path: ../src/simple_notebook.py
source: WORKSPACE
run_if: ALL_SUCCESS
max_concurrent_runs: 1
potok generowania pakietu usługi databricks
Generowanie konfiguracji pakietu dla potoku.
databricks bundle generate pipeline [flags]
Opcje
--bind
Automatycznie powiąż wygenerowany zasób z istniejącym zasobem w obszarze roboczym.
-d, --config-dir string
Ścieżka dir, w której będzie przechowywana konfiguracja wyjściowa (domyślna "resources")
--existing-pipeline-id string
Identyfikator potoku do wygenerowania konfiguracji dla polecenia
-f, --force
Wymuszanie zastępowania istniejących plików w katalogu wyjściowym
-s, --source-dir string
Ścieżka dir, w której będą przechowywane pobrane pliki (domyślna "src")
Przykłady
Poniższy przykład generuje konfigurację dla istniejącego potoku:
databricks bundle generate pipeline --existing-pipeline-id abc-123-def
pakiet usługi databricks init
Zainicjuj nowy pakiet przy użyciu szablonu pakietu. Szablony można skonfigurować tak, aby monitować użytkownika o podanie wartości. Zobacz Szablony projektów pakietu zasobów usługi Databricks.
databricks bundle init [TEMPLATE_PATH] [flags]
Argumenty (w programowaniu)
TEMPLATE_PATH
Szablon do użycia do inicjowania (opcjonalnie)
Opcje
--branch string
Gałąź usługi Git do użycia na potrzeby inicjowania szablonu
--config-file string
Plik JSON zawierający pary wartości klucza parametrów wejściowych wymaganych do inicjowania szablonu.
--output-dir string
Katalog do zapisania zainicjowanego szablonu.
--tag string
Tag Git do użycia na potrzeby inicjowania szablonu
--template-dir string
Ścieżka katalogu w repozytorium Git zawierającym szablon.
Przykłady
Poniższy przykład wyświetla monity z listą domyślnych szablonów pakietów, z których należy wybrać:
databricks bundle init
Poniższy przykład inicjuje pakiet przy użyciu domyślnego szablonu języka Python:
databricks bundle init default-python
Aby utworzyć pakiet zasobów usługi Databricks przy użyciu niestandardowego szablonu pakietu zasobów usługi Databricks, określ niestandardową ścieżkę szablonu:
databricks bundle init <project-template-local-path-or-url> \
--project-dir="</local/path/to/project/template/output>"
Poniższy przykład inicjuje pakiet z repozytorium Git:
databricks bundle init https://github.com/my/repository
Poniższy przykład inicjuje określoną gałąź:
databricks bundle init --branch main
otwarty pakiet usługi databricks
Przejdź do zasobu pakietu w obszarze roboczym, określając zasób do otwarcia. Jeśli klucz zasobu nie zostanie określony, to polecenie wyświetli listę zasobów pakietu, z których chcesz wybrać.
databricks bundle open [flags]
Opcje
--force-pull
Pomiń lokalną pamięć podręczną i załaduj stan ze zdalnego obszaru roboczego
Przykłady
Poniższy przykład uruchamia przeglądarkę i przechodzi do pulpitu baby_gender_by_county nawigacyjnego w pakiecie w obszarze roboczym usługi Databricks skonfigurowanym dla pakietu:
databricks bundle open baby_gender_by_county
plan pakietu usługi databricks
Pokaż plan wdrożenia dla bieżącej konfiguracji pakietu.
To polecenie kompiluje pakiet i wyświetla akcje, które będą wykonywane na zasobach, które zostaną wdrożone, bez wprowadzania żadnych zmian. Dzięki temu można wyświetlić podgląd zmian przed uruchomieniem polecenia bundle deploy.
databricks bundle plan [flags]
Opcje
-c, --cluster-id string
Zastąpij klaster we wdrożeniu przy użyciu danego identyfikatora klastra.
--force
Wymuszanie zastępowania walidacji gałęzi git.
Przykłady
Poniższy przykład generuje plan wdrożenia pakietu, który kompiluje koło języka Python i definiuje zadanie i potok:
databricks bundle plan
Building python_artifact...
create jobs.my_bundle_job
create pipelines.my_bundle_pipeline
Uruchamianie pakietu usługi databricks
Uruchom zadanie, potok lub skrypt. Jeśli nie określisz zasobu, wiersze polecenia ze zdefiniowanymi zadaniami, potokami i skryptami do wyboru. Alternatywnie, określ klucz zadania, pipeline'u lub nazwę skryptu zadeklarowaną w plikach konfiguracji pakietu.
databricks bundle run [flags] [KEY]
Weryfikowanie potoku
Jeśli chcesz uruchomić weryfikację potoku, użyj opcji --validate-only, jak pokazano w poniższym przykładzie:
databricks bundle run --validate-only my_pipeline
Przekazywanie parametrów zadania
Aby przekazać parametry zadania, użyj opcji --params, a następnie podaj pary klucz-wartość, rozdzielone przecinkami, gdzie klucz jest nazwą parametru. Na przykład następujące polecenie ustawia parametr o nazwie message dla HelloWorld zadania hello_job:
databricks bundle run --params message=HelloWorld hello_job
Note
Jak pokazano w poniższych przykładach, można przekazać parametry do zadań podrzędnych przy użyciu opcji zadania zadania, ale --params opcja jest zalecaną metodą przekazywania parametrów zadania. Błąd występuje, jeśli parametry zadania są określone dla zadania, które nie ma zdefiniowanych parametrów zadania lub czy parametry zadania są określone dla zadania, które ma zdefiniowane parametry zadania.
Można również określić słowo kluczowe lub argumenty pozycyjne. Jeśli określone zadanie używa parametrów zadania lub zadanie ma zadanie notesu z parametrami, nazwy flag są mapowane na nazwy parametrów:
databricks bundle run hello_job -- --key1 value1 --key2 value2
Lub jeśli określone zadanie nie używa parametrów zadania, a zadanie ma zadanie pliku języka Python lub zadanie koła języka Python:
databricks bundle run my_job -- value1 value2 value3
Aby zapoznać się z przykładową definicją zadania z parametrami, zobacz Job with parameters (Zadanie z parametrami).
Wykonywanie skryptów
Aby wykonać skrypty, takie jak testy integracji ze skonfigurowanymi poświadczeniami uwierzytelniania pakietu, można uruchamiać skrypty wbudowane lub uruchamiać skrypt zdefiniowany w konfiguracji pakietu. Skrypty są uruchamiane przy użyciu tego samego kontekstu uwierzytelniania skonfigurowanego w pakiecie.
Dołącz podwójny łącznik (
--) pobundle run, aby uruchomić skrypty wbudowane. Na przykład następujące polecenie zwraca bieżący katalog roboczy bieżącego użytkownika:databricks bundle run -- python3 -c 'import os; print(os.getcwd())'Alternatywnie zdefiniuj skrypt w
scriptsmapowaniu w konfiguracji pakietu, następnie użyjbundle runaby uruchomić skrypt.scripts: my_script: content: python3 -c 'import os; print(os.getcwd())'databricks bundle run my_scriptAby uzyskać więcej informacji na temat
scriptskonfiguracji, zobacz skrypty i skrypty.
Informacje o uwierzytelnianiu pakietu są przekazywane do procesów podrzędnych przy użyciu zmiennych środowiskowych. Zobacz Ujednolicone uwierzytelnianie usługi Databricks.
Argumenty (w programowaniu)
KEY
Unikatowy identyfikator zasobu do uruchomienia (opcjonalnie)
Opcje
--no-wait
Nie czekaj na ukończenie przebiegu.
--restart
Uruchom ponownie przebieg, jeśli jest już uruchomiony.
Flagi zadań
Następujące flagi to flagi parametrów na poziomie zadania. Zobacz Konfigurowanie parametrów zadania.
--params stringToString
rozdzielane przecinkami k=v pary dla parametrów zadania (wartość domyślna [])
Flagi zadań zadania
Następujące flagi to flagi parametrów na poziomie zadania. Zobacz Konfigurowanie parametrów zadania. Usługa Databricks zaleca używanie parametrów na poziomie zadania (--params) w przypadku parametrów na poziomie zadania.
--dbt-commands strings
Lista poleceń do wykonania dla zadań z zadaniami DBT.
--jar-params strings
Lista parametrów zadań z zadaniami Spark JAR.
--notebook-params stringToString
Mapa z kluczy do wartości zadań z zadaniami notesu. (wartość domyślna [])
--pipeline-params stringToString
Mapa z kluczy do wartości zadań z zadaniami potoku. (wartość domyślna [])
--python-named-params stringToString
Mapa z kluczy do wartości zadań z zadaniami wheel języka Python. (wartość domyślna [])
--python-params strings
Lista parametrów zadań z zadaniami w języku Python.
--spark-submit-params strings
Lista parametrów zadań z przesyłaniem zadań platformy Spark.
--sql-params stringToString
Mapa z kluczy do wartości zadań z zadaniami SQL. (wartość domyślna [])
Flagi potoku
Następujące flagi to flagi potoku.
--full-refresh strings
Lista tabel do zresetowania i ponownego skompilowania.
--full-refresh-all
Wykonaj pełne resetowanie grafu i ponownie skompiluj.
--refresh strings
Lista tabel do zaktualizowania.
--refresh-all
Wykonaj pełną aktualizację grafu.
--validate-only
Przeprowadź aktualizację, aby zweryfikować poprawność grafu.
Przykłady
Poniższy przykład uruchamia zadanie hello_job w domyślnym obiekcie docelowym:
databricks bundle run hello_job
Poniższy przykład uruchamia zadanie hello_job w kontekście obiektu docelowego zadeklarowanego z nazwą dev:
databricks bundle run -t dev hello_job
Poniższy przykład anuluje i ponownie uruchomi istniejące zadanie:
databricks bundle run --restart hello_job
Poniższy przykład uruchamia potok z pełnym odświeżaniem:
databricks bundle run my_pipeline --full-refresh-all
Poniższy przykład wykonuje polecenie w kontekście pakietu:
databricks bundle run -- echo "hello, world"
Schemat pakietu usługi databricks
Wyświetl schemat JSON dla konfiguracji pakietu.
databricks bundle schema [flags]
Opcje
Przykłady
Poniższy przykład generuje schemat JSON dla konfiguracji pakietu:
databricks bundle schema
Aby wyświetlić schemat konfiguracji pakietu jako plik JSON, uruchom bundle schema polecenie i przekierowuj dane wyjściowe do pliku JSON. Możesz na przykład wygenerować plik o nazwie bundle_config_schema.json w bieżącym katalogu:
databricks bundle schema > bundle_config_schema.json
podsumowanie pakietu usługi databricks
Wyprowadź podsumowanie tożsamości i zasobów pakietu, w tym linki szczegółowe dla zasobów, dzięki czemu można łatwo przejść do zasobu w obszarze roboczym usługi Databricks.
databricks bundle summary [flags]
Tip
Możesz również użyć bundle open, aby przejść do zasobu w obszarze roboczym usługi Databricks. Zobacz otwieranie pakietu usługi databricks.
Opcje
--force-pull
Pomiń lokalną pamięć podręczną i załaduj stan ze zdalnego obszaru roboczego
Przykłady
W poniższym przykładzie przedstawiono podsumowanie wdrożonych zasobów pakietu:
databricks bundle summary
Następujące dane wyjściowe to podsumowanie pakietu o nazwie my_pipeline_bundle definiującego zadanie i potok:
Name: my_pipeline_bundle
Target: dev
Workspace:
Host: https://myworkspace.cloud.databricks.com
User: someone@example.com
Path: /Users/someone@example.com/.bundle/my_pipeline/dev
Resources:
Jobs:
my_project_job:
Name: [dev someone] my_project_job
URL: https://myworkspace.cloud.databricks.com/jobs/206000809187888?o=6051000018419999
Pipelines:
my_project_pipeline:
Name: [dev someone] my_project_pipeline
URL: https://myworkspace.cloud.databricks.com/pipelines/7f559fd5-zztz-47fa-aa5c-c6bf034b4f58?o=6051000018419999
synchronizacja pakietu usługi databricks
Wykonaj jednokierunkową synchronizację zmian plików pakietu w lokalnym katalogu systemu plików do katalogu w zdalnym obszarze roboczym usługi Azure Databricks.
Note
bundle sync Polecenia nie mogą synchronizować zmian plików z katalogu w zdalnym obszarze roboczym usługi Azure Databricks z powrotem do katalogu w lokalnym systemie plików.
databricks bundle sync [flags]
databricks bundle sync polecenia działają w taki sam sposób jak databricks sync polecenia i są udostępniane dla zwiększenia produktywności. Aby uzyskać informacje o użyciu polecenia, zobacz sync polecenie.
Opcje
--dry-run
Symulowanie wykonywania synchronizacji bez wprowadzania rzeczywistych zmian
--full
Wykonywanie pełnej synchronizacji (wartość domyślna to przyrostowa)
--interval duration
Interwał sondowania systemu plików (dla --watch) (domyślnie 1s)
--output type
Typ formatu danych wyjściowych
--watch
Obserwowanie lokalnego systemu plików pod kątem zmian
Przykłady
W poniższym przykładzie wykonywana jest synchronizacja przebiegu suchego:
databricks bundle sync --dry-run
W poniższym przykładzie są wyświetlane zmiany i są automatycznie synchronizowane:
databricks bundle sync --watch
Poniższy przykład wykonuje pełną synchronizację:
databricks bundle sync --full
weryfikacja pakietu usługi databricks
Zweryfikuj poprawność plików konfiguracji pakietu.
databricks bundle validate [flags]
Domyślnie to polecenie zwraca podsumowanie tożsamości pakietu:
Name: MyBundle
Target: dev
Workspace:
Host: https://my-host.cloud.databricks.com
User: someone@example.com
Path: /Users/someone@example.com/.bundle/MyBundle/dev
Validation OK!
Note
Polecenie bundle validate zwraca ostrzeżenia, jeśli właściwości zasobu są zdefiniowane w plikach konfiguracji pakietu, które nie znajdują się w schemacie odpowiedniego obiektu.
Jeśli chcesz wyświetlić tylko podsumowanie tożsamości i zasobów pakietu, użyj podsumowania pakietu.
Opcje
Przykłady
Poniższy przykład weryfikuje konfigurację pakietu:
databricks bundle validate
Flagi globalne
--debug
Czy włączyć logowanie debugowe.
-h lub --help
Wyświetl pomoc dla Databricks CLI lub dla powiązanej grupy poleceń czy pojedynczego polecenia.
--log-file łańcuch znaków
Ciąg tekstowy reprezentujący plik do zapisywania logów wyjściowych. Jeśli ta flaga nie zostanie określona, wartością domyślną jest zapisywanie dzienników wyjściowych w programie stderr.
--log-format formatowanie
Format typu logu text lub json. Wartość domyślna to text.
--log-level łańcuch znaków
Ciąg reprezentujący poziom formatu zapisu dziennika. Jeśli nie zostanie określony, poziom formatu dziennika jest wyłączony.
-o, --output typ
Typ danych wyjściowych polecenia: text lub json. Wartość domyślna to text.
-p, --profile łańcuch znaków
Nazwa profilu w pliku ~/.databrickscfg, który ma być użyty do uruchomienia polecenia. Jeśli ta flaga nie zostanie określona, to jeśli istnieje, zostanie użyty profil o nazwie DEFAULT.
--progress-format formatowanie
Format wyświetlania dzienników postępu: default, , appendinplacelubjson
-t, --target łańcuch znaków
Jeśli ma to zastosowanie, docelowy obiekt pakietu do użycia
--var strings
ustaw wartości zmiennych zdefiniowanych w konfiguracji pakietu. Przykład: --var="foo=bar"