bundle grupa poleceń

Uwaga

Te informacje dotyczą interfejsu wiersza polecenia usługi Databricks w wersji 0.218 lub nowszej. Aby znaleźć swoją wersję interfejsu wiersza polecenia usługi Databricks, uruchom polecenie databricks -v.

Grupa bundle poleceń w interfejsie wiersza polecenia usługi Databricks umożliwia programowe weryfikowanie, wdrażanie i uruchamianie przepływów pracy usługi Azure Databricks, takich jak zadania usługi Azure Databricks, potoki tabel delta live i stosy MLOps. Zobacz Co to są pakiety zasobów usługi Databricks?.

Ważne

Przed użyciem interfejsu wiersza polecenia usługi Databricks należy skonfigurować interfejs wiersza polecenia usługi Databricks i skonfigurować uwierzytelnianie dla interfejsu wiersza polecenia usługi Databricks.

bundle Uruchamiasz polecenia, dołączając je do databricks bundleelementu . Aby wyświetlić pomoc dotyczącą bundle polecenia, uruchom polecenie databricks bundle -h.

Tworzenie pakietu na podstawie szablonu projektu

Aby utworzyć pakiet zasobów usługi Databricks przy użyciu domyślnego szablonu pakietu zasobów usługi Databricks dla języka Python, uruchom polecenie w następujący sposób, a następnie odpowiedz bundle init na monity na ekranie:

databricks bundle init

Aby utworzyć pakiet zasobów usługi Databricks przy użyciu szablonu pakietu zasobów usługi Databricks, uruchom następujące bundle init polecenie:

databricks bundle init <project-template-local-path-or-url> \
--project-dir="</local/path/to/project/template/output>"

Zobacz też:

• Szablony pakietu zasobów usługi Databricks
• Opracowywanie zadania w usłudze Azure Databricks przy użyciu pakietów zasobów usługi Databricks
• Opracowywanie potoków tabel delta live za pomocą pakietów zasobów usługi Databricks
• Pakiety zasobów usługi Databricks dla stosów MLOps

Wyświetlanie schematu konfiguracji pakietu

Aby wyświetlić schemat konfiguracji pakietu zasobów usługi Databricks, uruchom bundle schema polecenie w następujący sposób:

databricks bundle schema

Aby wyświetlić schemat konfiguracji pakietu zasobów usługi Databricks jako plik JSON, uruchom bundle schema polecenie i przekierowuj dane wyjściowe do pliku JSON. Na przykład możesz wygenerować plik o nazwie bundle_config_schema.json w bieżącym katalogu w następujący sposób:

databricks bundle schema > bundle_config_schema.json

Weryfikowanie pakietu

Aby sprawdzić, czy pliki konfiguracji pakietu są poprawne składniowo, uruchom bundle validate polecenie z katalogu głównego projektu pakietu w następujący sposób:

databricks bundle validate

Domyślnie to polecenie zwraca podsumowanie tożsamości pakietu:

Name: MyBundle
Target: dev
Workspace:
  Host: https://my-host.cloud.databricks.com
  User: someone@example.com
  Path: /Users/someone@example.com/.bundle/MyBundle/dev

Validation OK!

Uwaga

Polecenie bundle validate zwraca ostrzeżenia, jeśli właściwości zasobu są zdefiniowane w plikach konfiguracji pakietu, które nie znajdują się w schemacie odpowiedniego obiektu.

Synchronizowanie drzewa pakietu z obszarem roboczym

Użyj polecenia , bundle sync aby wykonać jednokierunkową synchronizację zmian plików pakietu w lokalnym katalogu systemu plików, do katalogu w zdalnym obszarze roboczym usługi Azure Databricks.

Uwaga

bundle sync Polecenia nie mogą synchronizować zmian plików z katalogu w zdalnym obszarze roboczym usługi Azure Databricks z powrotem do katalogu w lokalnym systemie plików.

databricks bundle sync polecenia działają w taki sam sposób jak databricks bundle polecenia i są udostępniane jako wygoda produktywności. Aby uzyskać informacje o użyciu poleceń, zobacz synchronizowanie grupy poleceń.

Generowanie pliku konfiguracji pakietu

Możesz użyć bundle generate polecenia , aby wygenerować konfigurację zasobów dla zadania lub potoku, który już istnieje w obszarze roboczym usługi Databricks. To polecenie generuje *.yml plik zadania lub potoku w resources folderze projektu pakietu, a także pobiera wszystkie notesy, do których odwołuje się konfiguracja zadania lub potoku. Obecnie to polecenie obsługuje tylko zadania z zadaniami notesu.

Ważne

Polecenie bundle generate jest udostępniane jako wygoda automatycznego generowania konfiguracji zasobów. Jednak jeśli ta konfiguracja jest uwzględniona w pakiecie i wdrożona, tworzy nowy zasób i nie aktualizuje istniejącego zasobu, chyba że bundle deployment bind został użyty jako pierwszy w zasobie.

Uruchom polecenie w bundle generate następujący sposób:

databricks bundle generate [job|pipeline] --existing-[job|pipeline]-id [job-id|pipeline-id]

Na przykład następujące polecenie generuje nowy hello_job.yml plik w resources folderze projektu pakietu zawierającym poniższy kod YAML i pobiera plik simple_notebook.py do src folderu projektu.

databricks bundle generate job --existing-job-id 6565621249

# This is the contents of the resulting hello_job.yml file.
resources:
  jobs:
    6565621249:
      name: Hello Job
      format: MULTI_TASK
      tasks:
        - task_key: run_notebook
          existing_cluster_id: 0704-xxxxxx-yyyyyyy
          notebook_task:
            notebook_path: ./src/simple_notebook.py
            source: WORKSPACE
          run_if: ALL_SUCCESS
      max_concurrent_runs: 1

Wiązanie zasobów pakietu

Polecenie bundle deployment bind umożliwia łączenie zdefiniowanych w pakiecie zadań i potoków z istniejącymi zadaniami i potokami w obszarze roboczym usługi Azure Databricks w celu zarządzania nimi przez pakiety zasobów usługi Databricks. Jeśli powiążesz zasób, istniejące zasoby usługi Azure Databricks w obszarze roboczym zostaną zaktualizowane na podstawie konfiguracji zdefiniowanej w pakiecie, z którą jest powiązana po następnym bundle deploy.

Napiwek

Dobrym pomysłem jest potwierdzenie obszaru roboczego pakietu przed uruchomieniem powiązania.

databricks bundle deployment bind [resource-key] [resource-id]

Na przykład następujące polecenie wiąże zasób hello_job ze swoim zdalnym odpowiednikiem w obszarze roboczym. Polecenie zwraca różnicę i umożliwia odmowę powiązania zasobu, ale w przypadku potwierdzenia wszelkie aktualizacje definicji zadania w pakiecie są stosowane do odpowiedniego zadania zdalnego po następnym wdrożeniu pakietu.

databricks bundle deployment bind hello_job 6565621249

Użyj bundle deployment unbind polecenia , jeśli chcesz usunąć połączenie między zadaniem lub potokiem w pakiecie i jego zdalnym odpowiednikiem w obszarze roboczym.

databricks bundle deployment unbind [resource-key]

Wdrażanie pakietu

Aby wdrożyć wszystkie określone artefakty lokalne w zdalnym obszarze roboczym, uruchom bundle deploy polecenie z katalogu głównego projektu pakietu. Jeśli nie określono opcji polecenia, używane jest domyślne środowisko jako zadeklarowane w plikach konfiguracji pakietu w następujący sposób:

databricks bundle deploy

Napiwek

Polecenia można uruchamiać databricks bundle poza katalogem głównym pakietu. Jeśli tak, możesz określić ścieżkę katalogu głównego pakietu, ustawiając zmienną BUNDLE_ROOT środowiskową. Jeśli ta zmienna środowiskowa nie jest ustawiona, polecenia próbują znaleźć katalog główny pakietu, databricks bundle wyszukując w bieżącym katalogu roboczym.

Aby wdrożyć artefakty w kontekście określonego środowiska, określ -e opcję (lub --environment) wraz z nazwą środowiska jako zadeklarowaną w plikach konfiguracji pakietu. Na przykład w przypadku środowiska zadeklarowanego z nazwą developmenturuchom następujące polecenie:

databricks bundle deploy -e development

Uruchamianie pakietu

Aby uruchomić określone zadanie lub potok, użyj bundle run polecenia . Należy określić klucz zasobu zadania lub potoku zadeklarowanego w plikach konfiguracji pakietu. Domyślnie używane jest środowisko zadeklarowane w plikach konfiguracji pakietu. Aby na przykład uruchomić zadanie hello_job w środowisku domyślnym, uruchom następujące polecenie:

databricks bundle run hello_job

Aby określić środowisko, w którym ma zostać uruchomione zadanie, użyj -e opcji . Poniższy przykład jest uruchamiany hello_job w development środowisku:

databricks bundle run -e development hello_job

Jeśli chcesz wykonać przebieg weryfikacji potoku, użyj --validate-only opcji , jak pokazano w poniższym przykładzie:

databricks bundle run --validate-only my_pipeline

Aby przekazać parametry zadania, użyj --params opcji , a następnie rozdzielonych przecinkami par klucz-wartość, gdzie klucz jest nazwą parametru. Na przykład następujące polecenie ustawia parametr o nazwie message dla HelloWorld zadania hello_job:

databricks bundle run --params message=HelloWorld hello_job

Uwaga

Parametry można przekazać do zadań podrzędnych przy użyciu opcji zadania zadania, ale --params opcja jest zalecaną metodą przekazywania parametrów zadania. Błąd występuje, jeśli parametry zadania są określone dla zadania, które nie ma zdefiniowanych parametrów zadania lub czy parametry zadania są określone dla zadania, które ma zdefiniowane parametry zadania.

Aby anulować i ponownie uruchomić istniejące zadanie lub aktualizację potoku, użyj --restart opcji:

databricks bundle run --restart hello_job

Niszczenie pakietu

Aby usunąć zadania, potoki i artefakty, które zostały wcześniej wdrożone, uruchom bundle destroy polecenie . Następujące polecenie usuwa wszystkie wcześniej wdrożone zadania, potoki i artefakty zdefiniowane w plikach konfiguracji pakietu:

databricks bundle destroy

Domyślnie zostanie wyświetlony monit o potwierdzenie trwałego usunięcia wcześniej wdrożonych zadań, potoków i artefaktów. Aby pominąć te monity i wykonać automatyczne trwałe usunięcie, dodaj --auto-approve opcję do bundle destroy polecenia .