Nuta
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować się zalogować lub zmienić katalog.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Note
Te informacje dotyczą interfejsu wiersza polecenia usługi Databricks w wersji 0.205 lub nowszej. Interfejs wiersza polecenia Databricks znajduje się w publicznej wersji zapoznawczej.
Korzystanie z interfejsu wiersza polecenia usługi Databricks podlega licencjom usługi Databricks i powiadomieniom o ochronie prywatności usługi Databricks, w tym wszelkim przepisom dotyczącym danych użycia.
Grupa clusters poleceń w interfejsie wiersza polecenia usługi Databricks umożliwia tworzenie, uruchamianie, edytowanie, wyświetlanie listy, kończenie i usuwanie klastrów.
Klaster usługi Databricks to zestaw zasobów obliczeniowych i konfiguracji, na których uruchamiasz obciążenia inżynierii danych, nauki o danych i analizy danych, takie jak produkcyjne potoki ETL, analiza przesyłania strumieniowego, analiza ad hoc i uczenie maszynowe. Zobacz Omówienie klasycznych obliczeń.
Important
Usługa Databricks zachowuje informacje o konfiguracji klastra dla zakończonych klastrów przez 30 dni. Aby zachować konfigurację klastra ogólnego przeznaczenia nawet po jego zakończeniu przez ponad 30 dni, administrator może przypiąć klaster do listy klastrów.
Klastry Databricks — zmiana właściciela
Zmień właściciela klastra. Aby wykonać tę operację, musisz być administratorem, a klaster musi zostać zakończony. Identyfikator aplikacji podmiotu usługi można podać jako argument owner_username.
databricks clusters change-owner CLUSTER_ID OWNER_USERNAME [flags]
Arguments
CLUSTER_ID
Identyfikator klastra.
OWNER_USERNAME
Nowy właściciel identyfikatora cluster_id po wykonaniu tego RPC.
Opcje
--json JSON
Wbudowany ciąg JSON lub @path do pliku JSON z treścią żądania
tworzenie klastrów Databricks
Utwórz nowy klaster. To polecenie uzyskuje nowe wystąpienia od dostawcy usług w chmurze w razie potrzeby. To polecenie jest asynchroniczne; zwrócony cluster_id może służyć do sondowania stanu klastra. Gdy to polecenie zostanie wykonane, klaster przechodzi w stan OCZEKUJĄCY. Klaster może być używany, gdy przejdzie w stan URUCHOMIONY. Usługa Databricks może nie być w stanie pozyskać niektórych żądanych węzłów z powodu ograniczeń dostawcy chmurowego (takich jak limity kont czy cena spot) lub przejściowych problemów sieciowych.
Jeśli usługa Databricks uzyska co najmniej 85% żądanych węzłów na żądanie, tworzenie klastra zakończy się pomyślnie. W przeciwnym razie klaster kończy się komunikatem o błędzie informacyjnym.
Zamiast tworzyć definicję JSON klastra od podstaw, usługa Databricks zaleca wypełnienie interfejsu użytkownika tworzenia obliczeń , a następnie skopiowanie wygenerowanej definicji JSON z interfejsu użytkownika.
databricks clusters create SPARK_VERSION [flags]
Arguments
SPARK_VERSION
Wersja Spark klastra, na przykład 13.3.x-scala2.12. Listę dostępnych wersji Spark można pobrać przy użyciu interfejsu API "List available Spark versions".
Opcje
--apply-policy-default-values
Gdy ustawienie true jest włączone, wartości stałe i domyślne z polityki są stosowane do pól, które zostały pominięte.
--autotermination-minutes int
Automatycznie wyłącza klaster po upływie ustawionego czasu nieaktywności, wyrażonego w minutach.
--cluster-name string
Nazwa klastra żądana przez użytkownika.
--data-security-mode DataSecurityMode
Tryb bezpieczeństwa danych decyduje, jaki model zarządzania danymi ma być używany podczas dostępu do danych z klastra. Obsługiwane wartości: DATA_SECURITY_MODE_AUTO, DATA_SECURITY_MODE_DEDICATEDDATA_SECURITY_MODE_STANDARDLEGACY_PASSTHROUGHLEGACY_SINGLE_USERLEGACY_SINGLE_USER_STANDARDLEGACY_TABLE_ACLNONE, , , SINGLE_USERUSER_ISOLATION
--driver-instance-pool-id string
Opcjonalny identyfikator puli wystąpień, do której należy sterownik klastra.
--driver-node-type-id string
Typ węzła sterownika Spark.
--enable-elastic-disk
Autoskalowanie magazynu lokalnego: po włączeniu ten klaster będzie dynamicznie uzyskiwać dodatkowe miejsce na dysku, gdy procesy robocze Spark mają mało miejsca na dysku.
--enable-local-disk-encryption
Czy włączyć LUKS na dyskach lokalnych maszyn wirtualnych klastrów.
--instance-pool-id string
Opcjonalny identyfikator puli wystąpień, do której należy klaster.
--is-single-node
To pole może być używane tylko wtedy, gdy rodzaj = CLASSIC_PREVIEW.
--json JSON
Wbudowany ciąg JSON lub @path do pliku JSON z treścią żądania
--kind Kind
Rodzaj obliczeń opisany przez tę specyfikację obliczeniową. Obsługiwane wartości: CLASSIC_PREVIEW
--no-wait
Nie czekaj na osiągnięcie stanu URUCHOMIONY
--node-type-id string
To pole koduje za pomocą jednej wartości zasoby dostępne dla każdego z węzłów platformy Spark w tym klastrze.
--num-workers int
Liczba węzłów roboczych, które powinien mieć ten klaster.
--policy-id string
Identyfikator zasad klastra użytych do utworzenia klastra, jeśli ma to zastosowanie.
--runtime-engine RuntimeEngine
Określa silnik środowiska uruchomieniowego klastra: standardowy lub Photon. Obsługiwane wartości: NULL, PHOTON, STANDARD
--single-user-name string
Nazwa pojedynczego użytkownika, jeśli data_security_mode to SINGLE_USER.
--timeout duration
maksymalny czas osiągnięcia stanu RUNNING (domyślnie 20 ms)
--use-ml-runtime
To pole może być używane tylko wtedy, gdy rodzaj = CLASSIC_PREVIEW.
Usuwanie klastrów usługi databricks
Zakończ działanie klastra przy użyciu określonego identyfikatora. Klaster jest usuwany asynchronicznie. Po zakończeniu kończenia klaster jest w TERMINATED stanie . Jeśli klaster jest już w stanie TERMINATING lub TERMINATED, nic się nie dzieje.
databricks clusters delete CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Klaster, który ma zostać zakończony.
Opcje
--json JSON
Wbudowany ciąg JSON lub @path do pliku JSON z treścią żądania
--no-wait
Nie czekaj na osiągnięcie TERMINATED stanu
--timeout duration
Maksymalny czas osiągnięcia TERMINATED stanu (domyślnie 20 ms)
Edytowanie klastrów usługi databricks
Zaktualizuj konfigurację klastra, aby odpowiadała podanym atrybutom i rozmiarowi. Klaster można zaktualizować, jeśli jest w stanie URUCHOMIONYm lub ZAKOŃCZONYM.
Jeśli klaster jest aktualizowany w stanie URUCHOMIONY, zostanie uruchomiony ponownie, aby nowe atrybuty mogły obowiązywać.
Jeśli klaster jest aktualizowany w stanie ZAKOŃCZONYM, pozostanie ZAKOŃCZONY. Przy następnym uruchomieniu za pomocą interfejsu API clusters/start, nowe atrybuty zaczynają obowiązywać. Każda próba zaktualizowania klastra w innym stanie jest odrzucana przy użyciu kodu błędu INVALID_STATE.
Nie można edytować klastrów utworzonych przez usługę Zadań Databricks.
databricks clusters edit CLUSTER_ID SPARK_VERSION [flags]
Arguments
CLUSTER_ID
Identyfikator klastra
SPARK_VERSION
Wersja Spark klastra, na przykład 13.3.x-scala2.12. Listę dostępnych wersji Spark można pobrać przy użyciu interfejsu API "List available Spark versions".
Opcje
--apply-policy-default-values
Użyj wartości stałych i domyślnych z zasad dla pól, które zostały pominięte.
--autotermination-minutes int
Automatycznie zakończ działanie klastra po tym, jak będzie nieaktywny przez określony czas w minutach.
--cluster-name string
Nazwa klastra żądana przez użytkownika.
--data-security-mode DataSecurityMode
Tryb bezpieczeństwa danych decyduje, jaki model zarządzania danymi ma być używany podczas dostępu do danych z klastra. Obsługiwane wartości: DATA_SECURITY_MODE_AUTO, DATA_SECURITY_MODE_DEDICATED``, DATA_SECURITY_MODE_STANDARDLEGACY_PASSTHROUGHLEGACY_SINGLE_USERLEGACY_SINGLE_USER_STANDARDLEGACY_TABLE_ACL, NONE, , SINGLE_USERUSER_ISOLATION
--driver-instance-pool-id string
Opcjonalny identyfikator puli wystąpień, do której należy sterownik klastra.
--driver-node-type-id string
Typ węzła sterownika Spark.
--enable-elastic-disk
Autoskalowanie magazynu lokalnego: po włączeniu ten klaster będzie dynamicznie uzyskiwać dodatkowe miejsce na dysku, gdy procesy robocze Spark mają mało miejsca na dysku.
--enable-local-disk-encryption
Czy włączyć LUKS na dyskach lokalnych maszyn wirtualnych klastrów.
--instance-pool-id string
Opcjonalny identyfikator puli wystąpień, do której należy klaster.
--is-single-node
To pole może być używane tylko wtedy, gdy rodzaj = CLASSIC_PREVIEW.
--json JSON
Wbudowany ciąg JSON lub @path do pliku JSON z treścią żądania
--kind Kind
Rodzaj obliczeń opisany przez tę specyfikację obliczeniową. Obsługiwane wartości: CLASSIC_PREVIEW
--no-wait
nie czekaj na osiągnięcie stanu URUCHOMIONY
--node-type-id string
To pole koduje za pomocą jednej wartości zasoby dostępne dla każdego z węzłów platformy Spark w tym klastrze.
--num-workers int
Liczba węzłów roboczych, które powinien mieć ten klaster.
--policy-id string
Identyfikator zasad klastra użytych do utworzenia klastra, jeśli ma to zastosowanie.
--runtime-engine RuntimeEngine
Określa silnik środowiska uruchomieniowego klastra: standardowy lub Photon. Obsługiwane wartości: NULL, PHOTON, STANDARD
--single-user-name string
Nazwa pojedynczego użytkownika, jeśli data_security_mode jest SINGLE_USER.
--timeout duration
maksymalny czas osiągnięcia stanu RUNNING (domyślnie 20 ms)
--use-ml-runtime
To pole może być używane tylko wtedy, gdy rodzaj = CLASSIC_PREVIEW.
Zdarzenia klastrów databricks
Wyświetlanie listy zdarzeń dotyczących działania klastra. Ten interfejs API ma paginację. Jeśli istnieje więcej zdarzeń do odczytania, odpowiedź zawiera wszystkie parametry niezbędne do żądania następnej strony zdarzeń.
databricks clusters events CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Identyfikator klastra, którego wydarzenia mają zostać pobrane.
Opcje
--end-time int
Czas zakończenia w milisekundach epoki.
--json JSON
Wbudowany ciąg JSON lub @path do pliku JSON z treścią żądania
--limit int
Przestarzałe: zamiast tego użyj page_token w połączeniu z page_size.
--offset int
Przestarzałe: zamiast tego użyj page_token w połączeniu z page_size.
--order GetEventsOrder
Kolejność, w jakiej wyświetlać zdarzenia. Obsługiwane wartości: ASC, DESC
--page-size int
Maksymalna liczba zdarzeń do uwzględnienia na stronie zdarzeń.
--page-token string
Użyj next_page_token lub prev_page_token zwróconych z poprzedniego żądania, aby wyświetlić odpowiednio następną lub poprzednią stronę zdarzeń.
--start-time int
Czas rozpoczęcia w milisekundach epoki.
pobieranie klastrów usługi databricks
Pobiera informacje dotyczące klastra, biorąc pod uwagę jego identyfikator. Klastry można opisać podczas ich działania lub maksymalnie 60 dni po ich zakończeniu.
databricks clusters get CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Klaster, o którym mają być pobierane informacje.
Opcje
lista klastrów Databricks
Lista informacji o wszystkich przypiętych i aktywnych klastrach oraz wszystkich klastrach zakończonych w ciągu ostatnich 30 dni. Klastry zakończone przed tym okresem nie są uwzględniane.
databricks clusters list [flags]
Arguments
None
Opcje
--cluster-sources []string
Filtrowanie klastrów według źródła
--cluster-states []string
Filtrowanie klastrów według stanów
--is-pinned
Filtrowanie klastrów według statusu przypięcia
--page-size int
Użyj tego pola, aby określić maksymalną liczbę wyników, które mają być zwracane przez serwer.
--page-token string
Użyj next_page_token lub prev_page_token zwróconych z poprzedniego żądania, aby wyświetlić odpowiednio następną lub poprzednią stronę klastrów.
--policy-id string
Filtrowanie klastrów według identyfikatora zasad
klastry usługi databricks list-node-types
Lista obsługiwanych typów węzłów platformy Spark. Te typy węzłów mogą służyć do uruchamiania klastra.
databricks clusters list-node-types [flags]
Arguments
None
Opcje
klastry usługi databricks list-zones
Wyświetl listę stref dostępności, w których można utworzyć klastry (na przykład us-west-2a). Te strefy mogą służyć do uruchamiania klastra.
databricks clusters list-zones [flags]
Arguments
None
Opcje
trwałe usuwanie klastrów usługi databricks
Trwale usuń klaster. Ten klaster jest przerywany, a zasoby są asynchronicznie usuwane.
Ponadto użytkownicy nie będą już widzieć trwale usuniętych klastrów na liście klastrów, a użytkownicy interfejsu API nie mogą już wykonywać żadnych akcji na trwale usuniętych klastrach.
databricks clusters permanent-delete CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Klaster do usunięcia.
Opcje
--json JSON
Wbudowany ciąg JSON lub @path do pliku JSON z treścią żądania
przypięcie klastrów Databricks
Przypnij klaster, aby upewnić się, że klaster będzie zawsze zwracany przez interfejs API ListClusters. Przypinanie klastra, który jest już przypięty, nie będzie miało żadnego wpływu. Ten interfejs API może być wywoływany tylko przez administratorów obszaru roboczego.
databricks clusters pin CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Identyfikator klastra.
Opcje
--json JSON
Wbudowany ciąg JSON lub @path do pliku JSON z treścią żądania
Zmiana rozmiaru klastrów usługi databricks
Zmień rozmiar klastra, aby mieć żądaną liczbę węzłów roboczych. Zakończy się to niepowodzeniem, chyba że klaster jest w stanie URUCHOMIONYm.
databricks clusters resize CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Rozmiar klastra, który ma zostać zmieniony.
Opcje
--json JSON
Wbudowany ciąg JSON lub @path do pliku JSON z treścią żądania
--no-wait
Nie czekaj na osiągnięcie stanu URUCHOMIONY
--num-workers int
Liczba węzłów roboczych, które powinien mieć ten klaster.
--timeout duration
Maksymalny czas osiągnięcia stanu RUNNING (domyślnie 20 ms)
Ponowne uruchamianie klastrów Databricks
Uruchom ponownie klaster z określonym identyfikatorem. Jeśli klaster nie jest aktualnie w stanie URUCHOMIONY, nie wydarza się nic.
databricks clusters restart CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Klaster, który ma zostać uruchomiony.
Opcje
--json JSON
Wbudowany ciąg JSON lub @path do pliku JSON z treścią żądania
--no-wait
Nie czekaj na osiągnięcie stanu URUCHOMIONY
--restart-user string
Użytkownik, który ponownie uruchomił klaster.
--timeout duration
Maksymalny czas osiągnięcia stanu RUNNING (domyślnie 20 ms)
Wersje Spark klastrów Databricks
Wyświetl listę dostępnych wersji platformy Spark. Te wersje mogą służyć do uruchamiania klastra.
databricks clusters spark-versions [flags]
Arguments
None
Opcje
uruchamianie klastrów databricks
Uruchom zakończony klaster o określonym identyfikatorze. Działa to podobnie do polecenia createCluster z wyjątkiem: — poprzedni identyfikator klastra i atrybuty są zachowywane. — Klaster rozpoczyna się od ostatniego określonego rozmiaru klastra. — Jeśli poprzedni klaster był klastrem skalowania automatycznego, bieżący klaster rozpoczyna się od minimalnej liczby węzłów. — Jeśli klaster nie jest obecnie w stanie ZAKOŃCZONYM, nic się nie dzieje. — Nie można uruchomić klastrów w celu uruchomienia zadania.
databricks clusters start CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Klaster, który ma zostać uruchomiony.
Opcje
--json JSON
Wbudowany ciąg JSON lub @path do pliku JSON z treścią żądania
--no-wait
Nie czekaj na osiągnięcie stanu URUCHOMIONY
--timeout duration
Maksymalny czas osiągnięcia stanu RUNNING (domyślnie 20 ms)
odpinanie klastrów Databricks
Odepnij klaster, aby umożliwić ostatecznie usunięcie klastra z interfejsu API ListClusters. Odłączenie klastra, który nie jest przypięty, nie będzie miało żadnego efektu. Ten interfejs API może być wywoływany tylko przez administratorów obszaru roboczego.
databricks clusters unpin CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Identyfikator klastra.
Opcje
--json JSON
Wbudowany ciąg JSON lub @path do pliku JSON z treścią żądania
Aktualizacja klastrów usługi databricks
Zaktualizuj konfigurację klastra, aby był zgodny z częściowym zestawem atrybutów i rozmiaru. Oznacza, które pola mają być aktualizowane przy użyciu pola update_mask w treści żądania. Klaster można zaktualizować, jeśli jest w stanie URUCHOMIONYm lub ZAKOŃCZONYM. Jeśli klaster zostanie zaktualizowany w stanie URUCHOMIONY, zostanie on uruchomiony ponownie, aby nowe atrybuty mogły obowiązywać. Jeśli klaster zostanie zaktualizowany w stanie ZAKOŃCZONYM, pozostanie ZAKOŃCZONY. Zaktualizowane atrybuty zostaną zastosowane przy następnym uruchomieniu klastra przy użyciu interfejsu API uruchamiania klastrów. Próby zaktualizowania klastra w innym stanie zostaną odrzucone przy użyciu kodu błędu INVALID_STATE. Nie można zaktualizować klastrów utworzonych przez usługę Zadań usługi Databricks.
databricks clusters update CLUSTER_ID UPDATE_MASK [flags]
Arguments
CLUSTER_ID
Identyfikator klastra.
UPDATE_MASK
Służy do określania, które atrybuty klastra i pola rozmiaru mają być aktualizowane. Aby uzyskać więcej informacji, zobacz https://google.aip.dev/161. Maska pól musi być pojedynczym ciągiem z wieloma polami rozdzielonymi przecinkami (bez spacji). Ścieżka pola jest względna względem obiektu zasobu, używając kropki (.) do nawigowania po polach podrzędnych (na przykład author.given_name). Specyfikacja elementów w polach sekwencji lub mapowania jest niedozwolona, ponieważ można określić tylko całe pole kolekcji. Nazwy pól muszą być dokładnie zgodne z nazwami pól zasobów. Maska pola wskazująca na pełne zastąpienie _. Zaleca się, aby zawsze jawnie wyświetlać listę aktualizowanych pól i unikać używania _ symboli wieloznacznych, ponieważ może to prowadzić do niezamierzonych wyników, jeśli interfejs API ulegnie zmianie w przyszłości.
Opcje
--json JSON
Wbudowany ciąg JSON lub @path do pliku JSON z treścią żądania
--no-wait
Nie czekaj na osiągnięcie stanu URUCHOMIONY
--timeout duration
Maksymalny czas osiągnięcia stanu RUNNING (domyślnie 20 ms)
Klastry usługi Databricks uzyskują poziomy dostępu
Pobierz poziomy uprawnień klastra.
databricks clusters get-permission-levels CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Klaster, dla którego chcesz uzyskać uprawnienia lub zarządzać nimi.
Opcje
Uzyskiwanie uprawnień klastrów usługi databricks
Uzyskiwanie uprawnień klastra. Klastry mogą dziedziczyć uprawnienia po ich obiekcie głównym.
databricks clusters get-permissions CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Klaster, dla którego chcesz uzyskać uprawnienia lub zarządzać nimi.
Opcje
Ustaw uprawnienia klastrów Databricks
Ustaw uprawnienia klastra, zastępując istniejące uprawnienia, jeśli istnieją. Usuwa wszystkie uprawnienia bezpośrednie, jeśli nie określono żadnego. Obiekty mogą dziedziczyć uprawnienia po ich obiekcie głównym.
databricks clusters set-permissions CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Klaster, dla którego chcesz uzyskać uprawnienia lub zarządzać nimi.
Opcje
--json JSON
Wbudowany ciąg JSON lub @path do pliku JSON z treścią żądania
Aktualizacja uprawnień klastrów w Databricks
Zaktualizuj uprawnienia w klastrze. Klastry mogą dziedziczyć uprawnienia po ich obiekcie głównym.
databricks clusters update-permissions CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Klaster, dla którego chcesz uzyskać uprawnienia lub zarządzać nimi.
Opcje
--json JSON
Wbudowany ciąg JSON lub @path do pliku JSON z treścią żądania
Flagi globalne
--debug
Czy włączyć rejestrowanie debugowania.
-h lub --help
Wyświetl pomoc dla Databricks CLI lub dla powiązanej grupy poleceń czy pojedynczego polecenia.
--log-file struna
Ciąg reprezentujący plik do zapisywania dzienników wyjściowych. Jeśli ta flaga nie zostanie określona, wartością domyślną jest zapisywanie dzienników wyjściowych w programie stderr.
--log-format formatowanie
Typ text formatu dziennika lub json. Wartość domyślna to text.
--log-level struna
Ciąg reprezentujący poziom formatu zapisu dziennika. Jeśli nie zostanie określony, poziom formatu dziennika jest wyłączony.
-o, --output typ
Typ text danych wyjściowych polecenia lub json. Wartość domyślna to text.
-p, --profile struna
Nazwa profilu w ~/.databrickscfg pliku do uruchomienia polecenia . Jeśli ta flaga nie zostanie określona, zostanie użyty profil o nazwie DEFAULT .
--progress-format formatowanie
Format wyświetlania dzienników postępu: default, , appendinplacelubjson
-t, --target struna
Jeśli ma to zastosowanie, element docelowy pakietu do użycia