Udostępnij za pośrednictwem

Uruchamianie poleceń powłoki w przeglądarkowym terminalu usługi Azure Databricks

Terminal webowy Azure Databricks zapewnia wygodny i wysoce interaktywny sposób uruchamiania poleceń powłoki w interfejsie wiersza poleceń (CLI), w tym polecenia Databricks CLI, aby programowo wykonywać działania na obiektach Databricks. Jest to szczególnie przydatne w przypadku zaawansowanych przypadków użycia, takich jak operacje wsadowe na wielu plikach, które dostępne obecnie interfejsy użytkownika mogą nie obsługiwać w pełni.

Wielu użytkowników może korzystać z terminala webowego na jednym komputerze.

Aby wykonać następujące czynności, możesz użyć terminalu internetowego:

  • Wykonuj szybkie edycje plików za pomocą Vim lub Emacs.
  • Monitorowanie użycia zasobów przy użyciu poleceń, takich jak htop (użycie klastra) lub nvidia-smi (użycie procesora GPU).
  • Uruchamiaj skrypty Pythona bez użycia Spark.
  • Wykonaj operacje na plikach przy użyciu poleceń powłoki, takich jak mv i mkdir.
  • Instalowanie i zarządzanie bibliotekami na komputerze.
  • Użyj interfejsu wiersza poleceń Databricks, aby zautomatyzować różne aspekty Azure Databricks.

Wymagania

Ostrzeżenie

Usługa Azure Databricks proxyuje usługę terminalu internetowego z portu 7681 na sterowniku Spark obliczeń. Ten serwer proxy został przeznaczony do użycia wyłącznie z terminalem webowym. Jeśli port jest zajęty, gdy system się uruchamia lub występuje jakiś konflikt, terminal internetowy może nie działać zgodnie z oczekiwaniami. Jeśli inne usługi internetowe są uruchamiane na porcie 7681, użytkownicy obliczeniowi mogą być narażeni na potencjalne luki w zabezpieczeniach. Ani usługa Databricks, ani firma Microsoft nie ponosi odpowiedzialności za jakiekolwiek problemy wynikające z instalacji nieobsługiwanego oprogramowania na obliczeniach.

  • Webowy terminal jest domyślnie wyłączony dla wszystkich użytkowników przestrzeni roboczej. Aby ją włączyć, zobacz Włączanie terminalu internetowego.
  • MOŻE DOŁĄCZAĆ UPRAWNIENIA DO zasobów obliczeniowych.
  • Terminal internetowy jest wspierany tylko w standardowym trybie dostępu (dawniej tryb współdzielonego dostępu) na Databricks Runtime 15.1 i nowszych wersjach.

Uruchom terminal internetowy

Możesz uruchomić terminal internetowy z strony szczegółów obliczeniowych lub z notatnika.

Z notatnika

Aby uruchomić terminal internetowy z notatnika:

  1. Podłącz laptop do przetwarzania.
  2. W dolnej części prawego paska bocznego notesu kliknij ikonę terminalu Ikona terminalu. Aby uruchomić terminal internetowy.
  3. Alternatywnie, kliknij rozwijane menu przetwarzania, najedź kursorem na przetwarzanie, a następnie kliknij Web Terminal.

Terminal internetowy otwiera się w panelu na dole ekranu. Przyciski w prawym górnym rogu panelu umożliwiają:

  • Nowa ikona okna. Otwórz nową sesję terminalu na nowej karcie.
  • Ikona synchronizacji. Załaduj ponownie sesję terminalu.
  • Zamknij ikonę. Zamknij dolny panel. Aby ponownie otworzyć panel, kliknij ikonę Terminal. w dolnej części prawego paska bocznego.

Z strony szczegółów obliczeń

Aby uruchomić terminal sieciowy ze strony szczegółów obliczeniowych:

  1. Na pasku bocznym obszaru roboczego kliknij pozycję Compute.
  2. Na karcie Obliczenia uniwersalne kliknij nazwę komputera.
  3. Kliknij przycisk Start , aby uruchomić obliczenia.
  4. Na karcie Aplikacje kliknij pozycję Terminal internetowy.

Nowa karta otwiera się z interfejsem terminala internetowego i zachętą Bash.

Użyj terminala webowego

W terminalu internetowym możesz uruchamiać polecenia z poziomu root wewnątrz kontenera węzła sterownika obliczeniowego.

Każdy użytkownik może mieć otwartych do 100 aktywnych sesji terminali internetowych (kart). Bezczynne sesje terminala internetowego mogą wygasnąć, a aplikacja internetowa terminala połączy się ponownie, co spowoduje utworzenie nowego procesu powłoki. Jeśli chcesz zachować swoją sesję Bash, Databricks zaleca użycie tmux.

Uruchamianie poleceń CLI Databricks

Możesz również użyć terminalu internetowego, aby uruchomić polecenia Databricks CLI. Dostępne CLI to zawsze najnowsza wersja, a uwierzytelnienie jest oparte na obecnym użytkowniku.

Uwaga

Polecenia profilu konfiguracyjnego nie są obsługiwane podczas uruchamiania poleceń CLI w terminalu webowym. Dzieje się tak, ponieważ terminal internetowy używa zmiennych środowiskowych do uwierzytelniania w CLI, które poprzedzają profile konfiguracji w kolejności oceny uwierzytelniania.

Obliczenia muszą spełniać następujące wymagania:

  • Klastr musi mieć zainstalowaną wersję Databricks Runtime 15.0 lub nowszą.
  • Obszar roboczy nie może być włączony do Private Link.

Uruchom terminal webowy i wykonaj następujące polecenie, aby wyświetlić informacje o bieżącym użytkowniku:

   databricks current-user me

Polecenia pakietów są również dostępne, co pozwala na tworzenie i zarządzanie swoimi pakietami aktywów Databricks bezpośrednio z konsoli webowej w przestrzeni roboczej Databricks. Na przykład, aby stworzyć, wdrożyć i uruchomić prostą paczkę z użyciem domyślnego szablonu:

  1. Z katalogu głównego terminala webowego, przejdź do głównego katalogu swojego środowiska pracy i uruchom bundle init.

    cd /Workspace/Users/someone@example.com
databricks bundle init

  2. Zaakceptuj domyślne monity szablonu, następnie przejdź do katalogu pakietu i wdroż go.

    cd my_project
databricks bundle deploy

    Możesz zobaczyć wdrożony pakiet my_project w interfejsie użytkownika przestrzeni roboczej Databricks.

  3. Na koniec uruchom zadanie domyślne w pakiecie:

    databricks bundle run my_project_job

    Przejdź do pozycji Uruchomienia zadań , aby wyświetlić uruchomione zadanie.

Konfigurowanie terminalu internetowego

Konfiguracje trwałe dla terminalu internetowego można ustawić przy użyciu plików konfiguracji bashrc.

Usługa Databricks automatycznie pobiera pliki o nazwie .bashrc z folderu domowego w systemie plików obszaru roboczego. Ustawienia z tych plików są automatycznie aktywowane za każdym razem, gdy uruchamiasz nową sesję terminalu.

Jeśli chcesz utworzyć źródło innych plików (takich jak .zshrc) dla środowiska terminalu internetowego, utwórz je ze swojego pliku bashrc, aby utrwalić konfigurację.

Zapisz wszystkie pliki konfiguracji w folderze obszaru roboczego, w którym można je skonfigurować przy użyciu edytora tekstów.

Ograniczenia

  • Azure Databricks nie obsługuje uruchamiania zadań Spark z terminala internetowego.

  • Terminal internetowy Azure Databricks nie jest dostępny w następujących typach obliczeniowych:

    • Zadanie obliczeniowe
    • Obliczenia zostały uruchomione z ustawioną zmienną środowiskową DISABLE_WEB_TERMINAL=true.
    • Uruchomienie obliczeń z trybem dostępu ustawionym na Standard na Databricks Runtime poniżej wersji 15.1. Terminal webowy jest dostępny na jednostkach obliczeniowych w standardowym trybie dostępu (dawniej tryb wspólnego dostępu) dla Databricks Runtime w wersji 15.1 i nowszych.
    • Środowisko obliczeniowe uruchomione z trybem dostępu ustawionym na Standard z zasobami obliczeniowymi usługi ARM w wersji Databricks Runtime poniżej 16.4.
    • Bezserwerowe środowisko obliczeniowe w wersji 1.
    • Obliczenia uruchomione z konfiguracją Spark spark.databricks.pyspark.enableProcessIsolation ustawioną na true.

  • Istnieje twarde ograniczenie 12 godzin od początkowego załadowania strony, po których każda, nawet aktywna, połączenie zostanie zakończone. Aby ponownie nawiązać połączenie, możesz odświeżyć terminal internetowy. Usługa Databricks zaleca używanie tmux do zachowania sesji powłoki.

  • Zasoby obliczeniowe usługi ARM w środowisku Databricks Runtime poniżej wersji 16.4 nie mogą używać terminali internetowych do uzyskiwania dostępu do plików obszarów roboczych, w tym plików w folderach Git.