Spouštění shell příkazů ve webovém terminálu Azure Databricks

Webový terminál Azure Databricks nabízí pohodlný a interaktivní způsob, jak spouštět příkazy prostředí v rozhraní příkazového řádku (CLI), včetně příkazů rozhraní příkazového řádku Databricks, a provádět akce s objekty Databricks programově. Je zvlášť užitečné pro pokročilé případy použití, jako jsou dávkové operace s více soubory, které stávající uživatelská rozhraní (UI) nemusí plně podporovat.

Na jednom výpočetním prostředí může webový terminál používat více uživatelů.

K provedení následujících kroků můžete použít webový terminál:

• Proveďte rychlé úpravy souborů pomocí Vim nebo Emacs.
• Sledujte využití prostředků pomocí příkazů, jako htop (využití clusteru) nebo nvidia-smi (využití GPU).
• Spusťte skripty Pythonu bez Sparku.
• Provádějte operace se soubory pomocí příkazů, jako jsou mv a mkdir.
• Nainstalujte a spravujte knihovny ve výpočetních prostředcích.
• Pomocí rozhraní příkazového řádku Databricks můžete automatizovat různé aspekty Azure Databricks.

Požadavky

Upozornění

Azure Databricks zprostředkovává službu webového terminálu přes port 7681 na Spark ovladači výpočetní jednotky. Tento webový proxy server je určený pouze pro webový terminál. Pokud je port obsazen při spuštění výpočetních prostředků nebo dojde ke konfliktu, webový terminál nemusí fungovat podle očekávání. Pokud se na portu 7681 spustí jiné webové služby, můžou být výpočetní uživatelé vystaveni potenciálním zneužitím zabezpečení. Databricks ani Microsoft nejsou zodpovědné za všechny problémy, které vyplývají z instalace nepodporovaného softwaru na výpočetní prostředky.

• Webový terminál je ve výchozím nastavení zakázaný pro všechny uživatele pracovního prostoru. Pokud ho chcete povolit, přečtěte si téma Povolení webového terminálu.
• OPRÁVNĚNÍ K PŘIPOJENÍ K výpočetní jednotce.
• Pokud chcete webový terminál používat se standardním režimem přístupu (dříve sdílený režim přístupu), musí být výpočetní prostředky ve službě Databricks Runtime 15.1 nebo vyšší.

Spuštění webového terminálu

Webový terminál můžete spustit ze stránky podrobností výpočetních prostředků nebo z poznámkového bloku.

Z poznámkového bloku

Spuštění webového terminálu z poznámkového bloku:

1. Připojte notebook k počítači.
2. V dolní části pravého bočního panelu poznámkového bloku klikněte na ikonu terminálu Spustíte webový terminál.
3. Případně klikněte na připojený rozevírací seznam výpočetních prostředků, najeďte myší na připojené výpočetní prostředky a potom klikněte na webový terminál.

Webový terminál se otevře na panelu v dolní části obrazovky. Tlačítka v pravém horním rohu panelu umožňují:

• Otevřete novou relaci terminálu na nové kartě.
• Znovu načtěte relaci terminálu.
• Zavřete dolní panel. Pokud chcete panel znovu otevřít, klikněte na V dolní části pravého bočního panelu.

Na stránce s podrobnostmi o výpočetních prostředcích

Spuštění webového terminálu ze stránky s podrobnostmi o výpočetních prostředcích:

1. Na bočním panelu pracovního prostoru klikněte na Compute.
2. Na kartě Výpočetní prostředky pro všechny účely klikněte na název výpočetního objektu.
3. Kliknutím na Start spustíte výpočetní prostředky.
4. Na kartě Aplikace klikněte na Webový terminál.

Otevře se nová karta s uživatelským rozhraním webového terminálu a příkazovým řádkem Bash.

Použití webového terminálu

Ve webovém terminálu můžete spouštět příkazy z kořenového adresáře v kontejneru uzlu výpočetního ovladače.

Každý uživatel může mít otevřeno až 100 aktivních relací webového terminálu (karet). Nečinné relace webového terminálu mohou vypršet z důvodu časového limitu a aplikace webového terminálu se znovu připojí, což má za následek nový shellový proces. Pokud chcete zachovat relaci Bash, doporučuje Databricks používat tmux.

Spusťte příkazy rozhraní příkazového řádku Databricks

K spuštění příkazů CLI pro Databricks můžete použít také webový terminál. Dostupné rozhraní příkazového řádku je vždy nejnovější verze a ověřování vychází z aktuálního uživatele.

Poznámka:

Příkazy konfiguračního profilu nejsou podporovány při spouštění příkazů rozhraní příkazového řádku ve webovém terminálu. To je proto, že webový terminál používá proměnné prostředí k ověření pomocí rozhraní příkazového řádku, které předchází konfiguračním profilům v pořadí, v jakém se vyhodnocuje ověřování.

Výpočetní prostředky musí splňovat následující požadavky:

• Databricks Runtime 15.0 nebo novější

• Pro službu Private Link nesmí být povolený pracovní prostor.

Spusťte webový terminál a spuštěním následujícího příkazu vypíšete informace o aktuálním uživateli:

   databricks current-user me

K dispozici jsou také příkazy sady prostředků, které umožňují vytvářet a spravovat sady prostředků Databricks přímo z webového terminálu v pracovním prostoru Databricks. Pokud například chcete vytvořit, nasadit a spustit jednoduchou sadu pomocí výchozí šablony:

1. V kořenovém adresáři webového terminálu přejděte do domovského adresáře pracovního prostoru a spusťte bundle init:

   cd /Workspace/Users/someone@example.com
   databricks bundle init
   

2. Přijměte výchozí výzvy šablony a pak přejděte do adresáře balíčku a nasaďte jej.

   cd my_project
   databricks bundle deploy
   

   Nasazenou my_project sadu můžete zobrazit v uživatelském rozhraní pracovního prostoru Databricks.

3. Nakonec spusťte výchozí úlohu v sadě:

   databricks bundle run my_project_job
   

   Přejděte na běhy úloh a zobrazte běžící úlohu.

Konfigurace webového terminálu

Trvalé konfigurace webového terminálu můžete nastavit pomocí konfiguračních souborů .bashrc.

Databricks automaticky získává soubory s názvem .bashrc z domovské složky systému souborů vašeho pracovního prostoru. Nastavení z těchto souborů se automaticky aktivuje při každém spuštění nové relace terminálu.

Pokud chcete zdrojovat jakékoli jiné soubory (například .zshrc) pro prostředí webového terminálu, vytvořte je ze souboru .bashrc, aby se zachovala konfigurace.

Uložte všechny konfigurační soubory do složky pracovního prostoru, kde je můžete nakonfigurovat pomocí textového editoru.

Omezení

• Azure Databricks nepodporuje spouštění úloh Sparku z webového terminálu.

• Webový terminál Azure Databricks není k dispozici v následujících typech výpočetních prostředků:

  • Výpočetní úlohy
  • Výpočet spuštěn s proměnnou prostředí DISABLE_WEB_TERMINAL=true nastavenou.
  • Standardní výpočetní prostředky ve verzi Databricks Runtime nižší než 15.1.
  • Standardní výpočetní prostředky s typy instancí ARM v Databricks Runtime nižší než 16.4
  • Bezserverové výpočetní prostředí s bezserverovým prostředím verze 1.
  • Spuštění výpočtu s konfigurací Sparku spark.databricks.pyspark.enableProcessIsolation nastavenou na true.

• Od počátečního načtení stránky platí pevný limit 12 hodin, po kterém bude ukončeno jakékoli připojení, i když je aktivní. Pokud se chcete znovu připojit, můžete webový terminál aktualizovat. Databricks doporučuje použít tmux pro zachování shell relace.

• Výpočetní prostředky ARM ve službě Databricks Runtime nižší než 16.4 nemůžou používat webové terminály pro přístup k souborům pracovního prostoru, včetně souborů ve složkách Gitu.

• Povolení služby Docker Container Services zakáže webový terminál.