Spouštění příkazů prostředí ve webovém terminálu Azure Databricks

Webový terminál Azure Databricks nabízí pohodlný a interaktivní způsob, jak spouštět příkazy prostředí v rozhraní příkazového řádku (CLI), včetně příkazů rozhraní příkazového řádku Databricks, a provádět akce s objekty Databricks programově. Je zvlášť užitečné pro pokročilé případy použití, jako jsou dávkové operace s více soubory, které stávající uživatelská rozhraní (UI) nemusí plně podporovat.

Na jednom výpočetním prostředí může webový terminál používat více uživatelů.

K provedení následujících kroků můžete použít webový terminál:

• Proveďte rychlé úpravy souborů pomocí Vim nebo Emacs.
• Monitorování využití prostředků pomocí příkazů, jako htop jsou (využití clusteru) nebo nvidia-smi (využití GPU).
• Spusťte skripty Pythonu bez Sparku.
• Provádění operací se soubory pomocí příkazů prostředí, jako mv mkdirjsou a .
• Nainstalujte a spravujte knihovny na výpočetní prostředky.
• Pomocí rozhraní příkazového řádku Databricks můžete automatizovat různé aspekty Azure Databricks.

Požadavky

Upozorňující

Proxy serveru Webového terminálu Azure Databricks z portu 7681 na ovladači Spark výpočetních prostředků. Tento webový proxy server je určený pouze pro webový terminál. Pokud je port obsazen při spuštění výpočetních prostředků nebo dojde ke konfliktu, webový terminál nemusí fungovat podle očekávání. Pokud se na portu 7681 spustí jiné webové služby, můžou být výpočetní uživatelé vystaveni potenciálním zneužitím zabezpečení. Databricks ani Microsoft nejsou zodpovědné za všechny problémy, které vyplývají z instalace nepodporovaného softwaru na výpočetní prostředky.

• Webový terminál je ve výchozím nastavení zakázaný pro všechny uživatele pracovního prostoru. Pokud ho chcete povolit, přečtěte si téma Povolení webového terminálu.
• MŮŽE SE PŘIPOJIT K oprávnění k výpočetním prostředkům.
• Výpočetní prostředky musí používat režim přístupu jednoho uživatele nebo žádná sdílená izolace.

Spuštění webového terminálu

Webový terminál můžete spustit ze stránky podrobností výpočetních prostředků nebo z poznámkového bloku.

Z poznámkového bloku

Spuštění webového terminálu z poznámkového bloku:

1. Připojte poznámkový blok k výpočetním prostředkům.
2. V dolní části pravého bočního panelu poznámkového bloku klikněte na ikonu Otevřít dolní panel .
3. Případně klikněte na připojený rozevírací seznam výpočetních prostředků, najeďte myší na připojené výpočetní prostředky a potom klikněte na webový terminál.

Webový terminál se otevře na panelu v dolní části obrazovky. Tlačítka v pravém horním rohu panelu umožňují:

• Otevřete novou relaci terminálu na nové kartě .
• Znovu načtěte relaci terminálu .
• Zavřete dolní panel . Pokud chcete panel znovu otevřít, klikněte v dolní části pravého bočního panelu.

Na stránce s podrobnostmi o výpočetních prostředcích

Spuštění webového terminálu ze stránky s podrobnostmi o výpočetních prostředcích:

1. Na bočním panelu pracovního prostoru klikněte na Compute.
2. Na kartě Výpočetní prostředky pro všechny účely klikněte na název výpočetního objektu.
3. Kliknutím na Start spustíte výpočetní prostředky.
4. Na kartě Aplikace klikněte na Webový terminál.

Otevře se nová karta s uživatelským rozhraním webového terminálu a výzvou Bash.

Použití webového terminálu

Ve webovém terminálu můžete spouštět příkazy z kořenového adresáře v kontejneru uzlu výpočetního ovladače.

Každý uživatel může mít otevřeno až 100 aktivních relací webového terminálu (karet). Nečinné relace webového terminálu můžou vyprstit časový limit a webová aplikace webového terminálu se znovu připojí, což vede k novému procesu prostředí. Pokud chcete zachovat relaci Bash, doporučuje Databricks používat tmux.

Spuštění příkazů rozhraní příkazového řádku Databricks

Ke spuštění příkazů Rozhraní příkazového řádku Databricks můžete použít také webový terminál. Dostupné rozhraní příkazového řádku je vždy nejnovější verze a ověřování vychází z aktuálního uživatele. Výpočetní prostředky musí splňovat následující požadavky:

• Cluster musí mít nainstalovaný Databricks Runtime 15.0 nebo vyšší.
• Pro službu Private Link nesmí být povolený pracovní prostor.

Spusťte webový terminál a spuštěním následujícího příkazu vypíšete informace o aktuálním uživateli:

   databricks current-user me

K dispozici jsou také příkazy sady prostředků, které umožňují vytvářet a spravovat sady prostředků Databricks přímo z webového terminálu v pracovním prostoru Databricks. Pokud například chcete vytvořit, nasadit a spustit jednoduchou sadu pomocí výchozí šablony:

1. V kořenovém adresáři webového terminálu přejděte do domovské stránky pracovního prostoru a spusťte bundle init:

   cd /Workspace/Users/someone@example.com
   databricks bundle init
   

2. Přijměte výchozí výzvy šablony a pak přejděte do adresáře sady prostředků a nasaďte ji:

   cd my_project
   databricks bundle deploy
   

   Nasazenou my_project sadu můžete zobrazit v uživatelském rozhraní pracovního prostoru Databricks.

3. Nakonec spusťte výchozí úlohu v sadě:

   databricks bundle run my_project_job
   

   Přejděte do spuštění úloh a zobrazte spuštěnou úlohu.

Omezení

• Azure Databricks nepodporuje spouštění úloh Sparku z webového terminálu.

• Webový terminál Azure Databricks není k dispozici v následujících typech výpočetních prostředků:

  • Výpočetní výkon úloh
  • Bezserverové výpočetní prostředí
  • Výpočetní prostředky spuštěné se sadou proměnných DISABLE_WEB_TERMINAL=true prostředí
  • Výpočetní výkon se spustil s režimem přístupu nastaveným na Sdílené.
  • Výpočetní prostředky spouštěné s konfigurací spark.databricks.pyspark.enableProcessIsolation Sparku nastavenou na true.

• Od počátečního načtení stránky platí pevný limit 12 hodin, po kterém bude ukončeno jakékoli připojení, i když je aktivní. Pokud se chcete znovu připojit, můžete webový terminál aktualizovat. Databricks doporučuje použít tmux k zachování relace prostředí.

• Výpočetní prostředky ARM nemůžou používat webové terminály pro přístup k souborům pracovního prostoru, včetně souborů ve složkách Gitu.

• Povolení služby Docker Container Services zakáže webový terminál.