Konfigurace bezserverového prostředí

Tato stránka vysvětluje, jak nakonfigurovat prostředí bez serveru pro notebooky a úlohy. U poznámkových bloků použijte postranní podokno Prostředí k výběru základního prostředí, instalaci závislostí, konfiguraci paměti a uplatnění zásad využití. U úloh nakonfigurujte prostředí při vytváření nebo úpravách úkolu.

Chcete-li rozbalit postranní panel Prostředí, klikněte na tlačítko vpravo od poznámkového bloku.

Výběr základního prostředí

Základní pracovní prostředí určuje již předinstalované knihovny a verzi pracovního prostředí dostupné pro váš bezserverový poznámkový blok. Výběr základního prostředí v podokně Prostředí je místo, kde zvolíte prostředí. Podrobnosti o jednotlivých verzích prostředí najdete v tématu Bezserverové verze prostředí. Databricks doporučuje používat nejnovější verzi, aby bylo možné využívat nejnovější funkce poznámkového bloku.

Selektor základního prostředí obsahuje následující možnosti:

• Standard: Výchozí bezserverové základní prostředí s knihovnami poskytovanými službou Databricks.
• ML: Základní prostředí s Python a systémovými balíčky z Databricks Runtime pro Machine Learning předinstalované. Pomocí tohoto prostředí můžete migrovat klasický modul Databricks Runtime pro Machine Learning úlohy do bezserverového výpočetního prostředí. Viz základní prostředí ML.
• AI: Základní prostředí optimalizované pro AI s předinstalovanými knihovnami strojového učení (ML). Tato možnost se zobrazí pouze v případě, že je vybrán akcelerátor (GPU).
• Další: Rozbalí a zobrazí další možnosti.
  • Předchozí verze prostředí Standard, ML a AI.
  • Vlastní: Zadejte vlastní prostředí pomocí souboru YAML.
• Prostředí pracovního prostoru: Zobrazí seznam všech kompatibilních základních prostředí nakonfigurovaných pro váš pracovní prostor správcem.

Výběr základního prostředí:

1. V uživatelském rozhraní poznámkového bloku klikněte na postranní podokno Prostředí.
2. V části Základní prostředí vyberte prostředí z rozevírací nabídky.
3. Klikněte na tlačítko Použit.

Přidání závislostí do poznámkového bloku

Protože serverless nepodporuje zásady pro výpočetní prostředky ani inicializační skripty, musíte vlastní závislosti nainstalovat v bočním podokně Prostředí. Závislosti můžete nainstalovat jednotlivě nebo použít sdílené základní prostředí k instalaci více závislostí.

Azure Databricks ukládá virtuální prostředí poznámkového bloku do mezipaměti, takže závislosti se nepřeinstalují při každém opětovném otevření poznámkového bloku nebo obnovení po nečinnosti. Úlohy, které sdílejí stejnou sadu závislostí, mají také prospěch z této mezipaměti během spuštění.

Postup individuální instalace závislosti:

1. V uživatelském rozhraní poznámkového bloku klikněte na postranní podokno Prostředí.

2. V části Závislosti klepněte na tlačítko Přidat závislost a zadejte cestu závislosti do pole. Závislost můžete zadat v libovolném formátu, který je platný v souboru requirements.txt . Python soubory kol nebo projekty Python (například adresář obsahující pyproject.toml nebo setup.py) mohou být umístěny v souborech pracovního prostoru nebo ve svazcích katalogu Unity.

   • Pokud používáte soubor pracovního prostoru, měla by být cesta absolutní a začínat na /Workspace/.
   • Pokud používáte soubor ve svazku katalogu Unity, měla by být cesta v následujícím formátu: /Volumes/<catalog>/<schema>/<volume>/<path>.whl.

3. Kliknutím na Apply nainstalujte závislosti a restartujte proces Python.

Important

Neinstalujte PySpark ani žádnou knihovnu, která nainstaluje PySpark jako závislost na bezserverových poznámkových blocích. Pokud tak učiníte, zastavíte relaci a výsledkem bude chyba. Pokud k tomu dojde, odeberte knihovnu a resetujte prostředí.

Chcete-li zobrazit nainstalované závislosti, klepněte na kartu Nainstalováno v bočním podokně Prostředí . Kliknutím na protokoly pip v dolní části podokna otevřete instalační protokoly pip pro prostředí poznámkového bloku.

Note

Správci pracovního prostoru můžou nakonfigurovat privátní nebo ověřené úložiště balíčků jako výchozí zdroj pip pro bezserverové poznámkové bloky a úlohy. To umožňuje uživatelům instalovat balíčky z interních úložišť bez zadání index-url nebo extra-index-url. Viz Konfigurujte výchozí úložiště balíčků Python.

Vytvoření vlastní specifikace prostředí

Můžete vytvářet a opakovaně používat vlastní specifikace prostředí.

1. V bezserverovém poznámkovém bloku zvolte základní prostředí a nainstalujte libovolné závislosti, které chcete.
2. V dolní části podokna prostředí klikněte na tlačítko nabídky a potom klikněte na Exportovat prostředí.
3. Uložte specifikaci jako soubor Workspace nebo ve svazku katalogu Unity. Ujistěte se, že máte oprávnění k zápisu do cíle, nebo export selže s chybou Forbidden .

Pokud chcete v poznámkovém bloku použít specifikaci vlastního prostředí, vyberte v rozevírací nabídce Základní prostředí možnost Custom a potom pomocí vyberte soubor YAML.

Vytvoření běžných nástrojů pro sdílení napříč pracovním prostorem

Tento příklad ukládá nástroj do souboru pracovního prostoru a nainstaluje ho jako závislost bezserverového poznámkového bloku:

1. Vytvořte složku s následující strukturou. Ujistěte se, že ostatní uživatelé mají k této cestě oprávnění ke čtení:

   helper_utils/
   ├── helpers/
   │   └── __init__.py   # your common functions live here
   ├── pyproject.toml
   

2. Naplnit pyproject.toml takto:

   [project]
   name = "common_utils"
   version = "0.1.0"
   

3. Přidejte do init.py souboru funkci. Například:

   def greet(name: str) -> str:
       return f"Hello, {name}!"
   

4. V uživatelském rozhraní poznámkového bloku klikněte na ikonu Prostředí na bočním panelu .

5. V části Závislosti klepněte na tlačítko Přidat závislost a zadejte cestu k souboru util. Například: /Workspace/helper_utils.

6. Klikněte na tlačítko Použit.

Teď můžete funkci použít v poznámkovém bloku:

from helpers import greet
print(greet('world'))

Tento výstup je následující:

Hello, world!

Využijte běhové prostředí AI (GPU bez serveru)

Important

Prostředí pro AI je ve veřejné předběžné verzi.

Pomocí následujících kroků nakonfigurujte AI Runtime, využívající bezserverové výpočetní prostředí GPU, v poznámkovém bloku Azure Databricks:

1. V notebooku klikněte na rozevírací nabídku výpočet v horní části a vyberte bezserverové GPU.
2. Kliknutím na otevřete boční podokno Prostředí .
3. V poli Akcelerátor vyberte A10.
4. V části Základní prostředí vyberte Standard pro výchozí prostředí nebo AI pro prostředí optimalizované pro AI s předinstalovanými knihovnami strojového učení (ML).
5. Klikněte na Použít a poté potvrďte, že chcete použít AI Runtime pro vaše prostředí poznámkového bloku.

Další podrobnosti najdete na AI Runtime.

Použijte vysoce paměťově nenáročné bezserverové výpočetní kapacity

Important

Tato funkce je ve verzi Public Preview.

Pokud v poznámkovém bloku narazíte na chyby nedostatku paměti, nakonfigurujte poznámkový blok tak, aby používal větší velikost paměti. Toto nastavení velikosti paměti zvyšuje velikost paměti REPL používané při spouštění kódu v notebooku. Nemá vliv na velikost paměti relace Spark. Bezserverové využití s vysokou pamětí má vyšší rychlost emisí DBU než standardní paměť.

Dostupné možnosti paměti:

• Standard: celková paměť 16 GB.
• Vysoká: celková paměť 32 GB.

Chcete-li nakonfigurovat nastavení paměti poznámkového bloku:

1. V uživatelském rozhraní poznámkového bloku klikněte na postranní podokno Prostředí.
2. V části Paměťvyberte možnost Vysoká paměť.
3. Klikněte na tlačítko Použit.

Toto nastavení paměti platí také pro úlohy poznámkového bloku, které se spouštějí pomocí předvoleb paměti poznámkového bloku. Aktualizace předvoleb paměti v poznámkovém bloku ovlivní další spuštění úlohy.

Výběr zásady použití bez serveru

Important

Tato funkce je ve verzi Public Preview.

Zásady bezserverového využití umožňují vaší organizaci používat vlastní značky na bezserverové využití za účelem podrobného přiřazení fakturace.

Pokud váš pracovní prostor používá zásady použití bez serveru, vyberte zásadu, kterou chcete použít pro poznámkový blok. Pokud je uživatel přiřazený jenom k jedné bezserverové zásadě použití, tato zásada se ve výchozím nastavení použije.

Po připojení k bezserverovému výpočetnímu prostředí vyberte zásadu v bočním podokně Prostředí:

1. V uživatelském rozhraní poznámkového bloku klikněte na postranní podokno Prostředí.
2. V části Zásady použití bez serveru vyberte zásady bezserverového použití, které chcete použít pro poznámkový blok.
3. Klikněte na tlačítko Použit.

Po použití převezme veškeré využití poznámkového bloku vlastní značky zásad.

Note

Pokud váš poznámkový blok pochází z úložiště Git nebo nemá přiřazenou žádnou zásadu použití bez serveru, automaticky se použije poslední vámi zvolená zásada použití bez serveru, jakmile bude poznámkový blok znovu připojen k bezserverovému výpočetnímu prostředí.

Zahrnutí prostředí do exportů zdrojových souborů

U poznámkových bloků Pythonu můžete v konfiguraci prostředí zapnout nebo vypnout možnost Zahrnout při exportu zdrojových souborů. Pokud je tato možnost povolená, základní prostředí a závislosti se ukládají ve formátu PEP 723 ve zdrojovém souboru exportu. To pomáhá zachovat konfiguraci prostředí, když jsou poznámkové bloky uložené ve složkách Gitu nebo se stáhnou jako zdrojové soubory.

Například notebook používající Standard v5 exportuje konfiguraci prostředí jako vložená metadata v záhlaví souboru:

# Databricks notebook source
# /// script
# [tool.databricks.environment]
# environment_version = "5"
# ///
print("Hello World!")

Resetování závislostí prostředí

Pokud je poznámkový blok připojený k bezserverovému výpočetnímu prostředí, Databricks automaticky ukládá obsah virtuálního prostředí poznámkového bloku do mezipaměti. To znamená, že při otevření existujícího poznámkového bloku nemusíte přeinstalovat Python závislosti zadané v Environment bočním podokně, a to i v případě, že byl odpojen z důvodu nečinnosti.

Python ukládání do mezipaměti virtuálního prostředí platí také pro úlohy. Při spuštění úlohy se všechny úlohy, které sdílí stejnou sadu závislostí jako dokončený úkol ve stejném spuštění, dokončí rychleji, protože mezipaměť už obsahuje požadované závislosti.

Note

Pokud změníte implementaci vlastního balíčku Python použitého v úloze na bezserverové verzi, musíte také aktualizovat číslo verze, aby úlohy mohly vyzvednout nejnovější implementaci.

Chcete-li vymazat mezipaměť prostředí a nově nainstalovat závislosti zadané v postranním podokně Environment poznámkového bloku připojeného k bezserverovým výpočetním prostředkům, klikněte na šipku vedle Apply a potom klikněte na Reset to defaults.

Jestliže nainstalujete balíčky, které přeruší nebo změní základního poznámkového bloku nebo prostředí Apache Spark, odstraňte problematické balíčky a poté resetujte prostředí. Spuštění nové relace nevymaže celou mezipaměť prostředí.

Nastavení prostředí pro pracovní úkoly

Každý úkol se spouští v izolovaném prostředí, které obsahuje základní prostředí a všechny další knihovny, které zadáte. Základní prostředí nastaví Python a verzi modulu runtime Scala a předinstalované knihovny. Úlohy dědí výchozí sadu nainstalovaných knihoven z verze prostředí. Chcete-li zjistit, co je zahrnuto, podívejte se do části Instalované knihovny Python nebo Instalované knihovny Java a Scala ve verzi prostředí, kterou používáte.

Předinstalované knihovny můžete doplnit knihovnami ze souborů pracovního prostoru, svazků katalogu Unity nebo veřejných úložišť balíčků. Za běhu se nainstalují jenom závislosti vyžadované pro úlohu.

Important

Použití bezserverového výpočetního prostředí pro úlohy JAR je ve verzi Public Preview.

Important

Výběr spravovaného základního prostředí je v beta verzi. Rozevírací seznam Základní prostředí v dialogovém okně Konfigurovat prostředí umožňuje vybírat z prostředí poskytovaných službou Databricks (například Standard a ML) nebo prostředí nakonfigurovaných pracovním prostorem. Bez této funkce se v dialogovém okně zobrazí rozevírací seznam verze prostředí . Správci pracovního prostoru můžou tuto funkci povolit na stránce Previews .

Konfigurace prostředí podle typu úlohy

Způsob konfigurace prostředí v úloze závisí na typu úlohy:

Úkoly poznámkového bloku

Úlohy poznámkového bloku ve výchozím nastavení používají Prostředí poznámkového bloku, které používá vlastní nakonfigurované základní prostředí a závislosti poznámkového bloku. To lze přepsat nastavením prostředí na úrovni úlohy.

Konfigurace prostředí na úrovni úlohy:

1. V konfiguraci úlohy klikněte na rozevírací nabídku Prostředí a knihovny.
2. V prostředí úloh klikněte na ikonu tužky vedle výchozího nastavení nebo klikněte na + Přidat nové prostředí úloh.
3. V dialogovém okně Konfigurovat prostředí vyberte z rozevírací nabídky Základní prostředí :
   • Prostředí Databricks: možnosti poskytované službou Azure Databricks, jako jsou Standard a ML.
   • Prostředí pracovního prostoru: Vlastní prostředí nakonfigurovaná správcem pracovního prostoru Viz Správa základních prostředí pracovního prostoru.
   • Další: Předchozí verze a vlastní (zadejte soubor YAML).
4. V části Závislosti přidejte všechny další knihovny. Knihovnu můžete zadat v libovolném formátu platném pro soubor requirements.txt nebo použít absolutní cestu k souboru v pracovním prostoru nebo ke svazku v katalogu Unity.
5. Klikněte na tlačítko Potvrdit.

Note

Pokud váš pracovní prostor nemá povolené základní prostředí pracovního prostoru pro úlohy ve verzi Preview, zobrazí se v dialogovém okně Konfigurovat prostředí rozevírací seznam Verze prostředí místo základního prostředí.

Pokud chcete nakonfigurovat prostředí, vyberte verzi a klikněte na + Přidat knihovnu. Můžete zadat cestu k souboru pracovního prostoru (počínaje /Workspace/), cestu ke svazku katalogu Unity (počínaje /Volumes/) nebo odkaz na soubor požadavků (například -r /Workspace/path/to/requirements.txt).

Python skripty a úlohy kolečka Python

Skripty v Pythonu a úlohy Python wheel vyžadují nakonfigurované prostředí.

1. V konfiguraci úlohy v části Prostředí a knihovny klikněte na + Přidat závislost.
2. V dialogovém okně Konfigurovat prostředí vyberte z rozevírací nabídky Základní prostředí :
   • Prostředí Databricks: možnosti poskytované službou Azure Databricks, jako jsou Standard a ML.
   • Prostředí pracovního prostoru: Vlastní prostředí nakonfigurovaná správcem pracovního prostoru Viz Správa základních prostředí pracovního prostoru.
   • Další: Předchozí verze a vlastní (zadejte soubor YAML).
3. V části Závislosti přidejte všechny další knihovny.
4. Klikněte na tlačítko Potvrdit.

Note

Pokud váš pracovní prostor nemá povolené základní prostředí pracovního prostoru pro úlohy ve verzi Preview, zobrazí se v dialogovém okně Konfigurovat prostředí rozevírací seznam Verze prostředí místo základního prostředí.

Pokud chcete nakonfigurovat prostředí, vyberte verzi a klikněte na + Přidat knihovnu. Můžete zadat cestu k souboru pracovního prostoru (počínaje /Workspace/), cestu ke svazku katalogu Unity (počínaje /Volumes/) nebo odkaz na soubor požadavků (například -r /Workspace/path/to/requirements.txt).

Úlohy Dbt

Úlohy DBT používají prostředí na úrovni úlohy pro konfiguraci knihovny.

Konfigurace prostředí na úrovni úlohy:

1. V konfiguraci úlohy klikněte na rozevírací nabídku Prostředí a knihovny.
2. V prostředí úloh klikněte na ikonu tužky vedle existujícího prostředí nebo klikněte na + Přidat nové prostředí úloh.
3. V dialogovém okně Konfigurovat prostředí vyberte z rozevírací nabídky Základní prostředí :
   • Prostředí Databricks: možnosti poskytované službou Azure Databricks, jako jsou Standard a ML.
   • Prostředí pracovního prostoru: Vlastní prostředí nakonfigurovaná správcem pracovního prostoru Viz Správa základních prostředí pracovního prostoru.
   • Další: Předchozí verze a vlastní (zadejte soubor YAML).
4. V části Závislosti přidejte všechny další knihovny. Knihovnu můžete zadat v libovolném formátu platném pro soubor requirements.txt nebo použít absolutní cestu k souboru v pracovním prostoru nebo ke svazku v katalogu Unity.
5. Klikněte na tlačítko Potvrdit.

Note

Pokud váš pracovní prostor nemá povolené základní prostředí pracovního prostoru pro úlohy ve verzi Preview, zobrazí se v dialogovém okně Konfigurovat prostředí rozevírací seznam Verze prostředí místo základního prostředí.

Pokud chcete nakonfigurovat prostředí, vyberte verzi a klikněte na + Přidat knihovnu. Můžete zadat cestu k souboru pracovního prostoru (počínaje /Workspace/), cestu ke svazku katalogu Unity (počínaje /Volumes/) nebo odkaz na soubor požadavků (například -r /Workspace/path/to/requirements.txt).

Úkoly JAR

Základní prostředí pracovního prostoru nejsou podporována pro úlohy JAR. Konfigurace prostředí pro úlohu JAR:

1. V konfiguraci úlohy klikněte v části Prostředí a knihovny na + Přidat závislost JAR.
2. V dialogovém okně Konfigurovat prostředí :
   • Volitelně můžete do pole Základní prostředí zadat cestu k souboru YAML.
   • V rozevírací nabídce Verze prostředí vyberte verzi prostředí.
   • V části Závislosti JAR přidejte cesty k souborům JAR.
3. Klikněte na tlačítko Potvrdit.

Pokud chcete vytvořit vlastní základní prostředí založené na YAML, přečtěte si téma Vytvoření vlastní specifikace prostředí.

Kompatibilita prostředí a výpočetních prostředků

Vybrané základní prostředí musí být kompatibilní s typem výpočetních prostředků úlohy. Například prostředí vytvořené pro výpočetní výkon GPU není kompatibilní s výpočetními prostředky procesoru. V uživatelském rozhraní úloh nejsou v rozevírací nabídce základního prostředí k dispozici nekompatibilní prostředí.

Při konfiguraci úlohy v poznámkovém bloku může typ výpočetních prostředků (CPU nebo GPU) a základní prostředí pocházet buď z nastavení úlohy, nebo z nastavení poznámkového bloku.

• Pokud nastavíte hardwarový akcelerátor (GPU) na úrovni úlohy, musíte také vybrat základní prostředí na úrovni úlohy. Prostředí poznámkového bloku nelze použít s akcelerátorem na úrovni úlohy.
• Pokud máte úlohy, které odkazují na poznámkový blok a aktualizujete typ výpočetního typu odkazovaného poznámkového bloku (například z procesoru na GPU), můžou být stávající úlohy nekompatibilní s nakonfigurovaným prostředím. Po změně výpočetní konfigurace poznámkového bloku zkontrolujte nastavení prostředí úlohy.
• Pro uživatele rozhraní API: Pokud nastavíte základní prostředí na úrovni úlohy, ale poznámkový blok definuje typ výpočetních prostředků, Azure Databricks ověří kompatibilitu za běhu, ne v době vytvoření úlohy. Pokud je konfigurace nekompatibilní, spuštění selže s chybou.