Konfigurace bezserverového prostředí

Tento článek vysvětluje, jak pomocí bočního panelu prostředí bez serveru nakonfigurovat závislosti, zásady rozpočtu bez serveru, paměť a verzi prostředí. Tento panel poskytuje jediné místo pro správu nastavení bezserverového poznámkového bloku. Nastavení nakonfigurovaná na tomto panelu platí jenom v případě, že je poznámkový blok připojený k bezserverovému výpočetnímu prostředí.

Pokud chcete rozbalit boční panel Prostředí , klikněte na tlačítko napravo od poznámkového bloku.

Použití bezserverových výpočetních prostředků GPU

Important

Výpočetní prostředí GPU bez serveru je v beta verzi.

Pomocí následujících kroků můžete v poznámkovém bloku Databricks používat výpočetní prostředky GPU bez serveru:

1. V poznámkovém bloku klikněte nahoře na rozevírací nabídku Připojit a vyberte Serverless GPU.
2. Kliknutím na otevřete boční panel Prostředí .
3. V poli Akcelerátor vyberte A10.
4. V poli Základní prostředí vyberte Možnost Žádné pro výchozí prostředí nebo AI v4 pro prostředí AI.
5. Pokud jste v poli Základní prostředí zvolili Možnost Žádné, vyberte verzi prostředí.
6. Klikněte na Použít a pak potvrďte , že chcete pro prostředí poznámkového bloku použít výpočetní prostředky GPU bez serveru.

Další podrobnosti najdete v tématu Bezserverové výpočetní prostředí GPU.

Použijte vysoce paměťově nenáročné bezserverové výpočetní kapacity

Important

Tato funkce je ve verzi Public Preview.

Pokud v poznámkovém bloku narazíte na chyby nedostatku paměti, můžete poznámkový blok nakonfigurovat tak, aby používal větší velikost paměti. Toto nastavení zvětší velikost paměti REPL použitou při spouštění kódu v poznámkovém bloku. Nemá vliv na velikost paměti relace Spark. Bezserverové využití s vysokou pamětí má vyšší rychlost emisí DBU než standardní paměť.

1. V uživatelském rozhraní poznámkového bloku klikněte na boční panel Prostředí.
2. V části Paměťvyberte možnost Vysoká paměť.
3. Klikněte na tlačítko Použit.

Toto nastavení platí také pro úlohy poznámkového bloku, které se spouštějí s využitím předvoleb paměti poznámkového bloku. Aktualizace předvoleb paměti v poznámkovém bloku ovlivní další spuštění úlohy.

Výběr zásady bezserverového rozpočtu

Important

Tato funkce je ve verzi Public Preview.

Bezserverové rozpočtové zásady umožňují vaší organizaci přiřadit vlastní značky k bezserverovému využití pro podrobné rozúčtování nákladů.

Pokud váš pracovní prostor používá zásady bezserverového rozpočtu k atributu bezserverového využití, můžete pro poznámkový blok vybrat zásady bezserverového rozpočtu, které chcete použít. Pokud je uživatel přiřazený jenom k jedné bezserverové zásadě rozpočtu, je tato zásada ve výchozím nastavení vybraná.

Můžete vybrat zásady rozpočtu pro bezserverové prostředí poté, co je váš poznámkový blok připojen k bezserverovému výpočetnímu prostředí, pomocí bočního panelu Prostředí.

1. V uživatelském rozhraní poznámkového bloku klikněte na boční panel Prostředí.
2. V části Zásady rozpočtu vyberte zásady bezserverového rozpočtu, které chcete použít pro poznámkový blok.
3. Klikněte na tlačítko Použit.

Po dokončení tohoto nastavení zdědí všechna použití poznámkového bloku vlastní značky zásad rozpočtu bez serveru.

Note

Pokud váš poznámkový blok pochází z úložiště Git nebo nemá přiřazenou bezserverovou zásadu rozpočtu, použije se naposledy zvolená bezserverová zásada rozpočtu při dalším připojení k bezserverovému výpočetnímu prostředí.

Výběr verze prostředí

Verze prostředí umožňují bezserverové úlohy přijímat nezávislé aktualizace motoru, aniž by ovlivnily kompatibilitu aplikací. Podrobnosti o jednotlivých verzích prostředí najdete v tématu Bezserverové verze prostředí. Databricks doporučuje vybrat nejnovější verzi, abyste získali nejaktuálnější funkce poznámkového bloku up-to.

Výběr verze prostředí:

1. V uživatelském rozhraní poznámkového bloku klikněte na boční panel Prostředí.
2. V části Verze prostředí vyberte verzi.
3. Klikněte na tlačítko Použit.

Přidání závislostí do poznámkového bloku

Vzhledem k tomu, že bezserverová služba nepodporuje zásady výpočetních prostředků ani inicializační skripty, je nutné přidat vlastní závislosti pomocí bočního panelu Prostředí . Můžete přidat závislosti jednotlivě nebo použít sdílené základní prostředí k instalaci více závislostí.

Individuální přidání závislosti:

1. V uživatelském rozhraní poznámkového bloku klikněte na boční panel Prostředí.

2. V části Závislosti klepněte na tlačítko Přidat závislost a zadejte cestu závislosti do pole. Závislost můžete zadat v libovolném formátu, který je platný v souboru requirements.txt . Soubory kol Pythonu nebo projekty Pythonu (například adresář obsahující a pyproject.toml nebo setup.py) se dají nacházet v souborech pracovního prostoru nebo ve svazcích katalogu Unity.

   • Pokud používáte soubor pracovního prostoru, měla by být cesta absolutní a začínat na /Workspace/.
   • Pokud používáte soubor ve svazku katalogu Unity, měla by být cesta v následujícím formátu: /Volumes/<catalog>/<schema>/<volume>/<path>.whl.

3. Klikněte na tlačítko Použit. Tím se nainstalují závislosti ve virtuálním prostředí poznámkového bloku a restartuje proces Pythonu.

Important

Neinstalujte PySpark ani žádnou knihovnu, která nainstaluje PySpark jako závislost na bezserverových poznámkových blocích. Pokud tak učiníte, zastavíte relaci a výsledkem bude chyba. Pokud k tomu dojde, odeberte knihovnu a resetujte prostředí.

Chcete-li zobrazit nainstalované závislosti, klepněte na kartu Nainstalováno na bočním panelu Prostředí . Protokoly instalace pip pro prostředí poznámkového bloku jsou k dispozici také kliknutím na protokoly pip v dolní části panelu.

Přidání závislostí do základního prostředí

Základní prostředí je soubor YAML uložený jako soubor pracovního prostoru nebo na svazku katalogu Unity, který určuje další závislosti prostředí. Základní prostředí pracovního prostoru můžete vybrat z rozevírací nabídky Základní prostředí nebo můžete vybrat možnost Vlastní , pokud chcete použít vlastní specifikaci prostředí.

Další závislosti můžete nainstalovat jednotlivě nad základní prostředí. Jednotlivé nainstalované závislosti přepíšou nebo rozšiřují základní prostředí pro tento poznámkový blok.

Pokyny pro správce pracovního prostoru najdete v tématu Správa bezserverových základních prostředí.

Vytvoření vlastní specifikace prostředí

Můžete vytvářet a opakovaně používat vlastní specifikace prostředí.

1. V bezserverovém poznámkovém bloku vyberte verzi prostředí a přidejte všechny závislosti, které chcete nainstalovat.
2. Klikněte na ikonu nabídky V dolní části panelu prostředí klepněte na tlačítko Exportovat prostředí.
3. Uložte specifikaci jako soubor pracovního prostoru nebo ve svazku katalogu Unity.

Pokud chcete použít specifikaci vlastního prostředí v poznámkovém bloku, vyberte v rozevírací nabídce Základní prostředívlastní nastavení a pak pomocí ikony složky re:[Ikona složky] vyberte soubor YAML.

Vytvoření běžných nástrojů pro sdílení napříč pracovním prostorem

Následující příklad ukazuje, jak uložit běžný nástroj do souboru pracovního prostoru a přidat ho jako závislost do bezserverového poznámkového bloku:

1. Vytvořte složku s následující strukturou. Ověřte, že uživatelé projektu mají odpovídající přístup k cestě k souboru:

   helper_utils/
   ├── helpers/
   │   └── __init__.py   # your common functions live here
   ├── pyproject.toml
   

2. Naplnit pyproject.toml takto:

   [project]
   name = "common_utils"
   version = "0.1.0"
   

3. Přidejte do init.py souboru funkci. Například:

   def greet(name: str) -> str:
       return f"Hello, {name}!"
   

4. V uživatelském rozhraní notebooku klikněte na ikonu Prostředí na bočním panelu .

5. V části Závislosti klepněte na tlačítko Přidat závislost a zadejte cestu k souboru util. Například: /Workspace/helper_utils.

6. Klikněte na tlačítko Použit.

Teď můžete funkci použít v poznámkovém bloku:

from helpers import greet
print(greet('world'))

Tento výstup je následující:

Hello, world!

Resetování závislostí prostředí

Pokud je poznámkový blok připojený k bezserverovému výpočetnímu prostředí, Databricks automaticky ukládá obsah virtuálního prostředí poznámkového bloku do mezipaměti. To znamená, že obvykle nemusíte přeinstalovat závislosti Pythonu zadané v postranním panelu Prostředí při otevření existujícího poznámkového bloku, i když byl odpojen kvůli nečinnosti.

Ukládání do mezipaměti virtuálního prostředí Pythonu platí také pro úlohy. Když se spustí úloha, jakýkoli úkol, který sdílí stejnou sadu závislostí jako dokončený úkol v tomto spuštění, probíhá rychleji, protože požadované závislosti jsou již k dispozici.

Note

Pokud změníte implementaci vlastního balíčku Pythonu použitého v úloze na bezserverové verzi, musíte také aktualizovat její číslo verze, aby úlohy mohly vyzvednout nejnovější implementaci.

Pokud chcete vymazat mezipaměť prostředí a provést novou instalaci závislostí zadaných v bočním panelu Prostředí poznámkového bloku připojeného k bezserverovému výpočetnímu prostředí, klikněte na šipku vedle Použít a potom klikněte na Obnovit výchozí nastavení.

Jestliže nainstalujete balíčky, které přeruší nebo změní základního poznámkového bloku nebo prostředí Apache Spark, odstraňte problematické balíčky a poté resetujte prostředí. Spuštění nové relace nevymaže celou mezipaměť prostředí.

Konfigurace výchozích úložišť balíčků Pythonu

Správci pracovního prostoru mohou v rámci pracovních prostorů nakonfigurovat privátní či ověřená úložiště balíčků jako výchozí konfiguraci pip pro bezserverové poznámkové bloky a bezserverové úlohy. To umožňuje uživatelům instalovat balíčky z interních úložišť Pythonu bez explicitního definování index-url nebo extra-index-url.

Správci pracovního prostoru se mohou odkazovat na Konfigurace výchozích úložišť balíčků Pythonu pro pokyny.

Nastavení prostředí pro pracovní úkoly

U typů úloh úloh, jako jsou poznámkový blok, skript Pythonu, kolo Pythonu, soubory JAR nebo úlohy dbt, se závislosti knihovny dědí z verze bezserverového prostředí. Pokud chcete zobrazit seznam nainstalovaných knihoven, přečtěte si část Nainstalované knihovny Pythonu nebo Nainstalované knihovny Java a Scala verze prostředí , kterou používáte. Pokud úloha vyžaduje knihovnu, která není nainstalovaná, můžete knihovnu nainstalovat ze souborů pracovního prostoru, svazků katalogu Unity nebo veřejného úložiště balíčků.

U poznámkových bloků s existujícím prostředím poznámkového bloku můžete úlohu spustit pomocí prostředí poznámkového bloku nebo ji přepsat výběrem prostředí na úrovni úlohy.

Important

Použití bezserverového výpočetního prostředí pro úlohy JAR je v beta verzi.

Přidání knihovny při vytváření nebo úpravě úkolu úlohy:

1. V rozevírací nabídce Prostředí a knihovny klikněte vedle výchozího prostředí nebo klikněte na + Přidat nové prostředí.

   

2. V rozevíracím seznamu Verze prostředí vyberte verzi prostředí. Viz verze bezserverového prostředí . Databricks doporučuje vybrat nejnovější verzi, abyste získali nejnovější funkce.

3. V dialogovém okně Konfigurovat prostředí klikněte na + Přidat knihovnu.

4. Vyberte typ závislosti z rozevírací nabídky pod Knihovny.

5. Do textového pole Cesta k souboru zadejte cestu ke knihovně.

• Pro kolo Pythonu v souboru pracovního prostoru by měla být cesta absolutní a začínat na /Workspace/.

• Pro Python Wheel ve svazku Unity Catalog by měla být cesta /Volumes/<catalog>/<schema>/<volume>/<path>.whl.

• U souboru requirements.txt vyberte PyPi a zadejte -r /path/to/requirements.txt.

  

1. Klikněte na Potvrdit nebo + Přidat knihovnu, chcete-li přidat další knihovnu.
2. Pokud přidáváte úkol, klikněte na Vytvořit úkol. Pokud upravujete úkol, klikněte na Uložit úkol.

Základní prostředí pro pracovní úkoly

Bezserverové úlohy podporují vlastní základní prostředí definovaná pomocí souborů YAML pro úlohy Pythonu, kola Pythonu a poznámkového bloku. U úloh v poznámkovém bloku můžete buď vybrat vlastní základní prostředí v konfiguraci prostředí úlohy, nebo použít nastavení prostředí samotného poznámkového bloku, která podporují jak pracovní prostředí, tak vlastní základní prostředí. Ve všech případech se za běhu nainstalují pouze závislosti požadované pro úlohu.