Kiszolgáló nélküli környezet konfigurálása

Ez a lap bemutatja, hogyan konfigurálhatja a kiszolgáló nélküli környezetet jegyzetfüzetekhez és feladatfeladatokhoz. Jegyzetfüzetek esetén a Környezet oldalpanelen válassza ki az alapkörnyezetet, telepítse a függőségeket, konfigurálja a memóriát, és alkalmazza a használati szabályzatokat. Feladatfeladatok esetén konfigurálja a környezetet egy tevékenység létrehozásakor vagy szerkesztésekor.

A Környezet oldalpanel kibontásához kattintson a jegyzetfüzet jobb oldalán található Környezet gombra.

Kiszolgáló nélküli környezet panel

Alapkörnyezet kiválasztása

Az alapkörnyezet határozza meg a kiszolgáló nélküli jegyzetfüzethez elérhető előre telepített kódtárakat és környezeti verziót. A Környezet oldalpanel alapkörnyezet-választója az, ahol a környezetet választja. Az egyes környezeti verziók részleteinek megtekintéséhez tekintse meg kiszolgáló nélküli környezetek. A Databricks azt javasolja, hogy a legújabb verzióval szerezze be a up-to-date jegyzetfüzet funkcióit.

Az Alapkörnyezet-választó a következő beállításokat tartalmazza:

  • Standard: Az alapértelmezett kiszolgáló nélküli alapkörnyezet a Databricks által biztosított kódtárakkal.
  • ML: Egy alapkörnyezet a Databricks Runtime for Machine Learning előre telepített Python- és rendszercsomagjaival. Ezzel a környezettel migrálhatja a klasszikus Databricks-futtatókörnyezetet Machine Learning számítási feladatok kiszolgáló nélküli számításba. Lásd az ML alapkörnyezetét.
  • AI: AI-optimalizált alapkörnyezet előre telepített gépi tanulási (ML) kódtárakkal. Ez a beállítás csak akkor jelenik meg, ha egy gyorsító (GPU) van kiválasztva. Lásd AI környezetet.
  • További információ: További lehetőségek megjelenítése:
    • Standard, ML és AI-környezetek korábbi verziói.
    • Egyéni: Egyéni környezet megadása YAML-fájllal.
  • Munkaterület-környezetek: Felsorolja a munkaterülethez rendszergazda által konfigurált összes kompatibilis alapkörnyezetet.

Alapkörnyezet kiválasztása:

  1. A jegyzetfüzet felületén kattintson a Környezet oldalsó panel környezet elemére.
  2. Az Alapkörnyezet területen válasszon ki egy környezetet a legördülő menüből.
  3. Kattintson az Alkalmaz gombra.

Függőségek hozzáadása a jegyzetfüzethez

Mivel a kiszolgáló nélküli nem támogatja a számítási szabályzatokat és az init-szkripteket, egyéni függőségeket kell telepítenie a Környezet oldalpanelen. A függőségeket egyenként is telepítheti, vagy egy megosztható alapkörnyezettel több függőséget is telepíthet.

Azure Databricks gyorsítótárazza a jegyzetfüzet virtuális környezetét, így a függőségek nem lesznek újratelepítve minden alkalommal, amikor újra megnyitja a jegyzetfüzetet, vagy inaktivitás után folytatja. Az azonos függőségi csoportokkal rendelkező feladatfeladatok is kihasználhatják ezt a gyorsítótárat egy futtatáson belül.

Egy függőség egyenkénti telepítéséhez:

  1. A jegyzetfüzet felületén kattintson a Környezet oldalsó panel környezet elemére.

  2. A Függőségek szakaszban írd be a függőség útját a mezőbe, majd kattints a +Függőség hozzáadására. A függőségeket bármilyen formátumban megadhatja, amely érvényes egy requirements.txt fájlban. Python wheel fájlok vagy Python projektek (például a pyproject.toml vagy setup.py) tartalmazó könyvtár munkaterületi fájlokban vagy Unity Catalog kötetekben található.

    • Munkaterületfájl használata esetén az elérési útnak abszolútnak kell lennie, és a következővel /Workspace/kell kezdődnie:
    • Ha egy fájlt használ a Unity-katalógus kötetében, az elérési útnak a következő formátumban kell lennie: /Volumes/<catalog>/<schema>/<volume>/<path>.whl.

  3. Kattintson a Apply gombra a függőségek telepítéséhez és a Python folyamat újraindításához.

Important

Ne telepítse a PySparkot vagy bármilyen olyan könyvtárat, amely a PySparkot függőségként telepíti kiszolgáló nélküli jegyzetfüzetekre. Ezzel leállítja a munkamenetet, és hibát eredményez. Ha ez történik, távolítsa el a tárat, és állítsa alaphelyzetbe a környezetet.

A telepített függőségek megtekintéséhez kattintson a Környezetek oldalpanel Telepített lapjára. Nyissa meg a jegyzetfüzet-környezet piptelepítési naplóit a panel alján található pipnaplókra kattintva.

Note

A munkaterület rendszergazdái a kiszolgáló nélküli jegyzetfüzetek és feladatok alapértelmezett pipforrásaként konfigurálhatják a privát vagy hitelesített csomagtárakat. Ez lehetővé teszi, hogy a felhasználók csomagokat telepítsenek a belső tárházakból a index-url vagy a extra-index-url megadása nélkül. Lásd : Alapértelmezett csomagtárak konfigurálása.

Egyéni környezeti specifikáció létrehozása

Egyéni környezeti specifikációkat hozhat létre és használhat újra.

  1. Kiszolgáló nélküli jegyzetfüzetben válasszon ki egy alapkörnyezetet, és telepítse a kívánt függőségeket.
  2. Kattintson a kebab menügomb Kebab menü ikonjára. A környezet panel alján kattintson a Környezet exportálása parancsra.
  3. Mentse a specifikációt munkaterületfájlként vagy Unity-katalóguskötetben. Győződjön meg arról, hogy rendelkezik engedéllyel a célhelyre való íráshoz, vagy az exportálás hiba miatt Forbidden meghiúsul.

Ha egy jegyzetfüzetben szeretné használni az egyéni környezetspecifikációt, válassza az Egyéni lehetőséget az Alapkörnyezet legördülő menüből, majd a Mappa ikon. segítségével válassza ki a YAML-fájlját.

Gyakori eszközök létrehozása a munkaterületen való megosztáshoz

Ez a példa egy segédprogramot egy munkaterületfájlban tárol, és kiszolgáló nélküli jegyzetfüzet-függőségként telepíti:

  1. Hozzon létre egy mappát az alábbi struktúrával. Győződjön meg arról, hogy más felhasználók olvasási hozzáféréssel rendelkeznek ehhez az elérési úthoz:

    helper_utils/
├── helpers/
│   └── __init__.py   # your common functions live here
├── pyproject.toml

  2. Töltse ki pyproject.toml az alábbi módon:

    [project]
name = "common_utils"
version = "0.1.0"

  3. Adjon hozzá egy függvényt a init.py fájlhoz. Például:

    def greet(name: str) -> str:
    return f"Hello, {name}!"

  4. A jegyzetfüzet felhasználói felületén kattintson a Környezet oldalpanel Környezet ikonra.

  5. A Függőségek szakaszban kattintson a Függőség hozzáadása elemre, majd adja meg a util fájl elérési útját. Például: /Workspace/helper_utils.

  6. Kattintson az Alkalmaz gombra.

Most már használhatja a függvényt a jegyzetfüzetben:

from helpers import greet
print(greet('world'))

Ez a kimenet a következő:

Hello, world!

AI-futtatókörnyezet használata (kiszolgáló nélküli GPU)

Important

Az AI-futtatókörnyezet nyilvános előzetes verzióban érhető el.

Az alábbi lépéseket követve konfigurálhatja a kiszolgáló nélküli GPU-számítással működő AI-futtatókörnyezetet a Azure Databricks notebookon:

  1. A jegyzetfüzetben kattintson a felül található számítási legördülő menüre, és válassza a Kiszolgáló nélküli GPU lehetőséget.
  2. Kattintson a Környezet ikonra. A Környezet oldalpanel megnyitásához.
  3. A Gyorsító mezőből válassza az A10-et.
  4. Az Alapkörnyezet területen válassza a Standard lehetőséget az AI-optimalizált környezet alapértelmezett környezetéhez vagy AI-hez előre telepített gépi tanulási (ML-) kódtárakkal.
  5. Kattintson az Alkalmaz gombra, majd győződjön meg arról , hogy az AI-futtatókörnyezetet a jegyzetfüzet-környezetre szeretné alkalmazni.

További részletekért lásd az AI futásidejű rendszert.

Magas memória, kiszolgáló nélküli számítás használata

Important

Ez a funkció nyilvános előzetes verzióban van.

Ha memóriahiány miatti hibákat tapasztal a notebookban, állítsa be a notebookot úgy, hogy nagyobb memóriaméretet használjon. Ez a memóriaméret-beállítás növeli a kód jegyzetfüzetben való futtatásakor használt REPL-memória méretét. Ez nem befolyásolja a Spark-munkamenet memóriaméretét. A magas memóriával rendelkező kiszolgáló nélküli használat magasabb DBU-kibocsátási sebességgel rendelkezik, mint a normál memória.

A rendelkezésre álló memóriabeállítások a következők:

  • Standard: 16 GB teljes memória.
  • Magas: 32 GB teljes memória.

A jegyzetfüzet memóriabeállításának konfigurálása:

  1. A jegyzetfüzet felületén kattintson a Környezet oldalsó panel környezet elemére.
  2. A Memóriaterületen válassza a Nagy memórialehetőséget.
  3. Kattintson az Alkalmaz gombra.

Ez a memóriabeállítás a jegyzetfüzet memóriabeállításai alapján futtatott jegyzetfüzet-feladatokra is vonatkozik. A jegyzetfüzet memóriabeállításának módosítása befolyásolja a következő feladat futtatását.

Kiszolgáló nélküli használati szabályzat kiválasztása

Important

Ez a funkció nyilvános előzetes verzióban van.

A kiszolgáló nélküli használati szabályzatok lehetővé teszik a szervezet számára, hogy egyéni címkéket alkalmazzanak a kiszolgáló nélküli használatra a részletes számlázási hozzárendeléshez.

Ha a munkaterület kiszolgáló nélküli használati szabályzatokat használ, válassza ki a jegyzetfüzetre alkalmazni kívánt szabályzatot. Ha egy felhasználó csak egy kiszolgáló nélküli használati szabályzathoz van hozzárendelve, ez a szabályzat alapértelmezés szerint érvényes.

Miután csatlakozott a kiszolgáló nélküli számításhoz, válasszon ki egy szabályzatot a Környezet oldalpanelen:

  1. A jegyzetfüzet felületén kattintson a Környezet oldalsó panel környezet elemére.
  2. A Kiszolgáló nélküli használati szabályzat területen válassza ki a jegyzetfüzetre alkalmazni kívánt kiszolgáló nélküli használati szabályzatot.
  3. Kattintson az Alkalmaz gombra.

Az alkalmazást követően a jegyzetfüzetek minden használata megkapja a szabályzat egyéni címkéit.

Note

Ha a jegyzetfüzet egy Git-adattárból származik, vagy nincs hozzárendelve kiszolgáló nélküli használati szabályzata, akkor a legutóbb kiválasztott kiszolgáló nélküli használati szabályzat lesz az alapértelmezett, amikor legközelebb a kiszolgáló nélküli számításhoz kapcsolódik.

A környezet belefoglalása a forrásfájl-exportálásba

A Python-jegyzetfüzetek esetében a környezeti konfigurációban a Include kapcsolót állíthatja be a forrásfájl-exportálásokban. Ha engedélyezve van, az alapkörnyezet és a függőségek PEP 723 formátumban vannak tárolva a forrásfájl-exportálásokban. Ez segít a környezet konfigurációjának megőrzésében, ha a jegyzetfüzeteket Git-mappákban tárolják, vagy forrásfájlokként töltik le.

Egy Standard v5-ös verziót használó jegyzetfüzet például beágyazott metaadatokként exportálja a környezetkonfigurációját a fájl tetején:

# Databricks notebook source
# /// script
# [tool.databricks.environment]
# environment_version = "5"
# ///
print("Hello World!")

Környezeti függőségek visszaállítása

Ha a jegyzetfüzet kiszolgáló nélküli számításhoz csatlakozik, a Databricks automatikusan gyorsítótárazza a jegyzetfüzet virtuális környezetének tartalmát. Ez azt jelenti, hogy egy meglévő jegyzetfüzet megnyitásakor általában nem kell újratelepítenie a Környezet oldalpanelen megadott Python függőségeket, még akkor sem, ha az inaktivitás miatt megszakadt.

Python virtuális környezet gyorsítótárazása a feladatokra is alkalmazható. Egy feladat futtatásakor minden olyan tevékenység, amely ugyanazon a futtatáson belül ugyanazt a függőségkészletet használja, mint egy befejezett tevékenység, gyorsabban befejeződik, mivel a gyorsítótár már tartalmazza a szükséges függőségeket.

Note

Ha módosítja egy kiszolgáló nélküli feladatban használt egyéni Python-csomag implementációját, a verziószámát is frissítenie kell, hogy a feladatok a legújabb implementációt tudják felvenni.

A környezeti gyorsítótár törléséhez és a kiszolgáló nélküli számításhoz csatolt jegyzetfüzet Környezet oldalpanelén megadott függőségek új telepítésének végrehajtásához kattintson az Alkalmaz gomb melletti nyílra, majd az Alapértékek visszaállítása parancsra.

Ha olyan csomagokat telepít, amelyek megszakítják vagy módosítják az alapjegyzetfüzetet vagy az Apache Spark-környezetet, távolítsa el a jogsértő csomagokat, majd állítsa alaphelyzetbe a környezetet. Az új munkamenet indítása nem törli a teljes környezeti gyorsítótárat.

Környezet konfigurálása feladatfeladatokhoz

Minden feladatfeladat egy elkülönített környezetben fut, amely tartalmazza az alapkörnyezetet és az Ön által megadott további kódtárakat. Az alapkörnyezet beállítja a Python és a Scala futtatókörnyezet verzióját és az előre telepített kódtárakat. A feladatok a környezeti verzióból öröklik a telepített kódtárak alapértelmezett készletét. A tartalom megtekintéséhez tekintse meg az Ön által használt környezeti verzióTelepített Python-könyvtárak vagy Telepített Java- és Scala-könyvtárak szakaszát.

Az előre telepített kódtárakat kiegészítheti munkaterületfájlokból, Unity-katalóguskötetekből vagy nyilvános csomagtárakból származó kódtárakkal. Futásidőben csak a tevékenységhez szükséges függőségek vannak telepítve.

A környezeti változók átviteléhez az alkalmazáskódhoz a feladatokban lásd: Környezeti változók konfigurálása szerver nélküli feladatokhoz.

Important

A felügyelt alapkörnyezet kiválasztása bétaverzióban történik. A Környezet konfigurálása párbeszédpanel Alapkörnyezet legördülő menüjében kiválaszthatja a Databricks által biztosított környezeteket (például Standard és ML) vagy a munkaterület által konfigurált környezeteket. A funkció nélkül a párbeszédpanel ehelyett egy környezeti verzió legördülő menüjét jeleníti meg. A munkaterület rendszergazdái az Előnézetek lapon engedélyezhetik ezt a funkciót.

A Környezet konfigurálása párbeszédpanel, amelyen a Databricks-környezetek és a Munkaterület-környezetek szakaszokkal kibontott Alapkörnyezet legördülő lista látható

A környezet konfigurálása tevékenységtípus szerint

A feladatok környezeteinek konfigurálása a tevékenység típusától függ:

Jegyzetfüzet feladatai

A jegyzetfüzet-feladatok alapértelmezés szerint a Notebook Environment környezetet használják, amely a jegyzetfüzet saját konfigurált alapkörnyezetét és függőségeit használja. Ezt feladatszintű környezettel felülbírálhatja.

Környezet és tárak legördülő lista egy jegyzetfüzet-feladathoz a Notebook Environment és a Jobs Environment beállításaival

Feladatszintű környezet konfigurálása:

  1. A feladatkonfigurációban kattintson a Környezet és tárak legördülő menüre.
  2. A Feladatok környezetben kattintson az Alapértelmezett melletti ceruza ikonra, vagy kattintson az + Új feladatok környezet hozzáadása elemre.
  3. A Környezet konfigurálása párbeszédpanelen válassza az Alapkörnyezet legördülő menüből:
    • Databricks-környezetek: Azure Databricks által biztosított lehetőségek, például Standard és ML.
    • Munkaterület-környezetek: A munkaterület rendszergazdája által konfigurált egyéni környezetek. Lásd: Munkaterületi alapkörnyezetek kezelése.
    • További információ: Korábbi verziók és egyéni (yaML-fájl megadása).
  4. A Függőségek csoportban adjon hozzá további kódtárakat. A tárat bármilyen formátumban megadhatja, amely érvényes egy requirements.txt fájlban, vagy használhatja a munkaterületfájl vagy a Unity Catalog-kötet abszolút elérési útját.
  5. Kattintson a Megerősítés gombra.

Note

Ha a munkaterületen nincs engedélyezve a munkaterület alapkörnyezete a feladatok előzetes verziójához, a Környezet konfigurálása párbeszédpanelen a Környezet verziója legördülő menü jelenik meg az Alapkörnyezet helyett.

A környezet konfigurálásához válasszon ki egy verziót, majd kattintson a + Tár hozzáadása elemre. Megadhatja egy /Workspace/-val kezdődő munkaterületi fájl elérési útját, egy /Volumes/-gyel kezdődő Unity Catalog-kötet elérési útját vagy egy requirementsfájl-hivatkozást (például: -r /Workspace/path/to/requirements.txt).

Python szkript és Python kerekes feladatok

Python szkriptek és Python kerekes feladatok környezet konfigurálását igénylik.

Environment and Libraries szakasz egy Python kerekes feladathoz a függőség hozzáadása hivatkozással

  1. A feladatkonfiguráció Környezet és tárak területén kattintson a + Függőség hozzáadása elemre.
  2. A Környezet konfigurálása párbeszédpanelen válassza az Alapkörnyezet legördülő menüből:
    • Databricks-környezetek: Azure Databricks által biztosított lehetőségek, például Standard és ML.
    • Munkaterület-környezetek: A munkaterület rendszergazdája által konfigurált egyéni környezetek. Lásd: Munkaterületi alapkörnyezetek kezelése.
    • További információ: Korábbi verziók és egyéni (yaML-fájl megadása).
  3. A Függőségek csoportban adjon hozzá további kódtárakat.
  4. Kattintson a Megerősítés gombra.

Note

Ha a munkaterületen nincs engedélyezve a munkaterület alapkörnyezete a feladatok előzetes verziójához, a Környezet konfigurálása párbeszédpanelen a Környezet verziója legördülő menü jelenik meg az Alapkörnyezet helyett.

A környezet konfigurálásához válasszon ki egy verziót, majd kattintson a + Tár hozzáadása elemre. Megadhatja egy /Workspace/-val kezdődő munkaterületi fájl elérési útját, egy /Volumes/-gyel kezdődő Unity Catalog-kötet elérési útját vagy egy requirementsfájl-hivatkozást (például: -r /Workspace/path/to/requirements.txt).

Dbt-feladatok

A DBT-feladatok feladatszintű környezetet használnak a tárkonfigurációhoz.

Egy dbt-feladathoz tartozó Környezet és könyvtárak legördülő menü, amely a Feladatkörnyezet beállításait mutatja

Feladatszintű környezet konfigurálása:

  1. A feladatkonfigurációban kattintson a Környezet és tárak legördülő menüre.
  2. A Feladatok környezetben kattintson egy meglévő környezet melletti ceruza ikonra, vagy kattintson az + Új feladatok környezet hozzáadása elemre.
  3. A Környezet konfigurálása párbeszédpanelen válassza az Alapkörnyezet legördülő menüből:
    • Databricks-környezetek: Azure Databricks által biztosított lehetőségek, például Standard és ML.
    • Munkaterület-környezetek: A munkaterület rendszergazdája által konfigurált egyéni környezetek. Lásd: Munkaterületi alapkörnyezetek kezelése.
    • További információ: Korábbi verziók és egyéni (yaML-fájl megadása).
  4. A Függőségek csoportban adjon hozzá további kódtárakat. A tárat bármilyen formátumban megadhatja, amely érvényes egy requirements.txt fájlban, vagy használhatja a munkaterületfájl vagy a Unity Catalog-kötet abszolút elérési útját.
  5. Kattintson a Megerősítés gombra.

Note

Ha a munkaterületen nincs engedélyezve a munkaterület alapkörnyezete a feladatok előzetes verziójához, a Környezet konfigurálása párbeszédpanelen a Környezet verziója legördülő menü jelenik meg az Alapkörnyezet helyett.

A környezet konfigurálásához válasszon ki egy verziót, majd kattintson a + Tár hozzáadása elemre. Megadhatja egy /Workspace/-val kezdődő munkaterületi fájl elérési útját, egy /Volumes/-gyel kezdődő Unity Catalog-kötet elérési útját vagy egy requirementsfájl-hivatkozást (például: -r /Workspace/path/to/requirements.txt).

JAR feladatok

A munkaterület alapkörnyezetei nem támogatottak a JAR-feladatokhoz. Jar-feladat környezetének konfigurálása:

A JAR-feladat Környezet és könyvtárak szakasza, amely megjeleníti a JAR-függőség hozzáadása hivatkozást

  1. A feladatkonfiguráció Környezet és tárak területén kattintson a + JAR-függőség hozzáadása elemre.
  2. A Környezet konfigurálása párbeszédpanelen:
    • Ha szeretné, adjon meg egy YAML-fájl elérési útját az Alapkörnyezet mezőben.
    • Válasszon ki egy környezeti verziót a Környezeti verzió legördülő menüből.
    • A JAR-függőségek csoportban adja hozzá az elérési utakat a JAR-fájlokhoz.
  3. Kattintson a Megerősítés gombra.

Egyéni YAML-alapú alapkörnyezet létrehozásához tekintse meg az egyéni környezet specifikációját.

Környezet és számítási kompatibilitás

A kiválasztott alapkörnyezetnek kompatibilisnek kell lennie a tevékenység számítási típusával. A GPU-számításhoz készült környezet például nem kompatibilis a CPU-számítással. A feladatok felhasználói felületén az inkompatibilis környezetek nem érhetők el az alapkörnyezet legördülő menüjében.

Jegyzetfüzet-feladat konfigurálásakor a számítási típus (CPU vagy GPU) és az alapkörnyezet mindegyike a feladatbeállításokból vagy a jegyzetfüzet beállításaiból származhat.

  • Ha a feladat szintjén állít be egy hardvergyorsítót (GPU), akkor a feladat szintjén is ki kell választania egy alapkörnyezetet. A jegyzetfüzet környezetét nem használhatja feladatszintű gyorsítóval.
  • Ha olyan feladatokkal rendelkezik, amelyek egy jegyzetfüzetre hivatkoznak, és frissíti a hivatkozott jegyzetfüzet számítási típusát (például processzorról GPU-ra), a meglévő tevékenységek nem kompatibilisek lesznek a konfigurált környezettel. A jegyzetfüzet számítási konfigurációjának módosítása után tekintse át a feladat környezeti beállításait.
  • API-felhasználók számára: ha az alapkörnyezetet a feladat szintjén állítja be, de a jegyzetfüzet határozza meg a számítási típust, Azure Databricks futásidőben ellenőrzi a kompatibilitást, nem pedig a feladat létrehozásakor. Ha a konfiguráció nem kompatibilis, a futtatás hiba miatt meghiúsul.
  • Last updated on