Függőségek kezelése környezetek segítségével

Important

Ez a funkció bétaverzióban érhető el. A fiókadminisztrátorok a fiókkonzol Előnézetek oldalán található Környezetek a Standard Compute-hoz kapcsolóval szabályozhatják az ehhez a funkcióhoz való hozzáférést. Lásd: Az Azure Databricks előzetes verziójának kezelése.

Egy klasszikus számítási erőforrásnál, amely a Környezetek függőségi módját használja, a függőségeket a munkaterhelés szintjén kezeled alapkörnyezetek használatával, nem pedig számítási területű könyvtárakat telepítenél.

A környezeti beállítások elkülönülnek a számítási erőforrások szintjén történő változásoktól, így a munkaterhelések nem hibásodnak meg, amikor az alapul szolgáló számítási erőforrások megváltoznak. És mivel az Azure Databricks gyorsítótárban tárolja az alapkörnyezeteket, a függőségek feloldása és telepítése nem az indításkor történik, így a számítási erőforrás gyorsabban elindul, és elkerülhetők a csomagfüggőségek feloldásából, a csomagtárolók elérhetőségéből vagy a hálózat megbízhatóságából eredő hibák.

Egy klasszikus számítási erőforráshoz csatlakoztatott jegyzetfüzetben, amely a Környezetek függőségi módot használja, válassz egy alap környezetet, és adj hozzá függőségeket a jegyzetfüzet Környezet oldaltáblájából. A feladatfeladatokhoz konfigurációs függőségeket munkakörnyezet specifikációval konfigurálhat.

Requirements

A függőségi mód beállítása csak olyan számítások esetén érhető el, amely megfelel az alábbi követelményeknek:

• Databricks Runtime 19 (Beta) vagy annál magasabb
• Szabványos hozzáférési mód
• Mindencélú számítás vagy klasszikus feladatok számítás

A támogatási részletekért lásd : Korlátozások.

Állítsd be a függőségi módot

Egy klasszikus számítási erőforrás létrehozásához, amely a Környezetek függőségi módját használja:

1. A munkaterület oldalsávján , majd nyisd meg az All-purpose compute fület.

2. Kattintson a Számítás létrehozása gombra.

3. A Teljesítmény menüben válassz 19 Beta vagy annál magasabb verziót a Databricks Runtime verzió legördülő menüjéből.

4. Bővítsd ki a Haladó részt, majd kattints a Dependencies gombra.

5. Függőségi mód esetén hagyd kijelölve az Auto lehetőséget, hogy az Azure Databricks határozza meg a módot, vagy kattints a Manual lehetőségre, és válaszd a Environments lehetőséget, hogy te magad állítsd be. Lásd Függőségi mód opciókat.

   

6. Konfiguráld a számítás többi részét, majd kattints a Létrehozásra.

Miután a compute elindult, csatolj egy notebookot, és konfiguráld a környezetét a Környezetek használata a notebookban című részben leírtak szerint.

Függőségi mód opciók

A Függőségi mód vezérlőelemnek két beállítása van, amelyek meghatározzák, hogyan kerül kiválasztásra a mód:

• Auto: Azure Databricks a számítási konfiguráció alapján oldja meg a módot. Az Auto alapértelmezetten a Környezetek beállítást használja, kivéve, ha a számítási erőforrás Docker-, Spark-környezeti változókat vagy inicializáló parancsfájlokat ad meg; ebben az esetben a Klaszterkönyvtárak beállítást használja.
• Kézikönyv: Magad választod ki a Környezeteket vagy a Klaszterkönyvtárokat .

Amikor a Manual-t választod, válaszd ki az igényeidnek megfelelő módot:

• Környezetek: A terhelés szintjén kezeli függőségeket alap környezetek segítségével. A klaszterkönyvtárak, Docker, Spark környezeti változók és init szkriptek le vannak tiltva. Ezt a módot használd arra, hogy minden munkaterheléshez függségeket izolálj.
• Klaszterkönyvtárak: A klasszikus viselkedés. Telepítsd a dependenciákat a számításra klaszterkönyvtárakkal, init szkriptekkel vagy Dockerrel. Használd ezt a módot, ha a munkaterhelésed megköveteli ezeket a beállításokat.

Frissíts egy meglévő számítást

Ha a meglévő számítási beállításokat szerkeszted, a Környezet módra váltás blokkolódik, ha a számítás nem kompatibilis beállításokkal rendelkezik, például init szkriptekkel, klaszterkönyvtáraktal vagy Dockerrel. Ha először eltávolítod az inkompatibilis beállításokat, akkor szerkesztheted a függőségi módot.

Ha a Környezet módból Klaszter könyvtárak módra váltasz, a csatolt jegyzetfüzetek megőrzik a környezeti választásaikat, de ezek inaktívak lesznek. Ha visszakapcsolod a számítást Környezetek módba, ezek a választások újra aktívvá válnak.

Használj környezeteket egy jegyzetfüzetben

A környezetek használatához egy jegyzetfüzetben csatlakoztatjuk a jegyzetfüzetet egy klasszikus számítási erőforráshoz, amely a Környezetek függőségi módját használja. Miután csatlakoztattad a jegyzetfüzetet, konfiguráld a jegyzetfüzet függőségeit a Környezet oldali .

Válassz egy alapkörnyezetet

Az alapértelmezett környezet határozza meg, hogy mely előre telepített könyvtárak és mely környezeti verzió érhető el a notebookjához. A Környezet oldalpanel alapkörnyezet-választója az, ahol a környezetet választja. A Databricks azt javasolja, hogy a legújabb verzióval szerezze be a up-to-date jegyzetfüzet funkcióit. Az egyes környezeti verziók részleteihez lásd a Környezeti verziók menüpontot.

Az Alapkörnyezet-választó a következő beállításokat tartalmazza:

• Standard: Az alapértelmezett alapkörnyezet a Databricks által biztosított kódtárakkal.
• ML: Egy alapkörnyezet a Databricks Runtime for Machine Learning előre telepített Python- és rendszercsomagjaival.
• További információ: További lehetőségek megjelenítése:
  • A Standard és ML környezetek korábbi verziói.
  • Egyéni: Egyéni környezet megadása YAML-fájllal.
• Munkaterületi környezetek: Felsorolja az összes kompatibilis alapkörnyezetet, amelyet a munkaterület adminjei konfiguráltak a munkaterületedhez.

Függőségek hozzáadása a jegyzetfüzethez

Azure Databricks gyorsítótárazza a jegyzetfüzet virtuális környezetét, így a függőségek nem lesznek újratelepítve minden alkalommal, amikor újra megnyitja a jegyzetfüzetet, vagy inaktivitás után folytatja.

Egy függőség egyenkénti telepítéséhez:

1. A Függőségek szakaszban írd be a függőség útját a mezőbe, majd kattints a +Függőség hozzáadására. A függőségeket bármilyen formátumban megadhatja, amely érvényes egy requirements.txt fájlban. Python kerékfájlok vagy Python projektek (például könyvtár, amely pyproject.toml vagy setup.py tartalmaz) elhelyezhetők a munkaterület fájljai között vagy Unity Catalog kötetekben is.

   • Munkaterületfájl használata esetén az elérési útnak abszolútnak kell lennie, és a következővel /Workspace/kell kezdődnie:
   • Ha egy fájlt használ a Unity-katalógus kötetében, az elérési útnak a következő formátumban kell lennie: /Volumes/<catalog>/<schema>/<volume>/<path>.whl.

2. Kattintson a Apply gombra a függőségek telepítéséhez és a Python folyamat újraindításához.

Important

Ne telepítsd a PySparkot vagy bármely olyan könyvtárat, amely a PySparkot a notebookodhoz való függőségként telepíti. Ezzel leállítja a munkamenetet, és hibát eredményez. Ha ez történik, távolítsd el a könyvtárat és állítsd vissza a környezetedet.

A telepített függőségek megtekintéséhez kattintson a Környezet oldalablak Telepített fülére. Nyissa meg a jegyzetfüzet-környezet piptelepítési naplóit a panel alján található pipnaplókra kattintva.

Környezetek használata a munkában

Olyan feladatfeladatoknál, amelyek egy klasszikus számítási erőforráson futnak, amely a Környezetek függőségi módját használja, konfiguráljuk a függőségeket egy munkakörnyezet specifikációval. A munkakörnyezet meghatározza az alapkörnyezetet és azokat a további függőségeket, amelyekre egy vagy több feladat hivatkozhat.

Egy munkafeladathoz való környezet konfigurálásához teljesítse a következő lépéseket:

1. Hozz létre vagy szerkesszek egy feladatot egy munkahelyen.
2. A Compute menüben válassz egy meglévő klasszikus számítási erőforrást, amely a Környezetek függőségi módját használja, vagy adj hozzá klasszikus feladatokat számításban.
3. Ha hozzáadod a klasszikus feladatok számítását, bővítsd az Advanced funkciót.
4. Kattintson a Függőségek elemre.
5. A Dependency mode beállításnál válaszd a Manual és az Environments lehetőséget, vagy hagyd meg az Auto beállítást, ha az Environments értékre oldódik fel.
6. A Környezet és könyvtárak alatt a feladatkonfigurációban konfigurálj egy környezetet a feladathoz. Az egyes feladattípusokhoz elérhető lehetőségekről lásd: A környezet konfigurálása a feladatokhoz.

Azok a feladatok, amelyek egy klasszikus számítási erőforráson futnak, amely a Környezetfüggőségi módot használja, nem támogatják a Függő könyvtárak feladatbeállítását. Inkább adj hozzá függőségeket a környezethez.

Limitations

A Környezetfüggőség mód támogatja a Python munkaterhelést és függőségeket interaktív jegyzetfüzetekben és munkafeladatokban. A következő korlátozások érvényesek:

• A Spark JAR feladatokat nem támogatják egy klasszikus számítási erőforrás, amely a Környezetek függőségi módját használja.
• A kód futtatása %scala nem működik.
• Minden szabványos hozzáférési mód korlátozás érvényes, beleértve az R támogatásának hiányát is. Lásd a Standard számítási követelményeket és korlátozásokat.

Inkompatibilis beállítások

Amikor a Környezetfüggőségi mód engedélyezve van, a következő számítási beállítások letilthatók:

• Docker (Azure Databricks Container Services)
• Spark környezeti változók
• Inicializáló szkriptek
• Fürtkönyvtárak