Függőségek kezelése környezetek segítségével

Important

Ez a funkció bétaverzióban érhető el. A fiókadminisztrátorok a fiókkonzol Előnézetek oldalán található Környezetek a Standard Compute-hoz kapcsolóval szabályozhatják az ehhez a funkcióhoz való hozzáférést. Lásd: Az Azure Databricks előzetes verziójának kezelése.

Klasszikus számítástechnikán a Környezetfüggőség mód lehetővé teszi, hogy a függőségeket a munkaterhelés szintjén alap környezetekkel kezeld a számítógép-hatókörű könyvtárak telepítése helyett. Ez ugyanaz a modell, amit a szerver nélküli számítás használ.

A környezeti beállítások elkülönülnek a számítási erőforrások szintjén történő változásoktól, így a munkaterhelések nem hibásodnak meg, amikor az alapul szolgáló számítási erőforrások megváltoznak. És mivel az Azure Databricks gyorsítótárban tárolja az alapkörnyezeteket, a függőségek feloldása és telepítése nem az indításkor történik, így a számítási erőforrás gyorsabban elindul, és elkerülhetők a csomagfüggőségek feloldásából, a csomagtárolók elérhetőségéből vagy a hálózat megbízhatóságából eredő hibák.

Miután csatlakoztál egy olyan számításhoz, amely a Környezetfüggőségi módot használja, kiválaszthatsz egy alap környezetet, és hozzáadhatsz függőségeket a notebook Környezet oldaltáblájából. Lásd a következőt: Környezetek használata a jegyzetfüzetben.

Requirements

A függőségi mód beállítása csak olyan számítások esetén érhető el, amely megfelel az alábbi követelményeknek:

• Databricks Runtime 19 (Beta) vagy annál magasabb
• Szabványos hozzáférési mód
• Átfogó számítási futtatás interaktív jegyzetfüzetekben

A támogatási részletekért lásd : Korlátozások.

Állítsd be a függőségi módot

Olyan számítástechnika létrehozása, amely a Környezetek függőségi módját használja:

1. A munkaterület oldalsávján , majd nyisd meg az All-purpose compute fület.

2. Kattintson a Számítás létrehozása gombra.

3. A Teljesítmény menüben válassz 19 Beta vagy annál magasabb verziót a Databricks Runtime verzió legördülő menüjéből.

4. Bővítsd ki a Haladó részt, majd kattints a Dependencies gombra.

5. Függőségi mód esetén hagyd kijelölve az Auto lehetőséget, hogy az Azure Databricks határozza meg a módot, vagy kattints a Manual lehetőségre, és válaszd a Environments lehetőséget, hogy te magad állítsd be. Lásd Függőségi mód opciókat.

   

6. Konfiguráld a számítás többi részét, majd kattints a Létrehozásra.

Miután a compute elindult, csatolj egy notebookot, és konfiguráld a környezetét a Környezetek használata a notebookban című részben leírtak szerint.

Függőségi mód opciók

A Függőségi mód vezérlőelemnek két beállítása van, amelyek meghatározzák, hogyan kerül kiválasztásra a mód:

• Auto: Azure Databricks a számítási konfiguráció alapján oldja meg a módot. Az Auto alapértelmezetten a Környezetek beállítást használja, kivéve, ha a számítási erőforrás Docker-, Spark-környezeti változókat vagy inicializáló parancsfájlokat ad meg; ebben az esetben a Klaszterkönyvtárak beállítást használja.
• Kézikönyv: Magad választod ki a Környezeteket vagy a Klaszterkönyvtárokat .

Amikor a Manual-t választod, válaszd ki az igényeidnek megfelelő módot:

• Környezetek: A terhelés szintjén kezeli függőségeket alap környezetek segítségével. A klaszterkönyvtárak, Docker, Spark környezeti változók és init szkriptek le vannak tiltva. Használd ezt a módot egy következetes, hordozható függőségi élményért, amely megfelel a szerver nélküli számításnak.
• Klaszterkönyvtárak: A klasszikus viselkedés. Telepítsd a dependenciákat a számításra klaszterkönyvtárakkal, init szkriptekkel vagy Dockerrel. Használd ezt a módot, ha a munkaterhelésed megköveteli ezeket a beállításokat.

Frissíts egy meglévő számítást

Ha a meglévő számítási beállításokat szerkeszted, a Környezet módra váltás blokkolódik, ha a számítás nem kompatibilis beállításokkal rendelkezik, például init szkriptekkel, klaszterkönyvtáraktal vagy Dockerrel. Ha először eltávolítod az inkompatibilis beállításokat, akkor szerkesztheted a függőségi módot.

Ha a Környezet módból Klaszter könyvtárak módra váltasz, a csatolt jegyzetfüzetek megőrzik a környezeti választásaikat, de ezek inaktívak lesznek. Ha visszakapcsolod a számítást Környezetek módba, ezek a választások újra aktívvá válnak.

Használj környezeteket egy jegyzetfüzetben

A környezetek használatához egy jegyzetfüzetben csatlakoztatjuk a jegyzetfüzetet egy klasszikus számítási erőforráshoz, amely a Környezetek függőségi módját használja. Miután csatlakoztattad a jegyzetfüzetet, konfigurálhatod a jegyzetfüzet függőségeit a Környezet oldali , ugyanúgy, ahogy szerver nélküli számítás esetén.

Válassz egy alapkörnyezetet

Az alapértelmezett környezet határozza meg, hogy mely előre telepített könyvtárak és mely környezeti verzió érhető el a notebookjához. A Környezet oldalpanel alapkörnyezet-választója az, ahol a környezetet választja. A Databricks azt javasolja, hogy a legújabb verzióval szerezze be a up-to-date jegyzetfüzet funkcióit. Az egyes környezeti verziók részleteihez lásd a Környezeti verziók menüpontot.

Az Alapkörnyezet-választó a következő beállításokat tartalmazza:

• Standard: Az alapértelmezett alapkörnyezet a Databricks által biztosított kódtárakkal.
• ML: Egy alapkörnyezet a Databricks Runtime for Machine Learning előre telepített Python- és rendszercsomagjaival.
• További információ: További lehetőségek megjelenítése:
  • A Standard és ML környezetek korábbi verziói.
  • Egyéni: Egyéni környezet megadása YAML-fájllal.
• Munkaterületi környezetek: Felsorolja az összes kompatibilis alapkörnyezetet, amelyet a munkaterület adminjei konfiguráltak a munkaterületedhez.

Függőségek hozzáadása a jegyzetfüzethez

Azure Databricks gyorsítótárazza a jegyzetfüzet virtuális környezetét, így a függőségek nem lesznek újratelepítve minden alkalommal, amikor újra megnyitja a jegyzetfüzetet, vagy inaktivitás után folytatja.

Egy függőség egyenkénti telepítéséhez:

1. A Függőségek szakaszban írd be a függőség útját a mezőbe, majd kattints a +Függőség hozzáadására. A függőségeket bármilyen formátumban megadhatja, amely érvényes egy requirements.txt fájlban. Python kerékfájlok vagy Python projektek (például könyvtár, amely pyproject.toml vagy setup.py tartalmaz) elhelyezhetők a munkaterület fájljai között vagy Unity Catalog kötetekben is.

   • Munkaterületfájl használata esetén az elérési útnak abszolútnak kell lennie, és a következővel /Workspace/kell kezdődnie:
   • Ha egy fájlt használ a Unity-katalógus kötetében, az elérési útnak a következő formátumban kell lennie: /Volumes/<catalog>/<schema>/<volume>/<path>.whl.

2. Kattintson a Apply gombra a függőségek telepítéséhez és a Python folyamat újraindításához.

Important

Ne telepítsd a PySparkot vagy bármely olyan könyvtárat, amely a PySparkot a notebookodhoz való függőségként telepíti. Ezzel leállítja a munkamenetet, és hibát eredményez. Ha ez történik, távolítsd el a könyvtárat és állítsd vissza a környezetedet.

A telepített függőségek megtekintéséhez kattintson a Környezet oldalablak Telepített fülére. Nyissa meg a jegyzetfüzet-környezet piptelepítési naplóit a panel alján található pipnaplókra kattintva.

Limitations

A Környezetfüggőség mód támogatja a Python munkaterheléseket és függőségeket interaktív jegyzetfüzetekben. A következő korlátozások érvényesek:

• A klasszikus munkák nem használják a Környezetfüggőség módot. Amikor egy munka klasszikus, mindencélú számításon fut, amely meghatározza a Környezet módot, a beállítást figyelmen kívül hagyják, és a feladat inkább Klaszterkönyvtárak módban fut.
• %scala A kód nem támogatott, és meghibásodik.
• Minden szabványos hozzáférési mód korlátozás érvényes, beleértve az R támogatásának hiányát is. Lásd a Standard számítási követelményeket és korlátozásokat.
• Jelenleg nem tudod kikényszeríteni a függőségi mód beállításokat számítási szabályzatokkal.

Inkompatibilis beállítások

Amikor a Környezetfüggőségi mód engedélyezve van, a következő számítási beállítások letilthatók:

• Docker (Azure Databricks Container Services)
• Spark környezeti változók
• Inicializáló szkriptek
• Fürtkönyvtárak