Munkaterület-csomagok
A munkaterület-csomagok lehetnek egyéni vagy privát kerék (Python), jar (Scala/Java) vagy tar.gz (R) fájlok. Ezeket a csomagokat feltöltheti a munkaterületre, és később hozzárendelheti őket egy adott Spark-készlethez.
Munkaterület-csomagok hozzáadása:
- Lépjen aMunkaterület-csomagokkezelése> lapra.
- Töltse fel a kerékfájlokat a fájlválasztó használatával.
- Miután feltöltötte a fájlokat a Azure Synapse munkaterületre, hozzáadhatja ezeket a csomagokat egy adott Apache Spark-készlethez.
Figyelmeztetés
A Azure Synapse-ben az Apache Spark-készletek olyan egyéni kódtárakat használhatnak, amelyek munkaterület-csomagokként vannak feltöltve, vagy egy jól ismert Azure Data Lake Storage elérési úton vannak feltöltve. Mindkét lehetőség azonban nem használható egyszerre ugyanabban az Apache Spark-készletben. Ha a csomagok mindkét módszerrel vannak megadva, csak a Munkaterület-csomagok listában megadott kerékfájlok lesznek telepítve.
Ha a Munkaterület-csomagok használatával telepít csomagokat egy adott Apache Spark-készletre, van egy korlátozás, amely miatt már nem adhatók meg csomagok ugyanazon a készleten a Tárfiók elérési útján.
Megjegyzés
Javasoljuk, hogy ne használjon több azonos nevű kerékcsomagot a munkaterületen. Ha ugyanannak a kerékcsomagnak egy másik verzióját szeretné használni, törölnie kell a meglévő verziót, és fel kell töltenie az újat.
Tárfiók
Az egyénileg létrehozott kerékcsomagok az Apache Spark-készletre telepíthetők úgy, hogy feltöltik az összes kerékfájlt a Synapse-munkaterülethez csatolt Azure Data Lake Storage (Gen2) fiókba.
A fájlokat a tárfiók alapértelmezett tárolójában a következő elérési útra kell feltölteni:
abfss://<file_system>@<account_name>.dfs.core.windows.net/synapse/workspaces/<workspace_name>/sparkpools/<pool_name>/libraries/python/
Figyelmeztetés
- Bizonyos esetekben előfordulhat, hogy létre kell hoznia a fájl elérési útját a fenti struktúra alapján, ha még nem létezik. Előfordulhat például, hogy hozzá kell adnia a
python
mappát alibraries
mappához, ha még nem létezik. - Az egyéni kerékfájlok kezelésének ez a módszere nem támogatott az Apache Spark 3.0-hoz készült Azure Synapse Runtime-on. Az egyéni kerékfájlok kezeléséhez tekintse meg a Munkaterület-csomagok funkciót.
Fontos
Ha egyéni kódtárakat szeretne telepíteni az Azure DataLake Storage metódussal, a Storage-blobadatok közreműködője vagy a Storage-blobadatok tulajdonosa engedéllyel kell rendelkeznie a Azure Synapse Analytics-munkaterülethez csatolt elsődleges Gen2 Storage-fiókon.
Következő lépések
- Az alapértelmezett kódtárak megtekintése: Apache Spark-verzió támogatása
- Könyvtártelepítési hibák elhárítása: Kódtárhibák elhárítása
- Privát Conda-csatorna létrehozása a Azure Data Lake Storage-fiókjával: Privát Conda-csatornák