Könyvtárak telepítése objektumtárolóból

Ez a cikk végigvezeti a kódtárak felhőbeli objektumtárolóból Azure Databricks való telepítéséhez szükséges lépéseken.

Feljegyzés

Ez a cikk a felhő alapú objektumtárolás általános fogalomként történő alkalmazására hivatkozik, és feltételezi, hogy az objektumtárolóban tárolt adatokkal közvetlenül az URI-k segítségével lép kapcsolatba. A Databricks a Unity Catalog-kötetek használatát javasolja a felhőobjektum-tárolóban lévő fájlokhoz való hozzáférés konfigurálásához. Lásd Mik azok a Unity Catalog-kötetek?.

Az egyéni JAR- és Python Whl-kódtárakat a felhőobjektum-tárolóban tárolhatja ahelyett, hogy azokat a DBFS-gyökérben tárolna. A teljes könyvtárkompatibilitási részleteket a számítási hatókörű kódtárakban találja.

Fontos

A kódtárak a DBFS-ből telepíthetők a Databricks Runtime 14.3 LTS és korábbi verziói használatakor. A munkaterület bármely felhasználója módosíthatja azonban a DBFS-ben tárolt kódtárfájlokat. A tárak Azure Databricks munkaterületen való biztonságának javítása érdekében a tárfájlok dbFS-gyökérben való tárolása alapértelmezés szerint elavult és le van tiltva a Databricks Runtime 15.1-ben és újabb verzióiban. Lásd: A tárak tárolása a DBFS-gyökérben alapértelmezés szerint elavult és le van tiltva.

Ehelyett a Databricks javasolja, hogy töltsük fel az összes könyvtárat, beleértve a Python könyvtárakat, JAR-fájlokat és Spark-összekötőket, a munkaterület fájljaiba vagy a Unity Catalog-kötetekbe, vagy használják a tárcsomag adattárakat. Ha a számítási feladat nem támogatja ezeket a mintákat, a felhőobjektum-tárolóban tárolt kódtárakat is használhatja.

Tárak betöltése objektumtárolóba

Az objektumtárolóba ugyanúgy betölthet könyvtárakat, mint más fájlokat. A felhőszolgáltatóban megfelelő engedélyekkel kell rendelkeznie új objektumtárolók létrehozásához vagy fájlok felhőbeli objektumtárolóba való betöltéséhez.

Olvasási jogok megadása az objektumtárolóhoz

A Databricks azt javasolja, hogy a könyvtár telepítésével kapcsolatos összes jogosultságot írásvédett engedélyekkel konfigurálja.

Azure Databricks lehetővé teszi, hogy biztonsági engedélyeket rendeljen hozzá az egyes fürtökhöz, amelyek szabályozzák az adatokhoz való hozzáférést a felhőobjektum-tárolóban. Ezek a szabályzatok bővíthetők, így írásvédett hozzáférést adhatnak a könyvtárakat tartalmazó felhőalapú objektumtárolóhoz.

Feljegyzés

A Databricks Runtime 12.2 LTS-ben és az alábbi verziókban nem tölthet be JAR-kódtárakat standard hozzáférési módú fürtök (korábban megosztott hozzáférési mód) használatakor. A Databricks Runtime 13.3 LTS-ben és újabb verziókban JAR-kódtárakat kell hozzáadnia a Unity Catalog engedélyezési listájához. Lásd a standard hozzáférési módú (korábban megosztott hozzáférési módú) számítógép engedélyezési könyvtárakat és initszkripteket.

A Databricks a Microsoft Entra ID szolgáltatás megbízottak használatát javasolja az Azure Data Lake Storage-ban tárolt kódtárakhoz való hozzáférés kezeléséhez. A beállítás elvégzéséhez használja a következő csatolt dokumentációt:

1. Hozzon létre egy szolgáltatásnévlegesítőt olvasási és listaengedélyekkel a kívánt blobokon. Lásd : Csatlakozás az Azure Data Lake Storage-hoz és a Blob Storage-hoz.

2. Mentse a hitelesítő adatait titkos kulcsok használatával. Lásd: Titkos kódok kezelése.

3. A klaszter létrehozásakor állítsa be a tulajdonságokat a Spark-konfigurációban és a környezeti változókban, ahogyan az alábbi példában látható.

   Spark-konfiguráció:

   spark.hadoop.fs.azure.account.auth.type.<storage-account>.dfs.core.windows.net OAuth
   spark.hadoop.fs.azure.account.oauth.provider.type.<storage-account>.dfs.core.windows.net org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider
   spark.hadoop.fs.azure.account.oauth2.client.id.<storage-account>.dfs.core.windows.net <application-id>
   spark.hadoop.fs.azure.account.oauth2.client.secret.<storage-account>.dfs.core.windows.net {{secrets/<secret-scope>/<service-credential-key>}}
   spark.hadoop.fs.azure.account.oauth2.client.endpoint.<storage-account>.dfs.core.windows.net https://login.microsoftonline.com/<tenant-id>/oauth2/token
   

   Környezeti változók:

   SERVICE_CREDENTIAL={{secrets/<secret-scope>/<service-credential-key>}}
   

4. (Nem kötelező) Inicializáló szkriptek újrabontása azcopy vagy a Azure CLI használatával.

   Hivatkozhat a fürtkonfiguráció során beállított környezeti változókra az init-szkripteken belül, hogy átadja a titokként tárolt hitelesítő adatokat az ellenőrzéshez.

Könyvtár telepítése fürtökre

Ha felhőbeli objektumtárolóban tárolt kódtárat szeretne telepíteni egy fürtre, hajtsa végre az alábbi lépéseket:

1. Válasszon ki egy klasztert a klaszterek felületén található listából.
2. Válassza a Könyvtárak lapot.
3. Válassza a Fájl elérési útja/ADLS lehetőséget.
4. Adja meg a tárobjektum teljes URI-elérési útját (például abfss://container-name@storage-account-name.dfs.core.windows.net/path/to/library.whl).
5. Kattintson az Install (Telepítés) gombra.

A kódtárakat a REST API-val vagy a parancssori felülettel is telepítheti.

Könyvtárak telepítése jegyzetfüzetekbe

A %pip használatával telepítheti az objektumtárolóban tárolt egyéni Python kerékfájlokat egy jegyzetfüzet által elkülönített SparkSession-ra. A módszer használatához vagy nyilvánosan olvasható objektumtárban kell tárolnia a kódtárakat, vagy előre aláírt URL-címet kell használnia.

Lásd a Notebook-hatókörű Python-könyvtárak.

Feljegyzés

A JAR-kódtárak nem telepíthetők a jegyzetfüzetbe. A JAR-kódtárakat fürtszinten kell telepítenie.