Megosztott számítási kódtárak és init-szkriptek engedélyezése

  • Cikk

A Databricks Runtime 13.3 LTS-ben és újabb verziókban kódtárakat és init-szkripteket adhat hozzá a allowlist Unity Katalógusban. Ez lehetővé teszi a felhasználók számára, hogy ezeket az összetevőket közös hozzáférési móddal konfigurált számításon használják.

Az adott könyvtár vagy fájl létrehozása előtt engedélyezheti a címtár vagy a fájlnév használatát. Lásd: Fájlok feltöltése Unity-katalóguskötetbe.

Feljegyzés

Metaadattár-rendszergazdának kell lennie, vagy jogosultsággal kell rendelkeznie MANAGE ALLOWLIST az engedélyezési lista módosításához. Lásd: MANAGE ALLOWLIST.

Fontos

A JDBC-illesztőprogramként vagy egyéni Spark-adatforrásként használt kódtárakhoz a Unity Katalógus által engedélyezett megosztott számításhoz engedély szükséges ANY FILE .

Egyes telepített kódtárak az összes felhasználó adatait egyetlen gyakori ideiglenes könyvtárban tárolják. Ezek a kódtárak veszélyeztethetik a felhasználók elkülönítését.

Elemek hozzáadása az engedélyezési listához

Elemeket a Katalóguskezelővel vagy a allowlist REST API-val vehet fel.

Ha meg szeretné nyitni azt a párbeszédpanelt, amelyen elemeket adhat hozzá az engedélyezési listához a Katalóguskezelőben, tegye a következőket:

  1. Az Azure Databricks-munkaterületen kattintson a Katalógus elemreKatalógus ikon.
  2. Kattintson ide Fogaskerék ikon a metaadattár részleteinek és engedélyeinek felhasználói felületének megnyitásához.
  3. Válassza az Engedélyezett JARs/Init-szkriptek lehetőséget.
  4. Kattintson a Hozzáadás gombra.

Fontos

Ez a beállítás csak a megfelelő jogosultsággal rendelkező felhasználók számára jelenik meg. Ha nem fér hozzá az engedélyezésilista felhasználói felületéhez, forduljon a metaadattár rendszergazdájához, és kérjen segítséget a kódtárak és init-szkriptek engedélyezéséhez.

Init-szkript hozzáadása az engedélyezési listához

Az engedélyezési lista párbeszédpanelen hajtsa végre az alábbi lépéseket egy init-szkript engedélyezési listához való hozzáadásához:

  1. A Típus beállításnál válassza az Init Script lehetőséget.
  2. Forrástípus esetén válassza a Kötet vagy az objektumtárolási protokoll lehetőséget.
  3. Adja meg az engedélyezési listához hozzáadni kívánt forrás elérési utat. Lásd: Hogyan kényszerítik ki az engedélyezési listán az elérési utakra vonatkozó engedélyeket?.

JAR hozzáadása az engedélyezési listához

Az engedélyezési lista párbeszédpanelen hajtsa végre az alábbi lépéseket egy JAR engedélyezési listához való hozzáadásához:

  1. A Típus beállításnál válassza a JAR lehetőséget.
  2. Forrástípus esetén válassza a Kötet vagy az objektumtárolási protokoll lehetőséget.
  3. Adja meg az engedélyezési listához hozzáadni kívánt forrás elérési utat. Lásd: Hogyan kényszerítik ki az engedélyezési listán az elérési utakra vonatkozó engedélyeket?.

Maven-koordináták hozzáadása az engedélyezési listához

Az engedélyezési lista párbeszédpanelen hajtsa végre a következő lépéseket a Maven-koordináták engedélyezési listához való hozzáadásához:

  1. A Típus beállításnál válassza a Maven lehetőséget.
  2. Forrástípus esetén válassza a Koordináták lehetőséget.
  3. Adja meg a koordinátákat a következő formátumban: groudId:artifactId:version.
    • A kódtárak minden verzióját a következő formátum engedélyezésével adhatja meg: groudId:artifactId.
    • A csoport összes összetevőjének belefoglalásához engedélyezze a következő formátumot: groupId.

Hogyan kényszerítik ki az elérési utakra vonatkozó engedélyeket az engedélyezési listában?

Az engedélyezési listával hozzáférést biztosíthat a Unity Catalog-kötetekben és objektumtárolókban tárolt JAR-ekhez vagy init-szkriptekhez. Ha fájl helyett könyvtár elérési útját adja meg, az engedélyezési listák engedélyei a tárolt fájlokra és könyvtárakra propagálva lesznek.

Az előtag-egyeztetés a Unity Catalog-kötetekben vagy objektumtárolókban tárolt összes összetevőhöz használható. Ha meg szeretné akadályozni, hogy az előtag megfeleltethető legyen egy adott könyvtárszinten, adjon meg egy záró perjelet (/). Például: /Volumes/prod-libraries/

Az engedélyeket a következő szinteken határozhatja meg:

  1. A kötet vagy a tároló alap elérési útja.
  2. Az alapútvonaltól bármilyen mélységben beágyazott könyvtár.
  3. Egyetlen fájl.

Az engedélyezési lista elérési útjának hozzáadása csak azt jelenti, hogy az elérési út init szkriptekhez vagy JAR-telepítéshez használható. Az Azure Databricks továbbra is ellenőrzi a megadott helyen lévő adatok elérésére vonatkozó engedélyeket.

A használt tagnak engedélyekkel kell rendelkeznie READ VOLUME a megadott köteten. Lásd: Standard kiadás LECT.

Egyfelhasználós hozzáférési módban a rendszer a hozzárendelt tag (felhasználó vagy szolgáltatásnév) identitását használja.

Megosztott hozzáférési módban:

  • A kódtárak a kódtár-telepítő identitását használják.
  • Az Init-szkriptek a fürttulajdonos identitását használják.

Feljegyzés

Az elkülönítés nélküli megosztott hozzáférési mód nem támogatja a köteteket, de ugyanazt az identitás-hozzárendelést használja, mint a megosztott hozzáférési mód.

A Databricks azt javasolja, hogy írásvédett engedélyekkel konfigurálja az init-szkriptekhez és tárakhoz kapcsolódó összes objektumtárolási jogosultságot. Az ezeken a helyeken írási engedélyekkel rendelkező felhasználók esetleg módosíthatják a kódtárfájlokban vagy az init szkriptekben lévő kódot.

A Databricks a Microsoft Entra ID szolgáltatásnevek használatát javasolja az Azure Data Lake Storage Gen2-ben tárolt JARs-ekhez vagy init-szkriptekhez való hozzáférés kezeléséhez. A beállítás elvégzéséhez használja a következő csatolt dokumentációt:

  1. Hozzon létre egy egyszerű szolgáltatást olvasási és listaengedélyekkel a kívánt blobokon. Lásd: Access Storage egy szolgáltatás elvével > Microsoft Entra ID (Azure Active Directory).

  2. Mentse a hitelesítő adatait titkos kulcsok használatával. Lásd a titkos kulcsokat.

  3. Állítsa be a tulajdonságokat a Spark-konfigurációban és a környezeti változókban fürt létrehozásakor, ahogyan az alábbi példában látható:

    Spark-konfiguráció:

    spark.hadoop.fs.azure.account.auth.type.<storage-account>.dfs.core.windows.net OAuth
spark.hadoop.fs.azure.account.oauth.provider.type.<storage-account>.dfs.core.windows.net org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider
spark.hadoop.fs.azure.account.oauth2.client.id.<storage-account>.dfs.core.windows.net <application-id>
spark.hadoop.fs.azure.account.oauth2.client.secret.<storage-account>.dfs.core.windows.net {{secrets/<secret-scope>/<service-credential-key>}}
spark.hadoop.fs.azure.account.oauth2.client.endpoint.<storage-account>.dfs.core.windows.net https://login.microsoftonline.com/<tenant-id>/oauth2/token

    Környezeti változók:

    SERVICE_CREDENTIAL={{secrets/<secret-scope>/<service-credential-key>}}

  4. (Nem kötelező) Init-szkriptek újrabontása az azcopy vagy az Azure CLI használatával.

    Hivatkozhat a fürtkonfiguráció során beállított környezeti változókra az init-szkripteken belül, hogy átadja az ellenőrzés titkos kulcsaként tárolt hitelesítő adatokat.

Feljegyzés

A JAR-ek és az init-szkriptek engedélyezési listája külön van kezelve. Ha ugyanazt a helyet használja mindkét objektumtípus tárolásához, mindegyikhez hozzá kell adnia a helyet az engedélyezési listához.