Megosztás a következőn keresztül:

Tűzfaltámogatás engedélyezése a munkaterület tárfiókjához

  • Cikk

Minden Azure Databricks-munkaterület rendelkezik egy társított Azure Storage-fiókkal egy felügyelt erőforráscsoportban, amelyet a munkaterület tárfiókjának neveznek. A munkaterület tárfiókja tartalmazza a munkaterület rendszeradatait (feladat kimenetét, rendszerbeállításait és naplóit), a DBFS-gyökerét és bizonyos esetekben a Unity Catalog munkaterület-katalógusát. Ez a cikk azt ismerteti, hogyan korlátozhatja a munkaterület tárfiókjához való hozzáférést csak az engedélyezett erőforrásokból és hálózatokból arm (Azure Resource Manager) sablon használatával.

Mi a tűzfal támogatása a munkaterület tárfiókjához?

A munkaterület tárfiókjának Azure Storage-fiókja alapértelmezés szerint minden hálózat hitelesített kapcsolatait fogadja el. Ezt a hozzáférést korlátozhatja a munkaterület tárfiókjának tűzfaltámogatásának engedélyezésével. Ez biztosítja, hogy a nyilvános hálózati hozzáférés ne legyen engedélyezve, és a munkaterület tárfiókja nem érhető el jogosulatlan hálózatokról. Ezt akkor érdemes konfigurálni, ha a szervezet olyan Azure-szabályzatokkal rendelkezik, amelyek biztosítják, hogy a tárfiókok privátak legyenek.

Ha a munkaterület tárfiókjának tűzfaltámogatása engedélyezve van, az Azure Databricksen kívüli szolgáltatásokhoz való hozzáférésnek jóváhagyott privát végpontokat kell használnia a Private Link használatával. Az Azure Databricks létrehoz egy hozzáférési összekötőt a tárolóhoz való csatlakozáshoz egy Felügyelt Azure-identitás használatával. Az Azure Databricks kiszolgáló nélküli számításából való hozzáférésnek szolgáltatásvégpontokat vagy privát végpontokat kell használnia.

Követelmények

  • A munkaterületnek engedélyeznie kell a virtuális hálózat injektálását a klasszikus számítási sík kapcsolataihoz.

    Ha új munkaterületet hoz létre, hozzon létre egy virtuális hálózatot és két alhálózatot a virtuális hálózati követelményeknek megfelelően.

  • A munkaterületnek engedélyeznie kell a biztonságos fürtkapcsolatot (nincs nyilvános IP-cím/ NPIP) a klasszikus számítási sík kapcsolataihoz.

  • A munkaterületnek a Prémium csomagban kell lennie.

  • A tárfiók privát végpontjaihoz külön alhálózat szükséges. Ez az alapszintű Azure Databricks-funkciók fő két alhálózata mellett van.

    Az alhálózatnak ugyanabban a virtuális hálózatban kell lennie, mint a munkaterület, vagy egy külön virtuális hálózaton, amelyhez a munkaterület hozzáférhet. Használja a minimális méretet /28 a CIDR-jelölésben.

  • Ha a Cloud Fetch szolgáltatást a Microsoft Fabric Power BI szolgáltatás használja, mindig átjárót kell használnia a munkaterület tárfiókjának privát eléréséhez, vagy le kell tiltania a Cloud Fetch szolgáltatást. Lásd: 2. lépés (ajánlott): Privát végpontok konfigurálása a Cloud Fetch ügyfélhálózataihoz.

1. lépés: Privát végpontok létrehozása a tárfiókhoz

Hozzon létre két privát végpontot a munkaterület tárfiókjához a cél alerőforrás értékeihez használt virtuális hálózatról: dfs ésblob.

  1. Az Azure Portalon lépjen a munkaterületre.

  2. Az Essentials területen kattintson a felügyelt erőforráscsoport nevére.

  3. Az Erőforrások területen kattintson a Tárfiók típusú erőforrásra, amelynek a neve ekkor kezdődikdbstorage.

  4. Az oldalsávon kattintson a Hálózatkezelés elemre.

  5. Kattintson a Privát végpont kapcsolatai elemre.

  6. Kattintson a + Privát végpont elemre.

  7. Az Erőforráscsoport neve mezőben állítsa be az erőforráscsoportot. Ez nem lehet ugyanaz, mint a munkaterület tárfiókjának felügyelt erőforráscsoportja.

  8. A Név mezőbe írja be a privát végpont egyedi nevét:

    • Az egyes forráshálózatokhoz létrehozott első privát végponthoz hozzon létre egy elosztott fájlrendszerbeli végpontot. A Databricks azt javasolja, hogy adja hozzá az utótagot -dfs-pe
    • Az egyes forráshálózatokhoz létrehozott második privát végponthoz hozzon létre egy Blob-végpontot. A Databricks azt javasolja, hogy adja hozzá az utótagot -blob-pe

    A Hálózati adapter neve mező automatikusan kitöltődik.

  9. Állítsa a Régió mezőt a munkaterület régiójára.

  10. Kattintson a Tovább gombra.

  11. A Cél alerőforrásban kattintson a célerőforrás típusára.

    • Az egyes forráshálózatokhoz létrehozott első privát végpont esetében állítsa ezt dfs értékre.
    • Az egyes forráshálózatokhoz létrehozott második privát végpont esetében állítsa ezt blobra.

  12. A Virtuális hálózat mezőben válasszon ki egy virtuális hálózatot.

  13. Az alhálózat mezőben állítsa az alhálózatot a tárfiók privát végpontjaihoz tartozó különálló alhálózatra.

    Ez a mező automatikusan feltölthető a privát végpontok alhálózatával, de előfordulhat, hogy explicit módon kell beállítania. Az Azure Databricks-munkaterület alapfunkcióihoz használt két munkaterületi alhálózat egyikét nem használhatja, amelyeket általában és private-subnet public-subnet.

  14. Kattintson a Tovább gombra. A DNS lap automatikusan kitölti a korábban kiválasztott megfelelő előfizetést és erőforráscsoportot. Szükség esetén módosítsa őket.

  15. Kattintson a Tovább gombra, és szükség esetén adjon hozzá címkéket.

  16. Kattintson a Tovább gombra, és tekintse át a mezőket.

  17. Kattintson a Létrehozás gombra.

Ha le szeretné tiltani a munkaterület tárfiókjának tűzfaltámogatását, használja a fenti eljárást, de állítsa a Storage Account Firewall paramétert (storageAccountFirewall a sablonban) Disabled arra, és állítsa be a Workspace Catalog Enabled mezőt true arra vagy false annak alapján, hogy a munkaterület unitykatalógus-munkaterület-katalógust használ-e. Lásd : Mik azok a katalógusok az Azure Databricksben?.

2. lépés (ajánlott): Privát végpontok konfigurálása a Cloud Fetch ügyféloldali virtuális hálózataihoz

A Cloud Fetch az ODBC és a JDBC egy mechanizmusa, amely az adatokat párhuzamosan, a felhőbeli tárolón keresztül olvassa be, hogy gyorsabban juttasd el az adatokat a BI-eszközökhöz. Ha 1 MB-nál nagyobb lekérdezési eredményeket olvas be a BI-eszközökről, akkor valószínűleg a Cloud Fetcht használja.

Feljegyzés

Ha a Microsoft Fabric Power BI szolgáltatás használja az Azure Databricks szolgáltatással, le kell tiltania a Cloud Fetch szolgáltatást, mivel ez a funkció letiltja a munkaterület tárfiókjának közvetlen elérését a Fabric Power BI-ból. Másik lehetőségként úgy is konfigurálhat egy virtuális hálózati adatátjárót vagy helyszíni adatátjárót, hogy privát hozzáférést biztosíthasson a munkaterület tárfiókhoz. Ez nem vonatkozik a Power BI desktopra. A Cloud Fetch letiltásához használja a konfigurációt EnableQueryResultDownload=0.

Ha Cloud Fetcht használ, hozzon létre privát végpontokat a munkaterület tárfiókjához a Cloud Fetch-ügyfelek bármely virtuális hálózatából.

A Cloud Fetch-ügyfelek minden forráshálózatához hozzon létre két privát végpontot, amelyek két különböző cél-alerőforrás-értéket használnak: dfs és blob. A részletes lépésekért tekintse meg az 1. lépést: Privát végpontok létrehozása a tárfiókhoz . Ezekben a lépésekben a virtuális hálózat mezőnél a privát végpont létrehozásakor győződjön meg arról, hogy minden Cloud Fetch-ügyfélhez megadja a forrás virtuális hálózatot.

3. lépés: Végpont-jóváhagyások megerősítése

Miután létrehozta az összes privát végpontot a tárfiókban, ellenőrizze, hogy jóváhagyták-e őket. Előfordulhat, hogy automatikusan jóváhagyják őket, vagy a tárfiókban kell jóváhagynia őket.

  1. Lépjen a munkaterületre az Azure Portalon.
  2. Az Essentials területen kattintson a felügyelt erőforráscsoport nevére.
  3. Az Erőforrások területen kattintson a Tárfiók típusú erőforrásra, amelynek a neve ekkor kezdődikdbstorage.
  4. Az oldalsávon kattintson a Hálózatkezelés elemre.
  5. Kattintson a Privát végpont kapcsolatai elemre.
  6. Ellenőrizze a kapcsolat állapotát, és erősítse meg, hogy jóváhagyva van, vagy jelölje ki őket, és kattintson a Jóváhagyás gombra.

4. lépés: Kiszolgáló nélküli számítási kapcsolatok engedélyezése

Engedélyeznie kell a kiszolgáló nélküli számítást, hogy csatlakozzon a munkaterület tárfiókjához egy hálózati kapcsolati konfiguráció (NCC) csatlakoztatásával a munkaterülethez. Amikor egy NCC-t csatol egy munkaterülethez, a rendszer automatikusan hozzáadja a hálózati szabályokat a munkaterület tárfiókjának Azure Storage-fiókjához. Útmutatásért lásd : Tűzfal konfigurálása kiszolgáló nélküli számítási hozzáféréshez.

Ha privát végpontokkal szeretné engedélyezni a hozzáférést az Azure Databricks kiszolgáló nélküli számításából, forduljon az Azure Databricks-fiók csapatához.

5. lépés: A szükséges ARM-sablon üzembe helyezése

Ez a lépés arm-sablonnal kezeli az Azure Databricks-munkaterületet. A munkaterületet a Terraform használatával is frissítheti vagy létrehozhatja. Tekintse meg a azurerm_databricks_workspace Terraform-szolgáltatót.

  1. Az Azure Portalon keressen rá, és válassza a lehetőséget Deploy a custom template.

  2. Kattintson a Saját sablon létrehozása elemre a szerkesztőben.

  3. Másolja az ARM-sablont az ARM-sablonból a munkaterület tárfiókjának tűzfaltámogatásához, és illessze be a szerkesztőbe.

  4. Kattintson a Mentés gombra.

  5. Mezők áttekintése és szerkesztése. A munkaterület létrehozásához használt paramétereket használja, például előfizetést, régiót, munkaterületnevet, alhálózatneveket, a meglévő virtuális hálózat erőforrás-azonosítóját.

    A mezők leírását az ARM-sablonmezőkben találják meg.

  6. Kattintson a Véleményezés és létrehozás, majd a Létrehozás gombra.

Feljegyzés

A munkaterület tárfiókjának nyilvános hálózati hozzáférése engedélyezve van a kijelölt virtuális hálózatokról és IP-címekről , és nem le van tiltva , hogy magánvégpontok nélkül támogassa a kiszolgáló nélküli számítási erőforrásokat. A munkaterület tárfiókja egy felügyelt erőforráscsoportban található, és a tároló tűzfala csak akkor frissíthető, ha hozzáad egy hálózati kapcsolati konfigurációt (NCC) a kiszolgáló nélküli kapcsolatokhoz a munkaterülethez. Ha privát végpontokkal szeretné engedélyezni a hozzáférést az Azure Databricks kiszolgáló nélküli számításából, forduljon az Azure Databricks-fiók csapatához.