Oktatóanyag: Microsoft Fabric tükrözött adatbázisok konfigurálása az Azure Databricksből

Az adatbázis-tükrözés a Microsoft Fabricben egy nagyvállalati, felhőalapú, nulla ETL- és SaaS-technológia. Ez az útmutató segít létrehozni egy tükrözött adatbázist az Azure Databricksből, amely írásvédett, folyamatosan replikált másolatot készít az Azure Databricks-adatokról a OneLake-ben.

Előfeltételek

  • Egy "Fabric" munkaterület.
  • Külső adathozzáférés engedélyezése a metaadattárban. További információ: Külső adathozzáférés engedélyezése a metaadattárban.
  • Hozzon létre vagy használjon egy meglévő Azure Databricks-munkaterületet, amelyen engedélyezve van a Unity Catalog.
  • Rendelkezik az EXTERNAL USE SCHEMA jogosultsággal a Unity Katalógusban található sémán, amely tartalmazza azokat a táblákat, amelyekhez Fabric fér hozzá.
  • A Fabric engedélymodellje segítségével beállíthatja a katalógusok, sémák és táblázatok hozzáférés-vezérlőit a Fabricben.

Tükrözött adatbázis létrehozása az Azure Databricksből

Az alábbi lépéseket követve hozzon létre egy új tükrözött adatbázist az Azure Databricks Unity-katalógusból.

  1. Lépjen a Fabric munkaterületére.

  2. Válassza a Új elem>Mirrored Azure Databricks katalógus lehetőséget.

    Képernyőkép a Fabric portálról, amely egy új, Azure Databricks-tükrözött elemet mutat.

  3. Válasszon ki egy meglévő kapcsolatot, ha van konfigurálva, vagy hozzon létre egy új kapcsolatot.

    Kapcsolat létrehozásához az Azure Databricks-munkaterület felhasználójának vagy rendszergazdájának kell lennie. A Azure Databricks munkaterületen Organizational account vagy Service principal hitelesítéssel hitelesíthet.

    Note

    Az itt megadott hitelesítési döntés a Databricks-hitelesítésre és a Unity Catalog-hitelesítésre vonatkozik. Ha tűzfal mögötti Azure Data Lake Storage (ADLS) Gen2-fiókokhoz kell hozzáférnie, kövesse a cikk későbbi részében ismertetett, az Azure Data Lake Storage Gen2-fiókja hálózati biztonsági hozzáférésének engedélyezéséhez szükséges lépéseket. Ha az ADLS Gen2 tűzfal mögött található, Fabric munkaterületi identitás szükséges a tároló tűzfalhoz való hozzáféréséhez, függetlenül a Databricks-kapcsolathoz választott hitelesítési módszertől.

  4. Miután csatlakozott egy Azure Databricks-munkaterülethez, a A Databricks-katalógusból származó táblák lapon válassza ki azokat a katalógusokat, sémákat és táblákat, amelyeket Fabric szeretne hozzáadni és elérni a felvételi vagy kizárási listával. Válassza ki a katalógust és annak kapcsolódó sémáit és táblázatait, amelyeket hozzá szeretne adni a Fabric-munkaterülethez.

    Csak azok a katalógusok, sémák és táblák láthatók, amelyekhez hozzáféréssel rendelkezik. További információ: Unity Catalog-jogosultságok és biztonságos objektumok.

    Alapértelmezés szerint a kiválasztott sémabeállítás jövőbeli katalógusmódosításainak automatikus szinkronizálása engedélyezve van. További információ: Mirroring Azure Databricks > Metadata sync.

  5. A folytatáshoz válassza a Tovább gombot.

  6. A Véleményezés és létrehozás lapon tekintse át a részleteket, és szükség esetén módosítsa a tükrözött adatbáziselem nevét, amelynek egyedinek kell lennie a munkaterületen. Alapértelmezés szerint a tükrözött elem neve a katalógus neve.

  7. A folytatáshoz válassza a Létrehozás lehetőséget.

  8. Létrejön egy Databricks-katalóguselem, és minden táblához létrejön egy megfelelő Databricks-típus parancsikonja is.

    A táblákat nem tartalmazó sémák nem jelennek meg.

  9. Az SQL Analytics-végpont kiválasztásával megtekintheti az adatok előnézetét is, amikor egy parancsikonhoz fér hozzá. Nyissa meg az SQL Analytics-végpontelemet az Explorer és a Lekérdezésszerkesztő lap megnyitásához. A tükrözött Azure Databricks táblákat a T-SQL használatával kérdezheti le az SQL-szerkesztőben.

Lakehouse parancsikonok létrehozása a Databricks katalógus elemhez

A Lakehouse-ból a Databricks-katalóguselemre mutató parancsikonokat is létrehozhat a Lakehouse-adatok és a Spark-jegyzetfüzetek használatához.

  1. Először hozzon létre egy tóházat. Ha már van egy tóház ezen a munkaterületen, használhat egy meglévő tóházat.
    1. Válassza ki a munkaterületet a navigációs menüben.
    2. Válassza a + New>Lakehouse lehetőséget.
    3. Adja meg a Lakehouse nevét a Név mezőben, és válassza a Létrehozás lehetőséget.
  2. A tóház Explorer nézetében az Adatok lekérése a tóház menüjében , az Adatok betöltése a tóházban csoportban válassza az Új parancsikon gombot.
  3. Válassza a Microsoft OneLake lehetőséget. Válasszon ki egy katalógust. Ez az előző lépésekben létrehozott adatelem. Ezután válassza a Tovább lehetőséget.
  4. Jelölje ki a sémán belüli táblákat, és válassza a Tovább gombot.
  5. Válassza a Create gombot.
  6. A Lakehouse-ban mostantól billentyűparancsok érhetők el a többi Lakehouse-adattal való használatra. A Jegyzetfüzetek és a Spark használatával adatfeldolgozást is végezhet az Azure Databricks-munkaterületről hozzáadott katalógustáblák adatain.

Szemantikai modell létrehozása

Létrehozhat egy Power BI szemantikai modellt a tükrözött elem alapján, és manuálisan adhat hozzá vagy távolíthat el táblákat. A szemantikai modellek létrehozásával és kezelésével kapcsolatos további információkért lásd: Power BI szemantikai modell létrehozása.

A legjobb élmény érdekében használja a Microsoft Edge böngészőt szemantikai modellezési feladatokhoz.

Szemantikai modellkapcsolatok kezelése

Miután létrehozott egy új szemantikai modellt a tükrözött adatbázis alapján, konfigurálja a táblák közötti kapcsolatokat.

  1. Válassza ki a modellelrendezéseket a munkaterület Explorerében .
  2. A Modellelrendezések kiválasztása után megjelenik a szemantikai modell részeként szereplő táblák ábrája.
  3. Táblák közötti kapcsolatok létrehozásához húzzon egy oszlopnevet az egyik táblából egy másik tábla másik oszlopnevére. Megjelenik egy előugró ablak, amely azonosítja a táblák kapcsolatát és számosságát.

Hálózati biztonsági hozzáférés engedélyezése az Azure Data Lake Storage Gen2-fiókhoz

Konfigurálja az Azure Data Lake Storage (ADLS) Gen2-fiókja hálózati biztonságát, ha Azure Storage tűzfal van konfigurálva. Ez a szakasz a Azure Storage tűzfal mögötti ADLS Gen2-tárfiókokra vonatkozik. Az Azure Storage-tűzfal mögött lévő Azure Databricks-munkaterület tárolása nem támogatott.

Előfeltételek

  • Ha egy Azure Storage tűzfal védi az ADLS Gen2-t, Fabric a munkaterületidentitás használatával éri el a tűzfalat. Még ha az ADLS-hitelesítéshez a Network Security lapon a Service principal lehetőséget választja is, a munkaterületidentitást akkor is engedélyeznie kell az Azure Storage-fiók tűzfalában.

    • A munkaterületidentitás a tároló tűzfalhoz való hozzáféréséhez használatos. A Databricks-hitelesítéshez és a Unity Catalog engedélyezéséhez szolgáltatási főazonosító vagy OAuth használható.

    • A munkaterület identitáshitelesítési típusának engedélyezéséhez (ajánlott) társítsa a Fabric munkaterületet egy F-kapacitással. Munkaterületi identitás létrehozásához lásd: Hitelesítés munkaterületi identitással.

  • Katalógust csak egyetlen tárfiókhoz társíthat.

Hálózati biztonsági hozzáférés engedélyezése

  1. Új tükrözött Azure Databricks-katalógus létrehozásakor az Adatok kiválasztása lépésben válassza a Hálózatbiztonság lapot.

    Képernyőkép a Databricks Hálózatbiztonság lapján.

  2. Válasszon ki egy meglévő kapcsolatot a tárfiókhoz, ha van konfigurálva. 

    • Ha nem rendelkezik meglévő ADLS-kapcsolattal, hozzon létre egy új kapcsolatot.  
    • A kiválasztott katalógus adatainak tárolási helye a tárvégpont URL-címe. A végpontnak az az adott mappa kell lennie, ahol az adatok tárolódnak, ahelyett, hogy a tárfiók szintjén megadhatja a végpontot. Például adja meg a https://<storage account>.dfs.core.windows.net/container1/folder1-t ahelyett, hogy a https://<storage account>.dfs.core.windows.net/-t.
    • Adja meg a kapcsolat hitelesítő adatait. A támogatott hitelesítési típusok a szervezeti fiók, a szolgáltatásnév és a munkaterület identitása (ajánlott).

    Note

    Ha az ADLS Gen2-t egy Azure Storage tűzfal védi, Fabric munkaterületi identitással lépi át a tűzfalat az itt kiválasztott hitelesítési típustól függetlenül. A hitelesítési típus (szolgáltatásnév vagy szervezeti fiók) szabályozza a Databricks-hitelesítést és a Unity Catalog-hitelesítést, míg a Munkaterületidentitás a tár tűzfalon keresztül szabályozza a megbízható hozzáférést. A munkaterületidentitást akkor is engedélyezni kell a Azure Storage-fiók tűzfalán, ha az ADLS-kapcsolathoz másik hitelesítési típust választ.

  3. Az Azure Portalon adjon hozzáférési jogosultságokat a tárfiókhoz az előző lépésben kiválasztott hitelesítési típus alapján. Lépjen a tárfiókra az Azure Portalon. Válassza a Hozzáférés-vezérlés (IAM) lehetőséget. Válassza a +Hozzáadás és Szerepkör-hozzárendelés hozzáadása lehetőséget. További információ: Azure-szerepkörök hozzárendelése az Azure portálon.

    Szerepkör hozzárendelése a kapcsolat hatóköre alapján:

    • Tárfiók: A választott hitelesítési identitásnak szüksége van a tárfiókon található Storage Blob-adatolvasó szerepkörre.
    • Tároló: A választott hitelesítési identitásnak szüksége van a Tároló blobadat-olvasó szerepkörére a tárolón.
    • Tárolón belüli mappa (ajánlott): A választott hitelesítési identitásnak olvasási (R) és végrehajtási (E) engedélyre van szüksége a mappa szintjén. Ha szolgáltatásnév- vagy munkaterület-identitást használ hitelesítési típusként, adja meg az identitás végrehajtási engedélyeit a tároló gyökérmappáján és a megadott mappához vezető hierarchia minden mappáján.

    Az ADLS-hozzáférés engedélyezésével kapcsolatos további információkért és lépésekért tekintse meg az ADLS-hozzáférés-vezérlést.

  4. A Trusted Workspace Access engedélyezéséhez konfiguráljon egy erőforráspéldány-szabályt a Fabric-munkaterülethez a tárfiókon. A részletes lépésekért lásd a Megbízható munkaterület-hozzáférés és a Biztonságos Fabric-tükrözött adatbázisok az Azure Databricksből című témakört.

A kapcsolat létrejötte után létrejön egy Unity Catalog-táblákra mutató parancsikon azokhoz a táblákhoz, amelyek tárfiókjának neve megegyezik az ADLS-kapcsolatban megadott tárfiókgal. A parancsikonok nem jönnek létre azokhoz a táblákhoz, amelyeknél a tárolófiók neve nem egyezik.

Fontos

Ha a Tükrözött Azure Databricks katalóguselem-forgatókönyveken kívül szeretné használni az ADLS-kapcsolatot, a tárfiókhoz hozzá kell rendelnie a Storage Blob Delegator szerepkört is.

Tip

Ha 403-as jogosultsági hibát kap, amikor a Databricks-hitelesítéshez Service Principalt használ egy tűzfallal védett ADLS Gen2-fiókkal, ellenőrizze, hogy a Workspace Identity engedélyezve van-e az Azure Storage-fiók tűzfalában. Még akkor is, ha hitelesítéshez egy szolgáltatásnévvel rendelkező identitás van kiválasztva, a Fabric a munkaterület identitását használja a tárhely tűzfalának átlépésére.

OneLake-biztonság engedélyezése a Tükrözött Databricks-elemen

A Unity Catalog (UC) házirendjeinek leképezése a Microsoft OneLake biztonságára az alábbi lépések végrehajtásával:

  1. Szinkronizálja az Entra-csoportot, és alkalmazza az engedélyeket a Unity Catalogban. Az Azure Databricksben az automatikus identitáskezelés használatával szinkronizáljon egy Microsoft Entra ID-csoportot, és adja meg számára a Unity Catalog szükséges jogosultságait (USE, BROWSE és SELECT) az érintett katalógusra és táblákra.
  2. OneLake adatelérési szerepkör hozzárendelése. A Háló munkaterületen hozzon létre egy adatelérési szerepkört az újonnan tükrözött adatokhoz. Adja hozzá ugyanazt az Entra-csoportot ehhez a szerepkörhöz, és adjon olvasási hozzáférést az Azure Databricks-tábláknak megfelelő OneLake-parancsikonokhoz. A táblaszintű biztonság használatának megkezdéséhez válassza a OneLake-biztonság kezelése gombot a menüszalagon. Győződjön meg arról, hogy a katalógusstruktúrák és -engedélyek fejlődésével szinkronizálva tartja a hozzáférési konfigurációkat. További információ: OneLake adathozzáférés-vezérlési modell (előzetes verzió).

Kapcsolódó tartalom

  • Last updated on