Megosztás:

Oktatóanyag: Microsoft Fabric tükrözött adatbázisok konfigurálása az Azure Databricksből

Az adatbázis-tükrözés a Microsoft Fabricben egy nagyvállalati, felhőalapú, nulla ETL- és SaaS-technológia. Ez az útmutató segít létrehozni egy tükrözött adatbázist az Azure Databricksből, amely írásvédett, folyamatosan replikált másolatot készít az Azure Databricks-adatokról a OneLake-ben.

Előfeltételek

  • Engedélyeznie kell a külső adathozzáférést a metaadattárban. További információ: Külső adathozzáférés engedélyezése a metaadattárban.
  • Hozzon létre vagy használjon egy meglévő Azure Databricks-munkaterületet, amelyen engedélyezve van a Unity Catalog.
  • Rendelkeznie kell azzal a EXTERNAL USE SCHEMA jogosultsággal a Unity Katalógus sémájában, amely tartalmazza a Fabricből elérhető táblákat.
  • A Fabric engedélymodelljét kell használnia a katalógusok, sémák és táblák hozzáférés-vezérlőinek beállításához a Fabricben.
  • Az Azure Databricks-munkaterületek nem lehetnek privát végpontok mögött.

Tükrözött adatbázis létrehozása az Azure Databricksből

Az alábbi lépéseket követve hozzon létre egy új tükrözött adatbázist az Azure Databricks Unity-katalógusból.

  1. Navigáljon ide: https://powerbi.com.

  2. Válassza az + Új , majd tükrözött Azure Databricks katalógust.

    Képernyőkép egy új Azure Databricks-tükrözött elem hálóportáljáról.

  3. Válasszon ki egy meglévő kapcsolatot, ha van konfigurálva.

    • Ha nem rendelkezik meglévő kapcsolattal, hozzon létre egy új kapcsolatot, és adja meg az összes adatot. Az Azure Databricks-munkaterületen "Szervezeti fiók" vagy "Szolgáltatásnév" használatával hitelesíthet. Kapcsolat létrehozásához az Azure Databricks-munkaterület felhasználójának vagy rendszergazdájának kell lennie.
    • Az Azure Data Lake Storage (ADLS) Gen2-fiókok tűzfal mögötti eléréséhez a jelen cikk későbbi részében be kell tartania az Azure Data Lake Storage Gen2-fiók hálózati biztonsági hozzáférésének engedélyezéséhez szükséges lépéseket.

  4. Miután csatlakozott egy Azure Databricks-munkaterülethez, a Táblák kiválasztása egy Databricks-katalógus oldaláról , kiválaszthatja a katalógust, a sémákat és a táblákat a Microsoft Fabricből hozzáadni és elérni kívánt belefoglalási/kizárási listával. Válassza ki a katalógust és annak kapcsolódó sémáit és táblázatait, amelyeket hozzá szeretne adni a Fabric-munkaterülethez.

  5. Alapértelmezés szerint az elem neve annak a katalógusnak a neve lesz, amelyet fel szeretne venni a Fabricbe. A Véleményezés és létrehozás lapon áttekintheti a részleteket, és tetszés szerint módosíthatja a tükrözött adatbáziselem nevét, amelynek egyedinek kell lennie a munkaterületen. Válassza a Create gombot.

  6. Létrejön egy Databricks-katalóguselem, és minden táblához létrejön egy megfelelő Databricks-típus parancsikonja is.

    • A táblákat nem tartalmazó sémák nem jelennek meg.

  7. Az SQL Analytics-végpont kiválasztásával megtekintheti az adatok előnézetét is, amikor egy parancsikonhoz fér hozzá. Nyissa meg az SQL Analytics-végpontelemet az Explorer és a Lekérdezésszerkesztő lap megnyitásához. A tükrözött Azure Databricks-táblákat t-SQL-lel kérdezheti le az SQL-szerkesztőben.

Lakehouse-parancsikonok létrehozása a Databricks-katalóguselemhez

A Lakehouse-ból a Databricks-katalóguselemre mutató parancsikonokat is létrehozhat a Lakehouse-adatok és a Spark-jegyzetfüzetek használatához.

  1. Először létrehozunk egy tóházat. Ha már van egy tóház ezen a munkaterületen, használhat egy meglévő tóházat.
    1. Válassza ki a munkaterületet a navigációs menüben.
    2. Válassza a + New>Lakehouse lehetőséget.
    3. Adja meg a lakehouse nevét a Név mezőben, és válassza a Létrehozás lehetőséget.
  2. A tóház Explorer nézetében az Adatok lekérése a tóház menüjében , az Adatok betöltése a tóházban csoportban válassza az Új parancsikon gombot.
  3. Válassza a Microsoft OneLake lehetőséget. Válasszon ki egy katalógust. Ez az előző lépésekben létrehozott adatelem. Ezután válassza a Tovább lehetőséget.
  4. Jelölje ki a sémán belüli táblákat, és válassza a Tovább gombot.
  5. Válassza a Create gombot.
  6. A Lakehouse-ban mostantól billentyűparancsok érhetők el a többi Lakehouse-adattal való használatra. A Jegyzetfüzetek és a Spark használatával adatfeldolgozást is végezhet az Azure Databricks-munkaterületről hozzáadott katalógustáblák adatain.

Szemantikai modell létrehozása

Létrehozhat egy Power BI szemantikai modellt a tükrözött elem alapján, és manuálisan adhat hozzá/távolíthat el táblákat. A szemantikai modellek létrehozásával és kezelésével kapcsolatos további információkért lásd: Power BI szemantikai modell létrehozása.

A legjobb élmény érdekében ajánlott a Microsoft Edge Browsert használni a szemantikai modellezési feladatokhoz.

Szemantikai modellkapcsolatok kezelése

Miután létrehozott egy új szemantikai modellt a tükrözött adatbázis alapján,

  1. Válassza ki a modellelrendezéseket a munkaterület Explorerében .
  2. Miután kiválasztotta a modellelrendezéseket, megjelenik a szemantikai modell részeként belefoglalt táblák ábrája.
  3. Táblák közötti kapcsolatok létrehozásához húzzon egy oszlopnevet az egyik táblából egy másik tábla másik oszlopnevére. Megjelenik egy előugró ablak, amely azonosítja a táblák kapcsolatát és számosságát.

Hálózati biztonsági hozzáférés engedélyezése az Azure Data Lake Storage Gen2-fiókhoz

Ez a szakasz az Azure Data Lake Storage (ADLS) Gen2-fiók hálózati biztonságának konfigurálását ismerteti az Azure Storage-tűzfal konfigurálásakor. 

Előfeltételek

  • Hozzon létre vagy használjon egy meglévő Azure Databricks-munkaterületet, amelyen engedélyezve van a Unity Catalog.
  • A munkaterület identitáshitelesítési típusának engedélyezéséhez (ajánlott) a Háló munkaterületet minden F-kapacitáshoz hozzá kell társítani. Munkaterületi identitás létrehozásához lásd: Hitelesítés munkaterületi identitással.
  • Ez a szakasz egy Azure Storage-tűzfal mögötti Azure Data Lake Storage (ADLS) Gen2-tárfiók elérésére szolgál. Az Azure Storage-tűzfal mögötti Azure Databricks-munkaterületi tárolás nem támogatott.
  • A katalógust egyetlen tárfiókhoz kell társítani.

Hálózati biztonsági hozzáférés engedélyezése

  1. Új tükrözött Azure Databricks-katalógus létrehozásakor az Adatok kiválasztása lépésben válassza a Hálózatbiztonság lapot.

    Képernyőkép a Databricks Hálózatbiztonság lapján.

  2. Válasszon ki egy meglévő kapcsolatot a tárfiókhoz, ha van konfigurálva. 

    • Ha nem rendelkezik meglévő ADLS-kapcsolattal, hozzon létre egy új kapcsolatot.  
    • A tárvégpont URL-címe a kiválasztott katalógus adatainak tárolása. A végpontnak az az adott mappa kell lennie, ahol az adatok tárolódnak, ahelyett, hogy a tárfiók szintjén megadhatja a végpontot. Például adja meg ahelyetthttps://<storage account>.dfs.core.windows.net/container1/folder1, hogy https://<storage account>.dfs.core.windows.net/ .
    • Adja meg a kapcsolat hitelesítő adatait. A támogatott hitelesítési típusok a szervezeti fiók, a szolgáltatásnév és a munkaterület identitása (ajánlott).

  3. Az Azure Portalon adjon hozzáférési jogosultságokat a tárfiókhoz az előző lépésben kiválasztott hitelesítési típus alapján. Lépjen a tárfiókra az Azure Portalon. Válassza a Hozzáférés-vezérlés (IAM) lehetőséget. Válassza a +Szerepkör-hozzárendelés hozzáadása és hozzáadása lehetőséget. További információ: Azure-szerepkörök hozzárendelése a Azure Portal.

    • Ha a kapcsolat részeként adta meg a tárfiókot, a választott hitelesítési objektumnak rendelkeznie kell a tárfiók Storage Blob-adatolvasó szerepkörével. 
    • Ha a kapcsolat részeként adott meg egy adott tárolót, a kiválasztott hitelesítési objektumnak tárolóblobadat-olvasó szerepkörrel kell rendelkeznie a tárolón.  
    • Ha adott mappát adott meg egy tárolón belül (ajánlott), a kiválasztott hitelesítési objektumnak az Olvasás (R) és a Végrehajtás (E) mappaszinten kell lennie. Ha szolgáltatásnév vagy munkaterületi identitást használ hitelesítési típusként, a szolgáltatásnévnek vagy munkaterületi identitásnak végrehajtási engedélyeket kell adnia a tároló gyökérmappájára, valamint a megadott mappához vezető mappák hierarchiájának minden mappájára. 

    Az ADLS-hozzáférés engedélyezésével kapcsolatos további információkért és lépésekért tekintse meg az ADLS-hozzáférés-vezérlést.

  4. Engedélyezze a megbízható munkaterület-hozzáférést a tűzfalbarát Azure Data Lake Storage-fiókok (ADLS) Gen2-fiókok biztonságos eléréséhez. A megbízható munkaterület-hozzáféréshez közvetlenül létre kell hoznia egy kapcsolatot az ADLS-tárfiókkal, amely az Azure Databricks-munkaterület kapcsolatától függetlenül használható. További információ: Secure Fabric tükrözött adatbázisok az Azure Databricksből.

  5. A Unity Catalog-táblákra mutató parancsikon jön létre azokhoz a táblákhoz, amelyek tárfiókjának neve megegyezik az ADLS-kapcsolatban megadott tárfióktal. Azoknál a tábláknál, amelyek tárfiókjának neve nem egyezik az ADLS-kapcsolatban megadott tárfiók nevével, a rendszer nem hoz létre parancsikonokat ezekhez a táblákhoz. 

Fontos

Ha az ADLS-kapcsolatot a tükrözött Azure Databricks-katalóguselem-forgatókönyveken kívül szeretné használni, a tárfiókon a Storage Blob Delegator szerepkört is meg kell adnia.

OneLake-biztonság engedélyezése a Tükrözött Databricks-elemen

A Unity Catalog (UC) házirendjeinek leképezése a Microsoft OneLake biztonságára az alábbi lépések végrehajtásával:

  1. Szinkronizálja az Entra-csoportot, és alkalmazza az engedélyeket a Unity Catalogban. Az Azure Databricksben az Automatikus identitáskezelés használatával szinkronizálhat egy Microsoft Entra-azonosítócsoportot, és megadhatja neki a szükséges Unity Catalog-jogosultságokat, például a HASZNÁLAT, a TALLÓZÁS, a SELECT lehetőséget a megfelelő katalógusban/táblákban.
  2. OneLake adatelérési szerepkör hozzárendelése. A Háló munkaterületen hozzon létre egy adatelérési szerepkört az újonnan tükrözött adatokhoz. Adja hozzá ugyanazt az Entra-csoportot ehhez a szerepkörhöz, és adjon olvasási hozzáférést az Azure Databricks-tábláknak megfelelő OneLake-parancsikonokhoz. A táblaszintű biztonság első lépéseit a menüszalag OneLake biztonsági kezelése gombján kezdheti el. Győződjön meg arról, hogy a katalógusstruktúrák és -engedélyek fejlődésével szinkronizálva tartja a hozzáférési konfigurációkat. További információ: OneLake adathozzáférés-vezérlési modell (előzetes verzió).

Kapcsolódó tartalom

  • Last updated on