Adatfolyam-tároló konfigurálása az Azure Data Lake Gen 2 használatára
A Power BI-ban használt adatok alapértelmezés szerint a Power BI által biztosított belső tárolóban lesznek tárolva. Az adatfolyamok és az Azure Data Lake Storage Gen 2 (ADLS Gen2) integrációjával az adatfolyamokat a szervezet Azure Data Lake Storage Gen2-fiókjában tárolhatja. Ez a funkció lényegében lehetővé teszi, hogy "saját tárterületet hozzon létre" a Power BI-adatfolyamokban, és kapcsolatot létesíthet a bérlő vagy a munkaterület szintjén.
Az ADLS Gen 2-munkaterület vagy bérlői kapcsolat használatának okai
Az adatfolyam csatolása után a Power BI konfigurál és ment egy hivatkozást, hogy most már saját ADLS Gen 2-hez is tudjon adatokat olvasni és írni. A Power BI az adatokat a közös adatmodell (CDM) formátumban tárolja, amely az adatfolyam által létrehozott tényleges adatok mellett metaadatokat is rögzít az adatokról. Ez a funkció számos hatékony képességet biztosít, és lehetővé teszi, hogy az adatok és a kapcsolódó metaadatok CDM formátumban mostantól bővíthetőségi, automatizálási, monitorozási és biztonsági mentési forgatókönyveket szolgáljanak ki. Ha ezeket az adatokat elérhetővé és széles körben elérhetővé teszi a saját környezetében, az lehetővé teszi a szervezeten belül létrehozott elemzések és adatok demokratizálását. Azt is lehetővé teszi, hogy további megoldásokat hozzon létre széles körű összetettséggel. A megoldások lehetnek CDM-alapú egyéni alkalmazások és megoldások a Power Platformban, az Azure-ban, valamint a partner- és független szoftverszállítói (ISV-) ökoszisztémákon keresztül elérhető megoldások. Vagy létrehozhat egy alkalmazást egy CSV olvasásához. Az adatmérnökök, adattudósok és elemzők mostantól dolgozhatnak, használhatnak és használhatnak újra egy közös adatkészletet, amelyet az ADLS Gen 2-ben állítottak össze.
Kétféleképpen konfigurálhatja, hogy melyik ADLS Gen 2-tárolót használja: használhat bérlő által hozzárendelt ADLS Gen 2-fiókot, vagy saját ADLS Gen 2-tárolót is létrehozhat munkaterület szintjén.
Előfeltételek
Ha saját ADLS Gen 2-fiókot szeretne létrehozni, tulajdonosi engedéllyel kell rendelkeznie a tárfiók rétegében. Az erőforráscsoport vagy az előfizetés szintjén nem működnek az engedélyek. Ha Ön rendszergazda, akkor is hozzá kell rendelnie magát a tulajdonosi engedélyhez. Jelenleg nem támogatja az ADLS Gen2 Storage-fiókokat tűzfal mögött.
A tárfiókot a hierarchikus névtér (HNS) engedélyezésével kell létrehozni.
A tárfiókot ugyanabban a Microsoft Entra-bérlőben kell létrehozni, mint a Power BI-bérlőt.
A felhasználónak tárolóblobadat-tulajdonosi szerepkörrel, storage blobadat-olvasó szerepkörrel és tulajdonosi szerepkörrel kell rendelkeznie a tárfiók szintjén (a hatókörnek ez az erőforrásnak kell lennie, és nem öröklöttnek kell lennie). Az alkalmazott szerepkör-módosítások szinkronizálása eltarthat néhány percig, és szinkronizálnia kell a következő lépéseket a Power BI szolgáltatás.
A Power BI-munkaterület bérlői régiójának meg kell egyeznie a tárfiók régiójával.
A végpontok védelméhez a TLS (Transport Layer Security) 1.2-es (vagy újabb) verziója szükséges. A TLS 1.2-nél korábbi TLS-verziót használó webböngészők és egyéb ügyfélalkalmazások nem fognak tudni csatlakozni.
A többtényezős hitelesítés (MFA) mögötti ADLS Gen 2-vel rendelkező adatfolyam csatolása nem támogatott.
Végül a Rendszergazda portálon bármely ADLS Gen 2-hez csatlakozhat, de ha közvetlenül egy munkaterülethez csatlakozik, először győződjön meg arról, hogy a munkaterületen nincsenek adatfolyamok a csatlakozás előtt.
Feljegyzés
A saját tárterület (Azure Data Lake Gen 2) nem érhető el az egyesült államokbeli kormányzati GCC-ügyfelek Power BI szolgáltatás. További információ arról, hogy mely funkciók érhetők el, és melyek nem, olvassa el a Power BI szolgáltatás rendelkezésre állását az amerikai kormányzati ügyfelek számára.
Az alábbi táblázat az ADLS és a Power BI 2. generációs és Power BI-hoz szükséges engedélyeit ismerteti:
| Művelet | ADLS-engedélyek | Power BI-engedélyek minimális száma |
|---|---|---|
| Csatlakozás ADLS Gen 2-et a Power BI-bérlőhöz | Tulajdonos | Power BI-rendszergazda |
| Csatlakozás ADLS Gen 2-et munkaterületre | Tulajdonos | Munkaterület admin |
| Power BI-adatfolyamok létrehozása, amelyek visszaírása a csatlakoztatott ADLS-fiókba | Nem alkalmazható | Munkaterület közreműködője |
| Power BI-adatfolyam felhasználása | Nem alkalmazható | Munkaterület-megjelenítő |
Csatlakozás egy Azure Data Lake Gen 2-hez munkaterületi szinten
Lépjen egy olyan munkaterületre, amely nem rendelkezik adatfolyamokkal. Válassza a Munkaterület beállításai lehetőséget. Válassza az Azure Csatlakozás ions lapot, majd a Storage szakaszt.
Az Alapértelmezett Azure-kapcsolat használata lehetőség akkor látható, ha a rendszergazda már konfigurálta a bérlő által hozzárendelt ADLS Gen 2-fiókot. Két lehetőség áll rendelkezésre:
- Használja a bérlő által konfigurált ADLS Gen 2-fiókot az alapértelmezett Azure-kapcsolat használata jelölőnégyzet bejelölésével, vagy
- Válassza Csatlakozás az Azure-ba, és mutasson egy új Azure Storage-fiókra.
Amikor kiválasztja Csatlakozás az Azure-ba, a Power BI lekéri azon Azure-előfizetések listáját, amelyekhez hozzáféréssel rendelkezik. Töltse ki a legördülő listákat. Ezután válasszon egy érvényes Azure-előfizetést, erőforráscsoportot és tárfiókot, amely engedélyezve van a hierarchikus névtér beállítással, amely az ADLS Gen2 jelző. Az Azure-hoz való csatlakozáshoz használt személyes fiókot csak egyszer használja a rendszer a kezdeti kapcsolat beállításához, és engedélyezi a Power BI szolgáltatás fióknak az adatok olvasásához és írásához való jogosultságát, amely után az eredeti felhasználói fiókra már nincs szükség a kapcsolat aktív állapotának fenntartásához.
Miután kiválasztotta a kiválasztott fájlt, válassza a Mentés lehetőséget, és sikeresen csatlakoztatta a munkaterületet a saját ADLS Gen2-fiókjához. A Power BI automatikusan konfigurálja a tárfiókot a szükséges engedélyekkel, és beállítja azt a Power BI-fájlrendszert, amelyben az adatok meg lesznek írva. Ezen a ponton a munkaterületen belül minden adatfolyam adatai közvetlenül ebbe a fájlrendszerbe fognak írni, amely más Azure-szolgáltatásokkal is használható. Mostantól egyetlen forrással rendelkezik az összes szervezeti vagy részlegadathoz.
Azure-kapcsolatok konfigurálása
Az Azure-kapcsolatok konfigurálása opcionális beállítás, amely további tulajdonságokkal rendelkezik, amelyek opcionálisan beállíthatók:
- Bérlői szintű tárolás, amely lehetővé teszi az alapértelmezett és/vagy
- Munkaterületszintű tárolás, amely lehetővé teszi a munkaterületenkénti kapcsolat megadását
Ha csak egy központi adattavat szeretne használni, vagy ha azt szeretné, hogy ez a tároló legyen az alapértelmezett beállítás, konfigurálhatja a bérlői szintű tárolást. Nem az alapértelmezett beállítással kezdjük, hogy rugalmasságot biztosítsunk a konfigurációban, így rugalmasan konfigurálhatja azokat a munkaterületeket, amelyek ezt a kapcsolatot használják. Ha bérlőhöz rendelt ADLS Gen 2-fiókot konfigurál, akkor is konfigurálnia kell az egyes munkaterületeket az alapértelmezett beállítás használatához.
A munkaterületszintű tárolási engedélyeket igény szerint vagy külön beállításként is konfigurálhatja, amely teljes rugalmasságot biztosít egy adott ADLS Gen 2-fiók munkaterületi alapon történő beállításához.
Összefoglalva, ha a bérlői szintű tárolás és a munkaterületszintű tárolási engedélyek engedélyezettek, akkor a munkaterület rendszergazdái opcionálisan használhatják az alapértelmezett ADLS-kapcsolatot, vagy dönthetnek úgy, hogy az alapértelmezetttől eltérő másik tárfiókot konfigurálnak. Ha a bérlői tárterület nincs beállítva, a munkaterület rendszergazdái igény szerint munkaterület alapján konfigurálhatják az ADLS-fiókokat. Végül, ha a bérlőszintű tárolás ki van jelölve, és a munkaterületszintű tárolás nem engedélyezett, akkor a munkaterület rendszergazdái igény szerint konfigurálhatják adatfolyamaikat a kapcsolat használatára.
Az ADLS Gen 2-munkaterület kapcsolatainak felépítése és formátuma
Az ADLS Gen 2 tárfiókban minden adatfolyam a fájlrendszer Powerbi-tárolójában van tárolva.
A powerbi-tároló szerkezete így néz ki: <workspace name>/<dataflow name>/model.json, <workspace name>/<dataflow name>/model.json.snapshots/<all snapshots> és<workspace name>/<dataflow name>/<table name>/<tablesnapshots>
Az a hely, ahol az adatfolyamok az ADLS Gen 2 mappahierarchiájában tárolják az adatokat, ugyanaz, függetlenül attól, hogy a munkaterület megosztott kapacitásban vagy prémium szintű kapacitásban található-e.
Az alábbi példa a Northwind Odata minta Rendelések tábláját használja.
Az előző képen:
- A model.json az adatfolyam legújabb verziója.
- A model.json.snapshots az adatfolyam összes korábbi verziója. Ez az előzmény akkor hasznos, ha az összefésítés korábbi verziójára vagy növekményes beállításokra van szüksége.
- A táblanév az a mappa, amely az adatfolyamok frissítése után kapott adatokat tartalmazza.
Csak ebbe a tárfiókba írunk, és jelenleg nem törölünk adatokat. Így a leválasztást követően sem töröljük az ADLS-fiókból, így az előző listában említett összes fájl továbbra is tárolódik.
Feljegyzés
Az adatfolyamok lehetővé teszik táblázat csatolását vagy hivatkozását más adatfolyamokban. Ezekben az adatfolyamokban a model.json fájl hivatkozhat egy másik, ugyanazon vagy más munkaterületen lévő adatfolyam másik model.json fájljára.
Fájlok áthelyezése a 2. generációs ADLS-tárfiókok között vagy azon belül
Amikor egy adatfolyamot egy ADLS Gen2-tárfiókból egy másikba helyez át, meg kell győződnie arról, hogy a model.json fájl elérési útjai frissülnek az új helynek megfelelően. Ennek az az oka, hogy a model.json fájl tartalmazza az adatfolyam elérési útját és az adatok elérési útját. Ha nem frissíti az elérési utakat, az adatfolyam nem fogja tudni megtalálni az adatokat, és engedélyhibákat okoz. Az elérési utak frissítéséhez kövesse az alábbi lépéseket:
- Nyissa meg a model.json fájlt egy szövegszerkesztőben.
- Keresse meg a tárfiók URL-címét, és cserélje le az új tárfiók URL-címére.
- Mentse a fájlt.
- Írja felül a meglévő model.json fájlt az ADLS Gen2 tárfiókban.
Bővíthetőség az ADLS Gen 2-munkaterületi kapcsolatokhoz
Ha az ADLS Gen 2-et a Power BI-hoz csatlakoztatja, ezt a műveletet a munkaterület vagy a bérlő szintjén hajthatja végre. Győződjön meg arról, hogy a megfelelő hozzáférési szinttel rendelkezik. További információ az előfeltételekről.
A tárolási struktúra megfelel a Common Data Model formátumnak. További információ a tárolási struktúráról és a CDM-ről az elemzési adatfolyamok tárolási struktúrájának ismertetésével, a Common Data Model használatával pedig az Azure Data Lake Storage Gen2 optimalizálásához.
A megfelelő konfigurálás után az adatok és a metaadatok az Ön felügyelete alá kerülnek. Számos alkalmazás ismeri a CDM-et, és az adatok az Azure, a PowerApps és a PowerAutomate használatával bővíthetők. Külső ökoszisztémákat is használhat a formátumnak megfelelően, vagy a nyers adatok beolvasásával.
Az Azure Data Lake Gen 2 leválasztása munkaterületről vagy bérlőről
A munkaterület szintjén lévő kapcsolat eltávolításához először gondoskodnia kell arról, hogy a munkaterület összes adatfolyama törlődjön. Miután az összes adatfolyamot eltávolította, válassza a Kapcsolat bontása lehetőséget a munkaterület beállításai között. Ugyanez vonatkozik a bérlőkre is, de először meg kell győződnie arról, hogy az összes munkaterület is le lett választva a bérlői tárfiókról, mielőtt a bérlő szintjén le tud választani.
Az Azure Data Lake Gen 2 letiltása
Az Rendszergazda portál adatfolyamai alatt letilthatja a felhasználók hozzáférését a funkció használatához, és letilthatja a munkaterület rendszergazdái számára a saját Azure Storage használatát.
Visszaállítás az Azure Data Lake Gen 2-ről
Miután az adatfolyam-tároló konfigurálva lett az Azure Data Lake Gen 2 használatára, nem lehet automatikusan visszaállítani. A Power BI által felügyelt tárterületre való visszatérés manuális folyamat.
A 2. generációs migrálás visszaállításához törölnie kell az adatfolyamokat, és újra létre kell hoznia őket ugyanabban a munkaterületen. Ezután, mivel nem törölünk adatokat az ADLS Gen 2-ből, lépjen magára az erőforrásra, és törölje az adatokat. Ez a művelet a következő lépésekkel járna.
Exportálja az adatfolyam egy példányát a Power BI-ból. Vagy másolja a model.json fájlt. A model.json fájl az ADLS-ben van tárolva.
Törölje az adatfolyamokat.
Az ADLS leválasztása.
Hozza létre újra az adatfolyamokat importálással. A növekményes frissítési adatokat (ha vannak) az importálás előtt törölni kell. Ez a művelet a model.json fájl megfelelő partícióinak törlésével végezhető el.
Növekményes frissítési szabályzatok konfigurálása/újbóli létrehozása.
Csatlakozás az adatokhoz az ADLS Gen 2-összekötő használatával
A dokumentum hatóköre az ADLS Gen 2 adatfolyam-kapcsolatokat ismerteti, és nem a Power BI ADLS Gen 2-összekötőt. Az ADLS Gen 2-összekötő használata egy különálló, esetleg additív forgatókönyv. Az ADLS-összekötő egyszerűen az ADLS-t használja adatforrásként. Ezért ha a Power Query Online-t használja az adatok lekérdezésére, annak nem kell CDM formátumban lennie, hanem bármilyen adatformátumú lehet, amelyet az ügyfél szeretne. További információ: Azure Data Lake Storage Gen2.
Kapcsolódó tartalom
Az alábbi cikkek további információt nyújtanak az adatfolyamokról és a Power BI-ról: