Mi az elemzési adatfolyamok tárolási struktúrája?

Az elemzési adatfolyamok mind az adatokat, mind a metaadatokat az Azure Data Lake Storage-ban tárolják. Az adatfolyamok egy standard struktúrát használnak a tóban létrehozott adatok tárolására és leírására, amelyet Common Data Model-mappáknak neveznek. Ebben a cikkben többet is megtudhat arról a tárolási szabványról, amelyet az adatfolyamok a színfalak mögött használnak.

A tárolónak szüksége van egy struktúrára egy elemzési adatfolyamhoz

Ha az adatfolyam standard, akkor az adatok a Dataverse-ben lesznek tárolva. A Dataverse olyan, mint egy adatbázisrendszer; táblázatokat, nézeteket és így tovább. A Dataverse a standard adatfolyamok által használt strukturált adattárolási lehetőség.

Ha azonban az adatfolyam elemzésre kerül, az adatok az Azure Data Lake Storage-ban lesznek tárolva. Az adatfolyam adatait és metaadatait egy Common Data Model mappában tárolja a rendszer. Mivel egy tárfiók több adatfolyamot is tárolhat, a mappák és almappák hierarchiáját vezettük be az adatok rendszerezéséhez. Attól függően, hogy melyik termékben hozta létre az adatfolyamot, a mappák és az almappák munkaterületeket (vagy környezeteket), majd az adatfolyam Common Data Model mappáját jelölhetik. A Common Data Model mappában a rendszer az adatfolyam-táblák sémáját és adatait is tárolja. Ez a struktúra a Common Data Model szabványait követi.

Mi a Common Data Model tárolási struktúrája?

A Common Data Model egy metaadat-struktúra, amely az adatok több platformon való használatának megfelelőségét és konzisztenciáját biztosítja. A Common Data Model nem adattárolás, hanem az adatok tárolásának és definiálásának módja.

A Common Data Model mappák határozzák meg a tábla sémájának és adatainak tárolási módját. Az Azure Data Lake Storage-ban az adatok mappákba vannak rendezve. A mappák munkaterületet vagy környezetet jelölhetnek. Ezekben a mappákban az egyes adatfolyamok almappái jönnek létre.

Mi található egy adatfolyammappában?

Minden adatfolyam-mappa tartalmaz egy almappát az egyes táblákhoz és egy metaadatfájlt.model.json

A metaadatfájl: model.json

A model.json fájl az adatfolyam metaadat-definíciója. Ez az egyetlen fájl, amely az adatfolyam összes metaadatait tartalmazza. Tartalmazza a táblák listáját, az oszlopokat és azok adattípusait az egyes táblákban, a táblák közötti kapcsolatot stb. Ezt a fájlt egyszerűen exportálhatja adatfolyamból, még akkor is, ha nincs hozzáférése a Common Data Model mappastruktúrához.

Ezzel a JSON-fájllal migrálhatja (vagy importálhatja) az adatfolyamot egy másik munkaterületre vagy környezetbe.

A model.json metaadatok fájljának pontos megismeréséhez lépjen a Common Data Model metaadatfájljához (model.json).

Adatfájlok

A metaadatfájl mellett az adatfolyam mappája más almappákat is tartalmaz. Az adatfolyamok az egyes táblák adatait egy almappában tárolják a tábla nevével. A táblák adatai több adatpartícióra is feloszthatók, CSV formátumban tárolva.

Common Data Model-mappák megtekintése vagy elérése

Ha olyan adatfolyamokat használ, amelyek az általuk létrehozott termék által biztosított tárhelyet használják, akkor nem fog közvetlenül hozzáférni ezekhez a mappákhoz. Ilyen esetekben az adatfolyamok adatainak lekéréséhez a Microsoft Power Platform adatfolyam-összekötőt kell használnia, amely a Power BI szolgáltatás, a Power Apps és a Dynamics 35 Ügyfél Elemzések termékekben, illetve a Power BI Desktopban érhető el.

Az adatfolyamok és a belső Data Lake Storage-integráció működéséről az Adatfolyamok és az Azure Data Lake-integráció (előzetes verzió) című témakörben tájékozódhat.

Ha a szervezet engedélyezte, hogy az adatfolyamok kihasználhassák a Data Lake Storage-fiókját, és az adatfolyamok terhelési célként vannak kiválasztva, akkor is lekérheti az adatokat az adatfolyamból a Fent említett Power Platform-adatfolyam-összekötő használatával. Az adatfolyam Common Data Model mappáját azonban közvetlenül a tóon keresztül is elérheti, még a Power Platform eszközein és szolgáltatásain kívül is. A tóhoz való hozzáférés az Azure Portalon, a Microsoft Azure Storage Exploreren vagy bármely más, az Azure Data Lake Storage-t támogató szolgáltatáson vagy felületen keresztül lehetséges. További információ: Csatlakozás Azure Data Lake Storage Gen2 adatfolyam-tároláshoz

Következő lépések

• A Common Data Model használata az Azure Data Lake Storage Gen2 optimalizálásához

• A Common Data Model metaadatfájlja (model.json)

• CDM-mappa hozzáadása adatfolyamként a Power BI-hoz (előzetes verzió)

• Csatlakozás Azure Data Lake Storage Gen2 adatfolyam-tároláshoz

• Adatfolyamok és Azure Data Lake-integráció (előzetes verzió)

• Munkaterület adatfolyam-beállításainak konfigurálása (előzetes verzió)