分析數據流的記憶體結構為何?

分析數據流會將數據和元數據儲存在 Azure Data Lake 儲存體 中。 數據流會利用標準結構來儲存和描述在 Lake 中建立的數據,這稱為 Common Data Model 資料夾。 在本文中,您將深入了解數據流在幕後使用的記憶體標準。

儲存體 需要分析數據流的結構

如果數據流是標準的,則數據會儲存在 Dataverse 中。 Dataverse 就像資料庫系統;其具有數據表、檢視等等的概念。 Dataverse 是標準數據流所使用的結構化數據儲存選項。

不過,當數據流分析時,數據會儲存在 Azure Data Lake 儲存體 中。 數據流的數據和元數據會儲存在 Common Data Model 資料夾中。 由於記憶體帳戶可能有多個數據流儲存在其中,因此已引進資料夾和子資料夾階層,以協助組織數據。 根據建立數據流的產品,資料夾和子資料夾可能會代表工作區(或環境),然後是數據流的 Common Data Model 資料夾。 在 Common Data Model 資料夾中,會儲存數據流數據表的架構和數據。 此結構遵循為 Common Data Model 定義的標準。

分析數據流會將數據儲存在 Common Data Model 結構中。

什麼是 Common Data Model 記憶體結構?

Common Data Model 是一種元數據結構,其定義是為了在多個平臺上使用數據帶來一致性和一致性。 一般數據模型不是數據記憶體,它是數據儲存和定義的方式。

一般數據模型資料夾會定義資料表的架構及其數據的儲存方式。 在 Azure Data Lake 儲存體 中,數據會組織在資料夾中。 資料夾可以代表工作區或環境。 在這些資料夾下,會建立每個數據流的子資料夾。

工作區資料夾結構。

數據流資料夾中的內容為何?

每個數據流資料夾都包含每個資料表的子資料夾,以及名為 的 model.json元資料檔案。

數據流資料夾中的內容為何?

元數據檔案:model.json

檔案 model.json 是數據流的元數據定義。 這是包含所有數據流元數據的一個檔案。 它包含數據表、數據行及其數據類型的清單,以及每個數據表、數據表之間的關聯性等等。 即使無法存取 Common Data Model 資料夾結構,您也可以輕鬆地從資料流匯出此檔案。

從數據流匯出model.json檔案。

您可以使用此 JSON 檔案,將資料流移轉至另一個工作區或環境(或匯入)。

將數據流遷移至另一個工作區或環境。

若要確切瞭解model.json元數據檔案包含的內容,請移至 Common Data Model 的元數據檔案 (model.json)。

資料檔案

除了元數據檔案之外,數據流資料夾還包含其他子資料夾。 數據流會將每個數據表的數據儲存在具有數據表名稱的子資料夾中。 數據表的數據可能會分割成多個數據分割,以 CSV 格式儲存。

如何查看或存取 Common Data Model 資料夾

如果您使用使用其所建立產品所提供的記憶體的數據流,您將無法直接存取這些資料夾。 在這種情況下,從數據流取得數據需要使用 Microsoft Power Platform 數據流連接器,才能在取得 Power BI 服務、Power Apps 和 Dynamics 35 Customer Insights 產品或 Power BI Desktop 中的數據體驗中取得。

連線 分析數據流的數據。

若要了解資料流和內部 Data Lake 儲存體 整合的運作方式,請移至資料流和 Azure Data Lake 整合 (預覽版)

如果您的組織已啟用數據流來利用其 Data Lake 儲存體 帳戶,且已選取為數據流的載入目標,您仍然可以使用上述的 Power Platform 數據流連接器從數據流取得數據。 但您也可以直接透過 Lake 存取資料流的 Common Data Model 資料夾,即使是 Power Platform 工具和服務之外也一樣。 可以透過支援 Azure Data Lake 儲存體 的 Azure 入口網站、Microsoft Azure 儲存體總管 或任何其他服務或體驗來存取湖。 其他資訊:連接資料流程儲存空間的 Azure Data Lake Storage Gen2

連線 至外部 Data Lake 儲存體。

下一步