重要事項
先前Azure Purview) (Microsoft Purview 整合式目錄 和傳統 Microsoft Purview 資料控管功能即將淘汰。 Microsoft 正在 Microsoft Fabric 中合併其資料控管功能。 您無法再建立新帳戶,現有功能將維持在維護模式,直到 2027 年 11 月 12 日為止。 如需淘汰時間表、轉換指引,以及建議的後續步驟,請參閱 Microsoft Purview 資料控管淘汰公告。
本文可協助您瞭解如何在 Microsoft Purview 中使用資源集,將資料資產對應至邏輯資源。
注意事項
進階資源集功能現已推出,可供 Microsoft Purview 整合式目錄中的所有客戶使用。 進階資源集的定價與 傳統 Microsoft Purview 資料控管的現有費率一致。
背景資訊
大規模資料處理系統通常會將單一資料表作為多個檔案儲存在儲存體中。 在 Microsoft Purview 整合式目錄中,此概念是透過使用資源集來表示。 資源集是型錄中的單一物件,代表儲存體中的大量資產。
例如,假設您的 Spark 叢集已將 DataFrame 保存到Azure Data Lake Storage (ADLS) Gen2 資料來源。 雖然在 Spark 中,資料表看起來像是單一邏輯資源,但在磁碟上可能有數千個 Parquet 檔案,每個檔案都代表 DataFrame 內容的分割區。 IoT 資料和網頁記錄資料也面臨相同的挑戰。 假設您有一個感測器每秒輸出數次日誌檔案。 用不了多久,您就會從該單一感應器獲得數十萬個記錄檔。
Microsoft Purview 如何偵測資源集
Microsoft Purview 支援偵測 Azure Blob 儲存體、ADLS Gen1、ADLS Gen2、Azure 檔案儲存體和 Amazon S3 中的資源集。
Microsoft Purview 會在掃描時自動偵測資源集。 此功能會查看透過掃描擷取的所有資料,並將其與一組定義的模式進行比較。
例如,假設您掃描 URL 為 的資料來源。https://myaccount.blob.core.windows.net/mycontainer/machinesets/23/foo.parquet Microsoft Purview 會查看路徑區段,並判斷它們是否符合任何內建模式。 它具有 GUID、數字、日期格式、當地語系化代碼 (例如 en-us) 等的內建模式。 在此情況下,數字模式會比對 23。 Microsoft Purview 假設此檔案是名為 https://myaccount.blob.core.windows.net/mycontainer/machinesets/{N}/foo.parquet的資源集的一部分。
或者,針對像這樣的 https://myaccount.blob.core.windows.net/mycontainer/weblogs/en_au/23.jsonURL,Microsoft Purview 會同時比對當地語系化模式和數字模式,產生名為 https://myaccount.blob.core.windows.net/mycontainer/weblogs/{LOC}/{N}.json的資源集。
使用此策略,Microsoft Purview 會將下列資源對應至相同的資源集: https://myaccount.blob.core.windows.net/mycontainer/weblogs/{LOC}/{N}.json
https://myaccount.blob.core.windows.net/mycontainer/weblogs/cy_gb/1004.jsonhttps://myaccount.blob.core.windows.net/mycontainer/weblogs/cy_gb/234.jsonhttps://myaccount.blob.core.windows.net/mycontainer/weblogs/de_Ch/23434.json
Microsoft Purview 不會偵測為資源集的檔案類型
Microsoft Purview 刻意不會嘗試將大部分的文件檔案類型(例如 Word、Excel 或 PDF)分類為資源集。 CSV 格式是例外,因為這是一種常見的分割檔案格式。
Microsoft Purview 如何掃描資源集
當 Microsoft Purview 偵測到它認為是資源集一部分的資源時,它會從完整掃描切換到範例掃描。 範例掃描只會開啟它認為位於資源集中的檔案子集。 針對開啟的每個檔案,它會使用其結構描述並執行其分類器。 接著,Microsoft Purview 會在開啟的資源中尋找最新的資源,並在目錄中整個資源集的項目中使用該資源的結構描述和分類。
進階資源集
Microsoft Purview 可以透過 進階資源集 功能,自訂並進一步擴充您的資源集資產。 進階資源集可讓 Microsoft Purview 瞭解所擷取資料的基礎磁碟分割,並啟用資源 集模式規則 的建立,以自訂 Microsoft Purview 在掃描期間對資源集進行分組的方式。
啟用進階資源集之後,Microsoft Purview 會執行額外的彙總來計算資源集資產的下列相關資訊:
- 構成資源集之檔案的範例路徑。
- 顯示組成資源集的檔案數的磁碟分割計數。
- 構成資源集之所有檔案的總大小。
您可以在資源集的資產詳細資料頁面上找到這些屬性。
開啟進階資源集
在所有新的 Microsoft Purview 執行個體中,進階資源集預設為關閉。 只有在根集合中具有資料管理者角色的使用者才能管理進階資源集設定。 若要啟用進階資源集,請移至 Microsoft Purview 入口網站>[設定>帳戶],然後選取 [ 進階資源集] 的切換開關,如下圖所示:
啟用進階資源集之後,所有新擷取的資產都會進行額外擴充。 擷取後,這些擴充功能最多可能需要 12 小時 才能出現在您的資產上。 Microsoft Purview 小組建議在開啟此功能後,等候一小時,再掃描新的資料湖資料。
重要事項
啟用進階資源集會影響資產和分類見解的重新整理頻率。 當進階資源集開啟時,資產和分類見解會每天更新兩次。
此外,當您啟用進階資源集時,最多可能需要 12 小時 才能看到結構描述更新。
內建資源集模式
Microsoft Purview 支援下列資源集模式。 這些模式可以顯示為目錄中的名稱或檔案名稱的一部分。
以 Regex 為基礎的模式
| 模式名稱 | 顯示名稱 | 描述 |
|---|---|---|
| Guid | {GUID} | RFC 4122 中定義的全域唯一識別碼 |
| 數字 | {N} | 一或多個數字 |
| 日期/時間格式 | {年}{月}{天}{N} | 我們支援各種日期/時間格式,但全部都以 {Year}[delimiter]{Month}[delimiter]{Day} 或一系列 {N} 表示。 |
| 4ByteHex | {十六進位} | 四位數的十六進位數字。 |
| 當地語系化 | {LOC} | BCP 47 中定義的語言標籤,支援 - 和 _ 名稱, (例如 en_ca 和 en-ca) |
複雜模式
| 模式名稱 | 顯示名稱 | 描述 |
|---|---|---|
| SparkPath | {SparkPartitions} | Spark 磁碟分割檔案識別碼 |
| 日期 (yyyy/mm/dd) InPath | {年}/{月}/{日} | 橫跨多個資料夾的年/月/日模式 |
資源集在整合式目錄中的顯示方式
當 Microsoft Purview 將資產群組比對到資源集中時,它會嘗試擷取最有用的資訊,以做為目錄中的顯示名稱。 套用預設命名慣例的一些範例:
範例 1
合格名稱: https://myblob.blob.core.windows.net/sample-data/name-of-spark-output/{SparkPartitions}
顯示名稱:「name of spark output」
範例 2
合格名稱: https://myblob.blob.core.windows.net/my-partitioned-data/{Year}-{Month}-{Day}/{N}-{N}-{N}-{N}/{GUID}
顯示名稱:「我的分割資料」
範例 3
合格名稱: https://myblob.blob.core.windows.net/sample-data/data{N}.csv
顯示名稱:“data”
使用模式規則自訂資源集群組
掃描儲存體帳戶時,Microsoft Purview 會使用一組已定義的模式來判斷資產群組是否為資源集。 在某些情況下,Microsoft Purview 的資源集群組可能無法準確反映您的資料資產。 這些問題可能包括:
- 不正確地將資產標示為資源集。
- 將資產放入錯誤的資源集。
- 不正確地將資產標記為不是資源集。
若要自訂或覆寫 Microsoft Purview 偵測哪些資產分組為資源集的方式,以及它們在目錄中的顯示方式,您可以在管理中心定義模式規則。 如需逐步指示和語法,請參閱資源 集模式規則。
資源集的已知限制
- 依預設,只有在啟用 [進階資源集] 時,掃描才會刪除資源集資產。 如果此功能已關閉,則只能手動或透過 API 刪除資源集資產。
後續步驟
若要開始使用 Microsoft Purview,請參閱快速 入門:建立 Microsoft Purview 帳戶。