中繼資料標準
中繼資料管理在資料架構中扮演重要角色。 中繼資料是其他資料的相關資料。 其描述數據,提供可協助您尋找、保護和控制數據的參考。 中繼資料也將資料結合在一起。 可用於驗證資料的完整性和品質、將資料路由或複寫到新位置、轉換資料,以及了解資料的含義。 中繼資料對於透過自助服務入口網站實現資料民主化也至關重要。
業界的趨勢日益增強,使用使用更多元數據的入口網站,讓數據分析師和科學家更接近數據分析師和科學家。 這個趨勢稱為資料可檢視性。 資料可檢視性使用中繼資料湖、知識圖表或中繼資料圖表等概念來描述集中式中繼資料的平台。 使用分散式數據網狀結構時,您可以建置統一檢視,說明如何在組織中使用和來源數據。
良好的中繼資料管理策略是有機成長的。 從簡單和小處著手,首先找出最重要的區域。 良好的中繼資料管理策略還需要服務和明確流程的支援。 開始時,最好先了解不同的中繼資料類別:
- 商業中繼資料描述用於治理、尋找和了解所有方面的資料。 一些著名的例子包括商務術語和定義,以及有關資料擁有權、使用和起源的資訊。
- 技術中繼資料描述資料在設計時的結構方面。 一些著名的例子包括結構描述資訊、資料格式和通訊協定資訊,以及加密和解密金鑰。
- 作業中繼資料描述資料在執行時的處理方面。 一些著名的例子包括流程資訊、執行時間、流程失敗資訊和工作識別碼。
- 社會中繼資料描述資料取用者的使用者觀點。 一些著名的例子包括使用和使用者追蹤資訊、搜尋結果資料、篩選和點擊、檢視時間、個人資料點擊率和註解。
在分散式資料架構中,中繼資料管理是一項組織挑戰,需要在集中管理的中繼資料與聯合管理的中繼資料之間找到平衡。 您在規劃中繼資料管理時,必須了解 Azure 中雲端級分析的團隊與功能。 使用協作資料管理實務可改善團隊間的溝通、整合及資料流程自動化。 您可以在中央治理與網域擁有權之間取得適當平衡,以解決中繼資料管理的部分複雜性。
當您決定要集中管理或同盟至 數據域 的元數據,並開始實作時,請問自己:
- 哪些商務中繼資料至關重要?
- 互通性需要哪些技術中繼資料?
- 哪些流程和串流會擷取資料?
- 模型或結構描述在哪裡建立和維護?
- 哪些資訊團隊需要集中提供,才能讓資料治理部門正確執行工作?
使用這些問題的答案,對應每個元數據數據流的內容生命週期,並判斷所有相依性。 如此一來,您就有一個可以連接商務網域、流程、技術和資料的中繼資料模型。
當您知道需要哪些中繼資料後,就必須選擇一個地方來儲存和處理這些中繼資料。 您可以使用 Microsoft Purview 執行這項操作。
使用 Microsoft Purview 來管理您的資料資產
Microsoft Purview 是統一資料治理解決方案,可協助您管理及治理內部部署、多雲端與軟體即服務 (SaaS) 資料。 其會大規模進行元數據管理,因為它是一項完全自動化的服務,可智慧地執行數據探索、數據掃描、數據品質和存取管理。 還能提供一個整體地圖,讓您對資料網格架構有許多深入的見解。
Microsoft Purview 是一套全面的解決方案,其可協助您的組織治理、保護和管理資料 (無論資料位於何處)。 Microsoft Purview 解決方案可提供整合的涵蓋面,並協助解決跨組織的資料片段、缺乏可見性而阻礙了資料保護和治理,以及傳統 IT 管理角色的模糊問題。
Microsoft Purview 將資料治理與合規性解決方案和服務結合在一起,成為一個統一的平台,以協助您的組織:
- 深入了解整個組織的資料
- 無論敏感資料存於何處,都能在其整個生命週期中加以保護和管理
- 以全新和全面的方式流暢治理資料
- 管理重要資料風險和法規要求
實施 Microsoft Purview 時,不要快速引入太多的變更和複雜性。 技術中繼資料是 Microsoft Purview 的基礎。 您需要先收集和組織您的中繼資料後,才可以使這些資料變得有意義。
當您有了您的中繼資料後,就從最基本的開始:
- 商務術語
- 權威資料來源的清單
- 資料庫清單
- 控管定義域
- 結構描述資訊
- 資料擁有權
- 資料監管
- 安全性
- 資料品質
然後慢慢讓更多的網域擁有者和資料管理員參與,並增加更多的分類和敏感度標籤,以擴大規模。 這些新增的功能可改善搜尋體驗,並讓資料存取管理更有效率。
Microsoft Purview 提供稱為治理網域的功能,可在您的面向域架構中為資料產品和商務概念建立統一治理、擁有權和發現界線。 如需更多資訊,請參閱規劃 Microsoft Purview 中的治理網域。
使用 Azure Cosmos DB 建立知識圖表
資料深入解析解決方案必須描述資料的使用方式,以及來源資料和資料產品等實體之間的關係,以及來自一個領域的資料產品和來自另一個領域的依賴產品之間的關係。 您可以使用圖表資料庫或自訂使用者介面來建模這些關係。
若要以自訂使用者體驗建立組織資料的統一視圖,請參考 Azure Cosmos DB。 Azure Cosmos DB 是具有 NoSQL 端點的全域分散式多模型資料庫服務。 可透過 Azure Cosmos DB for Apache Gremlin 提供圖表資料庫服務,以儲存擁有數十億個頂點和邊緣的大量圖表。
Azure Cosmos DB 架構的最終結果是一個組織範圍內的圖表,利用端對端內容提供組織內所有資料的統一視圖。 中繼資料湖不只是儲存資料。 還透過與其他服務和工具連接,主動將您的中繼資料組織為圖表。 這個有組織的圖表可讓您交叉相互關聯許多主題網域,包括:
- 網域
- 資料品質
- 資料使用量
- 商務功能
- 應用程式功能
- 技術架構資訊
- 運作事件
- 組織中繼資料
- 應用程式擁有權中繼資料
- 位置資訊
- 應用程式生命週期管理資訊