訓練
認證
Microsoft Certified: Azure Data Engineer Associate - Certifications
展現對常見資料工程工作的了解,以使用多種 Azure 服務在 Microsoft Azure 上實作和管理資料工程工作負載。
雲端規模分析建議您考慮下列管理數據的需求:
其中一項挑戰是,數據會收集並儲存在企業中的多個位置。 數據可能包括收集並儲存在不同的地理位置和不同法律司法管轄區的數據。 因此,不同的立法可能會適用於管理不同司法管轄區的相同數據。 探索分散在多個雲端和地理位置的數據,以:
數據分類是將數據資產分類的一種方式,方法是將唯一的邏輯標記或類別指派給數據資產。 分類是以資料的商務內容為基礎。
需要有一種方法來分類數據,以瞭解其機密程度,以及保留多久時間。 分類需要:
分類 | 描述 |
---|---|
公開 | 任何人都可以存取數據,也可以傳送給任何人。 例如,開啟政府數據。 |
僅供內部使用。 | 只有員工可以存取數據,且無法在公司外部傳送。 |
機密 | 只有在特定工作需要數據時,才能共享數據。 若沒有保密協議,數據就無法在公司外部傳送。 |
敏感性 (個人資料) | 數據包含私用資訊,此資訊必須遮罩並共用,只有需要知道的時間有限。 數據無法傳送給未經授權的人員或公司外部。 |
受限制 | 數據只能與負責保護的具名個人共用。 例如,法律檔或商業秘密。 |
保留 | 描述 |
---|---|
None | 您可以隨時刪除資料。 |
暫存 | 將數據保留一段短時間內。 例如,將 Twitter 數據保留一周。 |
固定期間 | 將數據保留一組年份,之後即可刪除。 例如,將稅務記錄保留七年,以符合政府法律。 |
持續性 | 永遠不要刪除數據。 例如,法律信件。 |
使用每個配置中定義的類別,將數據機密性和數據生命週期保留分類程序自動化,以一致地在分散式數據環境中標記數據。 自動化可讓它保持一致且正確控管。 然後,定義分類配置中每個類別的規則和原則,以指定如何根據分類控管數據。
另一個需求是需要問責。 否則,混淆會揮之不去誰負責控管數據。 如果沒有責任,如何回答下列問題?
需要角色和責任,以避免混淆,並設定數據文化特性可具體化的基礎。
需要流程,配合角色和責任,以便:
定義要控管的原則和規則:
將這些原則和規則與數據控管分類配置中的每個類別產生關聯。
控管數據的另一個需求是主要數據管理。 主要數據是任何組織中最廣泛的共享數據,且包含核心數據實體。 核心數據實體包括客戶、供應商、材料、員工和資產。 它也包含在不同財務應用程式中找到的帳戶數據財務圖表。 因為主要數據非常廣泛地共用,所以與應用程式無關。 作業事務處理應用程式和分析系統都需要它。 讓此資料保持同步,可以解決許多數據錯誤並處理錯誤。 因此,透過統一流程來集中管理,並同步所有需要的系統,是最理想的情況。 此外,需要治理哪些人才能維護它,以及該維護需要發生的位置。
這同樣適用於參考數據,例如程式代碼集和金融市場數據。 在此情況下,程式代碼集的標準化和同步處理稱為參考數據管理,這也是需求。
最後,需要元數據譜系。 您可以使用稽核追蹤來了解資料的來源,以及其在傳送至報表或資料存放區時如何轉換。 您可以使用元數據來追蹤維護數據的人員或內容,包括何時和何處發生數據。
您需要端對端解決方案,其可在邊緣、多個雲端和數據中心的數據存放區中,在整個生命週期中控管數據。
您的資料控制管解決方案應該有數個元件:
訓練
認證
Microsoft Certified: Azure Data Engineer Associate - Certifications
展現對常見資料工程工作的了解,以使用多種 Azure 服務在 Microsoft Azure 上實作和管理資料工程工作負載。
文件
數據治理流程 - Cloud Adoption Framework
了解數據控管程式
資料目錄 - Cloud Adoption Framework
了解資料治理的資料目錄。
數據控管概觀 - Cloud Adoption Framework
了解雲端中的數據控管概念和數據控管成熟度模型。