Databricks湖倉通過在單一系統中統一數據存取和儲存來消除多個系統的數據複本的建立和同步需求,從而將湖倉建立為單一真理來源(SSOT)。 不斷複製數據通常會導致數據孤島,這表示組織內的不同小組可能會使用品質和時效性不同的數據版本。
Lakehouse(湖倉架構)如何控制交易和數據存取?
Delta Lake 交易使用與資料檔一起儲存的記錄檔,以提供資料表層級的 ACID 保證。 因為支援 Delta Lake 數據表的數據和記錄檔會同時存在於雲端物件記憶體中,因此讀取和寫入數據可能會同時發生,而不會造成許多查詢導致效能降低或業務關鍵工作負載死結的風險。 這表示整個企業環境中的使用者和應用程式可以連線到相同的單一數據複本,以驅動不同的工作負載,且所有檢視者保證在查詢執行時接收最新版的數據。
管理生產數據的存取權
Unity 目錄提供集中式數據控管解決方案,可讓數據管理人對使用者、群組和服務主體提供更細緻的訪問控制。 Unity 目錄會使用訪問控制清單 (ACL) 來管理許可權,以提供設定資源彈性和特定性。 某些可設定的權限包括:
- 少數數據表的唯讀存取權。
- 資料庫的資料表建立和修改許可權。
- 能夠讀取或修改特定雲端儲存位置中的數據。
- 透過 Unity 目錄受控記憶體認證存取許多雲端資源。
如需詳細資訊,請參閱 什麼是 Unity 目錄?。
利用湖屋中的檢視
Azure Databricks 上的檢視代表針對儲存在 Lakehouse 某處數據表中的數據所儲存的查詢。 儘管在寫入時執行的查詢會生成數據表,但每次針對檢視執行的查詢時,檢視都會執行其定義的邏輯。 這表示檢視可以提供各種來源數據的最新存取權,而且計算只會在需要時用來更新結果。
您可以使用 Unity 目錄與其他資料物件一起保護及共用檢視,讓個人和小組共用可推動整個組織主要商務決策的邏輯。
如需詳細資訊,請參閱 什麼是檢視?。
與共同作業者共享數據
雖然 Unity 目錄中的 ACL 涵蓋在企業組織內共用數據的各種使用案例,但 Delta Sharing 會藉由管理可隨處與共同作業者共用之數據集的只讀存取,進一步擴充此功能。 Unity 目錄支援的使用案例包括:
- 為跨國公司的隔離區域提供區域分析的即時存取。
- 在位於相同公司保護傘下的隔離企業之間共享數據集。
- 為第三方取用者提供客戶策劃數據集的安全存取。
在 Azure Databricks 上,Delta Sharing 隨附於 Unity 目錄內建,但它也是 開放原始碼 Delta Lake 的一部分。 如需詳細資訊,請參閱什麼是 Delta Sharing?。