Azure Data Lake Storage 重要考慮
瞭解 Azure Data Lake 的重要記憶體考慮。
生命週期管理
Azure 儲存體 提供不同的存取層,可讓您以最符合成本效益的方式儲存 Blob 對象數據。 可用的存取層包括:
- 經常性: 已針對儲存經常存取的數據進行優化。
- 非經常性: 已針對儲存不常存取的數據進行優化。 數據至少會儲存 30 天。
- 冷層: 已針對儲存不常存取或修改的數據進行優化。 數據至少會儲存 90 天。 相較於非經常性存取層,極非經常性存取層的儲存體成本較低但存取成本較高。
- 封存: 已針對儲存很少存取的數據進行優化。 數據會以小時的順序,以彈性延遲需求儲存至少 180 天。
重要
各種在線存取層之間沒有可靠性、安全性、卓越營運或效能效率取捨,這會根據工作負載存取數據大小、操作互動,以及刪除 Blob 之前的時間,選擇在線層作為財務決策。 根據 上述因素的計算,選取每個 Blob 的正確層。 如需詳細資訊,請參閱規劃和管理 Azure Blob 儲存體的成本。
使用存取層時,請考慮下列資訊:
只有經常性存取層和非經常性存取層可以在帳戶層級設定。 帳戶層級無法使用封存取層。
經常性存取層、非經常性存取層和封存層都可以在上傳期間或上傳後於 Blob 層級設定。
非經常性存取層和冷層中的數據可用性略低,但提供與經常性層數據相同的高持久性、擷取延遲和輸送量特性。 針對非經常性存取層或冷層中的數據,相較於經常性層,可接受較低的可用性和較高的存取成本,以降低整體記憶體成本。
封存記憶體會將數據離線儲存,並提供最低的儲存成本。 不過,它也具有最高的數據解除凍結和存取成本。
如需詳細資訊,請參閱區塊資料的存取層。
警告
針對雲端規模分析,建議您使用自定義微服務實 作生命週期管理 ,並仔細考慮將使用者可探索的數據移至非經常性存取記憶體的影響。
您應該只將 Data Lake 的區段移至非經常性存取層,以便瞭解良好的工作負載。
Data Lake 連線能力
每個數據湖都應該使用插入至數據登陸區域的虛擬網路的私人端點。 若要跨登陸區域提供存取權,請透過虛擬網路對等互連來連接您的數據登陸區域。 從成本和訪問控制的觀點來看,此連線提供最佳解決方案。
如需詳細資訊,請參閱 私人端點 和 數據管理登陸區域至數據登陸區域。
重要
從數據登陸區域的數據可以透過區域之間的虛擬網路對等互連,從另一個數據登陸區域存取。 這會使用與每個 Data Lake 帳戶相關聯的私人端點來完成。 建議您關閉所有公用對湖泊的存取,並使用私人端點。 您的平台作業小組應該控制數據登陸區域之間的網路連線。
容器的虛刪除
容器的虛刪除可保護您的資料免於意外或惡意刪除。 如果您為記憶體帳戶啟用容器虛刪除,已刪除的容器及其內容會保留於 Azure 儲存體 中,以供您選擇的時間長度。 在數據保留期間,您可以還原先前刪除的容器。 還原容器也會還原刪除該容器時在該容器內的任何 Blob。
啟用下列資料保護功能,以達到端對端 Blob 資料保護:
- 容器虛刪除,以還原已刪除的容器。 若要了解如何啟用容器虛刪除,請參閱啟用及管理容器虛刪除。
- Blob 虛刪除,以還原已刪除的 Blob 或版本。 若要了解如何啟用 Blob 虛刪除,請參閱啟用及管理 Blob 虛刪除。
警告
無法復原刪除記憶體帳戶。 容器虛刪除不會防止記憶體帳戶刪除,只會防止帳戶內的容器刪除。 若要防止刪除儲存體帳戶,請在儲存體帳戶資源上設定鎖定。 如需鎖定 Azure Resource Manager 資源的詳細資訊,請參閱鎖定資源以防止非預期的變更。
監視
在數據登陸區域中,所有監視都應該傳送至您的 Azure 登陸區域管理訂 用帳戶進行分析。
若要瞭解 Azure 儲存體 使用的監視數據,請參閱使用 Azure 監視器監視 Azure 資源。 如需 Azure 儲存體 建立之記錄和計量的詳細資訊,請參閱監視 Azure Blob 儲存體。
只有在對服務端點提出要求時,才會建立記錄專案。 已記錄的已驗證要求類型如下:
- 成功的要求
- 失敗的要求,包括逾時、節流、網路、授權和其他錯誤
- 使用共用存取簽章 (SAS) 或 OAuth 的要求,包括失敗和成功的要求
- 對分析數據的要求,例如容器中的
$logs
傳統記錄數據,以及數據表中的$metric
類別計量數據
不會記錄記憶體服務本身提出的要求,例如記錄建立或刪除。 記錄的匿名要求類型如下:
- 成功的要求
- 伺服器錯誤
- 用戶端與伺服器的逾時錯誤
- HTTP GET 要求失敗,錯誤碼為 304 (
Not Modified
)
系統不會記錄所有其他失敗的匿名要求。
重要
設定預設監視原則以稽核記憶體,並將記錄傳送至您的企業級管理訂用帳戶。
建議的數據湖區域安全性
下列用法是每個 Data Lake 區域的建議安全性模式:
- 原始使用方式只允許使用安全性主體名稱 (SPN) 來存取數據 - 最好使用受控識別。
- 擴充的使用方式只允許使用安全性主體名稱 (SPN) 來存取數據 - 最好使用受控識別。
- 策劃的使用方式可讓您存取安全性主體名稱 (SPN) 和用戶主體名稱 (UPN)。
如需詳細資訊,請參閱 Azure Data Lake Storage 中的訪問控制模型。