Azure NetApp Files 中具有非經常性存取的標準儲存體
使用具有非經常性存取的 Azure NetApp Files 標準儲存體,您可以將非使用中資料設定為從 Azure NetApp Files 標準服務層級儲存體 (「經常性存取層」) 移至 Azure 儲存體帳戶 (「非經常性存取層」)。 啟用非經常性存取會將非作用中數據區塊從磁碟區和磁碟區的快照集移至非經常性存取層,進而節省成本。
大部分的極非經常性存取資料都會與非結構化資料相關聯。 在許多儲存體環境中,其可以占用超過 50% 的儲存體容量總計。 與生產力軟體、已完成專案和舊資料集相關聯的不常存取資料,對於高效能儲存體的使用效率不佳。
Azure NetApp Files 支援三種可在容量集區層級設定的服務層級 (標準、進階和 Ultra)。 非經常性存取只是 [標準] 服務層級的額外服務。
下圖說明磁碟區已啟用非經常性存取的應用程式。
在初始寫入中,資料區塊會獲指派「暖」溫度值 (在圖表中為紅色資料區塊),並存在於「經常性存取」層。 資料位於磁碟區時,溫度掃描會監視每個區塊的活動。 資料區塊未作用時,溫度掃描會降低區塊的值,直到其已未作用非經常性存取期間中所指定的天數。 冷卻期間可以介於 2 到 183 天之間:其預設值為31天。 標示為「極非經常性存取」之後,分層掃描會收集區塊,並將其封裝成 4 MB 物件,而這些物件會以完全透明的方式移至 Azure 儲存體。 對於應用程式和使用者,這些非經常性存取區塊仍然會顯示為在線上。 分層式資料似乎在線上,而且會透過從非經常性存取層進行透明且自動化擷取,來持續供使用者和應用程式使用。
根據 Default
(除非另外設定非經常性存取擷取原則),非經常性存取層上隨機讀取的資料區塊會再次變成「暖」,並移回經常性存取層。 標示為「暖」之後,資料區塊會再次進行溫度掃描。 不過,針對非經常性存取層中非作用中資料的大型循序讀取 (例如索引和防毒掃描)不會「暖化」資料,也不會觸發將非作用中資料移回經常性存取層。 此外,Azure NetApp Files、跨區域複寫或跨區域複寫的循序讀取不會「暖」數據。
重要
如果您使用第三方備份服務,請將它設定為使用 NDMP,而不是 CIFS 或 NFS 通訊協定。 NDMP 讀取不會影響數據的溫度。
中繼資料永遠不會非經常性存取,而且一律會保留在經常性存取層中。 因此,中繼資料密集工作負載的活動 (例如,晶片設計、VCS 和主目錄這類高檔案計數環境) 不會受到分層的影響。
支援的區域
下列區域支援具有非經常性存取的標準儲存體:
- 澳大利亞中部
- 澳大利亞中部 2
- 澳大利亞東部
- 澳大利亞東南部
- 巴西南部
- 巴西東南部
- 加拿大中部
- 加拿大東部
- 印度中部
- 美國中部
- 東亞
- 美國東部
- 美國東部 2
- 法國中部
- 德國北部
- 德國中西部
- 以色列中部
- 義大利北部
- 日本東部
- 日本西部
- 南韓中部
- 南韓南部
- 美國中北部
- 北歐
- 挪威東部
- 挪威西部
- 卡達中部
- 南非北部
- 美國中南部
- 印度南部
- 東南亞
- 瑞士北部
- 瑞士西部
- 瑞典中部
- 阿拉伯聯合大公國中部
- 阿拉伯聯合大公國北部
- 英國南部
- 英國西部
- US Gov 亞利桑那州
- US Gov 德克薩斯州
- US Gov 維吉尼亞州
- 西歐
- 美國西部
- 美國西部 2
- 美國西部 3
非經常性存取對資料的影響
本節說明大型持續時間、大型資料集暖測試。 其會顯示資料集的範例情節 (其中 100% 的資料位於非經常性存取層中) 以及一段時間的加熱方式。
一般隨機存取的資料會啟動為工作集的一部分 (讀取、修改和寫入)。 資料在失去相關性時會變成「非經常性存取」,最終會分層至非經常性存取層。
非經常性存取資料可能會再次變成經常性存取。 整個工作集都以極非經常性存取來啟動並不常見,但有些情節確實存在,例如稽核、年終處理、季未處理、訴訟和年終授權審查。
此情節可讓您深入了解 100% 非經常性存取資料集的暖效能行為。 此深入解析適用於其是少量百分比還是整個資料集。
4k 隨機讀取測試
本節說明 160 個檔案 (共 10 TB 資料) 之間的 4k 隨機讀取測試。
設定
容量集區大小:100 TB 容量集區
磁碟區配置容量:100-TB 磁碟區
工作資料集:10 TB
服務層級:具有非經常性存取的標準儲存體
磁碟區計數/大小:1
用戶端計數:四個標準 8-s 用戶端
OS:RHEL 8.3
掛接選項:rw,nconnect=8,hard,rsize=262144,wsize=262144,vers=3,tcp,bg,hard
方法
此測試是透過 FIO 所設定,可跨共 10 TB 資料的 160 個檔案來執行 4k 隨機讀取測試。 FIO 已設定為跨整個工作資料集來隨機讀取每個區塊。 (其可以讀取任何區塊任意次數以作為測試的一部分,而不是觸摸每個區塊一次)。 此指令碼會每 5 分鐘呼叫一次,然後呼叫效能上所收集的資料點。 區塊在隨機讀取時會移至經常性存取層。
此測試具有大型資料集,並啟動最差案例最過時資料來執行數天 (所有已傾印的快取)。 已移除 X 軸的時間元件,因為重新暖化時間總計會因資料集大小而不同。 根據資料集,此曲線的單位可以是天、小時、分鐘或甚至秒。
結果
下圖所顯示的測試已在 10 TB 工作資料集上執行 2.5 天,而此資料集已 100% 非經常性存取並已清除緩衝區 (絕對最差過時資料)。
64k 循序讀取測試
設定
容量集區大小:100 TB 容量集區
磁碟區配置容量:100-TB 磁碟區
工作資料集:10 TB
服務層級:具有非經常性存取的標準儲存體
磁碟區計數/大小:1
用戶端計數:一個大型用戶端
OS:RHEL 8.3
掛接選項:rw,nconnect=8,hard,rsize=262144,wsize=262144,vers=3,tcp,bg,hard
方法
循序讀取區塊不會重新暖化為經常性存取層。 不過,小型資料集大小可能會因快取而看到效能改善 (不保證效能變更)。
此測試提供下列資料點:
- 100% 經常性存取層資料集
- 100% 非經常性存取層資料集
此測試已執行 30 分鐘,以取得穩定的效能數字。
結果
下表摘要說明測試結果:
64-k 循序 | 讀取輸送量 |
---|---|
經常性存取資料 | 1,683 MB/秒 |
非經常性存取資料 | 899 MB/秒 |
測試結論
從非經常性存取層讀取的資料會遇到效能問題。 若調整時間以正確地設為非經常性存取,則根本可能不會遇到效能問題。 您可能幾乎沒有非經常性存取層存取,而 30 天的時間範圍非常適合保持暖資料的暖化狀態。
您應該避免在經常性存取層與非經常性存取層之間變換區塊的情況。 例如,您會將資料的工作負載設定為非經常性存取七天,而且每 11 天都會隨機讀取大量百分比的資料集。
總而言之,若工作集為預測,則您可以將不常存取的資料區塊移至非經常性存取層來節省成本。 設為非經常性存取前的 7 到 30 天等候範圍提供工作集的大型視窗,而這些工作集在休眠後極少存取,或在存取時不需要經常性存取層速度。
計量
非經常性存取提供效能計量,以了解每個磁碟區的使用模式:
- 磁碟區非經常性存取層大小
- 磁碟區非經常性存取層資料讀取大小
- 磁碟區非經常性存取層資料寫入大小
計費
您可以對使用標準服務層級的新建立容量集區,在磁碟區層級啟用分層。 您的計費方式取決於下列因素:
- 標準服務層級中的容量
- 容量集區內的未配置容量
- 非經常性存取層中的容量 (針對標準容量集區中的磁碟區啟用分層)
- 經常性存取層與非經常性存取層之間的網路傳輸,其費率取決於 Blob 儲存體上交易成本上的標記 (
GET
和PUT
要求) 以及經常性存取層之間任一方向的私人連結傳輸。
標準容量集區的計費計算是以未分層至非經常性存取層之資料的經常性存取層費率;這包括容量集區內的未配置容量。 了解針對磁碟區啟用分層時,非經常性存取層中的容量將會以非經常性存取層的費率計算,而剩餘的容量將會以經常性存取層的費率計算。 非經常性存取層的費率低於經常性存取層的費率。
計費結構的範例
假設您已建立 4 TiB 標準容量集區。 計費結構是整個 4 TiB 的標準容量層費率。
了解在容量集區中建立磁碟區並開始將資料分層至非經常性存取層時,下列情節說明適用的計費結構:
假設您建立三個各 1 TiB 的磁碟區。 您未在磁碟區層級啟用分層。 計費計算如下:
- 經常性存取層費率的 3 TiB 配置容量
- 經常性存取層費率的 1 TiB 未配置容量
- 非經常性存取層費率的零容量
- 經常性存取層與非經常性存取層之間的零網路傳輸,其費率取決於 Blob 儲存體上交易成本上的標記 (
GET
、PUT
) 以及經常性存取層之間任一方向的私人連結傳輸。
假設您建立四個各 1 TiB 的磁碟區。 每個磁碟區在經常性存取層上都有 0.25 TiB 的磁碟區容量,而在非經常性存取層中有 0.75 TiB 的磁碟區容量。 計費計算如下:
- 經常性存取層費率的 1 TiB 容量
- 非經常性存取層費率的 3 TiB 容量
- 經常性存取層與非經常性存取層之間的網路傳輸,其費率取決於 Blob 儲存體上交易成本上的標記 (
GET
、PUT
) 以及經常性存取層之間任一方向的私人連結傳輸。
假設您建立兩個各 1 TiB 的磁碟區。 每個磁碟區在經常性存取層上都有 0.25 TiB 的磁碟區容量,而在非經常性存取層中有 0.75 TiB 的磁碟區容量。 計費計算如下:
- 經常性存取層費率的 0.5 TiB 容量
- 經常性存取層費率的 2 TiB 未配置容量
- 非經常性存取層費率的 1.5 TiB 容量
- 經常性存取層與非經常性存取層之間的網路傳輸,其費率取決於 Blob 儲存體上交易成本上的標記 (
GET
、PUT
) 以及經常性存取層之間任一方向的私人連結傳輸。
假設您建立一個各 1 TiB 的磁碟區。 磁碟區在經常性存取層上有 0.25 TiB 的磁碟區容量,而在非經常性存取層上有 0.75 的磁碟區容量。 計費計算如下:
- 經常性存取層費率的 0.25 TiB 容量
- 非經常性存取層費率的 0.75 TiB 容量
- 經常性存取層與非經常性存取層之間的網路傳輸,其費率取決於 Blob 儲存體上交易成本上的標記 (
GET
、PUT
) 以及經常性存取層之間任一方向的私人連結傳輸。
具有不同非經常性存取期間的成本計算範例
本節顯示儲存體和網路傳輸成本的範例,並具有不同的非經常性存取期間。
在這些範例中,假設:
- 經常性存取層儲存體成本為 $0.000202/GiB/hr。 非經常性存取層儲存體成本為 $0.000082/GiB/hr。
- 網路傳輸成本 (包括非經常性存取層的讀取或寫入活動) 為 $0.020000/GiB。
- 您有已啟用非經常性存取的 5 TiB 容量集區。
- 您在容量集區內有 1 TiB 的未配置容量
- 您已啟用 4 TiB 磁碟區以進行非經常性存取。
- 4 TiB 中的 3 TiB 會在非經常性存取期間之後移至非經常性存取層。
- 您每月會從非經常性存取層讀取或寫入 20% 的資料。
- 每個月是 30 天或 730 小時。 因此,每天是 730/30 小時。
重要
- 這些計算只能用作參考估計值,而不能用於驗證帳單金額的確切性。
- 範例中考慮的費率適用於範例區域,而且可能與您預期的部署區域不同。
- 如果資料是從非經常性存取層讀取或寫入至非經常性存取層,則會導致經常性存取層和非經常性存取層中的資料分佈百分比變更。 本文中的計算示範經常性存取層和非經常性存取層中的初始百分比分佈,而不是在 20% 的資料移至非經常性存取層或移出非經常性存取層之後。
注意
下列範例包括容量集區中的 1 TiB 未配置空間,以顯示啟用非經常性存取時如何對未配置空間進行收費。 為了節省最大的成本,應該減少容量集區大小,以消除未配置的集區容量。
範例 1:非經常性存取期間設定為 7 天
「第一個月」的儲存體成本會是:
成本 | 描述 | 運算 |
---|---|---|
第 1~30 天的未配置儲存體成本 (30 天) | 1 TiB 的未配置儲存體 | 1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00 |
第 1~7 天的儲存體成本 (七天) | 4 TiB 的作用中資料 (經常性存取層) | 4 TiB x 1024 x 7 days x 730/30 hrs. x $0.000202/GiB/hr. = $140.93 |
第 8~30 天的儲存體成本 (23 天) | 1 TiB 的作用中資料 (經常性存取層) 3 TiB 的非作用中資料 (非經常性存取層) |
1 TiB x 1024 x 23 days x 730/30 hrs. x $0.000202/GiB/hr. = $115.77 3 TiB x 1024 x 23 days x 730/30 hrs. x $0.000082/GiB/hr. = $140.98 |
網路傳輸成本 | 將非作用中資料移至非經常性存取層 從非經常性存取層的 20% 資料讀取/寫入 |
3 TiB x 1024 x $0.020000/GiB = $61.44 3 TiB x 1024 x 20% x $0.020000/GiB = $12.29 |
第一個月總計 | $622.41 |
「第二個和後續月份」的每月儲存體成本會是:
成本 | 描述 | 運算 |
---|---|---|
30 天的儲存體成本 | 1 TiB 的未配置儲存體 1 TiB 的作用中資料 (經常性存取層) 3 TiB 的非作用中資料 (非經常性存取層) |
1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00 1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00 3 TiB x 1024 x 30 days x 730/30 hrs. x $0.000082/GiB/hr. = $183.89 |
網路傳輸成本 | 從非經常性存取層的 20% 資料讀取/寫入 | 3 TiB x 1024 x 20% x $0.020000/GiB = $12.29 |
第二個和後續每月總計 | $498.18 |
您的前六個月節省:
- 沒有非經常性存取的成本:
5 TiB x 1024 x $0.000202/GiB/hr. x 730 hrs. x 6 months = $4,529.97
- 具有非經常性存取的成本:
First month + Second month + … + Sixth month = $622.41 + (5x $498.18) = $3,113.31
- 使用非經常性存取的節省:
31.27%
您的前十二個月節省:
- 沒有非經常性存取的成本:
5 TiB x 1024 x $0.000202/GiB/hr. x 730 hrs. x 12 months = $9,059.94
- 具有非經常性存取的成本:
First month + Second month + … + twelfth month = $622.41 + (11 x $498.18) = $6,102.39
- 使用非經常性存取的節省:
32.64%
範例 2:非經常性存取期間設定為 35 天
所有 5 TiB 都是第一個月的作用中資料 (位於經常性存取層)。 「第一個月」的儲存體成本會是:5 TiB x 1024 x 730hr. x $0.000202/GiB/hr. = $755.00
「第二個月」的儲存體成本會是:
成本 | 描述 | 運算 |
---|---|---|
第 1~30 天的未配置儲存體成本 (30 天) | 1 TiB 的未配置儲存體 | 1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00 |
第 1~5 天的儲存體成本 (五天) | 4 TiB 的作用中資料 (經常性存取層) | 4 TiB x 1024 x 5 days x 730/30 hrs. x $0.000202/GiB/hr. = $100.67 |
第 6~30 天的儲存體成本 (25 天) | 1 TiB 的作用中資料 (經常性存取層) 3 TiB 的非作用中資料 (非經常性存取層) |
1 TiB x 1024 x 25 days x 730/30 hrs. x $0.000202/GiB/hr. = $125.83 3 TiB x 1024 x 25 days x 730/30 hrs. x $0.000082/GiB/hr. = $153.24 |
網路傳輸成本 | 將非作用中資料移至非經常性存取層 從非經常性存取層的 20% 資料讀取/寫入 |
3 TiB x 1024 x $0.020000 /GiB = $61.44 3 TiB x 1024 x 20% x $0.020000/GiB = $12.29 |
第二個月總計 | $604.47 |
「第三個和後續月份」的每月儲存體成本會是:
成本 | 描述 | 運算 |
---|---|---|
30 天的儲存體成本 | 1 TiB 的未配置儲存體 1 TiB 的作用中資料 (經常性存取層) 3 TiB 的非作用中資料 (非經常性存取層) |
1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00 1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00 3 TiB x 1024 x 30 days x 730/30 hrs. x $0.000082/GiB/hr. = $183.89 |
網路傳輸成本 | 從非經常性存取層的 20% 資料讀取/寫入 | 3 TiB x 1024 x 20% x $0.020000/GiB = $12.29 |
第三個和後續的每月總計 | $498.18 |
您的前六個月節省:
- 沒有非經常性存取的成本:
5 TiB x 1024 x $0.000202/GiB/hr. x 730 hrs. x 6 months = $4,529.97
- 具有非經常性存取的成本:
First month + Second month + … + Sixth month = $755.00 + $604.47 + (4 x $498.18) = $3,352.19
- 使用非經常性存取的節省:
25.99%
您的前十二個月節省:
- 沒有非經常性存取的成本:
5 TiB x 1024 x $0.000202/GiB/hr. x 730 hrs. x 12 months = $9,059.94
- 具有非經常性存取的成本:
First month + Second month + … + twelfth month = $755.00 + $604.47 + (10 x $498.18) = $6,341.27
- 使用非經常性存取的節省:
30.00%
範例 3:非經常性存取期間設定為 63 天
所有 5 TiB 都是前兩個月的作用中資料 (位於經常性存取層)。 「第一個月和第二個月」的每月儲存體成本會是:5 TiB x 1024 x 730hr. x $0.000202/GiB/hr. = $755.00
「第三個月」的儲存體成本會是:
成本 | 描述 | 運算 |
---|---|---|
第 1~30 天的未配置儲存體成本 (30 天) | 1 TiB 的未配置儲存體 | 1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00 |
第 1~3 天的儲存體成本 (三天) | 4 TiB 的作用中資料 (經常性存取層) | 4 TiB x 1024 x 3 days x 730/30 hrs. x $0.000202/GiB/hr. = $60.40 |
第 4~30 的儲存體成本 (27 天) | 1 TiB 的作用中資料 (經常性存取層) 3 TiB 的非作用中資料 (非經常性存取層) |
1 TiB x 1024 x 27 days x 730/30 hrs. x $0.000202/GiB/hr. = $135.90 3 TiB x 1024 x 27 days x 730/30 hrs. x $0.000082/GiB/hr. = $165.50 |
網路傳輸成本 | 將非作用中資料移至非經常性存取層 從非經常性存取層的 20% 資料讀取/寫入 |
3 TiB x 1024 x $0.020000/GiB = $61.44 3 TiB x 1024 x 20% x $0.020000/GiB = $12.29 |
第三個月總計 | $586.52 |
「第四個和後續月份」的每月儲存體成本會是:
成本 | 描述 | 運算 |
---|---|---|
30 天的儲存體成本 | 1 TiB 的未配置儲存體 1 TiB 的作用中資料 (經常性存取層) 3 TiB 的非作用中資料 (非經常性存取層) |
1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00 1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00 3 TiB x 1024 x 30 days x 730/30 hrs. x $0.000082/GiB/hr. = $183.89 |
網路傳輸成本 | 從非經常性存取層的 20% 資料讀取/寫入 | 3 TiB x 1024 x 20% x $0.020000/GiB = $12.29 |
第四個和後續的每月總計 | $498.18 |
您的前六個月節省:
- 沒有非經常性存取的成本:
5 TiB x 1024 x $0.000202/GiB/hr. x 730 hrs. x 6 months = $4,529.97
- 具有非經常性存取的成本:
First month + Second month + … + Sixth month = (2 x $755.00) + $586.52 + (3 x $498.18) = $3,591.06
- 使用非經常性存取的節省:
20.73%
您的前十二個月節省:
- 沒有非經常性存取的成本:
5 TiB x 1024 x $0.000202/GiB/hr. x 730 hrs. x 12 months = $9,059.94
- 具有非經常性存取的成本:
First month + Second month + … + twelfth month = (2 x $755.00) + $586.52 + (9 x $498.18) = $6,580.14
- 使用非經常性存取的節省:
27.37%
提示
您可以使用具有非經常性存取節省成本估算器的 Azure NetApp Files 標準儲存體,以根據可變更的輸入參數來互動預估節省成本。