在 Azure NetApp Files 使用非經常性存取的標準儲存體
使用具有非經常性存取權的 Azure NetApp Files 標準記憶體,您可以將非使用中數據設定為從 Azure NetApp Files Standard 服務層級記憶體(經常性存取層)移至 Azure 記憶體帳戶(非經常性存取層)。 啟用非經常性存取會將非作用中數據區塊從磁碟區和磁碟區的快照集移至非經常性存取層,進而節省成本。
大部分的冷數據都與非結構化數據相關聯。 它可以占許多記憶體環境中記憶體容量總數的 50% 以上。 與生產力軟體、已完成的專案和舊數據集相關聯的不常存取數據,對高效能記憶體的使用效率不佳。
Azure NetApp Files 支援三個服務等級,可在容量集區層級設定(標準、進階版 和 Ultra)。 非經常性存取只是標準服務層級的額外服務。
下圖說明已啟用非經常性存取之磁碟區的應用程式。
在初始寫入中,數據區塊會指派「暖」溫度值(在圖表中為紅色數據區塊),並存在於「經常性」層。 當數據位於磁碟區時,溫度掃描會監視每個區塊的活動。 當數據區塊處於非使用中狀態時,溫度掃描會降低區塊的值,直到在冷卻期間指定的天數內一直處於非作用中狀態為止。 冷卻期間可以介於 7 到 183 天之間:其預設值為31天。 一旦標示為「冷」,分層掃描會收集區塊,並將其封裝成 4 MB 物件,以完全透明的方式移至 Azure 記憶體。 對應用程式和使用者,這些非經常性存取區塊仍會顯示在在線。 階層式數據似乎在在線,而且會透過從非經常性存取層進行透明且自動擷取,持續供使用者和應用程式使用。
依據 Default
(除非另有設定非經常性存取擷取原則),非經常性存取層上隨機讀取的數據區塊會變成「暖」,並移回經常性存取層。 一旦標示為 暖,數據區塊會再次受到溫度掃描。 不過,非經常性存取層中非作用中數據的大型循序讀取(例如索引和防毒掃描)不會「暖」數據,也不會觸發非作用中數據移回經常性層。
元數據永遠不會冷卻,而且一律會保留在經常性存取層中。 因此,元數據密集工作負載的活動(例如,晶元設計、VCS 和主目錄等高檔案計數環境)不會受到階層處理的影響。
支援的區域
下列區域支援具有非經常性存取的標準記憶體:
- 澳大利亞中部
- 澳大利亞中部 2
- 澳大利亞東部
- 澳大利亞東南部
- 巴西南部
- 巴西東南部
- 加拿大中部
- 加拿大東部
- 印度中部
- 美國中部
- 東亞
- 美國東部 2
- 法國中部
- 德國北部
- 德國中西部
- 日本東部
- 日本西部
- 南韓中部
- 南韓南部
- 美國中北部
- 北歐
- 挪威東部
- 挪威西部
- 卡達中部
- 南非北部
- 美國中南部
- 印度南部
- 東南亞
- 瑞士北部
- 瑞士西部
- 瑞典中部
- 阿拉伯聯合大公國中部
- 阿拉伯聯合大公國北部
- 英國南部
- 英國西部
- US Gov 亞利桑那州
- US Gov 德克薩斯州
- US Gov 維吉尼亞州
- 西歐
- 美國西部
- 美國西部 2
- 美國西部 3
非經常性存取對數據的影響
本節描述大型數據集變暖測試。 它會顯示數據集的範例案例,其中 100% 的數據位於非經常性存取層中,以及隨著時間的加熱方式。
一般隨機存取的數據會啟動為工作集的一部分(讀取、修改和寫入)。 當數據失去相關性時,它就會變成「非經常性存取」,最終會分層至非經常性存取層。
非經常性存取數據可能會再次變成經常性存取。 並非所有工作集都以冷啟動,但有些案例確實存在,例如稽核、年終處理、季度結束處理、訴訟和年終授權審查。
此案例可讓您深入瞭解 100% 冷卻數據集的變暖效能行為。 深入解析適用於它是小百分比或整個數據集。
4k 隨機讀取測試
本節描述 160 個檔案之間 4k 個隨機讀取測試,總計 10 TB 的數據。
設定
容量集區大小: 100 TB 容量集區
磁碟區配置的容量: 100 TB 的磁碟區
工作數據集: 10 TB
服務等級: 具有非經常性存取的標準記憶體
磁碟區計數/大小: 1
用戶端計數: 四個標準 8 秒用戶端
OS: RHEL 8.3
掛接選項:rw,nconnect=8,hard,rsize=262144,wsize=262144,vers=3,tcp,bg,hard
方法
這項測試是透過 FIO 設定的,可在總計 10 TB 的數據 160 個檔案中執行 4k 個隨機讀取測試。 FIO 已設定為跨整個工作數據集隨機讀取每個區塊。 (它可以讀取任何區塊作為測試一部分的任何次數,而不是觸摸每個區塊一次)。 此腳本會每隔 5 分鐘呼叫一次,然後呼叫一個在效能上收集的數據點。 隨機讀取區塊時,會移至經常性層。
此測試有大型數據集,並執行數天,開始最差案例最過時的數據(所有已傾印的快取)。 已移除 X 軸的時間元件,因為重新加總時間因數據集大小而有所不同。 根據數據集而定,此曲線可能以天、小時、分鐘或甚至秒為單位。
結果
下圖顯示一項測試,該測試在 10 TB 的工作數據集上執行了 2.5 天,該數據集已冷卻 100%,且緩衝區已清除(絕對最差的過時數據)。
64k 循序讀取測試
設定
容量集區大小: 100 TB 容量集區
磁碟區配置的容量: 100 TB 的磁碟區
工作數據集: 10 TB
服務等級: 具有非經常性存取的標準記憶體
磁碟區計數/大小: 1
用戶端計數: 一個大型用戶端
OS: RHEL 8.3
掛接選項:rw,nconnect=8,hard,rsize=262144,wsize=262144,vers=3,tcp,bg,hard
方法
循序讀取區塊不會重新加溫至經常性層。 不過,小型數據集大小可能會因為快取而看到效能改善(沒有效能變更保證)。
此測試提供下列資料點:
- 100% 熱層數據集
- 100% 非經常性存取層數據集
此測試執行了 30 分鐘,以取得穩定的效能號碼。
結果
下表摘要說明測試結果:
64-k 循序 | 讀取輸送量 |
---|---|
經常性數據 | 1,683 MB/秒 |
非經常性存取數據 | 899 MB/秒 |
測試結論
從非經常性存取層讀取的數據會遇到效能問題。 如果您將時間調整為正確冷卻時間,則可能完全不會遇到效能問題。 您可能幾乎沒有非經常性存取層,而 30 天的視窗非常適合讓暖數據保持暖和。
您應該避免在經常性存取層與非經常性存取層之間變換區塊的情況。 例如,您會將數據的工作負載設定為非經常性存取七天,而且每隔 11 天隨機讀取一大百分比的數據集。
總而言之,如果您的工作集是可預測的,您可以將不常存取的數據區塊移至非經常性存取層來節省成本。 冷卻前的 7 到 30 天等候範圍提供工作集的大型視窗,這些工作集在休眠后很少存取,或在存取時不需要熱層速度。
計量
非經常性存取提供 效能計量 ,以瞭解每個磁碟區的使用模式:
- 磁碟區非經常性存取層大小
- 磁碟區非經常性存取層數據讀取大小
- 磁碟區非經常性存取層數據寫入大小
計費
您可以針對使用標準服務等級的新建立容量集區,在磁碟區層級啟用階層處理。 您的計費方式取決於下列因素:
- 標準服務等級中的容量
- 容量集區內的未配置容量
- 非經常性存取層中的容量(藉由為標準容量集區中的磁碟區啟用階層處理)
- 熱層與非經常性存取層之間的網路傳輸,其速率取決於 Blob 記憶體上交易成本(
GET
和要求)上的標記,以及PUT
經常性存取層之間的任一方向私人鏈接傳輸。
標準容量集區的計費計算是非分層至非經常性存取層之數據的經常性層費率;這包括容量集區內的未配置容量。 當您為磁碟區啟用階層處理時,非經常性存取層中的容量會以非經常性存取層的速率計算,而剩餘的容量會以經常性存取層的速率計算。 非經常性存取層的速率低於經常性層的速率。
計費結構的範例
假設您已建立 4 TiB 標準容量集區。 計費結構是整個 4 TiB 的標準容量層級費率。
當您在容量集區中建立磁碟區,並開始將數據分層至非經常性存取層時,下列案例說明適用的計費結構:
假設您建立三個磁碟區,每個磁碟區各有 1 TiB。 您未在磁碟區層級啟用階層處理。 計費計算如下所示:
- 3 以經常性層速率配置容量的 TiB
- 1 熱層速率的未配置容量 TiB
- 非經常性存取層速率的零容量
- 在經常性存取層與非經常性存取層之間,零網路傳輸,其速率是由 Blob 記憶體上的標記所
GET
PUT
決定,以及作用中層之間的任一方向的私人連結傳輸。
假設您建立四個磁碟區,每個磁碟區各有 1 TiB。 每個磁碟區在經常性存取層上具有 0.25 TiB 的磁碟區容量,以及非經常性存取層中磁碟區容量的 0.75 TiB。 計費計算如下所示:
- 熱層速率為 1-TiB 容量
- 非經常性存取層速率的 3 TiB 容量
- 在經常性存取層與非經常性存取層之間的網路傳輸,其速率取決於 Blob 記憶體上的標記 (
GET
、PUT
) 和私人連結傳輸在經常性層之間的任一方向。
假設您分別建立兩個具有 1 TiB 的磁碟區。 每個磁碟區在經常性存取層上具有 0.25 TiB 的磁碟區容量,以及非經常性存取層中磁碟區容量的 0.75 TiB。 計費計算如下所示:
- 以經常性層速率計算的 0.5-TiB 容量
- 2 熱層速率的未配置容量 TiB
- 以非經常性存取層速率的 1.5-TiB 容量
- 在經常性存取層與非經常性存取層之間的網路傳輸,其速率取決於 Blob 記憶體上的標記 (
GET
、PUT
) 和私人連結傳輸在經常性層之間的任一方向。
假設您建立一個具有 1 TiB 的磁碟區。 經常性存取層的磁碟區容量為0.25 TiB,非經常性存取層的磁碟區容量為0.75。 計費計算如下所示:
- 以經常性層速率計算的 0.25-TiB 容量
- 以非經常性存取層速率的 0.75-TiB 容量
- 在經常性存取層與非經常性存取層之間的網路傳輸,其速率取決於 Blob 記憶體上的標記 (
GET
、PUT
) 和私人連結傳輸在經常性層之間的任一方向。
具有不同非經常性週期的成本計算範例
本節說明記憶體和網路傳輸成本的範例,並具有不同的冷卻時間。
在這些範例中,假設:
- 經常性層儲存成本為 $0.000202/GiB/hr。 非經常性存取層記憶體成本為 $0.000082/GiB/hr。
- 網路傳輸成本(包括非經常性存取層的讀取或寫入活動)為 $0.020000/GiB。
- 您有已啟用非經常性存取的 5 TiB 容量集區。
- 您在容量集區內有 1 TiB 的未配置容量
- 您已啟用 4 TiB 磁碟區以進行非經常性存取。
- 4 TiB 中的 3 TiB 會在冷卻期間後移至非經常性存取層。
- 您每月會從非經常性存取層讀取或寫入 20% 的數據。
- 每個月為30天或730小時。 因此,每天是 730/30 小時。
重要
- 這些計算只能做為參考估計值,而不能用於驗證帳單金額的確切性。
- 範例中考慮的費率適用於範例區域,而且可能與您預期的部署區域不同。
- 如果數據是從非經常性存取層讀取或寫入非經常性存取層,則會導致經常性存取層和非經常性存取層中的數據分佈百分比變更。 本文中的計算示範經常性存取和非經常性存取層中的初始百分比分布,而不是在 20% 的數據移至非經常性存取層或移出非經常性存取層之後。
注意
下列範例包含容量集區中未配置空間的 1 TiB,以示範啟用非經常性存取時,未配置的空間如何收費。 為了節省最大的成本,應減少容量集區大小,以消除未分配的集區容量。
範例 1:冷卻期間設定為 7 天
第一個月的記憶體成本會是:
成本 | 描述 | 運算 |
---|---|---|
第 1~30 天未分配的記憶體成本(30 天) | 1 TiB 的未配置記憶體 | 1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00 |
第 1~7 天 儲存體 費用(七天) | 4 TiB 作用中資料 (經常性層) | 4 TiB x 1024 x 7 days x 730/30 hrs. x $0.000202/GiB/hr. = $140.93 |
第 8~30 天 儲存體 費用(23 天) | 1 TiB 作用中資料 (經常性層) 非使用中資料的 3 TiB(非經常性存取層) |
1 TiB x 1024 x 23 days x 730/30 hrs. x $0.000202/GiB/hr. = $115.77 3 TiB x 1024 x 23 days x 730/30 hrs. x $0.000082/GiB/hr. = $140.98 |
網路傳輸成本 | 將非作用中數據移至非經常性存取層 20% 的數據從非經常性存取層讀取/寫入 |
3 TiB x 1024 x $0.020000/GiB = $61.44 3 TiB x 1024 x 20% x $0.020000/GiB = $12.29 |
第一個月總計 | $622.41 |
第二個和後續月份的每月記憶體成本會是:
成本 | 描述 | 運算 |
---|---|---|
儲存體 30 天的成本 | 1 TiB 的未配置記憶體 1 TiB 作用中資料 (經常性層) 非使用中資料的 3 TiB(非經常性存取層) |
1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00 1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00 3 TiB x 1024 x 30 days x 730/30 hrs. x $0.000082/GiB/hr. = $183.89 |
網路傳輸成本 | 20% 的數據從非經常性存取層讀取/寫入 | 3 TiB x 1024 x 20% x $0.020000/GiB = $12.29 |
第二個和後續的每月總計 | $498.18 |
您的前六個月節省:
- 沒有非經常性存取的成本:
5 TiB x 1024 x $0.000202/GiB/hr. x 730 hrs. x 6 months = $4,529.97
- 非經常性存取的成本:
First month + Second month + … + Sixth month = $622.41 + (5x $498.18) = $3,113.31
- 使用非經常性存取節省:
31.27%
您的前 12 個月節省:
- 沒有非經常性存取的成本:
5 TiB x 1024 x $0.000202/GiB/hr. x 730 hrs. x 12 months = $9,059.94
- 非經常性存取的成本:
First month + Second month + … + twelfth month = $622.41 + (11 x $498.18) = $6,102.39
- 使用非經常性存取節省:
32.64%
範例 2:冷卻期間設定為 35 天
所有 5 TiB 都是第一個月的使用中數據(處於經常性層)。 第一個月的記憶體成本會是:5 TiB x 1024 x 730hr. x $0.000202/GiB/hr. = $755.00
第二個月的記憶體成本會是:
成本 | 描述 | 運算 |
---|---|---|
第 1~30 天未分配的記憶體成本(30 天) | 1 TiB 的未配置記憶體 | 1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00 |
第 1~5 天 儲存體 費用(五天) | 4 TiB 作用中資料 (經常性層) | 4 TiB x 1024 x 5 days x 730/30 hrs. x $0.000202/GiB/hr. = $100.67 |
第 6~30 天 儲存體 費用 (25 天) | 1 TiB 作用中資料 (經常性層) 非使用中資料的 3 TiB(非經常性存取層) |
1 TiB x 1024 x 25 days x 730/30 hrs. x $0.000202/GiB/hr. = $125.83 3 TiB x 1024 x 25 days x 730/30 hrs. x $0.000082/GiB/hr. = $153.24 |
網路傳輸成本 | 將非作用中數據移至非經常性存取層 20% 的數據從非經常性存取層讀取/寫入 |
3 TiB x 1024 x $0.020000 /GiB = $61.44 3 TiB x 1024 x 20% x $0.020000/GiB = $12.29 |
第二個月總計 | $604.47 |
第三個和後續月份的每月記憶體成本會是:
成本 | 描述 | 運算 |
---|---|---|
儲存體 30 天的成本 | 1 TiB 的未配置記憶體 1 TiB 作用中資料 (經常性層) 非使用中資料的 3 TiB(非經常性存取層) |
1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00 1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00 3 TiB x 1024 x 30 days x 730/30 hrs. x $0.000082/GiB/hr. = $183.89 |
網路傳輸成本 | 20% 的數據從非經常性存取層讀取/寫入 | 3 TiB x 1024 x 20% x $0.020000/GiB = $12.29 |
第三個和後續的每月總計 | $498.18 |
您的前六個月節省:
- 沒有非經常性存取的成本:
5 TiB x 1024 x $0.000202/GiB/hr. x 730 hrs. x 6 months = $4,529.97
- 非經常性存取的成本:
First month + Second month + … + Sixth month = $755.00 + $604.47 + (4 x $498.18) = $3,352.19
- 使用非經常性存取節省:
25.99%
您的前 12 個月節省:
- 沒有非經常性存取的成本:
5 TiB x 1024 x $0.000202/GiB/hr. x 730 hrs. x 12 months = $9,059.94
- 非經常性存取的成本:
First month + Second month + … + twelfth month = $755.00 + $604.47 + (10 x $498.18) = $6,341.27
- 使用非經常性存取節省:
30.00%
範例 3:冷卻期間設定為 63 天
前兩個月,所有 5 TiB 都是作用中數據(處於經常性層)。 第一個月和第二個月的每月記憶體成本會是:5 TiB x 1024 x 730hr. x $0.000202/GiB/hr. = $755.00
第三個月的記憶體成本會是:
成本 | 描述 | 運算 |
---|---|---|
第 1~30 天未分配的記憶體成本(30 天) | 1 TiB 的未配置記憶體 | 1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00 |
第 1~3 天 儲存體 費用(三天) | 4 TiB 作用中資料 (經常性層) | 4 TiB x 1024 x 3 days x 730/30 hrs. x $0.000202/GiB/hr. = $60.40 |
第 4~30 天 儲存體 費用 (27 天) | 1 TiB 作用中資料 (經常性層) 非使用中資料的 3 TiB(非經常性存取層) |
1 TiB x 1024 x 27 days x 730/30 hrs. x $0.000202/GiB/hr. = $135.90 3 TiB x 1024 x 27 days x 730/30 hrs. x $0.000082/GiB/hr. = $165.50 |
網路傳輸成本 | 將非作用中數據移至非經常性存取層 20% 的數據從非經常性存取層讀取/寫入 |
3 TiB x 1024 x $0.020000/GiB = $61.44 3 TiB x 1024 x 20% x $0.020000/GiB = $12.29 |
第三個月總計 | $586.52 |
第四個和後續月份的每月記憶體成本會是:
成本 | 描述 | 運算 |
---|---|---|
儲存體 30 天的成本 | 1 TiB 的未配置記憶體 1 TiB 作用中資料 (經常性層) 非使用中資料的 3 TiB(非經常性存取層) |
1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00 1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00 3 TiB x 1024 x 30 days x 730/30 hrs. x $0.000082/GiB/hr. = $183.89 |
網路傳輸成本 | 20% 的數據從非經常性存取層讀取/寫入 | 3 TiB x 1024 x 20% x $0.020000/GiB = $12.29 |
第四個和後續的每月總計 | $498.18 |
您的前六個月節省:
- 沒有非經常性存取的成本:
5 TiB x 1024 x $0.000202/GiB/hr. x 730 hrs. x 6 months = $4,529.97
- 非經常性存取的成本:
First month + Second month + … + Sixth month = (2 x $755.00) + $586.52 + (3 x $498.18) = $3,591.06
- 使用非經常性存取節省:
20.73%
您的前 12 個月節省:
- 沒有非經常性存取的成本:
5 TiB x 1024 x $0.000202/GiB/hr. x 730 hrs. x 12 months = $9,059.94
- 非經常性存取的成本:
First month + Second month + … + twelfth month = (2 x $755.00) + $586.52 + (9 x $498.18) = $6,580.14
- 使用非經常性存取節省:
27.37%
提示
您可以使用 Azure NetApp Files 標準記憶體搭配非經常性存取成本估算器 ,根據可變更的輸入參數以互動方式預估成本節省。