Úložiště úrovně Standard se studeným přístupem ve službě Azure NetApp Files

Pomocí úložiště Azure NetApp Files úrovně Standard se studeným přístupem můžete nakonfigurovat neaktivní data, která se mají přesunout z úložiště na úrovni služby Azure NetApp Files úrovně Standard ( horká úroveň) do účtu úložiště Azure ( studená úroveň). Povolení studeného přístupu přesune neaktivní datové bloky ze svazku a snímky svazku na studenou úroveň, což vede k úsporám nákladů.

Většina studených dat je přidružená k nestrukturovaným datům. Může zohledňovat více než 50 % celkové kapacity úložiště v mnoha prostředích úložiště. Málo přístupná data spojená se softwarem pro produktivitu, dokončenými projekty a starými datovými sadami představují neefektivní využití vysoce výkonného úložiště.

Azure NetApp Files podporuje tři úrovně služeb, které je možné nakonfigurovat na úrovni fondu kapacity (Standard, Premium a Ultra). Cool přístup je další služba pouze na úrovni služby Standard.

Následující diagram znázorňuje aplikaci s povoleným svazkem pro studený přístup.

V počátečním zápisu se datovým blokům přiřadí "teplá" hodnota teploty (v diagramu, červené datové bloky) a existují na horké úrovni. Vzhledem k tomu, že se data nacházejí na svazku, kontrola teploty monitoruje aktivitu každého bloku. Pokud je datový blok neaktivní, kontrola teploty sníží hodnotu bloku, dokud nebude neaktivní po dobu dnů zadaných v chladicím období. Doba chlazení může být mezi 7 a 183 dny; má výchozí hodnotu 31 dnů. Jakmile se označí jako "studená", kontrola vrstvení shromažďuje bloky a zabalí je do 4 MB objektů, které se zcela transparentně přesunou do úložiště Azure. Pro aplikaci a uživatele se tyto studené bloky stále zobrazují online. Vrstvené data se jeví jako online a budou nadále k dispozici uživatelům a aplikacím transparentním a automatizovaným načítáním ze studené úrovně.

Pokud Default zásady načítání studeného přístupu nejsou nakonfigurované jinak), datové bloky na studené úrovni, které se náhodně čtou, se stanou "teplými" a přesunou se zpět na horkou úroveň. Jakmile jsou datové bloky označeny jako teplé, budou znovu vystaveny kontrole teploty. Velké sekvenční čtení (například index a antivirové kontroly) neaktivních dat ve studené vrstvě ale neaktivují data ani neaktivují neaktivní data, která se mají přesunout zpět na horkou úroveň. Kromě toho sekvenční čtení pro Azure NetApp Files, replikaci mezi oblastmi nebo replikaci mezi zónami data "nezahřeje ".

Důležité

Pokud používáte službu zálohování třetí strany, nakonfigurujte ji tak, aby místo protokolů CIFS nebo NFS používala protokol NDMP. Čtení NDMP nemá vliv na teplotu dat.

Metadata se nikdy nechladí a vždy zůstávají v horké vrstvě. Například aktivity úloh náročných na metadata (například prostředí s vysokým počtem souborů, jako je návrh čipu, VCS a domovské adresáře), nemají vliv na vrstvení.

Podporované oblasti

Úložiště úrovně Standard se studeným přístupem se podporuje v následujících oblastech:

• Austrálie – střed
• Austrálie – střed 2
• Austrálie – východ
• Austrálie – jihovýchod
• Brazílie – jih
• Brazílie – jihovýchod
• Střední Kanada
• Kanada – východ
• Indie – střed
• USA – střed
• Východní Asie
• East US
• USA – východ 2
• Francie – střed
• Německo – sever
• Německo – středozápad
• Izrael - střed
• Japonsko – východ
• Japonsko – západ
• Jižní Korea – střed
• Korea Jih
• USA – středosever
• Severní Evropa
• Norsko – východ
• Norsko – západ
• Střední Katar
• Jižní Afrika – sever
• Středojižní USA
• Indie – jih
• Southeast Asia
• Švýcarsko – sever
• Švýcarsko – západ
• Švédsko – střed
• Spojené arabské emiráty – střed
• Spojené arabské emiráty – sever
• Spojené království – jih
• Spojené království – západ
• US Gov – Arizona
• US Gov – Texas
• US Gov – Virginie
• West Europe
• USA – západ
• Západní USA 2
• USA – západ 3

Účinky studeného přístupu na data

Tato část popisuje test oteplení velkých datových sad s velkou dobou trvání. Ukazuje ukázkový scénář datové sady, ve které je 100 % dat ve studené úrovni a jak se v průběhu času zahřeje.

Typická náhodně přístupná data začínají jako součást pracovní sady (čtení, úpravy a zápis). Když data ztratí význam, stanou se "studenou" a nakonec se vrství na studenou úroveň.

Studená data se můžou znovu zahřívat. Není typické, že celá pracovní sada začíná jako studená, ale některé scénáře existují, například audity, zpracování na konci roku, čtvrtletní zpracování, soudní řízení a kontroly konce roku.

Tento scénář poskytuje přehled o oteplení výkonu 100% studené datové sady. Přehled platí, jestli se jedná o malé procento nebo celou datovou sadu.

4k random-read test

Tato část popisuje test náhodného čtení 4k napříč 160 soubory celkem 10 TB dat.

Nastavení

Velikost fondu kapacity: Fond kapacity 100 TB
Přidělená kapacita svazku: 100 TB svazků
Pracovní datová sada: 10 TB
Úroveň služby: Úložiště úrovně Standard se studeným přístupem
Počet svazků/velikost: 1
Počet klientů: Čtyři standardní klienti 8 s
Operační systém: RHEL 8.3
Možnost připojení:rw,nconnect=8,hard,rsize=262144,wsize=262144,vers=3,tcp,bg,hard

Metodologie

Tento test byl nastaven prostřednictvím FIO, aby spustil test náhodného čtení 4k napříč 160 soubory, které celkem 10 TB dat. FiO bylo nakonfigurováno tak, aby náhodně četlo každý blok v celé pracovní datové sadě. (Může číst libovolný blok libovolný početkrát v rámci testu místo toho, abyste se dotknuli každého bloku jednou). Tento skript se volal jednou za 5 minut a pak datový bod shromážděný při výkonu. Když se bloky náhodně čtou, přesunou se na horkou úroveň.

Tento test měl velkou datovou sadu a běžel několik dní, kdy se spustily nejstarší případy zastaralá data (všechny výpisy do mezipaměti). Časová komponenta osy X byla odebrána, protože celková doba opětovného sestavení se liší vzhledem k velikosti datové sady. Tato křivka může být ve dnech, hodinách, minutách nebo i sekundách v závislosti na datové sadě.

Výsledky

Následující graf ukazuje test, který běžel více než 2,5 dnů v pracovní datové sadě o velikosti 10 TB, která byla ochladěna 100 % a vyrovnávací paměti se vymažou (absolutní zastaralá data v nejhorším případě).

64k sekvenční test čtení

Nastavení

Velikost fondu kapacity: Fond kapacity 100 TB
Přidělená kapacita svazku: 100 TB svazků
Pracovní datová sada: 10 TB
Úroveň služby: Úložiště úrovně Standard se studeným přístupem
Počet svazků/velikost: 1
Počet klientů: Jeden velký klient
Operační systém: RHEL 8.3
Možnost připojení:rw,nconnect=8,hard,rsize=262144,wsize=262144,vers=3,tcp,bg,hard

Metodologie

Bloky sekvenčního čtení nejsou přezbrojené na horkou úroveň. Malé velikosti datových sad ale můžou kvůli ukládání do mezipaměti zobrazovat vylepšení výkonu (žádné záruky změny výkonu).

Tento test poskytuje následující datové body:

• 100% datová sada horké vrstvy
• 100% studená datová sada vrstev

Tento test běžel 30 minut, aby získal stabilní číslo výkonu.

Výsledky

Následující tabulka shrnuje výsledky testu:

Sekvenční 64 k	Propustnost čtení
Horká data	1 683 MB/s
Studená data	899 MB/s

Test závěrů

Data načtená ze studené vrstvy mají dosažení výkonu. Pokud nastavíte správnou velikost času tak, aby se správně ochladila, nemusí dojít k dosažení výkonu vůbec. Možná máte málo studené úrovně přístupu a 30denní okno je ideální pro udržování teplých dat v teple.

Měli byste se vyhnout situaci, která blokuje bloky mezi horkou a studenou úrovní. Například nastavíte úlohu pro data na studenou sedm dní a náhodně načtete velké procento datové sady každých 11 dnů.

Pokud je vaše pracovní sada předvídatelná, můžete ušetřit náklady přesunem zřídka používaných datových bloků na studenou úroveň. Čekací rozsah 7 až 30 dnů před chlazením poskytuje velké okno pro pracovní sady, ke kterým se dostanete zřídka po jejich nečinnosti nebo nevyžadují rychlosti horké vrstvy, když se k nim přistupuje.

Metriky

Studená úroveň přístupu nabízí metriky výkonu, které umožňují porozumět vzorům využití na jednotlivých svazcích:

• Velikost studené úrovně svazku
• Velikost čtení dat studené vrstvy svazku
• Velikost zápisu dat studené vrstvy svazku

Fakturace

Vrstvení můžete povolit na úrovni svazku pro nově vytvořený fond kapacity, který používá úroveň služby Standard. Způsob fakturace vychází z následujících faktorů:

• Kapacita na úrovni služby Standard
• Nepřidělená kapacita v rámci fondu kapacity
• Kapacita ve studené úrovni (povolením vrstvení pro svazky ve fondu kapacity Standard)
• Přenos sítě mezi horkou a studenou úrovní s rychlostí, která je určená přirážou nad náklady na transakce (GET a PUT požadavky) v úložišti objektů blob a přenosem privátního propojení v obou směrech mezi horkou úrovní.

Výpočet fakturace fondu kapacity Standard je v sazbě horké úrovně pro data, která nejsou vrstvována na studenou úroveň; to zahrnuje nepřidělenou kapacitu v rámci fondu kapacity. Když povolíte vrstvení pro svazky, kapacita ve studené vrstvě bude s rychlostí studené úrovně a zbývající kapacita bude s rychlostí horké vrstvy. Rychlost studené úrovně je nižší než rychlost horké úrovně.

Příklady struktury fakturace

Předpokládejme, že jste vytvořili fond kapacity 4 TiB Standard. Fakturační struktura je v sazbě standardní kapacity pro celou 4 TiB.

Při vytváření svazků ve fondu kapacity a zahájení vrstvení dat na studenou úroveň jsou vysvětleny následující scénáře:

• Předpokládejme, že vytvoříte tři svazky s 1 TiB. Vrstvení nepovolíte na úrovni svazku. Výpočet fakturace je následující:

  • 3 TiB přidělené kapacity rychlostí horké úrovně
  • 1 TiB nepřidělené kapacity s rychlostí horké úrovně
  • Nulová kapacita ve studené úrovni
  • Nulový přenos sítě mezi horkou a studenou úrovní s rychlostí určenou přirážou nad náklady na transakce (GET, PUT) v úložišti objektů blob a přenosem privátního propojení v obou směrech mezi horkou úrovní.

• Předpokládejme, že vytvoříte čtyři svazky s 1 TiB. Každý svazek má 0,25 TiB kapacity svazku na horké úrovni a 0,75 TiB kapacity svazku ve studené vrstvě. Výpočet fakturace je následující:

  • Kapacita 1 TiB v horké úrovni
  • Kapacita 3 TiB za studenou úroveň
  • Přenos sítě mezi horkou a studenou úrovní s rychlostí určenou přirážou nad náklady na transakce (GET, PUT) v úložišti objektů blob a přenosem privátního propojení v obou směrech mezi horkou úrovní.

• Předpokládejme, že vytvoříte dva svazky s 1 TiB. Každý svazek má 0,25 TiB kapacity svazku na horké úrovni a 0,75 TiB kapacity svazku ve studené vrstvě. Výpočet fakturace je následující:

  • Kapacita 0,5 TiB na horké úrovni
  • 2 TiB nepřidělené kapacity s rychlostí horké úrovně
  • Kapacita 1,5 TiB na studené úrovni
  • Přenos sítě mezi horkou a studenou úrovní s rychlostí určenou přirážou nad náklady na transakce (GET, PUT) v úložišti objektů blob a přenosem privátního propojení v obou směrech mezi horkou úrovní.

• Předpokládejme, že vytvoříte jeden svazek s 1 TiB. Svazek má 0,25 TiB kapacity svazku na horké úrovni 0,75 kapacity svazku ve studené vrstvě. Výpočet fakturace je následující:

  • 0,25-TiB kapacita s rychlostí horké úrovně
  • 0,75-TiB kapacita při studené úrovni
  • Přenos sítě mezi horkou a studenou úrovní s rychlostí určenou přirážou nad náklady na transakce (GET, PUT) v úložišti objektů blob a přenosem privátního propojení v obou směrech mezi horkou úrovní.

Příklady výpočtů nákladů s různými obdobími chladnosti

Tato část ukazuje příklady nákladů na úložiště a přenos sítě s různými obdobími chladnosti.

V těchto příkladech předpokládejme:

• Náklady na úložiště horké úrovně jsou 0,000202/GiB/h. Náklady na úložiště studené úrovně jsou 0,000082/GiB/h.
• Náklady na přenos sítě (včetně aktivit čtení nebo zápisu ze studené úrovně) jsou 0,020000 USD/GiB.
• Máte fond kapacity 5 TiB s povoleným studeným přístupem.
• Máte 1 TiB nepřidělené kapacity v rámci fondu kapacity.
• Pro studený přístup máte povolený svazek 4 TiB.
• 3 TiB ze 4 TiB se po období chladu přesune na studenou úroveň.
• Každý měsíc čtete nebo zapisujete 20 % dat ze studené úrovně.
• Každý měsíc je 30 dní nebo 730 hodin. Každý den je tedy 730/30 hodin.

Důležité

• Tyto výpočty se musí použít pouze jako referenční odhad a ne k ověření přesnosti částky faktury.
• Sazby v příkladech jsou určené pro ukázkovou oblast a můžou se lišit pro vaši zamýšlenou oblast nasazení.
• Pokud se data čtou nebo zapisuje do studené úrovně, způsobí to, že se změní procento distribuce dat v horké a studené vrstvě. Výpočty v tomto článku demonstrují počáteční procentuální rozdělení v horkých a studených úrovních, a ne po přesunutí 20 % dat do nebo ze studené úrovně.

Poznámka:

Následující příklady zahrnují 1 TiB nepřidělených prostorů ve fondu kapacity, aby se ukázalo, jak se při povolení studeného přístupu účtuje nelokovaný prostor. Pokud chcete dosáhnout maximálních úspor, velikost fondu kapacity by se měla snížit, aby se eliminovala nepřidělená kapacita fondu.

Příklad 1: Období chladnosti je nastaveno na 7 dnů

Náklady na úložiště za první měsíc budou následující:

Náklady	Popis	Výpočet
Náklady na nepřidělené úložiště pro den 1~30 (30 dní)	1 TiB nepřidělovaného úložiště	1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00
Náklady na úložiště pro den 1~7 (sedm dní)	4 TiB aktivních dat (horká úroveň)	4 TiB x 1024 x 7 days x 730/30 hrs. x $0.000202/GiB/hr. = $140.93
Náklady na úložiště pro den 8 až 30 (23 dní)	1 TiB aktivních dat (horká úroveň) 3 TiB neaktivních dat (studená úroveň)	1 TiB x 1024 x 23 days x 730/30 hrs. x $0.000202/GiB/hr. = $115.77 3 TiB x 1024 x 23 days x 730/30 hrs. x $0.000082/GiB/hr. = $140.98
Náklady na přenos sítě	Přesun neaktivních dat do studené úrovně 20 % čtení a zápisu dat ze studené úrovně	3 TiB x 1024 x $0.020000/GiB = $61.44 3 TiB x 1024 x 20% x $0.020000/GiB = $12.29
Celkový součet prvního měsíce		$622.41

Vaše měsíční náklady na úložiště za sekundu a následující měsíce budou následující:

Náklady	Popis	Výpočet
Náklady na úložiště po dobu 30 dnů	1 TiB nepřidělovaného úložiště 1 TiB aktivních dat (horká úroveň) 3 TiB neaktivních dat (studená úroveň)	1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00 1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00 3 TiB x 1024 x 30 days x 730/30 hrs. x $0.000082/GiB/hr. = $183.89
Náklady na přenos sítě	20 % čtení a zápisu dat ze studené úrovně	3 TiB x 1024 x 20% x $0.020000/GiB = $12.29
Druhý a následující měsíční součet		$498.18

Vaše první šestiměsíční úspory:

• Náklady bez studeného přístupu: 5 TiB x 1024 x $0.000202/GiB/hr. x 730 hrs. x 6 months = $4,529.97
• Náklady se studeným přístupem: First month + Second month + … + Sixth month = $622.41 + (5x $498.18) = $3,113.31
• Úspory s využitím studeného přístupu: 31.27%

Vaše první dvanáctiměsíční úspory:

• Náklady bez studeného přístupu: 5 TiB x 1024 x $0.000202/GiB/hr. x 730 hrs. x 12 months = $9,059.94
• Náklady se studeným přístupem: First month + Second month + … + twelfth month = $622.41 + (11 x $498.18) = $6,102.39
• Úspory s využitím studeného přístupu: 32.64%

Příklad 2: Období chladnosti je nastaveno na 35 dnů

Všech 5 TiB je aktivních dat (v horké úrovni) za první měsíc. Náklady na úložiště za první měsíc budou následující: 5 TiB x 1024 x 730hr. x $0.000202/GiB/hr. = $755.00

Náklady na úložiště za druhý měsíc by byly:

Náklady	Popis	Výpočet
Náklady na nepřidělené úložiště pro den 1~30 (30 dní)	1 TiB nepřidělovaného úložiště	1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00
Náklady na úložiště za den 1~5 (pět dní)	4 TiB aktivních dat (horká úroveň)	4 TiB x 1024 x 5 days x 730/30 hrs. x $0.000202/GiB/hr. = $100.67
Náklady na úložiště pro den 6 až 30 (25 dní)	1 TiB aktivních dat (horká úroveň) 3 TiB neaktivních dat (studená úroveň)	1 TiB x 1024 x 25 days x 730/30 hrs. x $0.000202/GiB/hr. = $125.83 3 TiB x 1024 x 25 days x 730/30 hrs. x $0.000082/GiB/hr. = $153.24
Náklady na přenos sítě	Přesun neaktivních dat do studené úrovně 20 % čtení a zápisu dat ze studené úrovně	3 TiB x 1024 x $0.020000 /GiB = $61.44 3 TiB x 1024 x 20% x $0.020000/GiB = $12.29
Druhý měsíc celkem		$604.47

Vaše měsíční náklady na úložiště za třetí a následující měsíce budou následující:

Náklady	Popis	Výpočet
Náklady na úložiště po dobu 30 dnů	1 TiB nepřidělovaného úložiště 1 TiB aktivních dat (horká úroveň) 3 TiB neaktivních dat (studená úroveň)	1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00 1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00 3 TiB x 1024 x 30 days x 730/30 hrs. x $0.000082/GiB/hr. = $183.89
Náklady na přenos sítě	20 % čtení a zápisu dat ze studené úrovně	3 TiB x 1024 x 20% x $0.020000/GiB = $12.29
Třetí a následující měsíční součet		$498.18

Vaše první šestiměsíční úspory:

• Náklady bez studeného přístupu: 5 TiB x 1024 x $0.000202/GiB/hr. x 730 hrs. x 6 months = $4,529.97
• Náklady se studeným přístupem: First month + Second month + … + Sixth month = $755.00 + $604.47 + (4 x $498.18) = $3,352.19
• Úspory s využitím studeného přístupu: 25.99%

Vaše první dvanáctiměsíční úspory:

• Náklady bez studeného přístupu: 5 TiB x 1024 x $0.000202/GiB/hr. x 730 hrs. x 12 months = $9,059.94
• Náklady se studeným přístupem: First month + Second month + … + twelfth month = $755.00 + $604.47 + (10 x $498.18) = $6,341.27
• Úspory s využitím studeného přístupu: 30.00%

Příklad 3: Období chladnosti je nastaveno na 63 dnů

Všech 5 TiB je aktivních dat (v horké vrstvě) po dobu prvních dvou měsíců. Měsíční náklady na úložiště za první a druhý měsíc budou následující: 5 TiB x 1024 x 730hr. x $0.000202/GiB/hr. = $755.00

Vaše náklady na úložiště za třetí měsíc budou následující:

Náklady	Popis	Výpočet
Náklady na nepřidělené úložiště pro den 1~30 (30 dní)	1 TiB nepřidělovaného úložiště	1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00
Náklady na úložiště pro den 1~3 (tři dny)	4 TiB aktivních dat (horká úroveň)	4 TiB x 1024 x 3 days x 730/30 hrs. x $0.000202/GiB/hr. = $60.40
Náklady na úložiště pro den 4 až 30 (27 dní)	1 TiB aktivních dat (horká úroveň) 3 TiB neaktivních dat (studená úroveň)	1 TiB x 1024 x 27 days x 730/30 hrs. x $0.000202/GiB/hr. = $135.90 3 TiB x 1024 x 27 days x 730/30 hrs. x $0.000082/GiB/hr. = $165.50
Náklady na přenos sítě	Přesun neaktivních dat do studené úrovně 20 % čtení a zápisu dat ze studené úrovně	3 TiB x 1024 x $0.020000/GiB = $61.44 3 TiB x 1024 x 20% x $0.020000/GiB = $12.29
Celkový součet za třetí měsíc		$586.52

Měsíční náklady na úložiště za čtvrté a následující měsíce by byly:

Náklady	Popis	Výpočet
Náklady na úložiště po dobu 30 dnů	1 TiB nepřidělovaného úložiště 1 TiB aktivních dat (horká úroveň) 3 TiB neaktivních dat (studená úroveň)	1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00 1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00 3 TiB x 1024 x 30 days x 730/30 hrs. x $0.000082/GiB/hr. = $183.89
Náklady na přenos sítě	20 % čtení a zápisu dat ze studené úrovně	3 TiB x 1024 x 20% x $0.020000/GiB = $12.29
Čtvrtý a následný měsíční součet		$498.18

Vaše první šestiměsíční úspory:

• Náklady bez studeného přístupu: 5 TiB x 1024 x $0.000202/GiB/hr. x 730 hrs. x 6 months = $4,529.97
• Náklady se studeným přístupem: First month + Second month + … + Sixth month = (2 x $755.00) + $586.52 + (3 x $498.18) = $3,591.06
• Úspory s využitím studeného přístupu: 20.73%

Vaše první dvanáctiměsíční úspory:

• Náklady bez studeného přístupu: 5 TiB x 1024 x $0.000202/GiB/hr. x 730 hrs. x 12 months = $9,059.94
• Náklady se studeným přístupem: First month + Second month + … + twelfth month = (2 x $755.00) + $586.52 + (9 x $498.18) = $6,580.14
• Úspory s využitím studeného přístupu: 27.37%

Tip

K interaktivnímu odhadu úspor nákladů na základě změněných vstupních parametrů můžete použít úložiště Azure NetApp Files úrovně Standard se studenou úsporou nákladů .

Další kroky

• Správa služby Azure NetApp Files úrovně Standard s využitím studeného přístupu
• Metriky pro Azure NetApp Files