Stockage Standard avec accès sporadique dans Azure NetApp Files

En utilisant le stockage Standard NetApp Files avec accès sporadique, vous pouvez configurer les données inactives afin qu’elles soient déplacées du stockage de niveau de service Standard Azure NetApp Files (le niveau chaud) vers un compte Stockage Azure (le niveau sporadique). L’activation de l’accès sporadique déplace les blocs de données inactifs du volume, ainsi que les instantanés du volume, vers le niveau sporadique, ce qui permet d’effectuer des économies.

La plupart des données froides sont associées à des données non structurées. Elles peuvent représenter plus de 50 % de la capacité de stockage totale dans de nombreux environnements de stockage. Les données rarement consultées associées aux logiciels de productivité, aux projets terminés et aux anciens jeux de données sont une utilisation inefficace d’un stockage hautes performances.

Azure NetApp Files prend en charge trois niveaux de service qui peuvent être configurés au niveau du pool de capacités (Standard, Premium et Ultra). L’accès sporadique est un service supplémentaire exclusif au niveau de service Standard.

Le diagramme suivant illustre une application avec un volume activé pour l’accès sporadique.

Lors de l’écriture initiale, les blocs de données reçoivent une valeur de température « chaud » (dans le diagramme, il s’agit des blocs de données rouges) et ils existent sur le niveau « chaud ». Lorsque les données résident sur le volume, une analyse de température surveille l’activité de chaque bloc. Lorsqu’un bloc de données est inactif, l’analyse de température diminue la valeur du bloc jusqu’à ce qu’il ait été inactif pendant le nombre de jours spécifié dans la période de refroidissement. La période de refroidissement peut être comprise entre sept et 183 jours ; sa valeur par défaut est de 31 jours. Une fois le marquage « sporadique » effectué, l’analyse de hiérarchisation collecte les blocs et les empaquette dans des objets de 4 Mo, qui sont déplacés vers le stockage Azure de manière entièrement transparente. Pour l’application et les utilisateurs, ces blocs sporadiques apparaissent toujours en ligne. Les données hiérarchisées semblent être en ligne, et continuent d’être accessibles aux utilisateurs et aux applications par récupération transparente et automatisée à partir du niveau sporadique.

Par Default (sauf si la stratégie de récupération d’accès sporadique est configurée autrement), les blocs de données du niveau sporadique qui sont lus de façon aléatoire deviennent de nouveau « chauds » et sont redéplacés vers le niveau chaud. Une fois marqués comme chauds, les blocs de données sont de nouveau soumis à l’analyse de température. Toutefois, les lectures séquentielles volumineuses (telles que les analyses d’index et antivirus) sur les données inactives du niveau sporadique ne « réchauffent » pas les données, et ne déclenchent pas non plus le redéplacement des données inactives vers le niveau chaud.

Les métadonnées ne deviennent jamais sporadiques, et restent toujours au niveau chaud. Par conséquent, les activités des charges de travail gourmandes en métadonnées (par exemple, les environnements à nombre élevé de fichiers tels que la conception de puce, VCS et les répertoires de base) ne sont pas affectées par la hiérarchisation.

Régions prises en charge

Le stockage Standard avec accès sporadique est pris en charge pour les régions suivantes :

• Centre de l’Australie
• Centre de l’Australie 2
• Australie Est
• Sud-Australie Est
• Brésil Sud
• Brésil Sud-Est
• Centre du Canada
• Est du Canada
• Inde centrale
• USA Centre
• Asie Est
• USA Est
• USA Est 2
• France Centre
• Allemagne Nord
• Allemagne Centre-Ouest
• Japon Est
• OuJapon Est
• Centre de la Corée
• Corée du Sud
• Centre-Nord des États-Unis
• Europe Nord
• Norvège Est
• Norvège Ouest
• Qatar Central
• Afrique du Sud Nord
• États-Unis - partie centrale méridionale
• Inde Sud
• Asie Sud-Est
• Suisse Nord
• Suisse Ouest
• Suède Centre
• Émirats arabes unis Centre
• Émirats arabes unis Nord
• Sud du Royaume-Uni
• Ouest du Royaume-Uni
• Gouvernement des États-Unis – Arizona
• Gouvernement des États-Unis – Texas
• Gouvernement américain - Virginie
• Europe Ouest
• USA Ouest
• USA Ouest 2
• USA Ouest 3

Effets de l’accès sporadique sur les données

Cette section décrit un test de réchauffement de jeu de données volumineux et de longue durée. Il montre un exemple de scénario d’un jeu de données où 100 % des données se trouvent au niveau sporadique, et comment elles se réchauffent au fil du temps.

En règle générale, les données consultées de manière aléatoire commencent dans le cadre d’un jeu de travail (lecture, modification et écriture). À mesure que les données perdent leur pertinence, elles deviennent « sporadiques » et finissent par basculer vers le niveau sporadique.

Les données sporadiques peuvent redevenir chaudes. Il est rare que l’ensemble du jeu de travail commence au niveau sporadique, mais cela peut arriver dans certains scénarios, par exemple les audits, le traitement de fin d’exercice, le traitement de fin de trimestre, les procès et les révisions de licences de fin d’exercice.

Ce scénario fournit des insights sur le comportement de performances de réchauffement d’un jeu de données refroidi à 100 %. Les insights s’appliquent dans tous les cas, qu’il s’agisse d’un petit pourcentage ou du jeu de données entier.

Test de lecture aléatoire 4k

Cette section décrit un test de lecture aléatoire 4k sur 160 fichiers, pour un total de 10 To de données.

Programme d’installation

Taille du pool de capacités : pool de capacités de 100 To
Capacité allouée aux volumes : volumes de 100 To
Jeu de données de travail : 10 To
Niveau de service : stockage Standard avec accès sporadique
Nombre de volumes/taille : 1
Nombre de clients : quatre clients 8-s standard
Système d’exploitation : RHEL 8.3
Option de montage :rw,nconnect=8,hard,rsize=262144,wsize=262144,vers=3,tcp,bg,hard

Méthodologie

Ce test a été configuré via FIO pour exécuter un test de lecture aléatoire 4k sur 160 fichiers, pour un total de 10 To de données. FIO a été configuré pour lire de manière aléatoire chaque bloc dans l’ensemble du jeu de données de travail. (Il est susceptible de lire n’importe quel bloc n’importe quelle nombre de fois dans le cadre du test, plutôt que de toucher chaque bloc une seule fois). Ce script a été appelé une fois toutes les cinq minutes, puis un point de données a été collecté sur les performances. Lorsque les blocs sont lus de façon aléatoire, ils sont déplacés vers le niveau chaud.

Ce test portait sur un jeu de données volumineux, et a été exécuté plusieurs jours à partir des données les plus anciennes dans le pire des cas (tous les caches vidés). Le composant de temps de l’axe X a été supprimé, car la durée totale jusqu’au réchauffement varie en raison de la taille du jeu de données. Cette courbe peut être en jours, heures, minutes ou même secondes, en fonction du jeu de données.

Résultats

Le graphique suivant montre un test qui s’est exécuté sur plus de 2,5 jours sur le jeu de données de travail de 10 To qui a été refroidi à 100 % et les mémoires tampons effacées (données les plus anciennes dans le pire des cas).

Test de lecture séquentielle 64k

Programme d’installation

Taille du pool de capacités : pool de capacités de 100 To
Capacité allouée aux volumes : volumes de 100 To
Jeu de données de travail : 10 To
Niveau de service : stockage Standard avec accès sporadique
Nombre de volumes/taille : 1
Nombre de clients : un client volumineux
Système d’exploitation : RHEL 8.3
Option de montage :rw,nconnect=8,hard,rsize=262144,wsize=262144,vers=3,tcp,bg,hard

Méthodologie

Les blocs lus séquentiellement ne sont pas redéplacés vers le niveau chaud. Toutefois, des améliorations des performances peuvent être observées avec les jeux de données de petite taille, en raison de la mise en cache (aucune garantie en terme de changement de performances).

Ce test fournit les points de données suivants :

• Jeu de données à 100 % au niveau chaud
• Jeu de données à 100 % au niveau sporadique

Ce test s’est exécuté pendant 30 minutes pour obtenir un chiffre de performances stable.

Résultats

Le tableau suivant récapitule les résultats du test :

64-k séquentiel	Débit de lecture
Données chaudes	1 683 Mo/s
Données sporadiques	899 Mo/s

Conclusions des tests

La lecture des données à partir du niveau sporadique a un impact sur les performances. Si vous dimensionnez correctement votre délai de refroidissement, vous n’observerez peut-être aucun impact sur les performances. Vous pouvez avoir peu d’accès au niveau sporadique, et une fenêtre de 30 jours est parfaite pour maintenir les données chaudes au niveau chaud.

Vous devez éviter toute situation qui provoque des aller-retours réguliers des blocs entre le niveau chaud et le niveau sporadique. Par exemple, vous définissez une charge de travail pour que les données soient refroidies sept jours, et vous lisez de façon aléatoire un pourcentage important du jeu de données tous les 11 jours.

En résumé, si votre jeu de travail est prévisible, vous pouvez réduire les coûts en déplaçant les blocs de données rarement sollicités vers le niveau sporadique. La plage d’attente de sept à 30 jours avant le refroidissement fournit une fenêtre étendue pour les jeux de travail rarement sollicités après qu’ils deviennent dormants ou qui ne nécessitent pas les vitesses du niveau chaud lorsqu’ils sont sollicités.

Métriques

L’accès sporadique offre des métriques de performances pour comprendre les modèles d’utilisation par volume :

• Taille du niveau froid du volume
• Taille de lecture des données du niveau froid du volume
• Taille d’écriture des données du niveau froid du volume

Facturation

Vous pouvez activer la hiérarchisation au niveau du volume pour un nouveau pool de capacités qui utilise le niveau de service Standard. La façon dont vous êtes facturé est basée sur les facteurs suivants :

• Capacité au niveau de service Standard
• Capacité non allouée dans le pool de capacités
• Capacité du niveau sporadique (en activant la hiérarchisation pour les volumes dans un pool de capacités Standard)
• Transfert réseau entre le niveau chaud et le niveau sporadique au taux déterminé par la majoration ajoutée au coût de transaction (requêtes GET et PUT) sur le stockage d’objets blob et le transfert de liaison privée dans les deux sens entre les niveaux chauds.

Le calcul de facturation d’un pool de capacités Standard s’effectue au taux du niveau chaud pour les données qui ne sont pas hiérarchisées au niveau sporadique ; cela inclut la capacité non allouée dans le pool de capacités. Lorsque vous activez la hiérarchisation pour les volumes, la capacité du niveau sporadique est au taux du niveau sporadique, et la capacité restante est au taux du niveau chaud. Le taux du niveau sporadique est inférieur au taux du niveau chaud.

Exemples de structure de facturation

Supposez que vous avez créé un pool de capacités Standard de 4 Tio. La structure de facturation est au taux du niveau de capacité Standard pour l’ensemble des 4 Tio.

Lorsque vous créez des volumes dans le pool de capacités et commencez à hiérarchisez des données au niveau sporadique, les scénarios suivants expliquent la structure de facturation applicable :

• Supposez que vous créez trois volumes avec 1 Tio chacun. Vous n’activez pas la hiérarchisation au niveau du volume. Le calcul de facturation est le suivant :

  • 3 Tio de capacité allouée au taux du niveau chaud
  • 1 Tio de capacité non allouée au taux du niveau chaud
  • Capacité nulle au taux du niveau sporadique
  • Transfert réseau nul entre le niveau chaud et le niveau sporadique au taux déterminé par la majoration ajoutée au coût de transaction (GET, PUT) sur le stockage d’objets blob et le transfert de liaison privée dans les deux sens entre les niveaux chauds.

• Supposez que vous créez quatre volumes avec 1 Tio chacun. Chaque volume a 0,25 Tio de la capacité du volume au niveau chaud, et 0,75 Tio de la capacité du volume au niveau sporadique. Le calcul de facturation est le suivant :

  • 1 Tio de capacité au taux du niveau chaud
  • 3 Tio de capacité au taux du niveau sporadique
  • Transfert réseau entre le niveau chaud et le niveau sporadique au taux déterminé par la majoration ajoutée au coût de transaction (GET, PUT) sur le stockage d’objets blob et le transfert de liaison privée dans les deux sens entre les niveaux chauds.

• Supposez que vous créez deux volumes avec 1 Tio chacun. Chaque volume a 0,25 Tio de la capacité du volume au niveau chaud, et 0,75 Tio de la capacité du volume au niveau sporadique. Le calcul de facturation est le suivant :

  • 0,5 Tio de capacité au taux du niveau chaud
  • 2 Tio de capacité non allouée au taux du niveau chaud
  • 1,5 Tio de capacité au taux du niveau sporadique
  • Transfert réseau entre le niveau chaud et le niveau sporadique au taux déterminé par la majoration ajoutée au coût de transaction (GET, PUT) sur le stockage d’objets blob et le transfert de liaison privée dans les deux sens entre les niveaux chauds.

• Supposez que vous créez un volume avec 1 Tio. Le volume a 0,25 Tio de la capacité du volume au niveau chaud, et 0,75 Tio de la capacité du volume au niveau sporadique. Le calcul de facturation est le suivant :

  • 0,25 Tio de capacité au taux du niveau chaud
  • 0,75 Tio de capacité au taux du niveau sporadique
  • Transfert réseau entre le niveau chaud et le niveau sporadique au taux déterminé par la majoration ajoutée au coût de transaction (GET, PUT) sur le stockage d’objets blob et le transfert de liaison privée dans les deux sens entre les niveaux chauds.

Exemples de calculs de coûts avec différentes périodes de refroidissement

Cette section présente des exemples de coûts de stockage et de transfert réseau avec différentes périodes de refroidissement.

Dans ces exemples, partez du principe que :

• Le coût de stockage du niveau chaud est de 0,000202 $/Gio/heure. Le coût de stockage du niveau sporadique est de 0,000082 $/Gio/heure.
• Le coût de transfert réseau (y compris les activités de lecture ou d’écriture à partir du niveau sporadique) est de 0,020000 $/Gio.
• Vous disposez d’un pool de capacités de 5 Tio avec accès sporadique activé.
• Vous avez 1 Tio de capacité non allouée dans le pool de capacités.
• Vous avez un volume de 4 Tio activé pour l’accès sporadique.
• 3 Tio sur les 4 Tio sont déplacés vers le niveau sporadique après la période de refroidissement.
• Vous lisez ou écrivez 20 % des données chaque mois à partir du niveau sporadique.
• Chaque mois compte 30 jours ou 730 heures. Ainsi, chaque jour compte 730/30 heures.

Important

• Ces calculs ne doivent être utilisés qu’en guise d’estimation de référence, et non à des fins de validation de l’exactitude du montant de la facture.
• Les taux pris en compte dans les exemples concernent un exemple de région, et peuvent être différents pour votre région de déploiement prévue.
• Si les données sont lues ou écrites dans le niveau sporadique, le pourcentage de distribution de données dans le niveau chaud et le niveau sporadique changera. Les calculs mentionnés dans cet article illustrent la distribution initiale des pourcentages dans les niveaux chaud et sporadique, et non après le déplacement de 20 % des données vers ou à partir du niveau sporadique.

Remarque

Les exemples suivants incluent 1 Tio d’espace non alloué dans le pool de capacités afin d’illustrer comment l’espace non alloué est facturé lorsque l’accès sporadique est activé. Pour optimiser vos économies, vous devez réduire la taille du pool de capacités afin d’éliminer la capacité de pool non allouée.

Exemple 1 : La période de refroidissement est définie sur sept jours

Le coût de stockage pour le premier mois serait le suivant :

Coûts	Description	Calcul
Coût du stockage non alloué pour les jours 1 à 30 (30 jours)	1 Tio de stockage non alloué	1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00
Coût du stockage pour les jours 1 à 7 (sept jours)	4 Tio de données actives (niveau chaud)	4 TiB x 1024 x 7 days x 730/30 hrs. x $0.000202/GiB/hr. = $140.93
Coût du stockage pour les jours 8 à 30 (23 jours)	1 Tio de données actives (niveau chaud) 3 Tio de données inactives (niveau sporadique)	1 TiB x 1024 x 23 days x 730/30 hrs. x $0.000202/GiB/hr. = $115.77 3 TiB x 1024 x 23 days x 730/30 hrs. x $0.000082/GiB/hr. = $140.98
Coût du transfert réseau	Déplacement des données inactives vers le niveau sporadique 20 % des écritures/lectures de données à partir du niveau sporadique	3 TiB x 1024 x $0.020000/GiB = $61.44 3 TiB x 1024 x 20% x $0.020000/GiB = $12.29
Total du premier mois		$622.41

Le coût de stockage mensuel pour le deuxième mois et les mois suivants serait :

Coûts	Description	Calcul
Coût du stockage pour 30 jours	1 Tio de stockage non alloué 1 Tio de données actives (niveau chaud) 3 Tio de données inactives (niveau sporadique)	1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00 1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00 3 TiB x 1024 x 30 days x 730/30 hrs. x $0.000082/GiB/hr. = $183.89
Coût du transfert réseau	20 % des écritures/lectures de données à partir du niveau sporadique	3 TiB x 1024 x 20% x $0.020000/GiB = $12.29
Total mensuel pour le deuxième mois et les mois suivants		$498.18

Économies pour les six premiers mois :

• Coût sans accès sporadique : 5 TiB x 1024 x $0.000202/GiB/hr. x 730 hrs. x 6 months = $4,529.97
• Coût avec accès sporadique : First month + Second month + … + Sixth month = $622.41 + (5x $498.18) = $3,113.31
• Économies réalisées grâce à l’accès sporadique : 31.27%

Économies pour les douze premiers mois :

• Coût sans accès sporadique : 5 TiB x 1024 x $0.000202/GiB/hr. x 730 hrs. x 12 months = $9,059.94
• Coût avec accès sporadique : First month + Second month + … + twelfth month = $622.41 + (11 x $498.18) = $6,102.39
• Économies réalisées grâce à l’accès sporadique : 32.64%

Exemple 2 : La période de refroidissement est définie sur 35 jours

Toutes les 5 Tio sont des données actives (au niveau chaud) pour le premier mois. Le coût de stockage pour le premier mois serait le suivant : 5 TiB x 1024 x 730hr. x $0.000202/GiB/hr. = $755.00

Le coût de stockage pour le deuxième mois serait le suivant :

Coûts	Description	Calcul
Coût du stockage non alloué pour les jours 1 à 30 (30 jours)	1 Tio de stockage non alloué	1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00
Coût du stockage pour les jours 1 à 5 (cinq jours)	4 Tio de données actives (niveau chaud)	4 TiB x 1024 x 5 days x 730/30 hrs. x $0.000202/GiB/hr. = $100.67
Coût du stockage pour les jours 6 à 30 (25 jours)	1 Tio de données actives (niveau chaud) 3 Tio de données inactives (niveau sporadique)	1 TiB x 1024 x 25 days x 730/30 hrs. x $0.000202/GiB/hr. = $125.83 3 TiB x 1024 x 25 days x 730/30 hrs. x $0.000082/GiB/hr. = $153.24
Coût du transfert réseau	Déplacement des données inactives vers le niveau sporadique 20 % des écritures/lectures de données à partir du niveau sporadique	3 TiB x 1024 x $0.020000 /GiB = $61.44 3 TiB x 1024 x 20% x $0.020000/GiB = $12.29
Total du deuxième mois		$604.47

Le coût de stockage mensuel pour le troisième mois et les mois suivants serait :

Coûts	Description	Calcul
Coût du stockage pour 30 jours	1 Tio de stockage non alloué 1 Tio de données actives (niveau chaud) 3 Tio de données inactives (niveau sporadique)	1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00 1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00 3 TiB x 1024 x 30 days x 730/30 hrs. x $0.000082/GiB/hr. = $183.89
Coût du transfert réseau	20 % des écritures/lectures de données à partir du niveau sporadique	3 TiB x 1024 x 20% x $0.020000/GiB = $12.29
Total mensuel pour le troisième mois et les mois suivants		$498.18

Économies pour les six premiers mois :

• Coût sans accès sporadique : 5 TiB x 1024 x $0.000202/GiB/hr. x 730 hrs. x 6 months = $4,529.97
• Coût avec accès sporadique : First month + Second month + … + Sixth month = $755.00 + $604.47 + (4 x $498.18) = $3,352.19
• Économies réalisées grâce à l’accès sporadique : 25.99%

Économies pour les douze premiers mois :

• Coût sans accès sporadique : 5 TiB x 1024 x $0.000202/GiB/hr. x 730 hrs. x 12 months = $9,059.94
• Coût avec accès sporadique : First month + Second month + … + twelfth month = $755.00 + $604.47 + (10 x $498.18) = $6,341.27
• Économies réalisées grâce à l’accès sporadique : 30.00%

Exemple 3 : La période de refroidissement est définie sur 63 jours

Toutes les 5 Tio sont des données actives (au niveau chaud) pour les deux premiers mois. Le coût de stockage mensuel pour les deux premiers mois serait le suivant : 5 TiB x 1024 x 730hr. x $0.000202/GiB/hr. = $755.00

Le coût de stockage pour le troisième mois serait le suivant :

Coûts	Description	Calcul
Coût du stockage non alloué pour les jours 1 à 30 (30 jours)	1 Tio de stockage non alloué	1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00
Coût du stockage pour les jours 1 à 3 (trois jours)	4 Tio de données actives (niveau chaud)	4 TiB x 1024 x 3 days x 730/30 hrs. x $0.000202/GiB/hr. = $60.40
Coût de stockage pour les jours 4 à 30 (27 jours)	1 Tio de données actives (niveau chaud) 3 Tio de données inactives (niveau sporadique)	1 TiB x 1024 x 27 days x 730/30 hrs. x $0.000202/GiB/hr. = $135.90 3 TiB x 1024 x 27 days x 730/30 hrs. x $0.000082/GiB/hr. = $165.50
Coût du transfert réseau	Déplacement des données inactives vers le niveau sporadique 20 % des écritures/lectures de données à partir du niveau sporadique	3 TiB x 1024 x $0.020000/GiB = $61.44 3 TiB x 1024 x 20% x $0.020000/GiB = $12.29
Total du troisième mois		$586.52

Le coût de stockage mensuel pour le quatrième mois et les mois suivants serait :

Coûts	Description	Calcul
Coût du stockage pour 30 jours	1 Tio de stockage non alloué 1 Tio de données actives (niveau chaud) 3 Tio de données inactives (niveau sporadique)	1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00 1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00 3 TiB x 1024 x 30 days x 730/30 hrs. x $0.000082/GiB/hr. = $183.89
Coût du transfert réseau	20 % des écritures/lectures de données à partir du niveau sporadique	3 TiB x 1024 x 20% x $0.020000/GiB = $12.29
Total mensuel pour le quatrième mois et les mois suivants		$498.18

Économies pour les six premiers mois :

• Coût sans accès sporadique : 5 TiB x 1024 x $0.000202/GiB/hr. x 730 hrs. x 6 months = $4,529.97
• Coût avec accès sporadique : First month + Second month + … + Sixth month = (2 x $755.00) + $586.52 + (3 x $498.18) = $3,591.06
• Économies réalisées grâce à l’accès sporadique : 20.73%

Économies pour les douze premiers mois :

• Coût sans accès sporadique : 5 TiB x 1024 x $0.000202/GiB/hr. x 730 hrs. x 12 months = $9,059.94
• Coût avec accès sporadique : First month + Second month + … + twelfth month = (2 x $755.00) + $586.52 + (9 x $498.18) = $6,580.14
• Économies réalisées grâce à l’accès sporadique : 27.37%

Conseil

Vous pouvez utiliser l’estimateur d’économies du stockage standard Azure NetApp Files avec accès sporadique pour estimer de manière interactive les économies en fonction de paramètres d’entrée modifiables.

Étapes suivantes

• Gérer le Stockage Standard Azure NetApp Files avec accès sporadique
• Métriques pour Azure NetApp Files