Delen via


Schaal- en prestatiedoelen voor Azure Storage Mover

De prestaties van een opslagmigratieservice zijn een belangrijk aspect voor elke migratie. In dit artikel delen we de resultaten van de prestatietest, maar omdat Azure Storage Mover een nieuwe service is, kan uw ervaring variëren.

Schaaldoelen aanpassen

Azure Storage Mover wordt getest met 500 miljoen naamruimteitems (bestanden en mappen), gemigreerd van een ondersteunde bron naar een ondersteund doel in Azure.

Hoe we testen

Azure Storage Mover is een hybride cloudservice. Hybride services hebben een cloudserviceonderdeel en een infrastructuuronderdeel dat de beheerder van de service uitvoert in hun bedrijfsomgeving. Voor Storage Mover is dat hybride onderdeel een migratieagent. Agents zijn virtuele machines, uitgevoerd op een host in de buurt van de bronopslag.

Een diagram dat het pad van een migratie illustreert door twee pijlen weer te geven. De eerste pijl vertegenwoordigt gegevens die vanuit de bron of agent naar een opslagaccount reizen en een tweede pijl vertegenwoordigt alleen de beheer- of controlegegevens naar de opslagmover-resource of -service.

Alleen de agent is een relevant onderdeel van de service voor prestatietests. Om privacy- en prestatieproblemen weg te laten, worden gegevens rechtstreeks van de Storage Mover-agent naar de doelopslag in Azure verzonden. Alleen controle- en telemetrieberichten worden verzonden naar de cloudservice.

Prestatiebasislijnen

Deze testresultaten worden onder ideale omstandigheden gemaakt. Ze zijn bedoeld als basislijn van de onderdelen die de Storage Mover-service en -agent rechtstreeks kunnen beïnvloeden. Verschillen in bronapparaten, schijven en netwerkverbindingen worden niet meegenomen in deze test. De prestaties in de praktijk variëren.

Migratie van SMB-koppeling naar Azure-bestandsshare is als volgt getest:

In de volgende tabel worden de kenmerken beschreven van de testomgevingen die de resultaten van de prestatietest hebben geproduceerd van een SMB-koppeling naar een Azure-bestandsshare.

Test Nr. Nee. van bestanden Totaal gewicht van bestanden Bestandsgrootte Mapstructuur
1 12 miljoen 12 GB 1 kB elk 12 mappen, elk met 100 submappen met 10.000 bestanden
2 30 20 GB 1 map
3 1 miljoen 100 GB 100 kB elk 1000 mappen, elk met 1.000 bestanden
4 1 4 TB
5 117 miljoen 117 GB 1 kB elk 117 mappen, elk met 100 submappen met 10.000 bestanden
6 1 1 terabyte
7 3,3 miljoen 45 GB 13 kB elk 200.000 mappen, elk bevat 16\17 bestanden
8 50 miljoen 1 terabyte 20 kB elk 2.940.000 mappen, elk bevat 17 bestanden
9 100 miljoen 2 TB 20 kB elk 5.880.000 mappen, elk bevat 17 bestanden

Verschillende agentresourceconfiguraties worden getest op SMB-eindpunten:

  1. Minspec: 4 CPU/8 GB RAM 4 virtuele CPU-kernen op 2,7 GHz elk en 8 GiB geheugen (RAM) is de minimale specificatie voor een Azure Storage Mover-agent.

    Test Nr. Uitvoeringstijd Scantijd
    6 16 min, 42 sec. 1,2 sec.
    7 55 min, 4 s 1 min, 17 sec.
    8
    9
  2. Bootspec: 8 CPU /16 GiB RAM 8 virtuele CPU-kernen op 2,7 GHz elk en 16 GiB geheugen (RAM) is de minimale specificatie voor een Azure Storage Mover-agent.

    Resultaten: Standaardopslagaccount

    Test Nr. Uitvoeringstijd Scantijd
    1 15 uur, 59 min. 2 uur, 36 min, 34 sec.
    2 1 min, 54 sec. 3,34 sec.
    3 1 uur, 19 min, 27 sec. 57,62 sec.
    4 1 uur, 5 min, 57 sec. 2,89 sec.

    Resultaten: Standaardopslagaccount waarvoor grote bestanden zijn ingeschakeld

    Test Nr. Uitvoeringstijd Scantijd
    1 3 uur, 51 min, 31 sec. 41 minuten en 45 seconden.
    5 25 uur, 47 min. 23 uur, 35 min.
    6 11 min, 11 s 0,7 sec.
    7 55 min, 10 sec. 1 min, 3 sec.
    8
    9

    Resultaten: Premium-opslagaccount

    Test Nr. Uitvoeringstijd Scantijd
    1 2 uur, 35 min, 14 sec. 24 min, 46 sec.
    5 23 uur, 34 min. 21 uur, 34 min.

Bekijk aanbevolen agentbronnen voor uw migratiebereik in het artikel over agentimplementatie.

Waarom de migratieprestaties variëren

De netwerkkwaliteit en de mogelijkheid om bestanden, mappen en hun metagegevens te verwerken, zijn van invloed op uw migratiesnelheid.

In de twee kerngebieden van het netwerk en de berekening hebben verschillende aspecten een impact:

  • Migratiescenario
    Kopiëren naar een leeg doel gaat sneller in vergelijking met een doel met inhoud. Dit gedrag wordt veroorzaakt doordat de migratie-engine niet alleen de bron evalueert, maar ook het doel om kopieerbeslissingen te nemen.
  • Aantal items in naamruimte
    Het migreren van 1 GiB van kleine bestanden duurt langer dan het migreren van 1 GiB van grotere bestanden.
  • Naamruimtestructuur
    Een brede mappenhiërarchie leent zich voor meer parallelle verwerking dan een smalle of diepe mappenstructuur. De verhouding tussen bestanden en mappen speelt ook een rol af.
  • Naamruimteverloop
    Hoeveel bestanden, mappen en metagegevens er veranderen tussen twee kopieeracties van dezelfde bron naar hetzelfde doel.
  • Netwerk
    • bandbreedte en latentie tussen bron- en migratieagent
    • bandbreedte en latentie tussen migratieagent en het doel in Azure
  • Resources van migratieagent
    De hoeveelheid geheugen (RAM), het aantal rekenkernen en zelfs de beschikbare hoeveelheid beschikbare lokale schijfcapaciteit op de migratieagent kan een grote invloed hebben op de migratiesnelheid. Meer rekenresources helpen bij het optimaliseren van het gebruik van de beschikbare bandbreedte, met name wanneer grote hoeveelheden kleinere bestanden moeten worden verwerkt in een migratie.

Voor een traditionele migratie is bijvoorbeeld een strategie vereist om downtime van de workload te minimaliseren die afhankelijk is van de opslag die moet worden gemigreerd. Azure Storage Mover ondersteunt deze strategie, ook wel geconvergeerde, n-passmigratie genoemd.

In deze strategie kopieert u meerdere keren van bron naar doel. Tijdens deze kopie-iteraties blijft de bron beschikbaar voor lezen en schrijven van de workload. Net voor de laatste kopieeriteratie neemt u de bron offline. De uiteindelijke kopie wordt naar verwachting sneller voltooid dan de eerste kopie die u maakt en duurt ongeveer zolang het exemplaar dat direct voorafgaat. Na de laatste kopie vindt er een failover van de workload plaats naar de nieuwe doelopslag in Azure, waardoor deze weer beschikbaar is voor gebruik.

Tijdens de eerste kopie van de bron naar het doel is het doel waarschijnlijk leeg en moet alle broninhoud naar het doel worden gereisd. Als gevolg hiervan is de eerste kopie waarschijnlijk het meest beperkt door de beschikbare netwerkbronnen.

Aan het einde van een migratie, nadat u de bron meerdere keren naar het doel hebt gekopieerd, worden er slechts enkele bestanden, mappen en metagegevens gewijzigd na de laatste kopie. In deze laatste kopieeriteratie vergt het vergelijken van elk bestand in de bron en het doel om te zien of het moet worden bijgewerkt, meer rekenresources en minder netwerkresources. Kopieertaken in deze late fase van een migratie zijn vaak meer door rekenkracht beperkt. De juiste sourcing van de Storage Mover-agent wordt steeds belangrijker.

Volgende stappen

De volgende artikelen kunnen u helpen bij een geslaagde implementatie van Azure Storage Mover.