Schaal- en prestatiedoelen voor Azure Storage Mover
De prestaties van een opslagmigratieservice zijn een belangrijk aspect voor elke migratie. In dit artikel delen we de resultaten van de prestatietest, maar omdat Azure Storage Mover een nieuwe service is, kan uw ervaring variëren.
Schaaldoelen aanpassen
Azure Storage Mover wordt getest met 100 miljoen naamruimte-items (bestanden en mappen), gemigreerd van een ondersteunde bron naar een ondersteund doel in Azure.
Hoe we testen
Azure Storage Mover is een hybride cloudservice. Hybride services hebben een cloudserviceonderdeel en een infrastructuuronderdeel dat de beheerder van de service uitvoert in hun bedrijfsomgeving. Voor Storage Mover is dat hybride onderdeel een migratieagent. Agents zijn virtuele machines, uitgevoerd op een host in de buurt van de bronopslag.
Alleen de agent is een relevant onderdeel van de service voor prestatietests. Om privacy- en prestatieproblemen weg te laten, worden gegevens rechtstreeks van de Storage Mover-agent naar de doelopslag in Azure verzonden. Alleen controle- en telemetrieberichten worden verzonden naar de cloudservice.
Prestatiebasislijnen
Deze testresultaten worden onder ideale omstandigheden gemaakt. Ze zijn bedoeld als basislijn van de onderdelen die de Storage Mover-service en -agent rechtstreeks kunnen beïnvloeden. Verschillen in bronapparaten, schijven en netwerkverbindingen worden niet meegenomen in deze test. De prestaties in de praktijk variëren.
Migratie van SMB-koppeling naar Azure-bestandssharetests is als volgt uitgevoerd:
In de volgende tabel worden de kenmerken beschreven van de testomgevingen die de resultaten van de prestatietest hebben geproduceerd van een SMB-koppeling naar een Azure-bestandsshare.
| Test Nee. | Nee van bestanden | Totaal gewicht van bestanden | Bestandsgrootte | Mapstructuur |
|---|---|---|---|---|
| 1 | 12 miljoen | 12 GB | 1 kB elk | 12 mappen, elk met 100 submappen met 10.000 bestanden |
| 2 | 30 | 20 GB | 1 map | |
| 3 | 1 miljoen | 100 GB | 100 kB elk | 1000 mappen, elk met 1.000 bestanden |
| 4 | 1 | 4 TB | ||
| 5 | 117 miljoen | 117 GB | 1 kB elk | 117 mappen, elk met 100 submappen met 10.000 bestanden |
| 6 | 1 | 1 TB | ||
| 7 | 3,3 miljoen | 45 GB | 13 kB elk | 200.000 mappen, elk bevat 16\17 bestanden |
| 8 | 50 miljoen | 1 TB | 20 kB elk | 2.940.000 mappen, elk bevat 17 bestanden |
| 9 | 100 miljoen | 2 TB | 20 kB elk | 5.880.000 mappen, elk bevat 17 bestanden |
Verschillende agentresourceconfiguraties worden getest op SMB-eindpunten:
Minspec: 4 CPU/8 GB RAM 4 virtuele CPU-kernen op 2,7 GHz elk en 8 GiB geheugen (RAM) is de minimale specificatie voor een Azure Storage Mover-agent.
Test Nee. Uitvoeringstijd Scantijd 6 16 min, 42 sec. 1,2 sec. 7 55 min, 4 sec. 1 min, 17 sec. 8 9 Bootspec: 8 CPU /16 GiB RAM 8 virtuele CPU-kernen op 2,7 GHz elk en 16 GiB geheugen (RAM) is de minimale specificatie voor een Azure Storage Mover-agent.
Resultaten: Standaardopslagaccount
Test Nee. Uitvoeringstijd Scantijd 1 15 uur, 59 min. 2 uur, 36 min, 34 sec. 2 1 min, 54 sec. 3,34 sec. 3 1 uur, 19 min, 27 sec. 57,62 sec. 4 1 uur, 5 min, 57 sec. 2,89 sec. Resultaten: Standaardopslagaccount waarvoor grote bestanden zijn ingeschakeld
Test Nee. Uitvoeringstijd Scantijd 1 3 uur, 51 min, 31 sec. 41 min en 45 sec. 5 25 uur, 47 min. 23 uur, 35 min. 6 11 min, 11 sec. 0,7 sec. 7 55 min, 10 sec. 1 min, 3 sec. 8 9 Resultaten: Premium-opslagaccount
Test Nee. Uitvoeringstijd Scantijd 1 2 uur, 35 min, 14 sec. 24 min, 46 sec. 5 23 uur, 34 min. 21 uur, 34 min.
Bekijk aanbevolen agentbronnen voor uw migratiebereik in het artikel over agentimplementatie.
Waarom de migratieprestaties variëren
De netwerkkwaliteit en de mogelijkheid om bestanden, mappen en hun metagegevens te verwerken, zijn van invloed op uw migratiesnelheid.
In de twee kerngebieden van het netwerk en de berekening hebben verschillende aspecten een impact:
- Migratiescenario
Kopiëren naar een leeg doel gaat sneller in vergelijking met een doel met inhoud. Dit gedrag wordt veroorzaakt doordat de migratie-engine niet alleen de bron evalueert, maar ook het doel om kopieerbeslissingen te nemen. - Aantal naamruimteitems
Het migreren van 1 GiB van kleine bestanden duurt langer dan het migreren van 1 GiB van grotere bestanden. - Naamruimteshape
Een brede maphiërarchie leent zich voor meer parallelle verwerking dan een smalle of diepe mapstructuur. De verhouding tussen bestanden en mappen speelt ook een rol af. - Naamruimteverloop
Hoeveel bestanden, mappen en metagegevens er zijn gewijzigd tussen twee kopieerbewerkingen van dezelfde bron naar hetzelfde doel. - Netwerk
- bandbreedte en latentie tussen bron- en migratieagent
- bandbreedte en latentie tussen migratieagent en het doel in Azure
- Resources van migratieagent
De hoeveelheid geheugen (RAM), het aantal rekenkernen en zelfs de beschikbare hoeveelheid beschikbare lokale schijfcapaciteit op de migratieagent kan een grote invloed hebben op de migratiesnelheid. Meer rekenresources helpen bij het optimaliseren van het gebruik van de beschikbare bandbreedte, met name wanneer grote hoeveelheden kleinere bestanden moeten worden verwerkt in een migratie.
Voor een traditionele migratie is bijvoorbeeld een strategie vereist om downtime van de workload te minimaliseren die afhankelijk is van de opslag die moet worden gemigreerd. Azure Storage Mover ondersteunt een dergelijke strategie. Dit wordt geconvergeerde, n-pass-migratie genoemd.
In deze strategie kopieert u meerdere keren van bron naar doel. Tijdens deze kopieeriteraties blijft de bron beschikbaar voor lezen en schrijven naar de workload. Net voor de laatste kopieeriteratie neemt u de bron offline. Het is te verwachten dat het uiteindelijke exemplaar sneller is voltooid dan het eerste exemplaar dat u ooit hebt gemaakt en dat het ongeveer zo lang duurt als de kopie direct voorafgaat. Na de laatste kopie wordt er een failover uitgevoerd voor de workload voor het gebruik van de nieuwe doelopslag in Azure en is deze opnieuw beschikbaar voor gebruik.
Tijdens de eerste kopie van de bron naar het doel is het doel waarschijnlijk leeg en moet alle broninhoud naar het doel worden gereisd. Als gevolg hiervan is de eerste kopie waarschijnlijk het meest beperkt door de beschikbare netwerkbronnen.
Aan het einde van een migratie, wanneer u de bron meerdere keren naar het doel hebt gekopieerd, zijn er slechts enkele bestanden, mappen en metagegevens gewijzigd sinds de laatste kopie. In deze laatste kopieeriteratie moet u elk bestand in de bron en het doel vergelijken om te zien of het moet worden bijgewerkt, meer rekenresources en minder netwerkresources nodig. Kopieeruitvoeringen in deze late fase van een migratie zijn vaak meer rekenkracht beperkt. De juiste sourcing van de Storage Mover-agent wordt steeds belangrijker.
Volgende stappen
De volgende artikelen kunnen u helpen bij een geslaagde implementatie van Azure Storage Mover.